CN109635160B

CN109635160B - 一种基于xbrl的快速检索的实现方法

Info

Publication number: CN109635160B
Application number: CN201811467348.6A
Authority: CN
Inventors: 马越
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2018-12-03
Filing date: 2018-12-03
Publication date: 2022-05-03
Anticipated expiration: 2038-12-03
Also published as: CN109635160A

Abstract

本发明公开了一种基于XBRL的快速检索的实现方法，包括数据的处理整合及数据的查询搜索；所述数据的处理整合包括结构数据处理和非结构数据处理，其中，结构数据处理包括依次进行的分类标准信息处理和实例文档信息处理；数据的查询搜索分为对结构的查询流程及对数据的查询流程。本发明的基于XBRL的快速检索的实现方法可解决XBRL系统中检索查询慢和数据读不懂的问题，从而提高处理效率。

Description

一种基于XBRL的快速检索的实现方法

技术领域

本发明涉及财务自动化软件技术领域，特别涉及一种基于XBRL的快速检索的实现方法。

背景技术

XBRL(eXtensible Business Reporting Language)，可扩展商业报告语言是一门用于商业信息进行电子交换的语言，有助于商业信息的编制、分析和交换。XBRL技术框架分为XBRL规范、XBRL分类标准和XBRL实例文档三部分。其中，本发明涉及的分类标准分为模式文件和链接库文件，链接库文件通常包括定义链接库、列报链接库、计算链接库、标签链接库、参考链接库和角色标签链接库。模式文件定义了实例文档中事实概念，链接库文件定义了概念间的关系。另外，实例文档是展示报表所需要的XML型文件，是财务报表的最基础的文件。随着XBRL的逐渐普及，拥有一套能高效处理XBRL文件的体系尤为重要。

在对XBRL的文件的处理之后，能对这些数据进行分类和整合，使得用户能快速的查询和操作成为了XBRL处理系统既传统的解析、保存XBRL文件和信息之后又一重要的方面。然而，在进行XBRL数据的检索的时候，采用传统的解析、展示数据的方式就造成使用速度慢、用户体验差和各个服务器连接速度慢等问题，而为了快速使用就对XML文件的数据直接进行展示的话就会造成了用户看不懂和无法操作的问题，而这些问题也成了一套成熟的XBRL系统的瓶颈。

在以前的各种解决方式中，大多数是要求业务人员去直接对展示的数据进行手动分类，或者最多加一个类型字段去区分某个数据是不是需要的部分。有的为了追求数据的展示效果，加大了服务器的计算量，又去通过扩大服务器内存的方式去加快速度。这两种方式都有成本高或者优化时间长的弊端。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种基于XBRL的快速检索的实现方法，可解决XBRL系统中检索查询慢和数据读不懂的问题，从而提高处理效率，采用不直接消耗服务器等资源去检索的方式，而是通过对XBRL数据的分类和重新整合的方式，将不同部分的数据进行不同的操作，先从结果入手，返向存储结果和所在的结构的索引，最后在检索时按照不同的方式进行展示获取，减少对服务器和操作人的要求，加快了处理速度，准确性高。

为了达到上述的技术效果，本发明采取以下技术方案：

一种基于XBRL的快速检索的实现方法，包括数据的处理整合及数据的查询搜索；所述数据的处理整合包括结构数据处理和非结构数据处理，其中，结构数据处理包括依次进行的分类标准信息处理和实例文档信息处理；数据的查询搜索分为对结构的查询流程及对数据的查询流程；

其中，结构数据为需要被查询的用于展示的多维表的结构部分的数据，非结构数据为在查询过程中有可能会还在不断的新增或被修改的数据。

进一步地，所述分类标准信息处理具体包括以下步骤：

A1.获取当前传入的全部分类标准，获取查询条件下的各个分类标准的id；

A2.获取各个分类标准id的角色集合，并以键值对的形式存到缓存，获取该缓存的每一条分类标准数据的唯一主键UUID；

A3.将各个分类标准id和其对应的角色获取到链接库，将链接库的层级关系存到缓存，并获取这个缓存的每一条链接库层级关系的唯一主键UUID；

A4.遍历每一个链接库，将链接库的超立方体层和维度层的数据取出，并判断该链接库是否是维度链接库，若是则将维度值存入缓存，否则不做任何操作。

进一步地，所述实例文档信息处理具体包括以下步骤：

B1.依次传入各个分类标准的id，获取每个分类标准对应的多个实例文档并获取实例文档id；

B2.将实例文档id和分类标准id的对应关系存入缓存。

进一步地，所述非结构数据处理具体包括以下步骤：

C1.依次获取非结构数据事实值对象；

C2.运用容器的快速转换功能，将事实值对象迅速变化成以值为key、以实例文档id为value的键值对，再用容器的快速导入功能，将所述键值对存到容器自己的存储器中；

C3.每隔T分钟，重新调用步骤C1，获取增量数据；

C4.重新调用步骤C2刷新键值对数据。

进一步地，所述步骤C3中T的取值为1。

进一步地，所述对结构的查询流程包括结构数据查询操作步骤，具体为：

S1.传入实例文档的查询条件，获取查询条件下的各个实例文档的id；

S2.将各个实例文档id的对应的分类标准id从缓存查出来；

S3.将分类标准id对应的角色、链接库和维度值依次查出。

进一步地，所述对结构的查询流程还包括以下步骤：

S4.依维度值的匹配将链接库层级关系建立成非维度或者维度的结构，每一层的结构中将元素id作为用于判断每一层的元素的位置和元素的意义的判断依据，在层级的最上一层加上角色的信息生成一颗层级树，并传给前端用于展示。

进一步地，所述对数据的查询流程包括依次进行的键值对查询、结构数据查询和非结构数据查询操作步骤，具体为：

S101.根据传入具体的事实值的查询条件，获取是精确查询还是模糊查询的类型，从容器中通过查询条件查询对应的所有的实例文档的id；

S102.将各个实例文档id的对应的分类标准id从缓存查出来；

S103.将分类标准id对应的角色、链接库和维度值依次查出；

S104.针对步骤S101获取的实例文档的id，从持久化表中查询当前实例文档的所有的数据值对象。

进一步地，所述对数据的查询流程还包括步骤S105：以数据值对象的元素id作为key，在层级树中找到对应的位置，放入对应的数据值，即可生成带有数据值的XBRL报表层级树。

通过上述内容可知，在本发明的基于XBRL的快速检索的实现方法中，具体是通过对XBRL数据在XBRL层面上进行细分，将数据中不会产生变化的数据进行多次组合，首先，提前将需要被查询的用于展示的多维表的结构部分的数据用缓存先存起来(以下简称结构数据)，而等到了用户进行检索查询操作的时候，对这部分结构数据的查询会直接去缓存取，而另外的对一小部分不属于结构的数据(以下简称非结构数据)，由于这部分数据在查询过程中有可能会还在不断的新增或被修改，所以通过键值对(KeyAndValue)的方式将结构数据和非结构数据由非结构数据的真实值作为键值对的键(Key)和结构数据的主键id作为键值对的值(Value)建立关联关系做多对多的索引，放到容器中，而不去直接对非结构数据的真实值做整合或者其他操作。在用户查询时，一旦查询某个真实值的关键字，再来从键值对取到结构数据主键到缓存取到结构数据到真实表去取非结构数据，由于非结构数据会被分的很细，再去处理这部分数据的结构问题就不会耽误时间，从而提升检索查询的效率，为下一步用户做其他操作做好了基础，从而提高了整个系统的处理效率，达到满意的效果。

本发明与现有技术相比，具有以下的有益效果：

本发明的基于XBRL的快速检索的实现方法中，将分类标准和实例文档中的数据通过反向存储、多次组合另外加上缓存的操作，达到快速检索的目的，使得查询充分利用计算机资源，从而提高了系统效率，提升了用户体验。

同时，这种基于XBRL的快速检索的实现方法，还提高了XBRL的分类标准和实例文档的数据查询、展示和共享的效率，利用缓存和快速组合的方式，给用户展示的是最新最快的XBRL平台数据，使得检索出来的数据既准确，又快速，还能使用户理解和易于操作，具有很强的可发现性和不可替换性，也可扩大XBRL产品的市场前景。

附图说明

图1是本发明的基于XBRL的快速检索的实现方法中数据的处理整合的流程示意图。

图2是本发明的基于XBRL的快速检索的实现方法中数据的查询搜索的流程示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实际中，由于XBRL自身的一些特殊性，比如，分类标准的结构包含元素、角色和链接库三部分，而用户真正想看到的数据值又存在实例文档里面，检索出来后展示的某一个值的表头是元素，层级关系是展示链接库，中文或者英文名称又来自于标签链接库，每一个元素所在的位置有来自于链接库的维度信息。这种复杂的层层嵌套的信息在进行检索时一步一步从上往下去找数据时会过程冗长，节奏慢，展示的效率也大大降低，在内容很大的情况下就是使得整个的展示更慢。

为了解决检索慢、展示慢和不易于操作造成的对用户的使用和操作交互体验差的问题，本实施例公开了一种基于XBRL的快速检索的实现方法，可使用户在检索查询时能快速得知准确结果，达到速度效率和操作结果两者同时拥有的结果。在参考了缓存机制之后，本实施例的基于XBRL的快速检索的实现方法即是在缓存机制的基础上实现快速检索。

由于XBRL的特殊性，XBRL的数据可分为结构数据和非结构数据两个部分，而本实施例的方案中也包括数据的处理整合和对数据的查询搜索的操作共两部分。

数据的处理整合

首先是结构数据的存储。结构数据包括分类标准基本信息、分类标准角色和分类标准链接库和由链接库衍生的维度信息，另外还有实例文档的基本信息共5部分。由于分类标准和实例文档本身的一些特性，在对这一部分的数据进行整合的方式就是先缓存实例文档的信息，再去从分类标准的基本信息开始，依次缓存分类标准元素、分类标准角色和分类标准链接库，而维度信息是在查询时再去生成，此处不需要缓存。

然后是非结构数据，由于非结构数据分的很散，本实施的技术方案例中不直接处理这些数据，而是将这些数据的具体数据值取出来，以键值对的形式将值和所在的实例文档的主键id一一对应，整个是一个多对多的关系，存到容器elecsticsearch里面，选择容器elecsticsearch是因为elecsticsearch可以实时去监测原始数据有无新增和修改而自动去修改键值对，而不去直接对非结构数据的真实值做整合或者其他操作。

如图1所示，为本实施例的数据的处理整合的流程的具体示意。

数据的处理整合(DataController)为入口类，包括结构数据处理(StructDataController)和非结构数据处理(NoStructDataController)。结构数据处理包括分类标准信息处理(TaxonomyInfoController)和实例文档信息处理(InstanceInfoController)，下面将对分类标准信息处理和实例文档信息处理和非结构数据处理的具体实现流程进行具体说明。

数据的处理整合的各个方法的详细处理流程分别为：

1.分类标准信息处理：

1)调用TaxonomyInfoController的findTaxList方法，此方法即为去数据库的分类标准的列表库里获取当前数据库的全部分类标准，获取查询条件下的各个分类标准的id；

2)调用TaxonomyInfoController的getRoleByTaxId方法，此方法即为遍历从上一步获取分类标准id的集合的每一个分类标准id，去分类标准角色数据库里分别将各个分类标准id的角色集合获取到(由于无法直接通过分类标准id找到对应角色，只有通过拿一个分类标准id后去角色数据库依次查询，查到了某个角色的分类标准id是当前分类标准id一致，就结束查询)，并以键值对(分类标准id为key,角色的值为value)的形式存到缓存。本实施例中以Redis缓存为例，以字符串“TaxRole”为modelName，分类标准的id为key，角色的值为value，获取这个缓存的每一条分类标准数据的唯一主键UUID(role_uuid)；

3)调用TaxonomyInfoController的getLinkbaseByRoleAndTaxId方法，此方法即为将各个分类标准id和其对应的角色获取到链接库，将链接库的层级关系存到缓存，本实施例中以Redis缓存为例，以字符串“TaxLinkbase”为modelName，以步骤2获取的role_uuid为key，链接库的层级关系为value，获取这个缓存的每一条链接库层级关系的唯一主键UUID(lb_uuid)；

4)调用TaxonomyInfoController将makeLinkbaseToDimension方法，此方法即为遍历每一个链接库，将链接库的超立方体层和维度层的数据取出，首先判断是否是维度链接库，如果是就将维度值存入缓存，以Redis缓存为例，以字符串“TaxDimension”为modelName，以步骤3获取的lb_uuid为key,维度值为value。其中，如果是非维度链接库则不做任何操作。

2.实例文档信息处理：

1)调用InstanceInfoController的getInstanceByTaxId方法，此方法即为依次传入分类标准的id，获取每个分类标准对应的多个实例文档，获取实例文档id；

2)调用InstanceInfoController将makeInsId方法，此方法即为将实例文档id和分类标准id的对应关系存入缓存，本实施例中以Redis缓存为例，以字符串“InsIdToTaxId”为modelName，实例文档id为key，分类标准id值为value。

3.非结构数据处理

1)调用NoStructDataController的getNoStructData方法，此方法即为依次从数据库中的事实值数据库获取非结构数据事实值对象，其中，第一次调用时是全量(既将事实值表中的全部事实值取出)，后面再次调用的时是增量(既将除上次取出的事实值以外的事实值全部取出，判断增量数据的方式就是将上次取数据的最后一个值的主键id(设为lastId)存到某一个定时器里，定时器设置的值初始化为0，表示没有取过数据的话主键就是0，每取一次事实值数据更新一次lastId，由于数据库的值的主键默认最小为1并且后续数据的主键值都是越来越大的，所以只需要去数据库找到主键id比当前的lastId大的值取出即为增量数据)，实现第一次全量后面增量的方式就是由下面步骤2里的elecsticsearch存储器的数据量来判断，如果elecsticsearch存储器的数据量为0，就取出全量数据，如果存储器的数据量不为0，就取出增量数据；

2)运用elecsticsearch的快速转换功能，将事实值对象迅速变化成以值为key、以实例文档id为value的键值对(这里不用redis存这些键值对的原因是数据量太大，redis不具有大数据量的快速查询功能)，再用elecsticsearch的快速导入功能，将这些键值对存到elecsticsearch的自己存储器中；

3)每隔1分钟，重新调用步骤1，获取增量数据；

4)重新调用步骤2，去刷新键值对数据。

数据的查询搜索

数据在查询时会按照从键值对取到结构数据主键到缓存取到结构数据到真实表去取非结构数据这几步来实现查询和搜索，数据的查询搜索根据用户的不同需求，将查询方式分为“查询XBRL的结构部分”(UserOnlyQueryStruct)和“查询XBRL的数据部分”(UserQueryData)两种不同的需求，其中查询数据部分由于只查出数据无法展示便毫无意义，所以查询数据部分就包含了查询结构的部分功能。

由于两个需求之间有一小部分功能的复用，这里就统一提出：数据的查询搜索由统一查询(DataSearch)为统一入口类，包括了键值对查询(KeyValueSearch)、结构数据查询(StructDataSearch)和非结构数据查询(NoStructDataSearch)三个不同操作。其中，“查询XBRL的结构部分”只包含结构数据查询(StructDataSearch)一个操作，而“查询XBRL的数据部分”包含按顺序依次进行的键值对查询(KeyValueSearch)、结构数据查询(StructDataSearch)和非结构数据查询(NoStructDataSearch)三个操作。

如图2所示，具体的，用户查询XBRL的结构部分(UserOnlyQueryStruct)的具体操作步骤如下：

1)调用StructDataSearch的findInsList方法，此方法即为传入实例文档的查询条件，获取查询条件下的各个实例文档的id(如传入查询条件为需要查询20180101到20180228的时间内生成的实例文档，实例文档在生成时都会存生成时间，就可以直接将生成时间为这个时间段的实例文档查出)；

2)调用StructDataSearch的findTaxByIns方法，此方法即为从缓存(如redis)将各个实例文档id的对应的分类标准id查出来(“InsIdToTaxId”为modelName，实例文档id为key，查出来的value即为分类标准id)；

3)调用StructDataSearch的findTaxInfo方法，此方法即为将分类标准对应的角色、链接库层级关系和维度依次查出(redis中以字符串“TaxRole”为modelName，分类标准的id为key，查出的value为角色的值，拿到这条redis角色数据的uuid(以下称为role_uuid)，redis中以字符串“TaxLinkbase”为modelName，以role_uuid为key，获取的value就是链接库的层级关系，拿到这条redis层级关系数据的uuid(以下称为lb_uuid)，redis中以字符串“TaxDimension”为modelName，以lb_uuid为key，获取的value就是链接库的维度值)；

其中，上述步骤(1)、(2)、(3)都属于结构数据查询(StructDataSearch)步骤；

4)依维度值的匹配将链接库层级关系建立成非维度或者维度的结构，每一层的结构中将元素id(如链接库的层级连接的from值和to值都是元素id)作为用于判断每一层的元素的位置和元素的意义的主要判断依据(由于元素自身带有特定属性，如超立方体元素、维度元素、域元素、成员元素等，元素的位置的顺序和层次表达了分类标准的级别和属性，如有维度元素的话分类标准就可能是一维分类标准或二维分类标准)，最后，在层级的最上一层加上角色的信息，即可生成一颗层级树，可传给前端用于展示。

具体的，用户查询XBRL的数据部分(UserQueryData)具体操作步骤如下：

1)调用KeyValueSearch的findInsByValue方法，此方法即为传入具体的事实值的查询条件，获取是精确查询还是模糊查询的类型(具体由用户通过接口传入查询类型)，去elecsticsearch中去获取对应实例文档的id；

此步骤(1)即属于值对键查询(KeyValueSearch)步骤；如用户传入值“100”和精确查询类型，通过键值对查询发现“100”对应的有实例文档id为1和2两个实例文档，就将1和2查询出来；

2)获取分类标准id，具体方法同“用户查询XBRL的结构”部分的步骤(2)；

3)获取分类标准对应的角色、链接库和维度，方法同“用户查询XBRL的结构”的部分步骤(3)；

即此部分的步骤(2)和(3)属于结构数据查询(StructDataSearch)步骤；

4)调用NoStructDataSearch的getValue方法，此方法即为针对已知的实例文档的id，去事实值数据库中查询到当前实例文档id下的所有的数据值对象。

这里的步骤(4)属于非结构数据查询(NoStructDataSearch)步骤。

5)获取层级树，方法与“用户查询XBRL的结构”的部分步骤(4)类似，在生成层级树的过程一致，唯一的区别就是在层级树的组装上每一层新增一个为value的属性，用于下一步将数据值装入层级树中；

6)数据值对象有一个属性为元素id，以数据值对象的元素id作为key，去层级树中找到对应的位置，放入对应的数据值设置为对应层级的value属性，即可生成带有数据值的XBRL报表层级树用于前端展示。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims

1.一种基于XBRL的快速检索的实现方法，其特征在于，包括数据的处理整合及数据的查询搜索；所述数据的处理整合包括结构数据处理和非结构数据处理，其中，结构数据处理包括依次进行的分类标准信息处理和实例文档信息处理；数据的查询搜索分为对结构的查询流程及对数据的查询流程；

其中，结构数据为需要被查询的用于展示的多维表的结构部分的数据，非结构数据为在查询过程中有可能会还在不断的新增或被修改的数据；

所述分类标准信息处理具体包括以下步骤：

A4.遍历每一个链接库，将链接库的超立方体层和维度层的数据取出，并判断该链接库是否是维度链接库，若是则将维度值存入缓存，否则不做任何操作；

所述实例文档信息处理具体包括以下步骤：

B2.将实例文档id和分类标准id的对应关系存入缓存；

所述非结构数据处理具体包括以下步骤：

C1.依次获取非结构数据事实值对象；

C3.每隔T分钟，重新调用步骤C1，获取增量数据；

C4.重新调用步骤C2刷新键值对数据。

2.根据权利要求1所述的一种基于XBRL的快速检索的实现方法，其特征在于，所述步骤C3中T的取值为1。

3.根据权利要求1所述的一种基于XBRL的快速检索的实现方法，其特征在于，所述对结构的查询流程包括结构数据查询操作步骤，具体为：

S2.将各个实例文档id的对应的分类标准id从缓存查出来；

S3.将分类标准id对应的角色、链接库和维度值依次查出。

4.根据权利要求3所述的一种基于XBRL的快速检索的实现方法，其特征在于，所述对结构的查询流程还包括以下步骤：

5.根据权利要求1所述的一种基于XBRL的快速检索的实现方法，其特征在于，所述对数据的查询流程包括依次进行的键值对查询、结构数据查询和非结构数据查询操作步骤，具体为：

S102.将各个实例文档id的对应的分类标准id从缓存查出来；

S103.将分类标准id对应的角色、链接库和维度值依次查出；

6.根据权利要求5所述的一种基于XBRL的快速检索的实现方法，其特征在于，所述对数据的查询流程还包括步骤S105：以数据值对象的元素id作为key，在层级树中找到对应的位置，放入对应的数据值，即可生成带有数据值的XBRL报表层级树。