CN111563098A - 结构化与非结构化数据查询方法、设备、存储介质及装置 - Google Patents
结构化与非结构化数据查询方法、设备、存储介质及装置 Download PDFInfo
- Publication number
- CN111563098A CN111563098A CN202010370881.1A CN202010370881A CN111563098A CN 111563098 A CN111563098 A CN 111563098A CN 202010370881 A CN202010370881 A CN 202010370881A CN 111563098 A CN111563098 A CN 111563098A
- Authority
- CN
- China
- Prior art keywords
- data
- structured
- unstructured
- field
- unstructured data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据查询技术领域，可应用智慧政务场景中。公开了一种结构化与非结构化数据查询方法、设备、存储介质及装置，该方法通过接收查询终端发送的携带有业务类型标识的数据查询请求，基于数据查询请求，从目标数据库中获取与业务类型标识对应的目标表单，目标表单中包括结构化字段和非结构化字段，基于业务类型进行分类查询，以提高数据查询效率；根据结构化字段和非结构化字段，分别从第一预设数据库和第二预设数据库中查询结构化数据和非结构化数据，将结构化数据和非结构化数据发送至查询终端，基于结构化数据和非结构化数据，在兼顾数据安全性的同时提高数据查询效率。
Description
技术领域
本申请涉及数据查询的技术领域，尤其涉及一种结构化与非结构化数据查询方法、设备、存储介质及装置。
背景技术
传统的系统，主要业务数据存储可采用存储在结构化表字段中，在进行数据查询时，由于数据存储结构固定，改动不方便，数据灵活性较差，无法满足多样化的业务需求，导致数据查询效率低。还可通过动态建立表字段的方式动态生成表，并且动态建立表字段，以进行数据存储和查询，但动态拼装的动态表结构建立及使用，无法满足性能、稳定性及安全性等多方面的需求。因此，如何在兼顾安全性的同时提高数据查询的效率是亟待解决的技术问题。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种结构化与非结构化数据查询方法、设备、存储介质及装置，旨在解决现有技术中如何在兼顾安全性的同时提高数据查询的效率的技术问题。
为实现上述目的，本申请提供一种结构化与非结构化数据查询方法，所述结构化与非结构化数据查询方法包括以下步骤：
接收查询终端发送的携带有业务类型标识的数据查询请求；
基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段；
根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系；
将所述结构化数据和所述非结构化数据发送至所述查询终端。
优选地，所述接收查询终端发送的携带有业务类型标识的数据查询请求之前，所述结构化与非结构化数据查询方法还包括：
获取样本表单数据，并将所述样本表单数据按照业务类型进行分类，获得各业务类型对应的表单数据；
对各业务类型对应的表单数据进行数据抽取，获得各业务类型对应的公共字段数据；
根据各业务类型对应的公共字段数据，建立各业务类型下结构化字段与结构化数据之间的对应关系，并将所述结构化字段与所述结构化数据之间的对应关系存储至第一预设数据库；
将各业务类型对应的表单数据中除了所述公共字段数据之外的其他数据作为不确定字段数据；
根据各业务类型对应的不确定字段数据，建立各业务类型下非结构化字段与非结构化数据之间的对应关系，并将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库。
优选地，所述将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库，包括：
获取所述非结构化数据的目标数据量；
判断所述目标数据量是否大于预设数据量阈值；
在所述目标数据量大于所述预设数据量阈值时，将所述非结构化字段与所述非结构化数据之间的对应关系通过文件系统进行存储，获得所述非结构化数据的存储访问路径，并将所述存储访问路径存储至第二预设数据库。
优选地，所述第二预设数据库包括指定存储区域和自由存储区域；
所述将所述结构化数据和所述非结构化数据发送至所述查询终端之后，所述结构化与非结构化数据查询方法还包括：
获取所述第二预设数据库中各非结构化数据的调用频率；
判断各非结构化数据的调用频率是否超过预设频率阈值；
若所述调用频率超过所述预设频率阈值，则将对应的非结构化数据存储至所述指定存储区域；
若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域。
优选地，所述若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域之后，所述结构化与非结构化数据查询方法还包括：
获取所述结构化数据和所述非结构化数据的存储时长；
判断所述存储时长是否超过预设时长；
在所述存储时长超过所述预设时长时，对所述结构化数据和所述非结构化数据进行清空或更新处理。
优选地，所述预设时长包括：第一时长阈值和第二时长阈值，所述第一时长阈值小于所述第二时长阈值；
所述在所述存储时长超过所述预设时长时，对所述结构化数据和所述非结构化数据进行清空或更新处理，包括：
在所述存储时长超过所述第一时长阈值时，对所述自由存储区域中的非结构化数据进行清空或更新处理；
在所述存储时长超过所述第二时长阈值时，对所述第一预设数据库中的所述结构化数据和所述指定存储区域中的非结构化数据进行清空或更新处理。
优选地，所述将所述结构化数据和所述非结构化数据发送至所述查询终端，包括：
获取当前时间，根据所述当前时间和所述业务类型标识生成加密密钥；
根据所述加密密钥对所述结构化数据和所述非结构化数据进行加密，获得加密结构化数据和加密非结构化数据；
将所述加密结构化数据和所述加密非结构化数据上传至区块链中；
当接收数据查询需求时，将所述加密结构化数据和所述加密非结构化数据发送至所述查询终端；
此外，为实现上述目的，本申请还提出一种结构化与非结构化数据查询设备，所述结构化与非结构化数据查询设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的结构化与非结构化数据查询程序，所述结构化与非结构化数据查询程序配置为实现如上文所述的结构化与非结构化数据查询方法的步骤。
此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质上存储有结构化与非结构化数据查询程序，所述结构化与非结构化数据查询程序被处理器执行时实现如上文所述的结构化与非结构化数据查询方法的步骤。
此外，为实现上述目的，本申请还提出一种结构化与非结构化数据查询装置，所述结构化与非结构化数据查询装置包括：
接收模块，用于接收查询终端发送的携带有业务类型标识的数据查询请求；
获取模块，用于基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段；
查询模块，用于根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系；
发送模块，用于将所述结构化数据和所述非结构化数据发送至所述查询终端。
本申请中，通过接收查询终端发送的携带有业务类型标识的数据查询请求，基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单，其中，所述目标表单中包括结构化字段和非结构化字段，根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据，基于业务类型进行分类查询，以提高数据查询效率；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系，将所述结构化数据和所述非结构化数据发送至所述查询终端，结构化和非结构化相结合避免系统内部数据结构的约束，满足高效及动态的数据存储需求，同时使得系统的可扩展性增强，基于结构化数据和非结构化数据，在兼顾数据安全性的同时提高数据查询效率。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的结构化与非结构化数据查询设备的结构示意图；
图2为本申请结构化与非结构化数据查询方法第一实施例的流程示意图；
图3为本申请结构化与非结构化数据查询方法第二实施例的流程示意图；
图4为本申请结构化与非结构化数据查询方法第三实施例的流程示意图；
图5为本申请结构化与非结构化数据查询装置第一实施例的结构框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的结构化与非结构化数据查询设备结构示意图。
如图1所示，该结构化与非结构化数据查询设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本申请中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对结构化与非结构化数据查询设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及结构化与非结构化数据查询程序。
在图1所示的结构化与非结构化数据查询设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述结构化与非结构化数据查询设备通过处理器1001调用存储器1005中存储的结构化与非结构化数据查询程序，并执行本申请实施例提供的结构化与非结构化数据查询方法。
基于上述硬件结构，提出本申请结构化与非结构化数据查询方法的实施例。
参照图2，图2为本申请结构化与非结构化数据查询方法第一实施例的流程示意图，提出本申请结构化与非结构化数据查询方法第一实施例。
在第一实施例中，所述结构化与非结构化数据查询方法包括以下步骤：
步骤S10：接收查询终端发送的携带有业务类型标识的数据查询请求。
应理解的是，本实施例的执行主体是所述结构化与非结构化数据查询设备，其中，所述结构化与非结构化数据查询设备可为智能手机、个人电脑或服务器等电子设备，本实施例对此不加以限制。为了提高查询效率，业务数据按照业务类型进行分类存储，所述业务类型标识用于区分不同的业务。当所述结构化与非结构化数据查询设备接收到所述数据查询请求后，还需对所述数据查询请求进行查询权限的识别，所述数据查询指令通常包括查询终端标识，通常会预先建立查询终端标识与查询权限之间的对应关系，可通过所述查询终端标识识别所述数据查询请求否有对应的查询权限。所述数据查询指令通常还包括用户标识，所述用户标识用于标识需要查询的目标数据对应的目标用户，每一个用户有唯一的用户标识，以对不同的用户进行区分，在进行数据查询时，通过在所述数据查询请求中一并携带所述用户标识以准确查询目标数据。
步骤S20：基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段。
需要说明的是，所述数据查询请求为所述查询终端发送的读取目标表单数据的请求，可从所述数据查询请求中提取出目标业务类型，所述目标业务类型为具体的业务产品，比如，所述目标业务类型可以是具体的贷款产品，一个贷款产品是由多个贷款页面组成，所有页面数据提交后会生成一条表单信息，所述表单信息保存在结构化字段和非结构化字段中，根据所述目标业务类型查找对应的结构化数据和非结构化数据，一对二的对应关系，其实是业务类型对应表单信息，所述表单信息包括结构化字段和非结构化字段数据。故可通过所述业务类型标识查找到对应的目标表单，所述目标表单中包括结构化字段和非结构化字段。
可理解的是，所述结构化字段是依据业务系统中各业务机构均使用的标准字段制定的，比如贷款系统中的各家贷款机构，都会使用的标准字段来制定的，具体包括贷款人、贷款人手机号、贷款金额、贷款期限和贷款用途等，这样的字段在任何贷款机构任何贷款类型都会使用到。所述非结构化字段为没有固定结构的数据，采用子字段、多值字段以及变长字段的机制，允许创建许多不同类型的非结构化的或任意格式的字段。各种业务类型对应各种表单信息，所述业务类型标识用于区分不同业务类型。
步骤S30：根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系。
在具体实现中，所述第一预设数据库中预先存储了所述结构化字段与所述结构化数据之间的对应关系，根据所述结构化字段与所述结构化数据之间的对应关系，从所述第一预设数据库中查找与所述结构化字段对应的结构化数据。所述第二预设数据库中预先存储了所述非结构化字段与所述非结构化数据之间的对应关系，可根据所述非结构化字段与所述非结构化数据之间的对应关系，从所述第一预设数据库中查找与所述非结构化字段对应的非结构化数据。
步骤S40：将所述结构化数据和所述非结构化数据发送至所述查询终端。
应理解的是，根据所述结构化字段和所述非结构化字段查找到对应的结构化数据和非结构化数据，所述结构化数据和所述非结构化数据构成所述查询终端请求的目标数据。为了提高数据传输过程中的安全性，可在发送数据之前，对所述结构化数据和所述非结构化数据进行加密。可获取当前时间，根据所述当前时间和所述业务类型标识生成加密密钥，所述当前时间可以是一个时间段；根据所述加密密钥对所述结构化数据和所述非结构化数据进行加密，获得加密结构化数据和加密非结构化数据；将加密结构化数据和加密非结构化数据上传至区块链中；当接收数据查询需求时，将加密结构化数据和加密非结构化数据发送至所述查询终端。所述查询终端在接收到所述加密结构化数据和所述加密非结构化数据后，根据所述当前时间和所述业务类型标识查找对应的解密密钥，根据所述解密密钥对所述加密结构化数据和所述加密非结构化数据进行解密，获得所述结构化数据和所述非结构化数据。
基于结构化数据和非结构化数据得到对应的摘要信息，具体来说，摘要信息由结构化数据和非结构化数据进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息，以便查证结构化数据和非结构化数据是否被篡改。
本实施例中，通过接收查询终端发送的携带有业务类型标识的数据查询请求，基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单，其中，所述目标表单中包括结构化字段和非结构化字段，根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据，基于业务类型进行分类查询，以提高数据查询效率；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系，将所述结构化数据和所述非结构化数据发送至所述查询终端，结构化和非结构化相结合避免系统内部数据结构的约束，满足高效及动态的数据存储需求，同时使得系统的可扩展性增强，基于结构化数据和非结构化数据，在兼顾数据安全性的同时提高数据查询效率。本申请方案可以应用在智慧政务如政务办公等场景中，从而推动智慧城市的建设。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
参照图3，图3为本申请结构化与非结构化数据查询方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本申请结构化与非结构化数据查询方法的第二实施例。
在第二实施例中，所述步骤S10之前，还包括：
步骤S01：获取样本表单数据，并将所述样本表单数据按照业务类型进行分类，获得各业务类型对应的表单数据。
应理解的是，所述样本表单数据为以表单形式呈现的数据，所述样本表单数据包括各银行等金融机构中各种业务需用到的各种表单，或其他业务系统的各种表单，比如，储蓄卡开户表单、信用卡开户表单和贷款业务申请表单等，本实施例对此不加以限制。
需要说明的是，由于表单数据繁多，为了提高数据查询效率，可对各表单数据按照业务类型进行分类存储。所述业务类型可以是各银行等金融机构中的各种业务，也可以是其他业务系统中根据业务内容而划分的各种业务类型。不同的业务类型有对应的唯一业务类型标识，将所述样本表单数据按照业务类型进行分类，获得各业务类型对应的表单数据，可将各业务类型对应的表单数据通过业务类型标识进行标记，以作区分，在进行数据查询时，可通过业务类型标识查找到对应的表单数据。
步骤S02：对各业务类型对应的表单数据进行数据抽取，获得各业务类型对应的公共字段数据。
可理解的是，具体为：对各所述业务类型对应的所述表单数据按照业务类型进行分类，获得各业务类型对应的业务表单数据；将属于同一业务类型的多个表单进行比对，将多个表单中均出现的数据进行抽取，获得该业务类型的公共字段数据。所述结构化表字段是依据业务系统中各业务机构均使用的标准字段制定的，比如贷款系统中的各家贷款机构，都会使用的标准字段来制定的，具体包括贷款人、贷款人手机号、贷款金额、贷款期限和贷款用途等，这样的字段在任何贷款机构任何贷款类型都会使用到，则提取出来作为所述公共字段数据。
步骤S03：根据各业务类型对应的公共字段数据，建立各业务类型下结构化字段与结构化数据之间的对应关系，并将所述结构化字段与所述结构化数据之间的对应关系存储至第一预设数据库。
需要说明的是，将各业务类型对应的所述公共字段数据按照对应的业务类型建立各业务类型下结构化字段与结构化数据之间的对应关系，所述结构化数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据，所述结构化数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。所述结构化数据包括字典表、模板表、模板实例表、流程表、页面表、产品表以及场景表等。并将所述结构化字段与所述结构化数据之间的对应关系存储至第一预设数据库，为了提高数据查询效率，所述第一预设数据库可以是第一预设缓存，查询终端可发送数据查询请求直接操作缓存数据，从而提高了结构化数据的存取速度。所述第一预设缓存是指可以进行高速数据交换的预设存储器，它先于内存与CPU交换数据，因此速率很快。
步骤S04：将各业务类型对应的表单数据中除了所述公共字段数据之外的其他数据作为不确定字段数据。
在具体实现中，对所述样本表单数据进行数据抽取，获得所述公共字段数据，则所述样本表单数据中抽取所述公共字段数据之后，对剩余的数据按照业务类型进行分类，获得各业务类型对应的不确定字段数据。
步骤S05：根据各业务类型对应的不确定字段数据，建立各业务类型下非结构化字段与非结构化数据之间的对应关系，并将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库。
应理解的是，将所述不确定字段数据按照业务类型建立非结构化字段与非结构化数据之间的对应关系，所述非结构化数据为没有固定结构的数据，采用子字段、多值字段以及变长字段的机制，允许创建许多不同类型的非结构化的或任意格式的字段。并将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库，为了提高数据查询效率，所述第二预设数据库可以是第二预设缓存，查询终端可发送数据查询请求直接操作缓存数据，从而提高了非结构化数据的存取速度。所述第二预设缓存是指可以进行高速数据交换的预设存储器，它先于内存与CPU交换数据，因此速率很快。
进一步地，在本实施例中，所述将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库，包括：
获取所述非结构化数据的目标数据量；
判断所述目标数据量是否大于预设数据量阈值；
在所述目标数据量大于所述预设数据量阈值时，将所述非结构化字段与所述非结构化数据之间的对应关系通过文件系统进行存储，获得所述非结构化数据的存储访问路径，并将所述存储访问路径存储至第二预设数据库。
可理解的是，所述非结构化数据在本实施例中指的是创建一个订单内容(orderContent)大字段，可用于金融机构的进件系统存储进件过程中非结构化数据。例如存储房产证照片正反面、抵押品信息和抵押证件类型等，这类数据不是所有贷款产品都需要，是特定类型贷款产品(比如抵押贷)才会需要的数据，存放于非结构化数据。
需要说明的是，非结构化数据中是以json格式存储的，json格式可以配置字符串类型、整型、布尔类型和对象类型的字段。所述非结构化数据的这种形式允许创建许多不同类型的非结构化的或任意格式的字段。
在具体实现中，所述非结构化数据存储的两种实现方式：方式一，使用文件系统存储文件，而在数据库的所述预设缓存中存储所述非结构化数据的访问路径。不需要数据库管理系统(Database Management System，DBMS)的高级功能，但是这种方式无法实现文件的事务性访问，不便于数据备份和恢复，不便于数据迁移等；适合使用廉价存储、对事务访问以及备份等关注不多的或存储超大文件的场景，可获取所述非结构化数据的目标数据量，在所述目标数据量较大时采用方式一的存储实现方式，所述预设数据量阈值可以是几百兆(M)。其他场景可选择方式二。
方式二，使用DBMS的文件存储功能。需要DBMS提供支持，需要考虑通过DBMS直接或间接地操作非结构化数据会不会生成过多的undo/redo，undo是将用户上一步做的操作对程序造成的改动恢复到改动之前，而redo操作是指重新实现这种改动。会不会影响整个系统的性能，会不会降低系统的并发程度等。
在本实施例中，通过获取样本表单数据，对所述样本表单数据进行分类、数据抽取，获得公共字段数据和不确定字段数据，根据各业务类型对应的公共字段数据，建立各业务类型下结构化字段与结构化数据之间的对应关系，根据各业务类型对应的不确定字段数据，建立各业务类型下非结构化字段与非结构化数据之间的对应关系，提高数据存储和查询过程中的可拓展性和灵活性，满足多样化的业务需求，同时提高数据查询的效率。
参照图4，图4为本申请结构化与非结构化数据查询方法第三实施例的流程示意图，基于上述第一实施例或第二实施例，提出本申请结构化与非结构化数据查询方法的第三实施例。本实施例基于所述第一实施例进行说明。
在第三实施例中，所述第二预设数据库包括指定存储区域和自由存储区域；在所述步骤S40之后，还包括：
步骤S50：所述第二预设数据库包括指定存储区域和自由存储区域，获取所述第二预设数据库中各非结构化数据的调用频率。
应理解的是，在所述查询终端进行多次数据查询之后，还可对所述第二预设数据库中的存储区域进行划分，划分为指定存储区域和自由存储区域，所述指定存储区域用以对应存储调用频率较高的非结构化数据。
可理解的是，所述调用频率是指所述第二预设数据库中各所述非结构化数据被查询或使用的频率。若某种数据经常被查询或被使用，则对应的调用频率越高。对于调用频率低的非结构化数据可设置第一时长阈值，比如一天或12个小时，对调用频率低的非结构化数据及时进行清空处理，以空出存储区域用于存储新的数据；对于调用频率高的非结构化数据可以设置第二时长阈值，比如一个月或一周；所述第一时长阈值小于所述第二时长阈值。
步骤S60：判断各非结构化数据的调用频率是否超过预设频率阈值。
在具体实现中，所述预设频率阈值可根据经验值进行设置，将所述第二预设数据库中存储的各非结构化数据的调用频率与所述预设频率阈值进行比较，若所述调用频率超过所述预设频率阈值，说明对应的非结构化数据经常被查询或使用，若所述调用频率未超过所述预设频率阈值，说明对应的非结构化数据很少被查询或使用。
步骤S70：若所述调用频率超过所述预设频率阈值，则将对应的非结构化数据存储至所述指定存储区域。
需要说明的是，所述调用频率超过所述预设频率阈值的非结构化数据即为经常被查询或使用的数据，可将其存储至所述指定存储区域，可对所述指定存储区域设置较长的存储时间。
步骤S80：若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域。
在具体实现中，所述自由存储区域可用于存储调用频率较低的所述非结构化数据。可对所述自由存储区域设置第一时长阈值，比如一天，则所述自由存储区域的数据每隔一天更新一次；而对所述指定存储区域设置第二时长阈值，比如一周，则所述指定存储区域的数据每隔一周更新一次，所述第一时长阈值小于所述第二时长阈值。
进一步地，在本实施例中，在所述步骤S70或所述步骤S80之后，还包括：
获取所述结构化数据和所述非结构化数据的存储时长；
判断所述存储时长是否超过预设时长；
在所述存储时长超过所述预设时长时，对所述结构化数据和所述非结构化数据进行清空或更新处理。
应理解的是，每隔所述预设时长对所述结构化数据和所述非结构化数据进行更新，以满足业务更新需求，还可每隔所述预设时长对所述第一预设数据库中的所述结构化数据和所述第二预设数据库中的所述非结构化数据进行清空处理，使得所述第一预设数据库和所述第二预设数据库有足够的空间存储最新的表单数据。还可对清空或更新处理分别设置不同的预设时长，比如每隔第一预设时间(比如12小时)将所述预设缓存中的所述结构化表字段和所述非结构化表字段更新至服务器，每隔第二预设时间(比如一天)对所述预设缓存中的所述结构化表字段和所述非结构化表字段进行清空处理。
可理解的是，可通过在存储所述结构化数据和所述非结构化数据时，记录存储时间；获取当前时间，计算所述当前时间与所述存储时间之间的时间差值，在所述时间差值超过所述预设时长时，对数据库中存储的所述结构化数据和所述非结构化数据进行清空或更新处理。
进一步地，在本实施例中，所述预设时长包括：第一时长阈值和第二时长阈值，所述第一时长阈值小于所述第二时长阈值；
所述在所述存储时长超过所述预设时长时，对所述结构化表字段和所述非结构化表字段进行清空处理，包括：
在所述存储时长超过所述第一时长阈值时，对所述自由存储区域中的非结构化数据进行清空或更新处理；
在所述存储时长超过所述第二时长阈值时，对所述第一预设数据库中的所述结构化数据和所述指定存储区域中的非结构化数据进行清空或更新处理。
需要说明的是，所述第一时长阈值可以是一天或者12个小时，在所述存储时长超过所述第一时长阈值时，对所述自由存储区域中的非结构化数据进行清空或更新处理，以空出存储区域用于存储新的数据。所述第二时长阈值可以是一周或者一个月，在所述存储时长超过所述第二时长阈值时，对所述第一预设数据库中的所述结构化数据和所述指定存储区域中的非结构化数据进行清空或更新处理，以空出存储区域用于存储新的数据。
在本实施例中，所述第二预设数据库包括指定存储区域和自由存储区域，将所述结构化表字段存储至所述指定存储区域，获取所述非结构化数据的调用频率，将所述调用频率超过所述预设频率阈值的非结构化数据存储至所述指定存储区域，将所述调用频率未超过所述预设频率阈值的非结构化数据存储至所述自由存储区域，存储调用频率较高的所述非结构化数据进行长时间存储，方便调用，对调用频率较低的所述非结构化数据及时清空，使得第一预设数据库和第二预设数据库有足够的空间存储最新的表单数据。
此外，本申请实施例还提出一种存储介质，所述存储介质上存储有结构化与非结构化数据查询程序，所述结构化与非结构化数据查询程序被处理器执行时实现如上文所述的结构化与非结构化数据查询方法的步骤。
此外，参照图5，本申请实施例还提出一种结构化与非结构化数据查询装置，所述结构化与非结构化数据查询装置包括：
接收模块10，用于接收查询终端发送的携带有业务类型标识的数据查询请求。
应理解的是，为了提高查询效率，业务数据按照业务类型进行分类存储，所述业务类型标识用于区分不同的业务。当所述结构化与非结构化数据查询设备接收到所述数据查询请求后，还需对所述数据查询请求进行查询权限的识别，所述数据查询指令通常包括查询终端标识，通常会预先建立查询终端标识与查询权限之间的对应关系，可通过所述查询终端标识识别所述数据查询请求否有对应的查询权限。所述数据查询指令通常还包括用户标识，所述用户标识用于标识需要查询的目标数据对应的目标用户，每一个用户有唯一的用户标识，以对不同的用户进行区分，在进行数据查询时，通过在所述数据查询请求中一并携带所述用户标识以准确查询目标数据。
获取模块20，用于基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段。
需要说明的是，所述数据查询请求为所述查询终端发送的读取目标表单数据的请求，可从所述数据查询请求中提取出目标业务类型，所述目标业务类型为具体的业务产品，比如，所述目标业务类型可以是具体的贷款产品，一个贷款产品是由多个贷款页面组成，所有页面数据提交后会生成一条表单信息，所述表单信息保存在结构化字段和非结构化字段中，根据所述目标业务类型查找对应的结构化数据和非结构化数据，一对二的对应关系，其实是业务类型对应表单信息，所述表单信息包括结构化字段和非结构化字段数据。故可通过所述业务类型标识查找到对应的目标表单，所述目标表单中包括结构化字段和非结构化字段。
可理解的是，所述结构化字段是依据业务系统中各业务机构均使用的标准字段制定的，比如贷款系统中的各家贷款机构，都会使用的标准字段来制定的，具体包括贷款人、贷款人手机号、贷款金额、贷款期限和贷款用途等，这样的字段在任何贷款机构任何贷款类型都会使用到。所述非结构化字段为没有固定结构的数据，采用子字段、多值字段以及变长字段的机制，允许创建许多不同类型的非结构化的或任意格式的字段。各种业务类型对应各种表单信息，所述业务类型标识用于区分不同业务类型。
查询模块30，用于根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系。
在具体实现中，所述第一预设数据库中预先存储了所述结构化字段与所述结构化数据之间的对应关系，根据所述结构化字段与所述结构化数据之间的对应关系，从所述第一预设数据库中查找与所述结构化字段对应的结构化数据。所述第二预设数据库中预先存储了所述非结构化字段与所述非结构化数据之间的对应关系，可根据所述非结构化字段与所述非结构化数据之间的对应关系，从所述第一预设数据库中查找与所述非结构化字段对应的非结构化数据。
发送模块40，用于将所述结构化数据和所述非结构化数据发送至所述查询终端。
应理解的是，根据所述结构化字段和所述非结构化字段查找到对应的结构化数据和非结构化数据，所述结构化数据和所述非结构化数据构成所述查询终端请求的目标数据。为了提高数据传输过程中的安全性，可在发送数据之前，对所述结构化数据和所述非结构化数据进行加密。可获取当前时间，根据所述当前时间和所述业务类型标识生成加密密钥，所述当前时间可以是一个时间段；根据所述加密密钥对所述结构化数据和所述非结构化数据进行加密，获得加密结构化数据和加密非结构化数据；将所述加密结构化数据和所述加密非结构化数据发送至所述查询终端。所述查询终端在接收到所述加密结构化数据和所述加密非结构化数据后，根据所述当前时间和所述业务类型标识查找对应的解密密钥，根据所述解密密钥对所述加密结构化数据和所述加密非结构化数据进行解密，获得所述结构化数据和所述非结构化数据。
本实施例中，通过接收查询终端发送的携带有业务类型标识的数据查询请求，基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单，其中，所述目标表单中包括结构化字段和非结构化字段，根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据，基于业务类型进行分类查询，以提高数据查询效率；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系，将所述结构化数据和所述非结构化数据发送至所述查询终端，结构化和非结构化相结合避免系统内部数据结构的约束，满足高效及动态的数据存储需求，同时使得系统的可扩展性增强，基于结构化数据和非结构化数据，在兼顾数据安全性的同时提高数据查询效率。
在一实施例中，所述结构化与非结构化数据查询装置，还包括：
分类模块，用于获取样本表单数据，并将所述样本表单数据按照业务类型进行分类，获得各业务类型对应的表单数据；
数据抽取模块，用于对各业务类型对应的表单数据进行数据抽取，获得各业务类型对应的公共字段数据；
建立模块，用于根据各业务类型对应的公共字段数据，建立各业务类型下结构化字段与结构化数据之间的对应关系，并将所述结构化字段与所述结构化数据之间的对应关系存储至第一预设数据库；
认定模块，用于将各业务类型对应的表单数据中除了所述公共字段数据之外的其他数据作为不确定字段数据；
所述建立模块，还用于根据各业务类型对应的不确定字段数据，建立各业务类型下非结构化字段与非结构化数据之间的对应关系，并将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库。
在一实施例中，所述结构化与非结构化数据查询装置还包括：
存储模块，用于获取所述非结构化数据的目标数据量；判断所述目标数据量是否大于预设数据量阈值；在所述目标数据量大于所述预设数据量阈值时，将所述非结构化字段与所述非结构化数据之间的对应关系通过文件系统进行存储，获得所述非结构化数据的存储访问路径，并将所述存储访问路径存储至第二预设数据库。
在一实施例中，所述第二预设数据库包括指定存储区域和自由存储区域；
所述存储模块，还用于获取所述第二预设数据库中各非结构化数据的调用频率；判断各非结构化数据的调用频率是否超过预设频率阈值；若所述调用频率超过所述预设频率阈值，则将对应的非结构化数据存储至所述指定存储区域；若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域。
在一实施例中，所述结构化与非结构化数据查询装置还包括：
更新模块，用于获取所述结构化数据和所述非结构化数据的存储时长；判断所述存储时长是否超过预设时长；在所述存储时长超过所述预设时长时，对所述结构化数据和所述非结构化数据进行清空或更新处理。
在一实施例中，所述预设时长包括：第一时长阈值和第二时长阈值，所述第一时长阈值小于所述第二时长阈值；
所述更新模块，还用于在所述存储时长超过所述第一时长阈值时，对所述自由存储区域中的非结构化数据进行清空或更新处理；在所述存储时长超过所述第二时长阈值时，对所述第一预设数据库中的所述结构化数据和所述指定存储区域中的非结构化数据进行清空或更新处理。
在一实施例中，所述发送模块40，还用于获取当前时间，根据所述当前时间和所述业务类型标识生成加密密钥；根据所述加密密钥对所述结构化数据和所述非结构化数据进行加密，获得加密结构化数据和加密非结构化数据；将所述加密结构化数据和所述加密非结构化数据发送至所述查询终端。
本申请所述结构化与非结构化数据查询装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种结构化与非结构化数据查询方法，其特征在于，所述结构化与非结构化数据查询方法包括以下步骤：
接收查询终端发送的携带有业务类型标识的数据查询请求；
基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段；
根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系；
将所述结构化数据和所述非结构化数据发送至所述查询终端。
2.如权利要求1所述的结构化与非结构化数据查询方法，其特征在于，所述接收查询终端发送的携带有业务类型标识的数据查询请求之前，所述结构化与非结构化数据查询方法还包括：
获取样本表单数据，并将所述样本表单数据按照业务类型进行分类，获得各业务类型对应的表单数据；
对各业务类型对应的表单数据进行数据抽取，获得各业务类型对应的公共字段数据；
根据各业务类型对应的公共字段数据，建立各业务类型下结构化字段与结构化数据之间的对应关系，并将所述结构化字段与所述结构化数据之间的对应关系存储至第一预设数据库；
将各业务类型对应的表单数据中除了所述公共字段数据之外的其他数据作为不确定字段数据；
根据各业务类型对应的不确定字段数据，建立各业务类型下非结构化字段与非结构化数据之间的对应关系，并将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库。
3.如权利要求2所述的结构化与非结构化数据查询方法，其特征在于，所述将所述非结构化字段与所述非结构化数据之间的对应关系存储至第二预设数据库，包括：
获取所述非结构化数据的目标数据量；
判断所述目标数据量是否大于预设数据量阈值；
在所述目标数据量大于所述预设数据量阈值时，将所述非结构化字段与所述非结构化数据之间的对应关系通过文件系统进行存储，获得所述非结构化数据的存储访问路径，并将所述存储访问路径存储至第二预设数据库。
4.如权利要求1～3中任一项所述的结构化与非结构化数据查询方法，其特征在于，所述第二预设数据库包括指定存储区域和自由存储区域；
所述将所述结构化数据和所述非结构化数据发送至所述查询终端之后，所述结构化与非结构化数据查询方法还包括：
获取所述第二预设数据库中各非结构化数据的调用频率；
判断各非结构化数据的调用频率是否超过预设频率阈值；
若所述调用频率超过所述预设频率阈值，则将对应的非结构化数据存储至所述指定存储区域；
若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域。
5.如权利要求4所述的结构化与非结构化数据查询方法，其特征在于，所述若所述调用频率未超过所述预设频率阈值，则将对应的非结构化数据存储至所述自由存储区域之后，所述结构化与非结构化数据查询方法还包括：
获取所述结构化数据和所述非结构化数据的存储时长；
判断所述存储时长是否超过预设时长；
在所述存储时长超过所述预设时长时，对所述结构化数据和所述非结构化数据进行清空或更新处理。
6.如权利要求5所述的结构化与非结构化数据查询方法，其特征在于，所述预设时长包括：第一时长阈值和第二时长阈值，所述第一时长阈值小于所述第二时长阈值；
所述在所述存储时长超过所述预设时长时，对所述结构化数据和所述非结构化数据进行清空或更新处理，包括：
在所述存储时长超过所述第一时长阈值时，对所述自由存储区域中的非结构化数据进行清空或更新处理；
在所述存储时长超过所述第二时长阈值时，对所述第一预设数据库中的所述结构化数据和所述指定存储区域中的非结构化数据进行清空或更新处理。
7.如权利要求1～3中任一项所述的结构化与非结构化数据查询方法，其特征在于，所述将所述结构化数据和所述非结构化数据发送至所述查询终端，包括：
获取当前时间，根据所述当前时间和所述业务类型标识生成加密密钥；
根据所述加密密钥对所述结构化数据和所述非结构化数据进行加密，获得加密结构化数据和加密非结构化数据；
将所述加密结构化数据和所述加密非结构化数据上传至区块链中；
当接收数据查询需求时，将所述加密结构化数据和所述加密非结构化数据发送至所述查询终端。
8.一种结构化与非结构化数据查询装置，其特征在于，所述结构化与非结构化数据查询装置包括：
接收模块，用于接收查询终端发送的携带有业务类型标识的数据查询请求；
获取模块，用于基于所述数据查询请求，从目标数据库中获取与所述业务类型标识对应的目标表单；其中，所述目标表单中包括结构化字段和非结构化字段；
查询模块，用于根据所述结构化字段和所述非结构化字段，分别从第一预设数据库和第二预设数据库中查询得到结构化数据和非结构化数据；其中，所述第一预设数据库中的内容用于描述所述结构化字段与所述结构化数据之间的对应关系，所述第二预设数据库中的内容用于描述所述非结构化字段与所述非结构化数据之间的对应关系；
发送模块，用于将所述结构化数据和所述非结构化数据发送至所述查询终端。
9.一种结构化与非结构化数据查询设备，其特征在于，所述结构化与非结构化数据查询设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的结构化与非结构化数据查询程序，所述结构化与非结构化数据查询程序被所述处理器执行时实现如权利要求1至7中任一项所述的结构化与非结构化数据查询方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有结构化与非结构化数据查询程序，所述结构化与非结构化数据查询程序被处理器执行时实现如权利要求1至7中任一项所述的结构化与非结构化数据查询方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010370881.1A CN111563098A (zh) | 2020-04-30 | 2020-04-30 | 结构化与非结构化数据查询方法、设备、存储介质及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010370881.1A CN111563098A (zh) | 2020-04-30 | 2020-04-30 | 结构化与非结构化数据查询方法、设备、存储介质及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111563098A true CN111563098A (zh) | 2020-08-21 |
Family
ID=72069037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010370881.1A Pending CN111563098A (zh) | 2020-04-30 | 2020-04-30 | 结构化与非结构化数据查询方法、设备、存储介质及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563098A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112434125A (zh) * | 2020-11-30 | 2021-03-02 | 中国人寿保险股份有限公司 | 索引结构、非结构化数据的检索方法、装置和设备 |
| CN112612801A (zh) * | 2020-12-17 | 2021-04-06 | 平安普惠企业管理有限公司 | 基于supersonic库的数据统计方法、装置及存储介质 |
| CN112732756A (zh) * | 2020-12-30 | 2021-04-30 | 北京奇艺世纪科技有限公司 | 数据查询方法、装置、设备及存储介质 |
| CN113076153A (zh) * | 2021-03-29 | 2021-07-06 | 北京京东振世信息技术有限公司 | 一种接口调用方法和装置 |
| CN113420099A (zh) * | 2021-07-06 | 2021-09-21 | 广州方硅信息技术有限公司 | 埋点数据访问控制方法、装置以及计算机设备、存储介质 |
| CN118051543A (zh) * | 2024-04-16 | 2024-05-17 | 宁德时代新能源科技股份有限公司 | 电池数据的查询方法、系统、电子设备和存储介质 |
| CN118093654A (zh) * | 2024-02-19 | 2024-05-28 | 中国科学院空间应用工程与技术中心 | 一种支持航天工程大规模数据查询检索方法及系统 |
-
2020
- 2020-04-30 CN CN202010370881.1A patent/CN111563098A/zh active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112434125A (zh) * | 2020-11-30 | 2021-03-02 | 中国人寿保险股份有限公司 | 索引结构、非结构化数据的检索方法、装置和设备 |
| CN112612801A (zh) * | 2020-12-17 | 2021-04-06 | 平安普惠企业管理有限公司 | 基于supersonic库的数据统计方法、装置及存储介质 |
| CN112732756A (zh) * | 2020-12-30 | 2021-04-30 | 北京奇艺世纪科技有限公司 | 数据查询方法、装置、设备及存储介质 |
| CN112732756B (zh) * | 2020-12-30 | 2023-08-18 | 北京奇艺世纪科技有限公司 | 数据查询方法、装置、设备及存储介质 |
| CN113076153A (zh) * | 2021-03-29 | 2021-07-06 | 北京京东振世信息技术有限公司 | 一种接口调用方法和装置 |
| CN113076153B (zh) * | 2021-03-29 | 2023-09-01 | 北京京东振世信息技术有限公司 | 一种接口调用方法和装置 |
| CN113420099A (zh) * | 2021-07-06 | 2021-09-21 | 广州方硅信息技术有限公司 | 埋点数据访问控制方法、装置以及计算机设备、存储介质 |
| CN113420099B (zh) * | 2021-07-06 | 2022-11-04 | 广州方硅信息技术有限公司 | 埋点数据访问控制方法、装置以及计算机设备、存储介质 |
| CN118093654A (zh) * | 2024-02-19 | 2024-05-28 | 中国科学院空间应用工程与技术中心 | 一种支持航天工程大规模数据查询检索方法及系统 |
| CN118093654B (zh) * | 2024-02-19 | 2024-10-18 | 中国科学院空间应用工程与技术中心 | 一种支持航天工程大规模数据查询检索方法及系统 |
| CN118051543A (zh) * | 2024-04-16 | 2024-05-17 | 宁德时代新能源科技股份有限公司 | 电池数据的查询方法、系统、电子设备和存储介质 |
| CN118051543B (zh) * | 2024-04-16 | 2024-08-30 | 宁德时代新能源科技股份有限公司 | 电池数据的查询方法、系统、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563098A (zh) | 结构化与非结构化数据查询方法、设备、存储介质及装置 | |
| CN109325729B (zh) | 一种生成电子合同的方法及服务器 | |
| CN102402605B (zh) | 用于搜索引擎索引的混合分布模型 | |
| CN106681739B (zh) | 一种智能合约的自动化生成方法 | |
| CN112613917B (zh) | 基于用户画像的信息推送方法、装置、设备及存储介质 | |
| AU2014262240B2 (en) | Entity resolution from documents | |
| CN109597822B (zh) | 一种用户数据的存储及查询方法和用户数据处理装置 | |
| CN105488050B (zh) | 一种数据库多索引方法、装置及系统 | |
| CN111274045B (zh) | 一种多平台对接方法、装置、计算机设备及可读存储介质 | |
| CN110336786B (zh) | 消息发送方法、装置、计算机设备和存储介质 | |
| CN111159183B (zh) | 报表生成方法、电子装置及计算机可读存储介质 | |
| CN112507212A (zh) | 智能回访方法、装置、电子设备及可读存储介质 | |
| CN115544183A (zh) | 数据可视化方法、装置、计算机设备和存储介质 | |
| CN111737764A (zh) | 生成描述信息的方法及装置 | |
| CN112035676A (zh) | 用户操作行为知识图谱构建方法及装置 | |
| CN111339566B (zh) | 区块摘要方法、装置、计算机设备和存储介质 | |
| CN112182107A (zh) | 名单数据获取方法、装置、计算机设备及存储介质 | |
| CN115687276B (zh) | 一种文件处理方法、装置、电子设备及存储介质 | |
| CN110737644A (zh) | 客户信息整合的方法、装置及计算机可读存储介质 | |
| CN115828297A (zh) | 一种敏感信息数据处理方法、装置、设备及存储介质 | |
| CN115098738A (zh) | 业务数据的提取方法、装置、存储介质及电子设备 | |
| CN111585897B (zh) | 请求路由管理方法、系统、计算机系统及可读存储介质 | |
| CN111539728B (zh) | 基于计算机软件实现匿名化身份验证的方法 | |
| CN114490719A (zh) | 一种数据查询方法、装置、电子设备以及存储介质 | |
| CN111611056A (zh) | 数据处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |