CN117171418A - 一种多数据形态的实时的可联合的查询系统 - Google Patents
一种多数据形态的实时的可联合的查询系统 Download PDFInfo
- Publication number
- CN117171418A CN117171418A CN202311249740.4A CN202311249740A CN117171418A CN 117171418 A CN117171418 A CN 117171418A CN 202311249740 A CN202311249740 A CN 202311249740A CN 117171418 A CN117171418 A CN 117171418A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- query
- storage bin
- data storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 claims abstract description 177
- 238000010276 construction Methods 0.000 claims abstract description 19
- 238000004806 packaging method and process Methods 0.000 claims abstract description 11
- 230000009193 crawling Effects 0.000 claims description 53
- 238000000605 extraction Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了一种多数据形态的实时的可联合的查询系统，包括：数据存储仓构建模块，构建多个数据存储仓；网络获取模块，确定每个数据存储仓中数据的关联关系，并基于关联关系对数据存储仓进行封装，获得数据查询网络；数据查询模块，构建查询索引，并当进行查询时，向数据查询网络输入目标查询索引，并基于目标查询索引在数据查询网络调取待查询数据；提高了数据查询的全面性以及数据的利用效率。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种多数据形态的实时的可联合的查询系统。
背景技术
目前，数据形态是描述数据存在的形式，例如包括：数据序列、图像数据、文本数据等多种数据形态，通过对数据形态的了解，可以有效将数据具体化形象化的展现，使得对数据进行读取的过程更加便利与准确；
然而，在现有技术中，对数据处理的方式是基于单一的数据形态进行处理，从而当进行查询时，也仅仅可以查询到一种数据形态下对应的数据，使得数据管理与查询功能单一，不利于对数据的全面了解，无法实现在同一语义下多种数据形态对应的数据进行同一的查询，进而使得数据查询效率低下且数据可利用率差；
因此，为了克服上述问题，本发明提供了一种多数据形态的实时的可联合的查询系统。
发明内容
本发明提供一种多数据形态的实时的可联合的查询系统，用以通过构建数据查询网络实现对多数据形态的综合查询，提高了数据查询的全面性以及数据的利用效率。
一种多数据形态的实时的可联合的查询系统，包括：
数据存储仓构建模块，构建多个数据存储仓；
网络获取模块，确定每个数据存储仓中数据的关联关系，并基于关联关系对数据存储仓进行封装，获得数据查询网络；
数据查询模块，构建查询索引，并当进行查询时，向数据查询网络输入目标查询索引，并基于目标查询索引在数据查询网络调取待查询数据。
优选的，一种多数据形态的实时的可联合的查询系统，数据存储仓构建模块，包括：
指令生成单元，用于确定数据查询形态以及数据查询范围，并基于数据查询形态以及数据查询范围生成数据爬取指令；
数据爬取单元，用于基于数据爬取指令在目标网页爬取目标数据；
存储仓构建单元，用于基于数据查询形态构建对应的数据存储仓，同时，基于数据查询形态将目标数据进行分类，并基于分类结果将对应的关键数据存储至数据存储仓，完成对数据存储仓的构建与存储。
优选的，一种多数据形态的实时的可联合的查询系统，指令生成单元，包括：
第一爬取指令元获取子单元，用于对数据查询形态进行读取，确定数据查询形态对应的形态特征，并基于数据查询形态对应的形态特征生成第一爬取指令元；
第二爬取指令元获取子单元，用于获取每个数据查询形态对应的数据查询范围，并基于每个数据查询形态对应的数据查询范围确定第二爬取指令元；
数据爬取指令生成子单元，用于将第一爬取指令元与第二爬取指令元进行综合，获得数据爬取指令。
优选的，一种多数据形态的实时的可联合的查询系统，数据爬取单元，包括：
数据提取子单元，用于：
在目标网页爬取目标数据之后，对目标数据进行读取，确定目标数据中存在的相同目标数据，同时，保留相同目标数据中的一个，且将剩余目标数据进行第一提取，获得第一子目标数据集；
获取目标数据的基准数据范围，并在目标数据中对超出基准数据范围的目标数据进行第二提取，获得第二子目标数据集；
数据剔除子单元，用于将第一子目标数据集与第二子目标数据集进行综合，获得第三子目标数据集，同时，将第三子目标数据集在目标数据中进行剔除。
优选的，一种多数据形态的实时的可联合的查询系统，网络获取模块，包括：
数据读取策略获取单元，用于获取每个数据存储仓的数据形态，将数据存储仓的数据形态传输至预设数据读取策略库中进行匹配，确定数据存储仓对应的数据读取策略；
数据查询网络确定单元，用于：
基于数据读取策略对数据存储仓中的目标数据进行读取，确定目标数据对应的数据语义，并基于目标数据对应的数据语义确定每个数据存储仓中数据的关联关系；
基于关联关系，将数据存储仓进行封装，获得数据查询网络。
优选的，一种多数据形态的实时的可联合的查询系统，数据查询网络确定单元，包括：
语义确定子单元，用于：
获取第一数据存储仓中对应的第一数据读取策略，并基于第一数据读取策略对第一数据存储仓中的第一目标数据集进行第一读取，确定第一数据存储仓中目标数据集中每个第一目标数据对应的第一语义；
获取第二数据存储仓中对应的第二数据读取策略，并基于第二数据读取策略对第二数据存储仓中的第二目标数据集进行第二读取，确定第二数据存储仓中目标数据集中每个第二目标数据对应的第二语义；
关联判定子单元，用于：
基于第一语义与第二语义计算第一目标数据与第二目标数据之间的目标相似度，同时，获取目标相似度阈值；
将目标相似度与目标相似度阈值进行比较，判断第一目标数据与第二目标数据是否相关联；
当目标相似度等于或大于目标相似度阈值时，则判定第一目标数据与第二目标数据相关联；
否则，则判定第一目标数据与第二目标数据不关联；
标签确定子单元，用于：
当第一目标数据与第二目标数据相关联时，将第一目标数据与第二目标数据进行连接，确定第一数据存储仓与第二存储仓中的子关联支路，同时，获取第一语义的第一语义标识，并获取第二语义的第二语义标识；
将第一语义标识与第二语义标识进行综合，获得第三语义标识，将第三语义标识作为子关联支路对应的子支路标签；
网络确定子单元，用于：
对子关联支路以及子关联支路对应的子支路标签进行综合，确定第一数据存储仓与第二数据存储仓的关联支路；
重复上述操作确定多个数据存储仓之间的关联支路，并将多个数据存储仓之间的关联支路进行综合并封装，获得数据查询网络。
优选的，一种多数据形态的实时的可联合的查询系统，数据查询模块，包括：
查询索引构建单元，用于：
获取数据存储仓的仓标识，并基于数据存储仓的仓标识生成第一子查询索引，同时，获取每个数据存储仓中目标数据的数据语义标识，并基于数据语义标识生成第二子查询索引；
将第一子查询索引与第二子查询索引进行综合，获得第一查寻指引因子；
基于数据查询网络中的各个数据存储仓之间的网络支路生成对应的第二查询指引因子；
将第一查询指引因子与第二查询指引因子进行综合，获得查询索引；
查询单元，用于当进行查询时，向数据查询网络输入目标查询索引，并基于目标查询索引在数据查询网络调取待查询数据。
优选的，一种多数据形态的实时的可联合的查询系统，查询单元，包括：
索引读取子单元，用于对目标查询索引进行读取，确定目标查询索引对应的目标仓标识与目标数据语义标识；
识别子单元，用于：
基于目标仓标识在数据查询网络中进行第一识别，确定目标数据存储仓；
基于目标数据语义标识在目标数据存储仓中进行第二识别，并基于识别结果确定与目标数据语义标识一致的第一待查询数据；
获取与目标数据存储仓对应的目标网络支路，并基于目标网络支路确定目标数据存储仓的关联数据存储仓；
基于目标数据语义标识在关联数据存储仓中进行第三识别，获得在关联数据存储仓中与目标数据语义标识一致的第二待查询数据；
数据调取子单元，用于将第一待查询数据与第二待查询数据在数据查询网络中进行调取，完成基于目标查询索引在数据查询网络对待查询数据的调取。
优选的，一种多数据形态的实时的可联合的查询系统，数据查询模块，包括：
数据形态确定单元，用于当在数据查询网络中调取到待查询数据之后，对待查询数据进行读取，确定待查询数据的目标数据形态；
显示目标获取单元，用于基于目标数据形态在预设模板库中摘取目标显示模板；
可视化显示单元，用于根据目标显示模板将对应的待查询数据进行记录，并基于记录结果完成对待查询数据的可视化显示。
优选的，一种多数据形态的实时的可联合的查询系统，可视化显示单元，包括：
可视化显示包括：监控终端显示与远程终端显示。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种多数据形态的实时的可联合的查询系统结构图；
图2为本发明实施例中一种多数据形态的实时的可联合的查询系统中数据存储仓构建模块结构图；
图3为本发明实施例中一种多数据形态的实时的可联合的查询系统中网络获取模块结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本实施例提供了一种多数据形态的实时的可联合的查询系统，如图1所示，包括：
数据存储仓构建模块，构建多个数据存储仓；
网络获取模块，确定每个数据存储仓中数据的关联关系，并基于关联关系对数据存储仓进行封装，获得数据查询网络；
数据查询模块，构建查询索引，并当进行查询时，向数据查询网络输入目标查询索引，并基于目标查询索引在数据查询网络调取待查询数据。
该实施例中，数据存储仓可以是存储有多种不同数据形态的数据的存储介质，即存储数据的空间。
该实施例中，关联关系可以是数据存储仓中不同数据之间的相互依赖或相互作用关系。
该实施例中，基于关联关系对数据存储仓进行封装，获得数据查询网络可以是将将不同的数据存储仓进行关联，从而便于构建出相应的数据查询网络，目的是便于在存在数据查询请求时，可从数据查询网络中快速准确的查询到相应的待查询数据，其中，数据查询网络即为将不同的数据存储仓进行封装关联后得到的整体的数据存储仓，从而便于得到所有数据对应的查询体系。
该实施例中，查询索引可以是用于查询不同数据存储仓中存储的数据的参考依据，包括数据的标签以及存储的位置等，通过查询索引可快速对数据查询网络中的待查询数据进行调取。
该实施例中，目标查询索引可以是需要在数据查询网络中进行查询的索引，是构建的查询索引中的一条或几条等。
该实施例中，待查询数据可以是根据目标查询索引从数据查询网络中确定出的满足查询要求的数据。
上述技术方案的有益效果是：通过构建数据查询网络实现对多数据形态的综合查询，提高了数据查询的全面性以及数据的利用效率。
实施例2：
在实施例1的基础上，本实施例提供了一种多数据形态的实时的可联合的查询系统，如图2所示，数据存储仓构建模块，包括：
指令生成单元，用于确定数据查询形态以及数据查询范围，并基于数据查询形态以及数据查询范围生成数据爬取指令；
数据爬取单元，用于基于数据爬取指令在目标网页爬取目标数据；
存储仓构建单元，用于基于数据查询形态构建对应的数据存储仓，同时，基于数据查询形态将目标数据进行分类，并基于分类结果将对应的关键数据存储至数据存储仓，完成对数据存储仓的构建与存储。
该实施例中，数据查询形态可以是需要查询的数据类型以及需要查询的数据数量等。
该实施例中，数据查询范围可以是能够进行查询的数据种类，从而便于从相应目标网页上爬取相应的目标数据，其中，目标数据即为需要获取到的数据，即为构建数据存储仓所需的数据。
该实施例中，目标网页是提前设定好的，是即互联网页面。
该实施例中，关键数据可以是根据数据查询形态将得到的目标数据进行分类后，能够直接存储至相应数据存储仓的数据，是目标网页爬取到的目标数据的一部分。
上述技术方案的有益效果是：通过确定数据查询形态以及对应的数据查询范围，实现生成相应的数据爬取指令，便于根据数据爬取指令从目标网页中爬取相应的目标数据，并将目标数据进行分类，存储至相应的数据存储仓，实现对数据存储仓进行准确可靠的构建，也保障了数据存储仓内数据的准确可靠性以及全面性。
实施例3：
在实施例2的基础上，本实施例提供了一种多数据形态的实时的可联合的查询系统，指令生成单元，包括：
第一爬取指令元获取子单元，用于对数据查询形态进行读取，确定数据查询形态对应的形态特征，并基于数据查询形态对应的形态特征生成第一爬取指令元；
第二爬取指令元获取子单元，用于获取每个数据查询形态对应的数据查询范围，并基于每个数据查询形态对应的数据查询范围确定第二爬取指令元；
数据爬取指令生成子单元，用于将第一爬取指令元与第二爬取指令元进行综合，获得数据爬取指令。
该实施例中，形态特征可以是数据查询形态表征的具体查询方式以及对查询数据的查询要求。
该实施例中，第一爬取指令元可以是根据数据查询形态的形态特征确定的，是构成数据爬取指令的一部分。
该实施例中，第二爬取指令元是根据数据查询范围确定，用于在数据爬取指令中限定需要爬取的数据范围，也是数据爬取指令中的一部分。
上述技术方案的有益效果是：通过根据数据查询形态的形态特征和数据查询范围分别生成对应的第一爬取指令元和第二爬取指令元，最后将爬取到的第一指令元和第二指令元进行综合，实现对数据爬取指令进行准确有效的获取，也保障了通过数据爬取指令从目标网页上爬取目标数据的准确性以及可靠性，保障了构建的数据存储仓的全面有效。
实施例4：
在实施例2的基础上，本实施例提供了一种多数据形态的实时的可联合的查询系统，数据爬取单元，包括：
数据提取子单元，用于：
在目标网页爬取目标数据之后，对目标数据进行读取，确定目标数据中存在的相同目标数据，同时，保留相同目标数据中的一个，且将剩余目标数据进行第一提取，获得第一子目标数据集；
获取目标数据的基准数据范围，并在目标数据中对超出基准数据范围的目标数据进行第二提取，获得第二子目标数据集；
数据剔除子单元，用于将第一子目标数据集与第二子目标数据集进行综合，获得第三子目标数据集，同时，将第三子目标数据集在目标数据中进行剔除。
该实施例中，第一提取可以是将目标数据中的重复数据进行去重处理后，得到的其他的多余的数据，其中，第一子目标数据集即为提取得到的多余的数据，是需要进行剔除的。
该实施例中，基准数据范围可以是目标数据对应的标准范围，即预期要得到的所有数据种类。
该实施例中，第二提取可以是将目标数据中不在基准数据范围的数据进行提取，也是需要从目标数据中进行剔除的一部分，其中，第二子目标数据集即为第二提取得到的结果。
该实施例中，第三子目标数据集可以是将第一子目标数据集和第二子目标数据集进行汇总后得到，即需要进行剔除的所有干扰数据。
上述技术方案的有益效果是：通过对爬取到的目标数据进行分析，实现对目标数据中重复的数据进行第一提取以及不在目标数据对应的基准数据范围的数据进行第二提取，最后，将第一提取和第二提取得到的第一子目标数据集和第二子目标数据集进行汇总后，实现对需要剔除的所有数据进行准确有效的确定，并将汇总的数据进行有效剔除，保障了最终得到的目标数据的准确性，也提高了数据查询的效果。
实施例5：
在实施例1的基础上，本实施例提供了一种多数据形态的实时的可联合的查询系统，如图3所示，网络获取模块，包括：
数据读取策略获取单元，用于获取每个数据存储仓的数据形态，将数据存储仓的数据形态传输至预设数据读取策略库中进行匹配，确定数据存储仓对应的数据读取策略；
数据查询网络确定单元，用于：
基于数据读取策略对数据存储仓中的目标数据进行读取，确定目标数据对应的数据语义，并基于目标数据对应的数据语义确定每个数据存储仓中数据的关联关系；
基于关联关系，将数据存储仓进行封装，获得数据查询网络。
该实施例中，每个数据存储仓的数据形态可以是不同数据存储仓内存储的数据的种类、数据在数据存储仓内呈现的数据格式以及存储的数据量等。
该实施例中，预设数据读取策略库是提前设定好的，用于表征对不同类型的数据进行读取的方式方法。
该实施例中，数据语义可以是目标数据表征的具体数据内容，即目标数据能够实现的功能和要达到的运行目的。
该实施例中，关联关系可以是表征数据存储仓内不同数据之间的相互作用关系以及相互依赖关系等。
上述技术方案的有益效果是：通过根据数据存储仓内的数据形态从预设数据读取策略库中匹配相应的数据读取策略，并通过数据读取策略对相应的目标数据进行读取，实现对不同目标数据的数据语义进行准确有效的确定，从而实现根据数据语义确定目标数据之间的关联关系，最终实现根据关联关系将数据存储仓进行封装，得到全面可靠的数据查询网络，便于根据用户查询需求对待查询数据进行快速准确的调取。
实施例6：
在实施例5的基础上，本实施例提供了一种多数据形态的实时的可联合的查询系统，数据查询网络确定单元，包括：
语义确定子单元，用于：
获取第一数据存储仓中对应的第一数据读取策略，并基于第一数据读取策略对第一数据存储仓中的第一目标数据集进行第一读取，确定第一数据存储仓中目标数据集中每个第一目标数据对应的第一语义；
获取第二数据存储仓中对应的第二数据读取策略，并基于第二数据读取策略对第二数据存储仓中的第二目标数据集进行第二读取，确定第二数据存储仓中目标数据集中每个第二目标数据对应的第二语义；
关联判定子单元，用于：
基于第一语义与第二语义计算第一目标数据与第二目标数据之间的目标相似度，同时，获取目标相似度阈值；
将目标相似度与目标相似度阈值进行比较，判断第一目标数据与第二目标数据是否相关联；
当目标相似度等于或大于目标相似度阈值时，则判定第一目标数据与第二目标数据相关联；
否则，则判定第一目标数据与第二目标数据不关联；
标签确定子单元，用于：
当第一目标数据与第二目标数据相关联时，将第一目标数据与第二目标数据进行连接，确定第一数据存储仓与第二存储仓中的子关联支路，同时，获取第一语义的第一语义标识，并获取第二语义的第二语义标识；
将第一语义标识与第二语义标识进行综合，获得第三语义标识，将第三语义标识作为子关联支路对应的子支路标签；
网络确定子单元，用于：
对子关联支路以及子关联支路对应的子支路标签进行综合，确定第一数据存储仓与第二数据存储仓的关联支路；
重复上述操作确定多个数据存储仓之间的关联支路，并将多个数据存储仓之间的关联支路进行综合并封装，获得数据查询网络。
该实施例中，第一数据存储仓是构建的所有数据存储仓中的一种，其中，第一数据读取策略可以是适用于对当前第一数据存储仓中的数据进行读取的策略，第一目标数据集即为第一数据存储仓中存储的数据元素。
该实施例中，第一语义可以是第一数据存储仓内的第一目标数据对应的具体数据内容。
该实施例中，第二数据存储仓是构建的所有数据存储仓中的一种，其中，第二数据读取策略可以是适用于对当前第二数据存储仓中的数据进行读取的策略，第二目标数据集即为第二数据存储仓中存储的数据元素。
该实施例中，第二语义可以是第二数据存储仓内的第二目标数据对应的具体数据内容。
该实施例中，目标相似度是用于表征第一目标数据与第二目标数据之间的相似情况，取值越大表明二越相似。
该实施例中，目标相似度阈值是提前设定好的，是用于衡量第一目标数据与第二目标数据之间的相似情况是否满足预期要求的最低标准，是可以根据实际情况进行调整的。
该实施例中，子关联支路可以是可以是将第一数据存储仓和第二数据存储仓进行连接的路由，即表征第一数据存储仓和第二数据存储仓存在关联的线路。
该实施例中，第一语义标识可以是对第一语义进行标记的标记标签，第二语义标识可以是对第二语义进行标记的标记标签。
该实施例中，第三语义标识可以是将第一语义标识和第二语义标识进行综合后，用于标记子关联支路，即子支路标签，目的是为了通过第三语义标识(子支路标签)对不同的子关联支路进行区分。
该实施例中，关联支路可以是将所有的子关联支路以及对应的子支路标签进行汇总后，得到能够表征第一数据存储仓与第二数据存储仓之间所有关联关系的链路。
该实施例中，重复上述操作确定多个数据存储仓之间的关联支路可以是重复确定第一数据存储仓与第二数据存储仓的关联支路的操作，直至完成对所有数据存储仓之间的关联支路的确定。
上述技术方案的有益效果是：通过分别读取第一数据存储仓内的第一目标数据的第一语义和第二数据存储仓内的第二目标数据的第二语义，实现根据第一语义和第二语义对第一目标数据和第二目标数据之间的相似度进行准确有效的判断，其次，根据相似度实现对第一数据存储仓和第二数据存储仓之间的关联关系进行锁定，并根据关联关系构建第一数据存储仓和第二数据存储仓之间的子关联支路，最后，重复上述操作，完成对所有数据存储仓之间的关联关系以及关联支路的确定，并将不同数据存储仓之间的关联支路进行综合封装，实现对数据查询网络进行准确有效的构建，保障了构建的数据查询网络中包含的数据的全面性，也便于根据用户需求从数据查询网络中快速准确的查找出待调取数据，保障了数据查询的效果。
实施例7：
在实施例1的基础上，本实施例提供了一种多数据形态的实时的可联合的查询系统，数据查询模块，包括：
查询索引构建单元，用于：
获取数据存储仓的仓标识，并基于数据存储仓的仓标识生成第一子查询索引，同时，获取每个数据存储仓中目标数据的数据语义标识，并基于数据语义标识生成第二子查询索引；
将第一子查询索引与第二子查询索引进行综合，获得第一查寻指引因子；
基于数据查询网络中的各个数据存储仓之间的网络支路生成对应的第二查询指引因子；
将第一查询指引因子与第二查询指引因子进行综合，获得查询索引；
查询单元，用于当进行查询时，向数据查询网络输入目标查询索引，并基于目标查询索引在数据查询网络调取待查询数据。
该实施例中，仓标识可以是用于标记不同数据存储仓的一种标记标签，通过仓标识可实现对数据存储仓进行快速有效的区分。
该实施例中，第一子查询索引可以是根据仓标识生成的，用于表征不同数据存储仓对应的查询依据。
该实施例中，数据语义标识可以是标记不同目标数据对应的语义的标记标签。
该实施例中，第二子查询索引可以是根据数据语义标识生成的，用于表征不同目标数据对应的具体语义情况，从而便于构建出数据查询网络对应的查询索引。
该实施例中，第一查询指引因子可以是将第一子查询索引和第二子查询索引进行综合后得到的用于引导数据查询网络中不同数据所在位置的依据。
该实施例中，网络支路可以是连接不同数据存储仓之间的链路，目的是为了表征不同数据存储仓之间的关联关系，从而便于从不同的数据存储仓中调取查询需求对应的数据。
该实施例中，第二查询因子可以是根据不同数据存储仓之间的网络支路生成的，用于在进行数据查询时，根据关联关系从不同的数据存储仓中调出需要的数据。
该实施例中，查询索引可以是将第一查寻指引因子和第二查询指引因子进行综合后得到的，时进行数据查询的依据，既能表征数据的位置也能表征数据查询网络中数据存储仓内目标数据之间的关联关系。
上述技术方案的有益效果是：通过根据数据存储仓的仓标识生成第一子查询索引和根据数据语义标识生成第二子查询索引，并将第一子查询索引和第二子查询索引进行综合，实现对第一查询指引因子进行准确有效的获取，其次，根据数据存储仓之间的网络支路生成第二查询指引因子，并将第一查询指引因子和第二查询指引因子进行综合，实现对最终需要的查询索引进行准确有效的制定，最后，当存在查询时，向数据查询网络输入目标查询索引，实现根据目标查询索引在数据查询网络中调取待查询数据，保障了对待查询数据调取的准确率和可靠性，同时，提高了数据查询的全面性以及数据的利用效率。
实施例8：
在实施例7的基础上，本实施例提供了一种多数据形态的实时的可联合的查询系统，查询单元，包括：
索引读取子单元，用于对目标查询索引进行读取，确定目标查询索引对应的目标仓标识与目标数据语义标识；
识别子单元，用于：
基于目标仓标识在数据查询网络中进行第一识别，确定目标数据存储仓；
基于目标数据语义标识在目标数据存储仓中进行第二识别，并基于识别结果确定与目标数据语义标识一致的第一待查询数据；
获取与目标数据存储仓对应的目标网络支路，并基于目标网络支路确定目标数据存储仓的关联数据存储仓；
基于目标数据语义标识在关联数据存储仓中进行第三识别，获得在关联数据存储仓中与目标数据语义标识一致的第二待查询数据；
数据调取子单元，用于将第一待查询数据与第二待查询数据在数据查询网络中进行调取，完成基于目标查询索引在数据查询网络对待查询数据的调取。
该实施例中，目标仓标识可以是满足目标查询索引对应的数据存储仓的仓标识。
该实施例中，目标数据语义标识可以是满足目标查询索引对应的数据语义标识。
该实施例中，第一识别可以是对数据查询网络中的数据存储仓进行识别，其中，目标数据存储仓即为第一识别的结果，即满足目标查询要求对应的数据存储仓。
该实施例中，第二识别可以是对目标数据存储仓内的数据进行识别，其中，第一待查询数据即为第二识别结果，即满足目标查询索引对应的具体数据。
该实施例中，目标网络支路可以是与目标数据存储仓存在关联关系的网络支路。
该实施例中，关联数据存储仓可以是数据查询网络中与目标数据存储仓存在关联关系的其他数据存储仓。
该实施例中，第三识别可以是对第三数据存储仓中的数据进行识别，其中，第二待查询数据即为第三识别的结果，即关联数据存储仓中满足目标查询索引的数据。
上述技术方案的有益效果是：通过对目标查询索引进行读取，实现对目标仓标识和目标数据语义标识进行准确有效的确定，其次，根据目标仓标识和目标数据语义标识对数据查询网络中的数据进行识别，实现从数据查询网络中对满足目标查询索引的待调取数据进行全面可靠的锁定和调取，保障了数据查询的可靠性以及准确性，同时，提供了数据查询的全面性和数据的利用效率。
实施例9：
在实施例1的基础上，本实施例提供了一种多数据形态的实时的可联合的查询系统，数据查询模块，包括：
数据形态确定单元，用于当在数据查询网络中调取到待查询数据之后，对待查询数据进行读取，确定待查询数据的目标数据形态；
显示目标获取单元，用于基于目标数据形态在预设模板库中摘取目标显示模板；
可视化显示单元，用于根据目标显示模板将对应的待查询数据进行记录，并基于记录结果完成对待查询数据的可视化显示。
该实施例中，可视化显示包括：监控终端显示与远程终端显示。
该实施例中，目标数据形态可以是查询到的待查询数据对应的数据类型以及对应的数据格式等。
该实施例中，预设模板库是提前设定好的，用于存储不同的显示模板。
该实施例中，目标显示模板可以是适用于对调取到的待查询数据进行显示的模板，是预设模板库中的一种。
上述技术方案的有益效果是：通过对读取到的待查询数据进行解析，实现对待查询数据的目标数据形态进行准确有效的确定，其次，根据得到的目标数据形态从预设模板库中调取相应的目标显示模板，实现通过目标显示模板对待查询数据进行记录和可视化显示，保障了对待查询数据的查询效果，便于查询终端对查询到的数据进行直观有效的了解。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种多数据形态的实时的可联合的查询系统，其特征在于，包括：
数据存储仓构建模块，构建多个数据存储仓；
网络获取模块，确定每个数据存储仓中数据的关联关系，并基于关联关系对数据存储仓进行封装，获得数据查询网络；
数据查询模块，构建查询索引，并当进行查询时，向数据查询网络输入目标查询索引，并基于目标查询索引在数据查询网络调取待查询数据。
2.根据权利要求1所述的一种多数据形态的实时的可联合的查询系统，其特征在于，数据存储仓构建模块，包括：
指令生成单元，用于确定数据查询形态以及数据查询范围，并基于数据查询形态以及数据查询范围生成数据爬取指令；
数据爬取单元，用于基于数据爬取指令在目标网页爬取目标数据；
存储仓构建单元，用于基于数据查询形态构建对应的数据存储仓，同时，基于数据查询形态将目标数据进行分类，并基于分类结果将对应的关键数据存储至数据存储仓，完成对数据存储仓的构建与存储。
3.根据权利要求2所述的一种多数据形态的实时的可联合的查询系统，其特征在于，指令生成单元，包括：
第一爬取指令元获取子单元，用于对数据查询形态进行读取，确定数据查询形态对应的形态特征，并基于数据查询形态对应的形态特征生成第一爬取指令元；
第二爬取指令元获取子单元，用于获取每个数据查询形态对应的数据查询范围，并基于每个数据查询形态对应的数据查询范围确定第二爬取指令元；
数据爬取指令生成子单元，用于将第一爬取指令元与第二爬取指令元进行综合，获得数据爬取指令。
4.根据权利要求2所述的一种多数据形态的实时的可联合的查询系统，其特征在于，数据爬取单元，包括：
数据提取子单元，用于：
在目标网页爬取目标数据之后，对目标数据进行读取，确定目标数据中存在的相同目标数据，同时，保留相同目标数据中的一个，且将剩余目标数据进行第一提取，获得第一子目标数据集；
获取目标数据的基准数据范围，并在目标数据中对超出基准数据范围的目标数据进行第二提取，获得第二子目标数据集；
数据剔除子单元，用于将第一子目标数据集与第二子目标数据集进行综合，获得第三子目标数据集，同时，将第三子目标数据集在目标数据中进行剔除。
5.根据权利要求1所述的一种多数据形态的实时的可联合的查询系统，其特征在于，网络获取模块，包括：
数据读取策略获取单元，用于获取每个数据存储仓的数据形态，将数据存储仓的数据形态传输至预设数据读取策略库中进行匹配，确定数据存储仓对应的数据读取策略；
数据查询网络确定单元，用于：
基于数据读取策略对数据存储仓中的目标数据进行读取，确定目标数据对应的数据语义，并基于目标数据对应的数据语义确定每个数据存储仓中数据的关联关系；
基于关联关系，将数据存储仓进行封装，获得数据查询网络。
6.根据权利要求5所述的一种多数据形态的实时的可联合的查询系统，其特征在于，数据查询网络确定单元，包括：
语义确定子单元，用于：
获取第一数据存储仓中对应的第一数据读取策略，并基于第一数据读取策略对第一数据存储仓中的第一目标数据集进行第一读取，确定第一数据存储仓中目标数据集中每个第一目标数据对应的第一语义；
获取第二数据存储仓中对应的第二数据读取策略，并基于第二数据读取策略对第二数据存储仓中的第二目标数据集进行第二读取，确定第二数据存储仓中目标数据集中每个第二目标数据对应的第二语义；
关联判定子单元，用于：
基于第一语义与第二语义计算第一目标数据与第二目标数据之间的目标相似度，同时，获取目标相似度阈值；
将目标相似度与目标相似度阈值进行比较，判断第一目标数据与第二目标数据是否相关联；
当目标相似度等于或大于目标相似度阈值时，则判定第一目标数据与第二目标数据相关联；
否则，则判定第一目标数据与第二目标数据不关联；
标签确定子单元，用于：
当第一目标数据与第二目标数据相关联时，将第一目标数据与第二目标数据进行连接，确定第一数据存储仓与第二存储仓中的子关联支路，同时，获取第一语义的第一语义标识，并获取第二语义的第二语义标识；
将第一语义标识与第二语义标识进行综合，获得第三语义标识，将第三语义标识作为子关联支路对应的子支路标签；
网络确定子单元，用于：
对子关联支路以及子关联支路对应的子支路标签进行综合，确定第一数据存储仓与第二数据存储仓的关联支路；
重复上述操作确定多个数据存储仓之间的关联支路，并将多个数据存储仓之间的关联支路进行综合并封装，获得数据查询网络。
7.根据权利要求1所述的一种多数据形态的实时的可联合的查询系统，其特征在于，数据查询模块，包括：
查询索引构建单元，用于：
获取数据存储仓的仓标识，并基于数据存储仓的仓标识生成第一子查询索引，同时，获取每个数据存储仓中目标数据的数据语义标识，并基于数据语义标识生成第二子查询索引；
将第一子查询索引与第二子查询索引进行综合，获得第一查寻指引因子；
基于数据查询网络中的各个数据存储仓之间的网络支路生成对应的第二查询指引因子；
将第一查询指引因子与第二查询指引因子进行综合，获得查询索引；
查询单元，用于当进行查询时，向数据查询网络输入目标查询索引，并基于目标查询索引在数据查询网络调取待查询数据。
8.根据权利要求7所述的一种多数据形态的实时的可联合的查询系统，其特征在于，查询单元，包括：
索引读取子单元，用于对目标查询索引进行读取，确定目标查询索引对应的目标仓标识与目标数据语义标识；
识别子单元，用于：
基于目标仓标识在数据查询网络中进行第一识别，确定目标数据存储仓；
基于目标数据语义标识在目标数据存储仓中进行第二识别，并基于识别结果确定与目标数据语义标识一致的第一待查询数据；
获取与目标数据存储仓对应的目标网络支路，并基于目标网络支路确定目标数据存储仓的关联数据存储仓；
基于目标数据语义标识在关联数据存储仓中进行第三识别，获得在关联数据存储仓中与目标数据语义标识一致的第二待查询数据；
数据调取子单元，用于将第一待查询数据与第二待查询数据在数据查询网络中进行调取，完成基于目标查询索引在数据查询网络对待查询数据的调取。
9.根据权利要求1所述的一种多数据形态的实时的可联合的查询系统，其特征在于，数据查询模块，包括：
数据形态确定单元，用于当在数据查询网络中调取到待查询数据之后，对待查询数据进行读取，确定待查询数据的目标数据形态；
显示目标获取单元，用于基于目标数据形态在预设模板库中摘取目标显示模板；
可视化显示单元，用于根据目标显示模板将对应的待查询数据进行记录，并基于记录结果完成对待查询数据的可视化显示。
10.根据权利要求9所述的一种多数据形态的实时的可联合的查询系统，其特征在于，可视化显示单元，包括：
可视化显示包括：监控终端显示与远程终端显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311249740.4A CN117171418A (zh) | 2023-09-26 | 2023-09-26 | 一种多数据形态的实时的可联合的查询系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311249740.4A CN117171418A (zh) | 2023-09-26 | 2023-09-26 | 一种多数据形态的实时的可联合的查询系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117171418A true CN117171418A (zh) | 2023-12-05 |
Family
ID=88937361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311249740.4A Pending CN117171418A (zh) | 2023-09-26 | 2023-09-26 | 一种多数据形态的实时的可联合的查询系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171418A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590854A (zh) * | 2021-09-29 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、设备以及计算机可读存储介质 |
| CN114265957A (zh) * | 2021-12-29 | 2022-04-01 | 浙江力石科技股份有限公司 | 基于图数据库的多种数据源联合查询方法及系统 |
| CN115455103A (zh) * | 2022-10-20 | 2022-12-09 | 广州明动软件股份有限公司 | 基于动态化接口引擎的动态查询系统及方法 |
-
2023
- 2023-09-26 CN CN202311249740.4A patent/CN117171418A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590854A (zh) * | 2021-09-29 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、设备以及计算机可读存储介质 |
| CN114329013A (zh) * | 2021-09-29 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、设备以及计算机可读存储介质 |
| CN114265957A (zh) * | 2021-12-29 | 2022-04-01 | 浙江力石科技股份有限公司 | 基于图数据库的多种数据源联合查询方法及系统 |
| CN115455103A (zh) * | 2022-10-20 | 2022-12-09 | 广州明动软件股份有限公司 | 基于动态化接口引擎的动态查询系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106503121B (zh) | 一种x光安检图像的结构化描述方法及系统 | |
| CN110209828B (zh) | 案件查询方法及案件查询装置、计算机设备和存储介质 | |
| US20050289448A1 (en) | System and method for gathering, indexing, and supplying publicly available data charts | |
| US20120117051A1 (en) | Multi-modal approach to search query input | |
| US9971782B2 (en) | Document tagging and retrieval using entity specifiers | |
| CN107291949B (zh) | 信息搜索方法及装置 | |
| CN111125086B (zh) | 获取数据资源的方法、装置、存储介质及处理器 | |
| CN110543477B (zh) | 一种标签构建系统及方法 | |
| CN113190687B (zh) | 知识图谱的确定方法、装置、计算机设备及存储介质 | |
| CN104598625A (zh) | 基于自动识别标识符的数据表存储方法 | |
| US20160041975A1 (en) | Document tagging and retrieval using per-subject dictionaries including subject-determining-power scores for entries | |
| KR101472451B1 (ko) | 디지털 콘텐츠 관리 시스템 및 방법 | |
| CN107704520B (zh) | 基于人脸识别的多文件检索方法和装置 | |
| CN113159246B (zh) | 基于二维码标签的钢厂货物识别方法、装置及计算机设备 | |
| CN102216928B (zh) | 用于检索数据并显示数据存储器的内容密度的方法和系统 | |
| CN117171418A (zh) | 一种多数据形态的实时的可联合的查询系统 | |
| CN101894158B (zh) | 一种智能检索系统 | |
| CN111078870A (zh) | 评价数据处理方法、装置、介质和计算机设备 | |
| CN111581482A (zh) | 一种基于seo数据多维度关联的数据共享和分析方法及系统 | |
| CN107908724B (zh) | 一种数据模型匹配方法、装置、设备及存储介质 | |
| CN106570116B (zh) | 基于人工智能的搜索结果的聚合方法及装置 | |
| CN115587214A (zh) | 不可信检测结果的分库检索方法、装置、电子设备及介质 | |
| CN117009609B (zh) | 一种样本库可视化管理方法 | |
| CN116976683B (zh) | 一种合同条款自动审核方法、系统、存储介质及设备 | |
| CN116166716B (zh) | 一种数据推送方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |