CN109783508A - 数据查询方法、装置、计算机设备和存储介质 - Google Patents
数据查询方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109783508A CN109783508A CN201811640232.8A CN201811640232A CN109783508A CN 109783508 A CN109783508 A CN 109783508A CN 201811640232 A CN201811640232 A CN 201811640232A CN 109783508 A CN109783508 A CN 109783508A
- Authority
- CN
- China
- Prior art keywords
- data
- index
- specified
- field information
- index data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据查询方法、装置统、计算机设备和存储介质。所述方法包括：接收查询指令，其中，查询指令包括指定评分字段信息和指定数据字段信息，从创建的索引数据中，匹配出与指定评分字段信息对应的第一查询结果，从第一查询结果中，查询出与指定数据字段信息对应的第二查询结果，从而减少查询时间，节约成本。
Description
技术领域
本申请涉及数据库检索技术领域，特别是涉及一种数据查询方法、装置、计算机设备和存储介质。
背景技术
索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。其中，传统的利用索引进行数据查询的方法，在利用创建出的索引进行多字段之间关联评分查询时，需要二次计算索引，增加了查询响应时间。
发明内容
基于此，有必要针对上述技术问题，提供一种能够快速方便的数据查询方法、装置、计算机设备和存储介质。
一种数据查询方法，所述方法包括：
接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
在其中一个实施例中，所述方法还包括：
利用预设的索引模型对待创建索引的数据进行分布式索引创建，得到所述索引数据。
在其中一个实施例中，所述利用预设的索引模型对待创建索引的数据进行分布式索引创建，之前还包括：
对原始数据执行数据匹配操作，得到匹配后的数据；
对匹配后的数据执行重组转换操作，得到待创建索引的数据。
在其中一个实施例中，所述索引模型包括原始字段标准索引模型和评分字段智能索引模型。
在其中一个实施例中，所述利用预设的索引模型，对待创建索引的数据进行分布式索引创建，得到所述索引数据，包括：
利用所述评分字段智能索引模型对待创建索引的数据进行数字化处理；
根据数字化处理后的数据与预设的评分系数，确定评分字段结果集；
利用所述评分字段智能索引模型对所述评分字段结果集进行归一化处理，得到智能索引数据；
利用所述原始字段标准索引模型对待创建索引的数据进行索引创建，得到标准索引数据；
对所述标准索引数据与所述智能索引数据的并集进行索引创建，得到所述索引数据。
在其中一个实施例中，所述索引数据包括智能索引数据、标准索引数据以及所述智能索引数据和所述标准索引数据的映射关系；
所述从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果，包括：
查询所述索引数据包含的智能索引数据中，是否存在与所述指定评分字段信息对应的智能索引数据；
若存在与所述指定评分字段信息对应的智能索引数据，则将与所述指定评分字段信息对应的智能索引数据确定为目标智能索引数据；
根据所述映射关系，从所述索引数据包含的标准索引数据中，查询出与所述目标智能索引数据对应的标准索引数据；
将与所述目标智能索引数据对应的标准索引数据确定为所述第一查询结果。
在其中一个实施例中，所述从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果，包括：
查询所述第一查询结果中，是否存在与所述指定数据字段信息对应的标准索引数据；
若存在与所述指定数据字段信息对应的标准索引数据，则将与所述指定数据字段信息对应的标准索引数据确定为所述第二查询结果。
一种数据查询装置，所述装置包括：
接收模块，用于接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
匹配模块，用于从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
查询模块，用于从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
上述数据查询方法、装置、计算机设备和存储介质，接收查询指令，其中，查询指令包括指定评分字段信息和指定数据字段信息，从创建的索引数据中，匹配出与指定评分字段信息对应的第一查询结果，从第一查询结果中，查询出与指定数据字段信息对应的第二查询结果。其中，通过指定评分字段信息，可以从若干待查询数据中快速确定第一查询结果，再根据指定数据字段信息从第一查询结果查询出第二查询结果，查询过程中不需要二次计算索引，减少查询时间，节约成本。
附图说明
图1为一个实施例中数据查询方法的应用环境图；
图2为一个实施例中数据查询方法的流程示意图；
图3为另一个实施例中数据查询方法的流程示意图；
图4为S303的细化步骤的流程示意图；
图5为S202的细化步骤的流程示意图；
图6为S203的细化步骤的流程示意图；
图7为一个实施例中数据查询装置的结构框图；
图8为另一个实施例中数据查询装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据查询方法，可以应用于如图1所示的应用环境中。其中，计算机设备10可以为一体式终端，该一体式终端可以包含但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。计算机设备10也可以为独立设置的终端与服务器，该服务器可以用多个服务器组成的服务器集群来实现。
可选地，该计算机设备10包含至少一个处理器11与存储器12。可选地，该处理器11可以为CPU(Central Processing Unit，中央处理器)，IPU(Intelligence ProcessingUnit，智能处理器)等等。可选地，该处理器11为多核处理器，例如多核GPU。
其中，该计算机设备10内的存储器12内存储有已创建好的索引数据及查询程序，处理器11在接收到查询指令后，响应于查询指令，调用并运行存储器12内的查询程序，从存储器12内存储的已创建好的索引数据，查询出与查询指令匹配的结果。
在一个实施例中，如图2所示，提供了一种数据查询方法，以该方法应用于图1为例进行说明，包括以下步骤：
S201，接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
在本发明实施例中，查询指令是可以对整个存储器12中存储的索引数据进行随机查询的指令，包括指定评分字段信息和指定数据字段信息。其中，指定评分字段信息是用于对索引数据进行初步赛选的信息，可以从索引数据中将满足指定评分字段信息的索引数据保留下来；指定数据字段信息是用于对保留下来的索引数据进行查询的信息，根据指定数据字段信息查询到的索引数据即为用户需要的数据。
S202，从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
在本发明实施例中，指定评分字段信息是用于对索引数据进行初步赛选，利用指定评分字段信息可以从索引数据中选出一部分满足指定评分字段信息的索引数据据。
S203，从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
在本发明实施例中，S202中得到的第一查询结果不是用户需要的索引数据，还需要从第一查询结果中查询出与指定数据字段信息对应的第二结果数据，该第二结果数据即为用户需要的数据。
上述数据查询方法，接收查询指令，其中，查询指令包括指定评分字段信息和指定数据字段信息，从创建的索引数据中，匹配出与指定评分字段信息对应的第一查询结果，从第一查询结果中，查询出与指定数据字段信息对应的第二查询结果。其中，通过指定评分字段信息，可以从若干待查询数据中快速确定第一查询结果，再根据指定数据字段信息从第一查询结果查询出第二查询结果，查询过程中不需要二次计算索引，减少查询时间，节约成本。
在一个实施例中，如图3所示，提供了一种数据查询方法，以该方法应用于图1为例进行说明，包括以下步骤：
S301，对原始数据执行数据匹配操作，得到匹配后的数据；
在本发明实施例中，数据匹配操作包括抽取和过滤两步操作，具体的：
第一步，根据预设抽取规则从原始数据中抽取需要的字段，例如，有100万条数据，每条数据中有30个字段，预设抽取规则为抽取每条数据的前10个字段，则从100万条数据中的每一条数据的30个字段中，均抽取前10个字段。
第二步，对抽取后的字段进行过滤，例如，若抽取后的某字段为脏数据或已知的不需要的数据，则将与抽取后的某字段对应的数据从100万条数据中删除，从而提高后面的索引性能。
其中，可以利用批量处理方式或实时处理方式对原始数据执行数据匹配操作。
S302，对匹配后的数据执行重组转换操作，得到待创建索引的数据；
在本发明实施例中，重组转换操作表示对匹配后的数据进行字段转换、格式转换等操作，便于后期的索引创建及数据查询等操作。可选的，将字符串格式的时间戳转换成符合索引规则的date类型数据，然后对date类型数据格式化处理，得到待创建索引的数据。例如，匹配后的数据中的一部分字段表示出生年月日，后期需要根据年龄进行数据查询，则需要将表示出生年月日的字段转换成表示年龄的字段，便于后期的查询。
S303，利用预设的索引模型对待创建索引的数据进行分布式索引创建，得到所述索引数据；
在电信运营商领域，现有的索引创建系统是构建在单台服务器之上的，通过对原始数据集进行处理，对多个字段进行索引创建操作，性能低下，通过下面的性能指标计算模型可以分析出本申请所述的索引模型是如何同时提高计算性能和降低硬件成本的，具体的：
性能指标计算模型为：
其中，τ表示索引创建的时延，θ表示索引计算的复杂度，C表示数据输入集的规模，ρ表示服务器的性能指标，一般θ的值根据业务的需要很难减小，基本业务固定之后，θ就可以认为是一个常量，而随着输入集C的不断增大，要想减小时延τ就只能增大ρ，而传统的索引创建系统是构建在单台服务器之上的，要增大ρ会带来巨大的成本。
利用本申请所述的基于大数据分布式技术，相对于传统的系统，τ的计算就变成：
从上述公式可以看出，相比于传统的系统，多了一个参数N，表示服务器节点的数量，那么就增大N来达到减小τ的效果，当N＝C的时候，意味着索引的时延可以达到一个单点计算的最小时延：
按照上述方式，不但做到了低延迟，而且成本也远远低于传统的单机服务器。
进一步的，通过下面的性能指标计算模型可以分析本申请所述的系统是如何同时提高检索性能的，现有的索引创建系统创建出的索引只能进行单字段查询，当进行多字段之间关联评分查询时需要将评分计算放在查询时进行，大大增加了查询响应时间，其中，查询时延如下：
其中，τ表示查询的时延，θ表示索引计算单字段评分的复杂度，M表示关联查询涉及的字段个数，C表示索引数据的规模，ρ表示服务器的性能指标，N表示服务器节点个数，对于一个指定的查询来说，以上的各个参数除N外都是不可变的，那么减少时延的唯一办法就是增加节点数，计算成本很高。本申请中的索引创建方法有效的解决了这个问题，将计算评分的过程M×θ的性能消耗提前到了建立索引阶段，那么检索的过程就是对于单个智能索引字段的检索，时延公式如下：
从中可以看出，本申请中的索引创建方法大大提高了复杂检索的性能，同时可以降低对计算节点的个数需求。
具体的，在本发明实施例中，预设的索引模型为：
其中，所述索引模型包括原始字段标准索引模型和评分字段智能索引模型。
其中，F表示原始字段标准索引模型，利用F对待创建索引的数据进行索引创建会得到标准索引数据，整体上表示评分字段智能索引模型，在评分字段智能索引模型中，Sk表示第k个智能索引字段序列，xj表示智能索引字段序列的待创建索引的数据，j表示智能索引字段序列，表示评分系数，fj(xj)表示对待创建索引的数据进行数字化处理，表示评分字段结果，y表示评分字段结果集，表示对评分字段结果集进行归一化处理，归一化处理后会得到智能索引数据。→表示对智能索引数据和标准索引数据的并集进行索引创建，R表示智能索引数据和标准索引数据的并集进行索引创建后得到的索引数据。
其中，本发明实施例中以上述索引模型进行索引创建，但是并不构成对本申请方案所描述的索引创建和数据查询方法的限定，上述索引模型仅仅是一种具体的表现形式，依赖于该索引模型进行改进的索引模型都在本申请技术方案保护范围内。
S304，接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
在本发明实施例中，上述S304描述的内容与上一实施例中的S201描述的内容一致，此处不再加以赘述。
S305，从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
在本发明实施例中，上述S305描述的内容与上一实施例中的S202描述的内容一致，此处不再加以赘述。
S306，从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
在本发明实施例中，上述S306描述的内容与上一实施例中的S203描述的内容一致，此处不再加以赘述。
上述数据查询方法，对原始数据执行数据匹配操作，得到匹配后的数据，对匹配后的数据执行重组转换操作，得到待创建索引的数据，利用预设的索引模型对待创建索引的数据进行分布式索引创建，得到索引数据，接收查询指令，其中，查询指令包括指定评分字段信息和指定数据字段信息，从创建的索引数据中，匹配出与指定评分字段信息对应的第一查询结果，从第一查询结果中，查询出与指定数据字段信息对应的第二查询结果。其中，通过指定评分字段信息，可以从若干待查询数据中快速确定第一查询结果，再根据指定数据字段信息从第一查询结果查询出第二查询结果，查询过程中不需要二次计算索引，减少查询时间，节约成本。
作为一种可选的实施方式，如图4所示，为S303的细化步骤的流程示意图，具体包括：
S3031，利用所述评分字段智能索引模型对待创建索引的数据进行数字化处理；
在本发明实施例中，评分字段智能索引模型为：
其中，评分字段智能索引模型中的fj(xj)表示对待创建索引的数据进行数字化处理。
S3032，根据数字化处理后的数据与预设的评分系数，确定评分字段结果集；
在本发明实施例中，对于一个智能索引字段序列，将数字化处理后的数据与预设的评分系数的乘积作为一个评分字段结果，对于若干个智能索引字段序列，则得到若干个评分字段结果，将若干评分字段结果的集合作为评分字段结果集。
S3033，利用所述评分字段智能索引模型对所述评分字段结果集进行归一化处理，得到智能索引数据；
其中，评分字段智能索引模型中的表示对评分字段结果集进行归一化处理，得到智能索引数据。
S3034，利用所述原始字段标准索引模型对待创建索引的数据进行索引创建，得到标准索引数据；
在本发明实施例中，F表示原始字段标准索引模型，利用F对待创建索引的数据进行索引创建会得到标准索引数据。
S3035，对所述标准索引数据与所述智能索引数据的并集进行索引创建，得到所述索引数据。
在本发明实施例中，→表示对智能索引数据和标准索引数据的并集进行索引创建，R表示智能索引数据和标准索引数据的并集进行索引创建后得到的索引数据。
作为一种可选的实施方式，如图5所示，为S202的细化步骤的流程示意图，具体包括：
S2021，查询所述索引数据包含的智能索引数据中，是否存在与所述指定评分字段信息对应的智能索引数据；
在本发明实施例中，指定评分字段信息是用于对索引数据进行初步赛选的信息，可以从索引数据中将满足指定评分字段信息的索引数据保留下来。例如，索引数据包括用户A、用户B、用户C、用户D、用户E、用户F和用户G的姓名、用户信用、性别等信息；标准索引数据包括用户姓名，分别为姓名A、姓名B、姓名C、姓名D、姓名E、姓名F和姓名G；智能索引数据表示用户评分，用户A的用户评分为90分，用户B的用户评分为100分，用户C的用户评分为60分，用户D的用户评分为75分，用户E的用户评分为58分，用户F的用户评分为60分。其中，指定评分字段信息可以是用户信用较好的用户(例如，用户信用大于70分的用户)，则查询智能索引数据中，是否存在用户信用大于70分的智能索引数据。
S2012，若存在与所述指定评分字段信息对应的智能索引数据，则将与所述指定评分字段信息对应的智能索引数据确定为目标智能索引数据；
在本发明实施例中，如S2011中所述，查询存在用户信用大于70分的智能索引数据，将大于70分的智能索引数据(90分、100分和75分)确定为目标智能索引数据。
S2023，根据所述映射关系，从所述索引数据包含的标准索引数据中，查询出与所述目标智能索引数据对应的标准索引数据；
在本发明实施例中，索引数据包括智能索引数据、标准索引数据以及所述智能索引数据和所述标准索引数据的映射关系，如S2011和S2012中所述的，将大于70分的智能索引数据(90分、100分和75分)确定为目标智能索引数据后，根据映射关系，从标准索引数据(姓名A、姓名B、姓名C、姓名D、姓名E、姓名F和姓名G)中，查询出与目标智能索引数据(大于70分的智能索引数据)对应的标准索引数据为姓名A、姓名B、姓名D。
S2024，将与所述目标智能索引数据对应的标准索引数据确定为所述第一查询结果。
在本发明实施例中，将姓名A、姓名B、姓名D确定为第一查询结果。
作为一种可选的实施方式，如图6所示，为S203的细化步骤的流程示意图，具体包括：
S2031，查询所述第一查询结果中，是否存在与所述指定数据字段信息对应的标准索引数据；
S2032，若存在与所述指定数据字段信息对应的标准索引数据，则将与所述指定数据字段信息对应的标准索引数据确定为所述第二查询结果。
在本发明实施例中，如S2024中所述的，将姓名A、姓名B、姓名D确定为第一查询结果，假设指定数据字段信息为姓名D，则查询第一查询结果中，存在与指定数据字段信息(姓名D)对应的标准索引数据(姓名D)，将与指定数据字段信息对应的标准索引数据确定为第二查询结果，将姓名D的用户信息进行显示。假设指定数据字段信息为姓名C，则查询第一查询结果(姓名A、姓名B、姓名D)中，不存在与指定数据字段信息(姓名C)对应的标准索引数据，则查询出错。
上述数据查询方法，对原始数据执行数据匹配操作，得到匹配后的数据，对匹配后的数据执行重组转换操作，得到待创建索引的数据，利用评分字段智能索引模型对待创建索引的数据进行数字化处理，根据数字化处理后的数据与预设的评分系数，确定评分字段结果集，利用评分字段智能索引模型对评分字段结果集进行归一化处理，得到智能索引数据，利用原始字段标准索引模型对待创建索引的数据进行索引创建，得到标准索引数据，对标准索引数据与智能索引数据的并集进行索引创建，得到索引数据；查询索引数据包含的智能索引数据中，是否存在与指定评分字段信息对应的智能索引数据，若存在与指定评分字段信息对应的智能索引数据，则将与指定评分字段信息对应的智能索引数据确定为目标智能索引数据，根据映射关系，从索引数据包含的标准索引数据中，查询出与目标智能索引数据对应的标准索引数据，将与目标智能索引数据对应的标准索引数据确定为第一查询结果。查询第一查询结果中，是否存在与指定数据字段信息对应的标准索引数据，若存在与指定数据字段信息对应的标准索引数据，则将与指定数据字段信息对应的标准索引数据确定为第二查询结果。其中，通过指定评分字段信息，可以从若干待查询数据中快速确定第一查询结果，再根据指定数据字段信息从第一查询结果查询出第二查询结果，查询过程中不需要二次计算索引，减少查询时间，节约成本。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种数据查询装置，包括：接收模块701、匹配模块702和查询模块703，其中：
接收模块701，用于接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
匹配模块702，用于从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
查询模块703，用于从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
在其中一个实施例中，所述匹配模块702用于：查询所述索引数据包含的智能索引数据中，是否存在与所述指定评分字段信息对应的智能索引数据；若存在与所述指定评分字段信息对应的智能索引数据，则将与所述指定评分字段信息对应的智能索引数据确定为目标智能索引数据；根据所述映射关系，从所述索引数据包含的标准索引数据中，查询出与所述目标智能索引数据对应的标准索引数据；将与所述目标智能索引数据对应的标准索引数据确定为所述第一查询结果。
在其中一个实施例中，查询模块703用于：查询所述第一查询结果中，是否存在与所述指定数据字段信息对应的标准索引数据；若存在与所述指定数据字段信息对应的标准索引数据，则将与所述指定数据字段信息对应的标准索引数据确定为所述第二查询结果。
在另一个实施例中，如图8所示，提供了一种数据查询装置，除了包括图7所示的接收模块701、匹配模块702和查询模块703，还包括智能索引模块801，智能索引模块801包括数据处理模块8011、模型管理模块8012和并行索引模块8013，具体的：
所述智能索引模块801用于：利用预设的索引模型对待创建索引的数据进行分布式索引创建，得到所述索引数据。
所述数据处理模块8011用于：对原始数据执行数据匹配操作，得到匹配后的数据；对匹配后的数据执行重组转换操作，得到待创建索引的数据。
所述模型管理模块8012用于：提供对索引模型的配置管理能力。
所述并行索引模块8013用于：提供分布式创建索引的能力，充分利用集群资源。
在本发明实施例中，利用智能索引模块801将数据处理模块8011、模型管理模块8012和并行索引模块8013进行整合，使得智能索引模块801与其他模块之间的边界清晰，智能索引模块801与上层的查询和底层的存储隔离开，当底层需要切换组件或上层更改查询接口，只需要了解智能索引模块801的接口即可，而不需要对数据处理模块8011、模型管理模块8012和并行索引模块8013进行调整。
在其中一个实施例中，所述索引模型包括原始字段标准索引模型和评分字段智能索引模型。
在其中一个实施例中，所述智能索引模块801具体用于：利用所述评分字段智能索引模型对待创建索引的数据进行数字化处理；根据数字化处理后的数据与预设的评分系数，确定评分字段结果集；利用所述评分字段智能索引模型对所述评分字段结果集进行归一化处理，得到智能索引数据；利用所述原始字段标准索引模型对待创建索引的数据进行索引创建，得到标准索引数据；对所述标准索引数据与所述智能索引数据的并集进行索引创建，得到所述索引数据。
在其中一个实施例中，还包括应用层802，所述应用层802用于向用户提供数据查询功能及结果展示。
在其中一个实施例中，还包括存储模块803，所述存储模块803用于存储原始数据，为接收模块701提供数据源，并在完成索引创建后，保存创建好的索引数据。
关于数据查询装置的具体限定可以参见上文中对于数据查询方法的限定，在此不再赘述。上述数据查询装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储索引数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据查询方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用预设的索引模型对待创建索引的数据进行分布式索引创建，得到所述索引数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对原始数据执行数据匹配操作，得到匹配后的数据；
对匹配后的数据执行重组转换操作，得到待创建索引的数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述索引模型包括原始字段标准索引模型和评分字段智能索引模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用所述评分字段智能索引模型对待创建索引的数据进行数字化处理；
根据数字化处理后的数据与预设的评分系数，确定评分字段结果集；
利用所述评分字段智能索引模型对所述评分字段结果集进行归一化处理，得到智能索引数据；
利用所述原始字段标准索引模型对待创建索引的数据进行索引创建，得到标准索引数据；
对所述标准索引数据与所述智能索引数据的并集进行索引创建，得到所述索引数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
查询所述索引数据包含的智能索引数据中，是否存在与所述指定评分字段信息对应的智能索引数据；
若存在与所述指定评分字段信息对应的智能索引数据，则将与所述指定评分字段信息对应的智能索引数据确定为目标智能索引数据；
根据所述映射关系，从所述索引数据包含的标准索引数据中，查询出与所述目标智能索引数据对应的标准索引数据；
将与所述目标智能索引数据对应的标准索引数据确定为所述第一查询结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
查询所述第一查询结果中，是否存在与所述指定数据字段信息对应的标准索引数据；
若存在与所述指定数据字段信息对应的标准索引数据，则将与所述指定数据字段信息对应的标准索引数据确定为所述第二查询结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用预设的索引模型对待创建索引的数据进行分布式索引创建，得到所述索引数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对原始数据执行数据匹配操作，得到匹配后的数据；
对匹配后的数据执行重组转换操作，得到待创建索引的数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述索引模型包括原始字段标准索引模型和评分字段智能索引模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用所述评分字段智能索引模型对待创建索引的数据进行数字化处理；
根据数字化处理后的数据与预设的评分系数，确定评分字段结果集；
利用所述评分字段智能索引模型对所述评分字段结果集进行归一化处理，得到智能索引数据；
利用所述原始字段标准索引模型对待创建索引的数据进行索引创建，得到标准索引数据；
对所述标准索引数据与所述智能索引数据的并集进行索引创建，得到所述索引数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
查询所述索引数据包含的智能索引数据中，是否存在与所述指定评分字段信息对应的智能索引数据；
若存在与所述指定评分字段信息对应的智能索引数据，则将与所述指定评分字段信息对应的智能索引数据确定为目标智能索引数据；
根据所述映射关系，从所述索引数据包含的标准索引数据中，查询出与所述目标智能索引数据对应的标准索引数据；
将与所述目标智能索引数据对应的标准索引数据确定为所述第一查询结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
查询所述第一查询结果中，是否存在与所述指定数据字段信息对应的标准索引数据；
若存在与所述指定数据字段信息对应的标准索引数据，则将与所述指定数据字段信息对应的标准索引数据确定为所述第二查询结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据查询方法，其特征在于，所述方法包括：
接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用预设的索引模型对待创建索引的数据进行分布式索引创建，得到所述索引数据。
3.根据权利要求2所述的方法，其特征在于，所述利用预设的索引模型对待创建索引的数据进行分布式索引创建，之前还包括：
对原始数据执行数据匹配操作，得到匹配后的数据；
对匹配后的数据执行重组转换操作，得到待创建索引的数据。
4.根据权利要求2所述的方法，其特征在于，所述索引模型包括原始字段标准索引模型和评分字段智能索引模型。
5.根据权利要求4所述的方法，其特征在于，所述利用预设的索引模型，对待创建索引的数据进行分布式索引创建，得到所述索引数据，包括：
利用所述评分字段智能索引模型对待创建索引的数据进行数字化处理；
根据数字化处理后的数据与预设的评分系数，确定评分字段结果集；
利用所述评分字段智能索引模型对所述评分字段结果集进行归一化处理，得到智能索引数据；
利用所述原始字段标准索引模型对待创建索引的数据进行索引创建，得到标准索引数据；
对所述标准索引数据与所述智能索引数据的并集进行索引创建，得到所述索引数据。
6.根据权利要求1所述的方法，其特征在于，所述索引数据包括智能索引数据、标准索引数据以及所述智能索引数据和所述标准索引数据的映射关系；
所述从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果，包括：
查询所述索引数据包含的智能索引数据中，是否存在与所述指定评分字段信息对应的智能索引数据；
若存在与所述指定评分字段信息对应的智能索引数据，则将与所述指定评分字段信息对应的智能索引数据确定为目标智能索引数据；
根据所述映射关系，从所述索引数据包含的标准索引数据中，查询出与所述目标智能索引数据对应的标准索引数据；
将与所述目标智能索引数据对应的标准索引数据确定为所述第一查询结果。
7.根据权利要求6所述的方法，其特征在于，所述从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果，包括：
查询所述第一查询结果中，是否存在与所述指定数据字段信息对应的标准索引数据；
若存在与所述指定数据字段信息对应的标准索引数据，则将与所述指定数据字段信息对应的标准索引数据确定为所述第二查询结果。
8.一种数据查询装置，其特征在于，所述装置包括：
接收模块，用于接收查询指令，其中，所述查询指令包括指定评分字段信息和指定数据字段信息；
匹配模块，用于从创建的索引数据中，匹配出与所述指定评分字段信息对应的第一查询结果；
查询模块，用于从所述第一查询结果中，查询出与所述指定数据字段信息对应的第二查询结果。
9.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811640232.8A CN109783508B (zh) | 2018-12-29 | 2018-12-29 | 数据查询方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811640232.8A CN109783508B (zh) | 2018-12-29 | 2018-12-29 | 数据查询方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109783508A true CN109783508A (zh) | 2019-05-21 |
| CN109783508B CN109783508B (zh) | 2021-04-09 |
Family
ID=66499074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811640232.8A Active CN109783508B (zh) | 2018-12-29 | 2018-12-29 | 数据查询方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109783508B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114637759A (zh) * | 2020-12-16 | 2022-06-17 | 金篆信科有限责任公司 | 数据查询方法、电子设备、存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007085187A1 (fr) * | 2006-01-25 | 2007-08-02 | Huawei Technologies Co., Ltd. | Procédé d'extraction de données, procédé de production de fichiers d'index et moteur de recherche |
| US20100306221A1 (en) * | 2009-05-28 | 2010-12-02 | Microsoft Corporation | Extending random number summation as an order-preserving encryption scheme |
| CN102346783A (zh) * | 2011-11-09 | 2012-02-08 | 华为技术有限公司 | 数据检索方法及装置 |
| US8543574B2 (en) * | 2009-06-05 | 2013-09-24 | Microsoft Corporation | Partial-matching for web searches |
| CN103500183A (zh) * | 2013-09-12 | 2014-01-08 | 国家计算机网络与信息安全管理中心 | 一种基于多个相关字段组合索引存储结构及建立、查询与维护方法 |
| CN103902698A (zh) * | 2014-03-31 | 2014-07-02 | 北京车商汇软件有限公司 | 一种数据存储系统和存储方法 |
| CN105354255A (zh) * | 2015-10-21 | 2016-02-24 | 华为技术有限公司 | 数据查询方法和装置 |
| CN105357311A (zh) * | 2015-11-23 | 2016-02-24 | 中国南方电网有限责任公司 | 一种云计算技术的二次设备大数据存储与处理方法 |
| CN107577800A (zh) * | 2017-09-21 | 2018-01-12 | 合肥集知网知识产权运营有限公司 | 一种基于模糊集合模型的大数据专利检索方法 |
| CN108446357A (zh) * | 2018-03-12 | 2018-08-24 | 浙江大学 | 一种基于二维地理位置的海量数据空间范围查询方法 |
-
2018
- 2018-12-29 CN CN201811640232.8A patent/CN109783508B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007085187A1 (fr) * | 2006-01-25 | 2007-08-02 | Huawei Technologies Co., Ltd. | Procédé d'extraction de données, procédé de production de fichiers d'index et moteur de recherche |
| US20100306221A1 (en) * | 2009-05-28 | 2010-12-02 | Microsoft Corporation | Extending random number summation as an order-preserving encryption scheme |
| US8543574B2 (en) * | 2009-06-05 | 2013-09-24 | Microsoft Corporation | Partial-matching for web searches |
| CN102346783A (zh) * | 2011-11-09 | 2012-02-08 | 华为技术有限公司 | 数据检索方法及装置 |
| CN103500183A (zh) * | 2013-09-12 | 2014-01-08 | 国家计算机网络与信息安全管理中心 | 一种基于多个相关字段组合索引存储结构及建立、查询与维护方法 |
| CN103902698A (zh) * | 2014-03-31 | 2014-07-02 | 北京车商汇软件有限公司 | 一种数据存储系统和存储方法 |
| CN105354255A (zh) * | 2015-10-21 | 2016-02-24 | 华为技术有限公司 | 数据查询方法和装置 |
| CN105357311A (zh) * | 2015-11-23 | 2016-02-24 | 中国南方电网有限责任公司 | 一种云计算技术的二次设备大数据存储与处理方法 |
| CN107577800A (zh) * | 2017-09-21 | 2018-01-12 | 合肥集知网知识产权运营有限公司 | 一种基于模糊集合模型的大数据专利检索方法 |
| CN108446357A (zh) * | 2018-03-12 | 2018-08-24 | 浙江大学 | 一种基于二维地理位置的海量数据空间范围查询方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114637759A (zh) * | 2020-12-16 | 2022-06-17 | 金篆信科有限责任公司 | 数据查询方法、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109783508B (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2895893C (en) | Searchable data archive | |
| CN104516979B (zh) | 一种基于二次检索的数据查询方法及系统 | |
| CN103678408B (zh) | 一种查询数据的方法及装置 | |
| CN108255958A (zh) | 数据查询方法、装置和存储介质 | |
| CN106294374B (zh) | 小文件合并的方法和数据查询系统 | |
| CN105989076A (zh) | 一种数据统计方法以及装置 | |
| CN104850640A (zh) | 一种基于HBase的电网设备状态监测数据存储和查询方法及系统 | |
| CN103559300B (zh) | 数据的查询方法和查询装置 | |
| CN106911757A (zh) | 一种业务信息的推送方法和装置 | |
| CN109788031A (zh) | 业务数据获取方法、装置、计算机设备和存储介质 | |
| CN108664582A (zh) | 企业关系的查询方法、装置、计算机设备及存储介质 | |
| CN103309869A (zh) | 数据对象的展示关键词推荐方法及系统 | |
| CN107832291A (zh) | 人机协作的客服方法、电子装置及存储介质 | |
| CN109829098A (zh) | 搜索结果优化方法、装置及服务器 | |
| CN110113501A (zh) | 任务下发方法、装置、计算机设备及存储介质 | |
| CN102033927A (zh) | 一种基于gpu实现的快速音频检索方法 | |
| CN104794237B (zh) | 网页信息处理方法及装置 | |
| CN103150336A (zh) | 一种基于用户聚类的sky line在线计算方法 | |
| CN109783508A (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
| WO2020112580A1 (en) | Data retrieval | |
| CN103365923A (zh) | 用于评估数据库的分区方案的方法和装置 | |
| CN109785867A (zh) | 双录流程配置方法、装置、计算机设备和存储介质 | |
| CN108897796A (zh) | 一种业务系统调用influxdb数据库的方法、存储介质和服务器 | |
| CN108845996A (zh) | 一种聚合安卓应用程序内部搜索功能的元搜索引擎实现方法和总控系统 | |
| US20230252011A1 (en) | Method and system for data indexing and reporting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |