CN113342923A - 数据查询方法、装置、电子设备及可读存储介质 - Google Patents
数据查询方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113342923A CN113342923A CN202110733240.2A CN202110733240A CN113342923A CN 113342923 A CN113342923 A CN 113342923A CN 202110733240 A CN202110733240 A CN 202110733240A CN 113342923 A CN113342923 A CN 113342923A
- Authority
- CN
- China
- Prior art keywords
- word
- data
- query
- dictionary
- word set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Abstract
本发明涉及数据处理，揭露一种数据查询方法，包括：对查询语句执行分词处理，得到第一词语集，利用预设的词典对第一词语集中的词语执行词语转换处理，得到第二词语集；将第二词语集中的每个词语与预设的标准词库执行词语匹配处理，获取匹配得到的标准词语集；基于标准词语集生成搜索语句，将搜索语句与预设一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段；获取匹配得到的索引字段在一维表中关联的报表数据，将关联的报表数据作为查询结果数据。本发明还提供一种数据查询装置、电子设备及可读存储介质。本发明降低了数据查询难度，提高了数据查询的效率。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种数据查询方法、装置、电子设备及可读存储介质。
背景技术
在数字化时代，数据已经成为企业的核心资产，而财务数据则是企业数据的重中之重。财务报表能够全面反映企业的财务状况，对财务报表进行分析对于企业未来的决策与发展有着重要作用。
当前，大部分企业都使用了数字化报表系统。在这些电子系统中，财务数据一般都存储在关系型数据库里，主要使用结构化查询语言(Structured Query Language)，简称SQL进行数据查询。在金融公司和大型集团中，不仅有本公司的财务数据，还要处理各行各业及各子公司的财务数据。大量的财务数据与复杂的逻辑关系，对于数据查询与分析带来了重大挑战。同时查询门槛过高也导致了只有专业财务人员才能接触到第一手数据，企业的普通员工和管理人员等只能通过财务人员来了解数据。容易形成只有部分人专有，而他人无法触及的数据黑盒。破坏了数据的透明性与流通性，影响企业数字化进展。
发明内容
鉴于以上内容，有必要提供一种数据查询方法，旨在降低数据查询难度，提高数据查询效率。
本发明提供的数据查询方法，包括：
获取用户基于客户端输入的查询语句，对所述查询语句执行分词处理，得到第一词语集，利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集；
将所述第二词语集中的每个词语与预设的标准词库执行词语匹配处理，获取匹配得到的标准词语集；
基于所述标准词语集生成搜索语句，将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段，所述一维表中每条报表数据关联有相应的索引字段；
获取匹配得到的索引字段在所述一维表中关联的报表数据，将所述关联的报表数据作为查询结果数据。
可选的，所述预设的词典包括同义词词典及专业词词典，所述利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集，包括：
利用所述同义词词典对所述第一词语集中的词语执行同义词转换处理，得到第三词语集；
利用所述专业词词典对所述第三词语集中的词语执行专业词转换处理，得到第二词语集。
可选的，在所述将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配之前，所述方法还包括：
获取预先确定的数据报表及其维度信息，按照维度信息在所述数据报表中的先后顺序将所述数据报表转换为一维表；
组合所述维度信息得到所述一维表的索引字段，将所述索引字段与所述一维表关联起来。
可选的，在所述利用预设的词典对所述第一词语集中的词语执行词语转换处理之前，所述方法还包括：
获取所述用户在预设时间段内的历史查询记录，基于所述历史查询记录确定所述用户对应的拓展词；
将所述拓展词添加至第一词语集。
可选的，在所述将所述关联的报表数据作为查询结果数据之后，所述方法还包括：
获取预设的维度信息的优先级数据，基于所述优先级数据和/或所述历史查询记录对所述查询结果数据进行排序，将排序后的查询结果数据发送到所述客户端。
可选的，所述利用所述专业词词典对所述第三词语集中的词语执行专业词转换处理，包括：
若所述第三词语集中某一指定词语无法从所述专业词词典中匹配到对应的专业词，则将所述指定词语转换为其对应的相近词；
利用所述专业词词典对所述相近词执行专业词转换处理。
可选的，所述方法还包括：
实时或定时监测所述同义词词典及专业词词典中的词语是否有相应的更新信息；
若是，则根据所述更新信息对相应的词典进行更新。
为了解决上述问题，本发明还提供一种数据查询装置，所述装置包括：
转换模块，用于获取用户基于客户端输入的查询语句，对所述查询语句执行分词处理，得到第一词语集，利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集；
匹配模块，用于将所述第二词语集中的每个词语与预设的标准词库执行词语匹配处理，获取匹配得到的标准词语集；
生成模块，用于基于所述标准词语集生成搜索语句，将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段，所述一维表中每条报表数据关联有相应的索引字段；
查询模块，用于获取匹配得到的索引字段在所述一维表中关联的报表数据，将所述关联的报表数据作为查询结果数据。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的数据查询程序，所述数据查询程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述数据查询方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据查询程序，所述数据查询程序可被一个或者多个处理器执行，以实现上述数据查询方法。
相较现有技术，本发明首先对查询语句执行分词处理、词语转换处理及词语匹配处理，得到标准词语集，该步骤将用户输入的自然语言转换为标准词语，以便后续根据标准词语查询数据，降低了数据查询难度；然后，基于标准词语集生成搜索语句，将搜索语句与一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段；最后，获取匹配得到的索引字段在所述一维表中关联的报表数据，将关联的报表数据作为查询结果数据，本步骤通过匹配得到的索引字段获取查询结果数据，提高了数据查询效率。因此，本发明降低了数据查询难度，提高了数据查询效率。
附图说明
图1为本发明一实施例提供的数据查询方法的流程示意图；
图2为本发明一实施例提供的数据查询装置的模块示意图；
图3为本发明一实施例提供的实现数据查询方法的电子设备的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种数据查询方法。参照图1所示，为本发明一实施例提供的数据查询方法的流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。
本实施例中，数据查询方法包括：
S1、获取用户基于客户端输入的查询语句，对所述查询语句执行分词处理，得到第一词语集，利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集。
本实施例，使用用户输入的自然语言作为查询语句，可采用基于字符串匹配(例如，正向最大匹配法、逆向最大匹配法)和基于统计及机器学习的分词方法(例如，基于隐马尔可夫模型的分词算法、基于条件随机场的分词算法)对查询语句进行分词，得到第一词语集。
所述预设的词典包括同义词词典及专业词词典，所述利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集，包括：
A11、利用所述同义词词典对所述第一词语集中的词语执行同义词转换处理，得到第三词语集；
A12、利用所述专业词词典对所述第三词语集中的词语执行专业词转换处理，得到第二词语集。
同义词词典中可以查询到一个词的同义词，专业词词典可以将一个词转换为专业词，本实施例通过引入同义词词典和专业词词典，将用户输入的自然语言转换为专业词语，实现了通过自然语言进行数据查询。
例如，用户输入的查询语句为“A银行去年九月的营业额是多少”，分词后得到的第一词语集为{A银行，去年，九月，的，营业额，是，多少}，使用同义词词典对第一词语集中的词语进行同义词转换，得到第三词语集，例如，“营业额”转换为“营业收入”。再使用专业词词典对第三词语集中的词语进行专业词转换，例如，“去年”转换为“2020年”，“九月”转换为“9月”。
所述利用所述专业词词典对所述第三词语集中的词语执行专业词转换处理，包括：
B11、若所述第三词语集中某一指定词语无法从所述专业词词典中匹配到对应的专业词，则将所述指定词语转换为其对应的相近词；
B12、利用所述专业词词典对所述相近词执行专业词转换处理。
若第三词语集中某一指定词语无法从专业词词典中匹配到对应的专业词，需要将该指定词语转换为其相近词后继续执行专业词转换处理。
本实施例通过模糊匹配算法将指定词语转换为其相近词，所述模糊匹配算法包括基于文本的编辑距离匹配算法和基于发音的模糊音匹配算法。
基于文本的编辑距离匹配算法是通过一个句子或词语转换为另一个句子或词语需要编辑的次数进行相近词转换，编辑包括删除、替换及添加。例如，“公共电话”改动一个字可变为“公司电话”、“公有电话”，此时原词与转换后的词的编辑距离为1；改动两个字变为“家庭电话”、“集体电话”，此时编辑距离为2。本实施例中会在候选词组中筛选编辑距离为1的候选词作为指定词语的相近词。
基于发音的模糊音匹配算法是先将汉字转换为拼音，再将拼音转换为声母和韵母，最后将发音类似的声母、韵母分别映射到原声母、韵母，例如，将“辽港”的拼音转换为声母和韵母，“liao gang”-“l iao g ang”-“$(l)$(iao)$(g)$(ang)”，若模糊音规则中$(l)≈$(n)，$(ang)≈$(an)，则通过模糊音匹配后，“$(l)$(iao)$(g)$(ang)”-“$(n)$(iao)$(g)$(an)”-“niaogan”-“袅感”，即“辽港”经过基于发音的模糊音匹配算法处理后得到的相近词为-“袅感”。
S2、将所述第二词语集中的每个词语与预设的标准词库执行词语匹配处理，获取匹配得到的标准词语集。
将第二词语集中的各个词语与预设的标准词库执行词语匹配处理，以确定第二词语集中的词语是否能够与标准词语精准匹配，并确定各个词语的类别，例如，若第二词语集为{A银行，2020年，9月，的，营业收入，是，多少}，词语匹配时，A银行对应标准词库中的公司词组，其为公司名称的标准词语，营业收入对应标准词库中的指标词组，其为指标名称的标准词语，2020年对应年份词组，其为年份的标准词语，9月对应月份词组，其为月份的标准词语，通过该步骤，明确了用户输入的查询语句中的有用词语(标准词语)，进而可进行定制化处理。例如当确定用户输入了公司名称时，会生成公司卡片。当确定用户输入了公司名称和指标名称时，会触发指标分析功能等。
S3、基于所述标准词语集生成搜索语句，将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段，所述一维表中每条报表数据关联有相应的索引字段。
若查询语句为“A银行和B公司今年的营业收入”，可知标准词语包括：公司名称：“A银行”、“B公司”；指标名称：“营业收入”、年份：“2021年”等，生成的搜索语句为“A银行-2021年-营业收入”、“B公司-2021年-营业收入”。
一维表中每条数据包括该条数据所有维度的维度信息，如数据来源，年份，月份，指标名称，公司名称，指标维度，指标类型，数值单位等，一条数据占一维表表格的一行或一列。一维表中每条报表数据关联有相应的索引字段，将搜索语句与索引字段进行相似度匹配，获取匹配得到的索引字段，进行相似度匹配时可以使用现有的文本相似度技术，如TF-IDF，BM25等。
S4、获取匹配得到的索引字段在所述一维表中关联的报表数据，将所述关联的报表数据作为查询结果数据。
获取到匹配得到的索引字段后，将一维表中与所述匹配得到的索引字段关联的报表数据作为查询结果数据。
现有的互联网搜索引擎在全网数据上进行搜索，会根据用户输入召回所有相关信息，用户输入的信息越多，则返回结果越多，同时相关度高的结果排在前面。而本实施例的数据报表，例如财务数据报表，拥有大量专有名词，并且都是财务方面数据，而没有其他无关信息。将用户输入的查询语句转换为标准词语进行数据查询，更倾向于精确查找，从而实现标准词语越多，返回数据越少，并且查询结果越精确。当用户输入的查询语句中含有所有维度的词语时，将返回对应的一条数据。
为了将多来源多格式的高维报表数据转换为一维表，在所述将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配之前，所述方法还包括：
C11、获取预先确定的数据报表及其维度信息，按照维度信息在所述数据报表中的先后顺序将所述数据报表转换为一维表；
C12、组合所述维度信息得到所述一维表的索引字段，将所述索引字段与所述一维表关联起来。
本实施例中，可以根据业务需要获取多个数据报表，将其转化为一维表，也可以根据数据报表的类型，将同一类型的数据报表转化为一维表，若设备的软硬条件足够，也可以将数据库中相同领域的所有数据报表转化为一维表。
每个数据报表中一般会包括多个维度的维度信息，转化时，将多个维度的维度信息展开，按照维度信息的先后顺序将数据报表转化为一维表，例如维度信息的先后顺序为：数据来源，年份，月份，指标名称，公司名称，指标维度，指标类型，数值单位等。例如，转化前的数据报表为：A系统＝>财务快报＝>企业财务快报＝>Z公司＝>2019年7月＝>行1.营业收入，列3.年初数＝>数值；转化后在一维表中为：A系统_财务快报_企业财务快报_Z公司_2019年_7月_营业收入_年初数＝>数值，其中，“＝>”代表维度的降维，可知，转化前的数据报表为5维的数据报表，而转化后为一维的数据。
将各维度信息组合为特征字符串(即索引字段)作为后续查询依据。通过将不同格式的多维报表数据转化为统一格式的一维表，使用包含所有维度信息的新表格保存转化后的数据，得到一维表，从而实现数据格式统一，有利于在海量数据中实现实时查询。
此外，本实施例使用了倒排索引技术，传统的数据库查询即SQL查询中，如果搜索A表中包含B字段的数据，则需要根据表名找到对应数据，然后遍历每一行进行字符串匹配。查询时间与数据量成正比，当数据量特别大时，则需要表结构和查询方式进行优化，但也无法实现实时查询。另外字符串匹配方式也存在较大局限性，对于复杂查询，需要编写对应正则表达式，使用复杂，通用性差。本实施例与正排索引根据数据名称查找对应数据不同，倒排索引通过数据字段来查找数据名称。首先从数据报表中选取维度信息作为索引文本，然后对其进行分词，将分词结果(倒排索引受分词影响较大，需结合实际情况调整分词结果)中的词语作为索引字段，与对应的数据报表关联。
为了增加查询结果数据中含有用户所需数据的概率，在所述利用预设的词典对所述第一词语集中的词语执行词语转换处理之前，所述方法还包括：
D11、获取所述用户在预设时间段内的历史查询记录，基于所述历史查询记录确定所述用户对应的拓展词；
D12、将所述拓展词添加至第一词语集。
本实施例中，可以根据用户历史查询记录对第一词语集中的词语进行拓展，可以按照该记录得到用户查询各种词语的优先级，查询次数多的词语的优先级靠前，查询次数少的词语的优先级靠后，选取优先级高的词语作为拓展词，例如对于第一词语集中的词语“银行”，用户查询A银行的次数大于查询B银行的次数，那么，A银行可以作为“银行”的拓展词，增加到第一词语集中。
为了使用户快速获取需要的数据，在所述将所述关联的报表数据作为查询结果数据之后，所述方法还包括：
获取预设的维度信息的优先级数据，基于所述优先级数据和/或所述历史查询记录对所述查询结果数据进行排序，将排序后的查询结果数据发送到所述客户端。
本实施例中，可以采用第一种方式对查询结果数据加权处理来排序：根据预设的维度信息的优先级数据对查询结果数据加权处理来排序。在用户输入的查询语句信息不足时，可能会召回大量数据。而在召回阶段，一般只对查询结果数据按文本相似度(例如TF-IDF，BM25)等进行粗排序，并选取排序靠前的部分数据返回。本实施例通过在召回阶段对粗排序后的查询结果数据，根据维度信息的优先级数据进行加权处理来细排。根据业务需要，结合多维度信息，使用时间，用户推荐公司列表，用户推荐指标列表，指标名称，指标维度，统计口径，日期维度，数据来源等多个维度信息对查询结果数据重排序。结合数据报表的特征进行微调，例如对于财务报表，如在文本相似度差不多的情况下，将母公司排在子公司前，把重要财务指标排在一般财务指标前等。
本实施例中，还可以采用第二种方式对查询结果数据加权处理来排序：根据用户历史查询记录对查询结果数据加权处理来排序。本实施例通过在召回阶段对粗排序后的查询结果数据根据用户历史查询记录进行加权处理来细排，增加召回结果包含用户所需数据的几率。可以按照该历史查询记录得到该用户对应的各个标准词语的优先级，该用户查询次数多的标准词语的优先级靠前，查询次数少的标准词语的优先级靠后。本实施例可以根据文本相似度进行粗排后，再根据用户历史查询记录进行细排，例如，用户历史查询A系统的数据的次数为100，查询B系统的数据的次数为1，那么在查询结果数据排序中，A系统的数据会排在B系统的数据的前面。
本实施例中，还使用上述第一种方式及第二种方式的结合来对查询结果数据加权处理来排序，两种方式的实施顺序可以是第一种方式在前第二种方式在后，或者第二种方式在前第一种方式在后。
进一步地，所述方法还包括：对查询结果数据格式化输出，例如：根据公司名称生成公司名片，数据图表，指标分析，推荐指标等模块；对查询结果数据进行聚合，生成数据图表；对财务指标进行分析，根据财务指标的上升或下降，查找对其影响最大的关联指标和下属公司对应指标的变化情况；同时根据用户输入进行推荐纠错等。
本实施例中，所述方法还包括：
E11、实时或定时监测所述同义词词典及专业词词典中的词语是否有相应的更新信息；
E12、若是，则根据所述更新信息对相应的词典进行更新。
对于拥有大量专有名词的数据报表，例如财务数据报表，本实施例引入专业词词典及同义词词典。现有的搜索引擎如elasticsearch进行查询时，一般使用静态词典，以保证在构建倒排索引时，专业名词不会被分词算法拆分，使得检索专业名词及其同义词时能够准确找到包含专业名词的数据。但静态词典在更新时需要手动修改配置文件并重启搜索引擎，在存在大量专业名词并且频繁变动的情况下，使用较为麻烦。本实施例可以实时或定时监测专业词词典中的词语及同义词词典中的词语是否有相应的更新信息，如果有，则自动根据所述更新信息进行更新，不需要手动修改配置文件及重启搜索引擎，且根据业务需求随时调整词典，达到改动即生效的效果。
由上述实施例可知，本发明提出的数据查询方法，首先，对查询语句执行分词处理、词语转换处理及词语匹配处理，得到标准词语集，该步骤将用户输入的自然语言转换为标准词语，以便后续根据标准词语查询数据，降低了数据查询难度；然后，基于标准词语集生成搜索语句，将搜索语句与一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段；最后，获取匹配得到的索引字段在所述一维表中关联的报表数据，将关联的报表数据作为查询结果数据，本步骤通过匹配得到的索引字段获取查询结果数据，提高了数据查询效率。因此，本发明降低了数据查询难度，提高了数据查询效率。
如图2所示，为本发明一实施例提供的数据查询装置的模块示意图。
本发明所述数据查询装置100可以安装于电子设备中。根据实现的功能，所述数据查询装置100可以包括转换模块110、匹配模块120、生成模块130及查询模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
转换模块110，用于获取用户基于客户端输入的查询语句，对所述查询语句执行分词处理，得到第一词语集，利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集。
所述预设的词典包括同义词词典及专业词词典，所述利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集，包括：
A21、利用所述同义词词典对所述第一词语集中的词语执行同义词转换处理，得到第三词语集；
A22、利用所述专业词词典对所述第三词语集中的词语执行专业词转换处理，得到第二词语集。
所述利用所述专业词词典对所述第三词语集中的词语执行专业词转换处理，包括：
B21、若所述第三词语集中某一指定词语无法从所述专业词词典中匹配到对应的专业词，则将所述指定词语转换为其对应的相近词；
B22、利用所述专业词词典对所述相近词执行专业词转换处理。
匹配模块120，用于将所述第二词语集中的每个词语与预设的标准词库执行词语匹配处理，获取匹配得到的标准词语集。
生成模块130，用于基于所述标准词语集生成搜索语句，将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段，所述一维表中每条报表数据关联有相应的索引字段。
查询模块140，用于获取匹配得到的索引字段在所述一维表中关联的报表数据，将所述关联的报表数据作为查询结果数据。
在所述将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配之前，所述生成模块130还用于：
C21、获取预先确定的数据报表及其维度信息，按照维度信息在所述数据报表中的先后顺序将所述数据报表转换为一维表；
C22、组合所述维度信息得到所述一维表的索引字段，将所述索引字段与所述一维表关联起来。
在所述利用预设的词典对所述第一词语集中的词语执行词语转换处理之前，所述转换模块110还用于：
D21、获取所述用户在预设时间段内的历史查询记录，基于所述历史查询记录确定所述用户对应的拓展词；
D22、将所述拓展词添加至第一词语集。
在所述将所述关联的报表数据作为查询结果数据之后，所述查询模块140还用于：
获取预设的维度信息的优先级数据，基于所述优先级数据和/或所述历史查询记录对所述查询结果数据进行排序，将排序后的查询结果数据发送到所述客户端。
所述查询模块140还用于：
E21、实时或定时监测所述同义词词典及专业词词典中的词语是否有相应的更新信息；
E22、若是，则根据所述更新信息对相应的词典进行更新。
如图3所示，为本发明一实施例提供的实现数据查询方法的电子设备的结构示意图。
所述电子设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子设备1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有数据查询程序10，所述数据查询程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及数据查询程序10的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元，例如该电子设备1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件，例如存储本发明一实施例中的数据查询程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行数据查询程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子设备1与客户端(图中未画出)之间建立通信连接。
可选的，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的数据查询程序10是多个指令的组合，在所述处理器12中运行时，可以实现如上述数据查询方法，具体地，所述处理器12对上述数据查询程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的，也可以是非易失性的。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
所述计算机可读存储介质上存储有数据查询程序10，所述数据查询程序10可被一个或者多个处理器执行，以实现如上述数据查询方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种数据查询方法，其特征在于，所述方法包括：
获取用户基于客户端输入的查询语句，对所述查询语句执行分词处理，得到第一词语集，利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集；
将所述第二词语集中的每个词语与预设的标准词库执行词语匹配处理，获取匹配得到的标准词语集；
基于所述标准词语集生成搜索语句，将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段，所述一维表中每条报表数据关联有相应的索引字段；
获取匹配得到的索引字段在所述一维表中关联的报表数据，将所述关联的报表数据作为查询结果数据。
2.如权利要求1所述的数据查询方法，其特征在于，所述预设的词典包括同义词词典及专业词词典，所述利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集，包括：
利用所述同义词词典对所述第一词语集中的词语执行同义词转换处理，得到第三词语集；
利用所述专业词词典对所述第三词语集中的词语执行专业词转换处理，得到第二词语集。
3.如权利要求1所述的数据查询方法，其特征在于，在所述将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配之前，所述方法还包括：
获取预先确定的数据报表及其维度信息，按照维度信息在所述数据报表中的先后顺序将所述数据报表转换为一维表；
组合所述维度信息得到所述一维表的索引字段，将所述索引字段与所述一维表关联起来。
4.如权利要求1所述的数据查询方法，其特征在于，在所述利用预设的词典对所述第一词语集中的词语执行词语转换处理之前，所述方法还包括：
获取所述用户在预设时间段内的历史查询记录，基于所述历史查询记录确定所述用户对应的拓展词；
将所述拓展词添加至第一词语集。
5.如权利要求4所述的数据查询方法，其特征在于，在所述将所述关联的报表数据作为查询结果数据之后，所述方法还包括：
获取预设的维度信息的优先级数据，基于所述优先级数据和/或所述历史查询记录对所述查询结果数据进行排序，将排序后的查询结果数据发送到所述客户端。
6.如权利要求2所述的数据查询方法，其特征在于，所述利用所述专业词词典对所述第三词语集中的词语执行专业词转换处理，包括：
若所述第三词语集中某一指定词语无法从所述专业词词典中匹配到对应的专业词，则将所述指定词语转换为其对应的相近词；
利用所述专业词词典对所述相近词执行专业词转换处理。
7.如权利要求2所述的数据查询方法，其特征在于，所述方法还包括：
实时或定时监测所述同义词词典及专业词词典中的词语是否有相应的更新信息；
若是，则根据所述更新信息对相应的词典进行更新。
8.一种数据查询装置，其特征在于，所述装置包括：
转换模块，用于获取用户基于客户端输入的查询语句，对所述查询语句执行分词处理，得到第一词语集，利用预设的词典对所述第一词语集中的词语执行词语转换处理，得到第二词语集；
匹配模块，用于将所述第二词语集中的每个词语与预设的标准词库执行词语匹配处理，获取匹配得到的标准词语集；
生成模块，用于基于所述标准词语集生成搜索语句，将所述搜索语句与预设一维表关联的索引字段进行文本相似度匹配，获取匹配得到的索引字段，所述一维表中每条报表数据关联有相应的索引字段；
查询模块，用于获取匹配得到的索引字段在所述一维表中关联的报表数据，将所述关联的报表数据作为查询结果数据。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的数据查询程序，所述数据查询程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的数据查询方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据查询程序，所述数据查询程序可被一个或者多个处理器执行，以实现如权利要求1至7任一项所述的数据查询方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110733240.2A CN113342923A (zh) | 2021-06-29 | 2021-06-29 | 数据查询方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110733240.2A CN113342923A (zh) | 2021-06-29 | 2021-06-29 | 数据查询方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113342923A true CN113342923A (zh) | 2021-09-03 |
Family
ID=77481755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110733240.2A Withdrawn CN113342923A (zh) | 2021-06-29 | 2021-06-29 | 数据查询方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113342923A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114448822A (zh) * | 2022-01-21 | 2022-05-06 | 中国电子信息产业集团有限公司第六研究所 | 节点探测数据表示方法、装置、电子设备及存储介质 |
| CN115098648A (zh) * | 2022-08-25 | 2022-09-23 | 歌尔股份有限公司 | 企业数据搜索方法、装置及电子设备 |
| CN116340365A (zh) * | 2023-05-17 | 2023-06-27 | 北京创新乐知网络技术有限公司 | 一种缓存数据的匹配方法、匹配装置及终端设备 |
-
2021
- 2021-06-29 CN CN202110733240.2A patent/CN113342923A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114448822A (zh) * | 2022-01-21 | 2022-05-06 | 中国电子信息产业集团有限公司第六研究所 | 节点探测数据表示方法、装置、电子设备及存储介质 |
| CN115098648A (zh) * | 2022-08-25 | 2022-09-23 | 歌尔股份有限公司 | 企业数据搜索方法、装置及电子设备 |
| CN116340365A (zh) * | 2023-05-17 | 2023-06-27 | 北京创新乐知网络技术有限公司 | 一种缓存数据的匹配方法、匹配装置及终端设备 |
| CN116340365B (zh) * | 2023-05-17 | 2023-09-08 | 北京创新乐知网络技术有限公司 | 一种缓存数据的匹配方法、匹配装置及终端设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109992645B (zh) | 一种基于文本数据的资料管理系统及方法 | |
| US20210382878A1 (en) | Systems and methods for generating a contextually and conversationally correct response to a query | |
| US9864741B2 (en) | Automated collective term and phrase index | |
| JP4866421B2 (ja) | ユーザの自己修正する検索動作の分析により検索文字列の代替スペルを特定する方法 | |
| CN105373365B (zh) | 用于管理关于近似串匹配的档案的方法和系统 | |
| WO2019174132A1 (zh) | 数据处理方法、服务器及计算机存储介质 | |
| US6931408B2 (en) | Method of storing, maintaining and distributing computer intelligible electronic data | |
| US7797265B2 (en) | Document clustering that applies a locality sensitive hashing function to a feature vector to obtain a limited set of candidate clusters | |
| US20120166414A1 (en) | Systems and methods for relevance scoring | |
| CN113342923A (zh) | 数据查询方法、装置、电子设备及可读存储介质 | |
| US20070043761A1 (en) | Semantic discovery engine | |
| WO2021175009A1 (zh) | 预警事件图谱的构建方法、装置、设备及存储介质 | |
| WO2008137086A2 (en) | Method and system for disambiguating informational objects | |
| US20140250119A1 (en) | Domain based keyword search | |
| JP4091146B2 (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN116010552A (zh) | 一种基于关键词词库的工程造价数据解析系统及其方法 | |
| CN115422372A (zh) | 一种基于软件测试的知识图谱构建方法和系统 | |
| CN102591897A (zh) | 文件检索装置以及文件检索方法 | |
| CN115422371A (zh) | 一种基于软件测试知识图谱的检索方法 | |
| US11630829B1 (en) | Augmenting search results based on relevancy and utility | |
| JP2007226843A (ja) | 文書管理システム及び文書管理方法 | |
| CN113468321B (zh) | 一种基于大数据的事件聚合分析方法和系统 | |
| CN115062023A (zh) | 宽表优化方法、装置、电子设备及计算机可读存储介质 | |
| CN115098585A (zh) | 一种基于大数据的法律法规数据自动处理方法及系统 | |
| CN111680072B (zh) | 基于社交信息数据的划分系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210903 |