CN110188100A - 数据处理方法、装置及计算机存储介质 - Google Patents
数据处理方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN110188100A CN110188100A CN201910414053.0A CN201910414053A CN110188100A CN 110188100 A CN110188100 A CN 110188100A CN 201910414053 A CN201910414053 A CN 201910414053A CN 110188100 A CN110188100 A CN 110188100A
- Authority
- CN
- China
- Prior art keywords
- business datum
- full
- file
- text
- search result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供了一种数据处理方法、装置及计算机存储介质。该方法包括：基于定时任务获取指定范围内的多个业务数据表；将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件；将所述文件同步至全文搜索服务器。本说明书实施例可以以提高业务数据的查询效率。
Description
技术领域
本说明书涉及业务数据搜索技术领域，尤其是涉及一种数据处理方法、装置及计算机存储介质。
背景技术
在业务数据搜索技术中，随着系统业务逻辑越来越复杂，数据库表的个数及表数据越来越大，且需要搜索的关键字信息往往容易分散在不同的数据库表中。在此情况下，当通过诸如like模糊查询数据库等方式进行业务数据查询时，可能无法使用数据库索引，且由于要实现的全库模糊匹配，可能涉及到数据库中的大部分数据库表，从而导致查询效率低下。
发明内容
本说明书实施例的目的在于提供一种数据处理方法、装置及计算机存储介质，以提高业务数据的查询效率。
为达到上述目的，一方面，本说明书实施例提供了一种数据处理方法，该方法包括：
基于定时任务获取指定范围内的多个业务数据表；
将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件；
将所述文件同步至全文搜索服务器。
另一方面，本说明书实施例提供了一种业务系统，包括：
数据表获取模块，用于基于定时任务获取指定范围内的多个业务数据表；
数据表组合模块，用于将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件；
数据表同步模块，用于将所述文件同步至全文搜索服务器。
另一方面，本说明书实施例提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
基于定时任务获取指定范围内的多个业务数据表；
将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件；
将所述文件同步至全文搜索服务器。
另一方面，本说明书实施例提供了另一种数据处理方法，该方法包括：
接收包含关键词的搜索请求；
响应于所述搜索请求，按照预设的拆分规则将所述关键词拆分为索引分词；
根据所述索引分词从目标文件中匹配业务数据；所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
生成匹配出的业务数据的全文摘要；
返回包含所述全文摘要的搜索结果。
另一方面，本说明书实施例提供了一种全文搜索服务器，包括：
请求接收模块，用于接收包含关键词的搜索请求；
分词获取模块，用于响应于所述搜索请求，按照预设的拆分规则将所述关键词拆分为索引分词；
数据匹配模块，用于根据所述索引分词从目标文件中匹配业务数据；所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
摘要生成模块，用于生成匹配出的业务数据的全文摘要；
结果返回模块，用于返回包含所述全文摘要的搜索结果。
另一方面，本说明书实施例提供了另一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收包含关键词的搜索请求；
响应于所述搜索请求，按照预设的拆分规则将所述关键词拆分为索引分词；
根据所述索引分词从目标文件中匹配业务数据；所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
生成匹配出的业务数据的全文摘要；
返回包含所述全文摘要的搜索结果。
另一方面，本说明书实施例提供了另一种数据处理方法，该方法包括：
向全文搜索服务器发送包含关键词的搜索请求；
接收所述全文搜索服务器返回的搜索结果；所述搜索结果包含匹配出的业务数据的全文摘要，所述匹配出的业务数据由所述全文搜索服务器按照预设的拆分规则，将所述关键词拆分为索引分词，并根据所述索引分词从目标文件中匹配业务数据得到，所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
展示所述搜索结果。
另一方面，本说明书实施例提供了一种客户端，包括：
搜索请求发送模块，用于向全文搜索服务器发送包含关键词的搜索请求；
搜索结果接收模块，用于接收所述全文搜索服务器返回的搜索结果；所述搜索结果包含匹配出的业务数据的全文摘要，所述匹配出的业务数据由所述全文搜索服务器按照预设的拆分规则，将所述关键词拆分为索引分词，并根据所述索引分词从目标文件中匹配业务数据得到，所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
搜索结果展示模块，用于展示所述搜索结果。
另一方面，本说明书实施例提供了另一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
向全文搜索服务器发送包含关键词的搜索请求；
接收所述全文搜索服务器返回的搜索结果；所述搜索结果包含匹配出的业务数据的全文摘要，所述匹配出的业务数据由所述全文搜索服务器按照预设的拆分规则，将所述关键词拆分为索引分词，并根据所述索引分词从目标文件中匹配业务数据得到，所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
展示所述搜索结果。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中，由于业务系统在将多个业务数据表同步至全文搜索服务器之前，可以将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件，从而将原本属于不同数据表的不同字段的关联数据整合为一个文件，使得后续全文搜索服务器通过全文检索分词技术，可以在一个文件内对指定范围内的多个业务数据表的数据进行匹配查找，从而可以大大提高业务数据的查询效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本说明书一些实施例的数据处理系统的结构示意图；
图2为本说明书一些实施例中数据处理方法的方法流程图(业务系统侧)；
图3为本说明书另一些实施例中数据处理方法的方法流程图(全文搜索服务器侧)；
图4为本说明书另一些实施例中数据处理方法的方法流程图(客户端侧)；
图5为本说明书一些实施例中业务系统的结构框图；
图6为本说明书一些实施例中全文搜索服务器的结构框图；
图7为本说明书一些实施例中客户端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
参考图1所示，本说明书一些实施例的数据处理系统可以包括业务系统、全文搜索服务器和客户端。其中，业务系统、全文搜索服务器和客户端相互之间可以进行数据交互。
在本说明书一些实施例中，业务系统可以为具有运算和网络交互功能的电子设备；也可以为运行于该电子设备中，为数据处理和网络交互提供业务逻辑的软体。
在本说明书一些实施例中，所述客户端可以为台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备等。当然，所述客户端并不限于上述具有一定实体的电子设备，其还可以为运行于上述电子设备中的软体。
在本说明书一些实施例中，所述全文搜索服务器可以为具有运算和网络交互功能的电子设备；也可以为运行于该电子设备中，为数据处理和网络交互提供业务逻辑的软体。
结合图5所示，在本说明书一些实施例中，所述业务系统可以包括数据表获取模块51、数据表组合模块52和数据表同步模块53。其中，
数据表获取模块51，可以用于基于定时任务获取指定范围内的多个业务数据表；
数据表组合模块52，可以用于将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件；
数据表同步模块53，可以用于将所述文件同步至全文搜索服务器。
如此，所述业务系统可以定时将指定范围内的多个业务数据表同步至全文搜索服务器，以便于全文搜索服务器对外提供全文搜索服务。由于业务系统在将多个业务数据表同步至全文搜索服务器之前，将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件，从而将原本属于不同数据表的不同字段的关联数据整合为一个文件，使得后续全文搜索服务器通过全文检索分词技术，可以在一个文件内，对指定范围内的多个业务数据表的数据进行匹配查找，从而可以大大提高业务数据的查询效率。
在本说明书一示例性实施例中，假设指定范围内的业务数据表有两张(见下表1和下表2)：
表1
| 贷款账户 | 贷款年限 | 贷款金额 | 贷款利率 |
| 000001 | 20年 | 45万 | 基准利率 |
| 000002 | 30年 | 60万 | 基准利率上浮10％ |
| 000003 | 15年 | 80万 | 基准利率八折 |
| ....... | ....... | ....... | ....... |
| 00000X | 25年 | 100万 | 基准利率 |
表2
| 存款账户 | 存款期限 | 存款金额 | 存款利率 |
| 100001 | 2年定期 | 5万 | 1.25％ |
| 100002 | 3年定期 | 6万 | 2.25％ |
| 100003 | 5年定期 | 8万 | 3.25％ |
| ....... | ....... | ....... | ....... |
| 10000Y | 1年活期 | 13万 | 0.5％ |
则通过数据表组合模块52的整合处理后，可得到如下表3所示的文件：
表3
| 贷款账户/贷款年限/贷款金额/贷款利率 |
| 000001/20年/45万/基准利率 |
| 000002/30年/60万/基准利率上浮10％ |
| 000003/15年/80万/基准利率八折 |
| ....... |
| 00000X/25年/100万/基准利率 |
| 存款账户/存款期限/存款金额/存款利率 |
| 100001/2年/5万/1.25％ |
| 100002/3年/6万/2.25％ |
| 100003/5年/8万/3.25％ |
| ....... |
| 10000Y/1年/13万/0.5％ |
在本说明书一些实施例中，所述业务系统还可以包括任务脚本生效模块。所述任务脚本生效模块可以用于加载任务配置脚本并生效；其中，所述任务配置脚本中可以含有所述定时任务。如此，可以实现定时任务的动态加载及生效，而无需重启业务系统，从而也降低了对业务系统正常运行的影响。
在本说明书一些实施例中，所述业务系统还可以包括读请求接收模块和读请求处理模块。所述读请求接收模块可以用于接收客户端发送的包含文件标识的读请求；所述读请求处理模块可以用于响应于所述读请求，向所述客户端返回与所述文件标识对应的业务数据表。其中，文件标识可以是所述客户端从全文搜索服务器获得的搜索结果中获得的。这样，基于该文件标识，所述客户端可向所述业务系统查询与所述全文摘要对应的业务数据表的详情。
在本说明书一实施例中，定时任务例如可以采用quartz定时任务。例如可以在任务配置脚本中定义quartz定时任务，脚本格式可以采用json等格式。此外，任务配置脚本中不仅可以包括quartz定时任务、还可以包括查出需要检索数据的sql，以便于根据任务配置脚本中配置的sql，可以定时读取业务数据并写入全文搜索服务器。其中，quartz定时任务可以根据quartz框架API的JobBuilder及triggerBuilder来创建。这样配置的好处是，开发新需求时，只需修改任务配置脚本并重新动态加载即可，不影响业务系统的正常运行。
在本说明书一示例性实施例中，任务配置脚本配置示例如下：
配置sql为需要索引的业务数据，pagesize可以为业务数据分页，quartz任务字段：{"sql":"SELECT fileid FROM t","pagesize":20,"job Name":"myjob","job GroupName":"myjob group","trigger Name":"myjob trigger","trigger Group Name":"myjob trigger group","cron":"0*/5***？"}，需要注意的是，基于sql查询出的字段名称应与索引配置字段名称保持一致。
在本说明书其他一些实施例中，定时任务并不限于quartz，也可以有其他选择，例如通过多线或shell等技术实现。
结合图6所示，在本说明书一些实施例中，所述全文搜索服务器可以包括请求接收模块61、分词获取模块62、数据匹配模块63、摘要生成模块64和结果返回模块65。其中，
请求接收模块61，可以用于接收包含关键词的搜索请求；
分词获取模块62，可以用于响应于所述搜索请求，按照预设的拆分规则将所述关键词拆分为索引分词；
数据匹配模块63，可以用于根据所述索引分词从目标文件中匹配业务数据；所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
摘要生成模块64，可以用于生成匹配出的业务数据的全文摘要；
结果返回模块65，可以用于返回包含所述全文摘要的搜索结果。
由此可见，本说明书实施例的全文搜索服务器可以基于全文检索分词技术对外提供全文搜索服务。由于目标文件为将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段，使得全文搜索服务器通过全文检索分词技术，可以在一个文件内对指定范围内的多个业务数据表的数据进行匹配查找，从而可以大大提高业务数据的查询效率。
在本说明书一些实施例中，所述全文搜索服务器内部配置有索引分词库，当需要更新、修改、增加或删除索引分词库中的索引分词时，通过索引脚本生效模块可以加载索引分词配置脚本并生效；其中，所述索引分词配置脚本中可以含有预设的索引分词集合。
在本说明书一实施例中，索引分词配置脚本可以采用JSON等格式，索引分词配置脚本可以包括索引名称和索引分词字段数组，数组中每个字段可以包含字段节点配置字段类型、字段索引类型等。在所述全文搜索服务器提供搜索服务前，可先通过http协议的put方法将索引字段写入全文搜索服务器。
在本说明书一示例性实施例中，索引分词配置脚本配置示例如下：
配置索引名称为richtext,检索字段为fileid：
{"richtext":{"properties":{"fileid":{"type":"text","index":"not_analyzed"}}}}
在本说明书一些实施例中，所述搜索结果中还可以包括与所述全文摘要对应的业务数据表的文件标识。如此，通过搜索结果，所述客户端不仅可以获得与关键词对应的全文摘要，还可以基于搜索结果中的文件标识，从所述业务系统中获得与文件标识对应的业务数据的细节详情。
在本说明书一实施例中，所述全文搜索服务器例如包括Elastic Search搜索引擎服务器，即所述全文搜索服务器可以是Elastic Search框架的搜索服务器，可对外提供基于RESTful接口的HTTP服务。Elastic Search框架提供了很多基础API，包括搜索，新增，删除，修改等功能，根据Elastic Search提供的索引规则，还可以满足各种复杂的搜索业务场景。在本说明书其他实施例中，所述全文搜索服务器并不限于Elastic Search搜索引擎服务器，也可以为基于lucene、elasticsearch或solr等框架的搜索引擎服务器。
结合图7所示，在本说明书一些实施例中，所述客户端可以包括搜索请求发送模块71、搜索结果接收模块72和搜索结果展示模块73。其中，
搜索请求发送模块71，可以用于向全文搜索服务器发送包含关键词的搜索请求；
搜索结果接收模块72，可以用于接收所述全文搜索服务器返回的搜索结果；所述搜索结果包含匹配出的业务数据的全文摘要，所述匹配出的业务数据由所述全文搜索服务器按照预设的拆分规则，将所述关键词拆分为索引分词，并根据所述索引分词从目标文件中匹配业务数据得到，所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
搜索结果展示模块73，可以用于展示所述搜索结果。
在本说明书一些实施例中，所述搜索结果中还可以包括与所述全文摘要对应的业务数据表的文件标识。相应的，所述客户端还可以包括读请求发送模块和数据表接收模块。其中，读请求发送模块可以用于向业务系统发送包含文件标识的读请求；数据表接收模块可以用于接收所述业务系统返回的与所述文件标识对应的业务数据表。如此，所述客户端不仅可以获得与关键词对应的全文摘要，还可以基于搜索结果中的文件标识，从所述业务系统中获得与文件标识对应的业务数据的细节详情。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
参考图2所示，与上述业务系统对应，本说明书一些实施例的数据处理方法可以包括如下步骤：
S201、基于定时任务获取指定范围内的多个业务数据表。
S202、将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件。
S203、将所述文件同步至全文搜索服务器。
本说明书一些实施例中，在基于定时任务获取指定范围内的多个业务数据表之前，还可以加载任务配置脚本并生效；其中，所述任务配置脚本中含有所述定时任务。
本说明书一些实施例中，所述数据处理方法还可以包括如下：
接收客户端发送的包含文件标识的读请求；
响应于所述读请求，向所述客户端返回与所述文件标识对应的业务数据表。
参考图3所示，与上述全文搜索服务器对应，本说明书一些实施例的数据处理方法可以包括如下步骤：
S301、接收包含关键词的搜索请求。
S302、响应于所述搜索请求，按照预设的拆分规则将所述关键词拆分为索引分词。
S303、根据所述索引分词从目标文件中匹配业务数据；所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段。
S304、生成匹配出的业务数据的全文摘要。
S305、返回包含所述全文摘要的搜索结果。
本说明书一些实施例中，在接收包含关键词的搜索请求之前，还可以包括加载索引分词配置脚本并生效。其中，所述索引分词配置脚本中含有预设的索引分词集合。
参考图4所示，与上述客户端对应，本说明书一些实施例的数据处理方法可以包括如下步骤：
S401、向全文搜索服务器发送包含关键词的搜索请求。
S402、接收所述全文搜索服务器返回的搜索结果；所述搜索结果包含匹配出的业务数据的全文摘要，所述匹配出的业务数据由所述全文搜索服务器按照预设的拆分规则，将所述关键词拆分为索引分词，并根据所述索引分词从目标文件中匹配业务数据得到，所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段。
S403、展示所述搜索结果。
本说明书一些实施例中，所述搜索结果中还可以包括与所述全文摘要对应的业务数据表的文件标识。相应的，在接收所述全文搜索服务器返回的搜索结果之后，所述数据处理方法还可以包括：向业务系统发送包含文件标识的读请求；接收所述业务系统返回的与所述文件标识对应的业务数据表。
虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (23)
1.一种数据处理方法，其特征在于，该方法包括：
基于定时任务获取指定范围内的多个业务数据表；
将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件；
将所述文件同步至全文搜索服务器。
2.如权利要求1所述的数据处理方法，其特征在于，在基于定时任务获取指定范围内的多个业务数据表之前，还包括：
加载任务配置脚本并生效；所述任务配置脚本中含有所述定时任务。
3.如权利要求1所述的数据处理方法，其特征在于，还包括：
接收客户端发送的包含文件标识的读请求；
响应于所述读请求，向所述客户端返回与所述文件标识对应的业务数据表。
4.如权利要求1所述的数据处理方法，其特征在于，所述定时任务包括quartz定时任务。
5.如权利要求1所述的数据处理方法，其特征在于，所述全文搜索服务器包括ElasticSearch搜索引擎服务器。
6.一种业务系统，其特征在于，包括：
数据表获取模块，用于基于定时任务获取指定范围内的多个业务数据表；
数据表组合模块，用于将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件；
数据表同步模块，用于将所述文件同步至全文搜索服务器。
7.如权利要求6所述的业务系统，其特征在于，还包括：
任务脚本生效模块，用于加载任务配置脚本并生效；所述任务配置脚本中含有所述定时任务。
8.如权利要求6所述的业务系统，其特征在于，还包括：
读请求接收模块，用于接收客户端发送的包含文件标识的读请求；
读请求处理模块，用于响应于所述读请求，向所述客户端返回与所述文件标识对应的业务数据表。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
基于定时任务获取指定范围内的多个业务数据表；
将每个业务数据表的多个字段组合为一个字段，并将所述多个业务数据表组合为一个文件；
将所述文件同步至全文搜索服务器。
10.一种数据处理方法，其特征在于，该方法包括：
接收包含关键词的搜索请求；
响应于所述搜索请求，按照预设的拆分规则将所述关键词拆分为索引分词；
根据所述索引分词从目标文件中匹配业务数据；所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
生成匹配出的业务数据的全文摘要；
返回包含所述全文摘要的搜索结果。
11.如权利要求10所述的数据处理方法，其特征在于，在接收包含关键词的搜索请求之前，还包括：
加载索引分词配置脚本并生效；所述索引分词配置脚本中含有预设的索引分词集合。
12.如权利要求10所述的数据处理方法，其特征在于，所述搜索结果中还包括：
与所述全文摘要对应的业务数据表的文件标识。
13.一种全文搜索服务器，其特征在于，包括：
请求接收模块，用于接收包含关键词的搜索请求；
分词获取模块，用于响应于所述搜索请求，按照预设的拆分规则将所述关键词拆分为索引分词；
数据匹配模块，用于根据所述索引分词从目标文件中匹配业务数据；所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
摘要生成模块，用于生成匹配出的业务数据的全文摘要；
结果返回模块，用于返回包含所述全文摘要的搜索结果。
14.如权利要求13所述的全文搜索服务器，其特征在于，还包括：
索引脚本生效模块，用于加载索引分词配置脚本并生效；所述索引分词配置脚本中含有预设的索引分词集合。
15.如权利要求13所述的全文搜索服务器，其特征在于，所述搜索结果中还包括：
与所述全文摘要对应的业务数据表的文件标识。
16.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
接收包含关键词的搜索请求；
响应于所述搜索请求，按照预设的拆分规则将所述关键词拆分为索引分词；
根据所述索引分词从目标文件中匹配业务数据；所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
生成匹配出的业务数据的全文摘要；
返回包含所述全文摘要的搜索结果。
17.一种数据处理方法，其特征在于，该方法包括：
向全文搜索服务器发送包含关键词的搜索请求；
接收所述全文搜索服务器返回的搜索结果；所述搜索结果包含匹配出的业务数据的全文摘要，所述匹配出的业务数据由所述全文搜索服务器按照预设的拆分规则，将所述关键词拆分为索引分词，并根据所述索引分词从目标文件中匹配业务数据得到，所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
展示所述搜索结果。
18.如权利要求17所述的数据处理方法，其特征在于，所述搜索结果中还包括：
与所述全文摘要对应的业务数据表的文件标识。
19.如权利要求18所述的数据处理方法，其特征在于，在接收所述全文搜索服务器返回的搜索结果之后，还包括：
向业务系统发送包含文件标识的读请求；
接收所述业务系统返回的与所述文件标识对应的业务数据表。
20.一种客户端，其特征在于，包括：
搜索请求发送模块，用于向全文搜索服务器发送包含关键词的搜索请求；
搜索结果接收模块，用于接收所述全文搜索服务器返回的搜索结果；所述搜索结果包含匹配出的业务数据的全文摘要，所述匹配出的业务数据由所述全文搜索服务器按照预设的拆分规则，将所述关键词拆分为索引分词，并根据所述索引分词从目标文件中匹配业务数据得到，所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
搜索结果展示模块，用于展示所述搜索结果。
21.如权利要求20所述的客户端，其特征在于，所述搜索结果中还包括：
与所述全文摘要对应的业务数据表的文件标识。
22.如权利要求21所述的客户端，其特征在于，还包括：
读请求发送模块，用于向业务系统发送包含文件标识的读请求；
数据表接收模块，用于接收所述业务系统返回的与所述文件标识对应的业务数据表。
23.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
向全文搜索服务器发送包含关键词的搜索请求；
接收所述全文搜索服务器返回的搜索结果；所述搜索结果包含匹配出的业务数据的全文摘要，所述匹配出的业务数据由所述全文搜索服务器按照预设的拆分规则，将所述关键词拆分为索引分词，并根据所述索引分词从目标文件中匹配业务数据得到，所述目标文件包括将多个业务数据表组合而成的一个文件，且每个业务数据表的字段被组合为一个字段；
展示所述搜索结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910414053.0A CN110188100A (zh) | 2019-05-17 | 2019-05-17 | 数据处理方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910414053.0A CN110188100A (zh) | 2019-05-17 | 2019-05-17 | 数据处理方法、装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110188100A true CN110188100A (zh) | 2019-08-30 |
Family
ID=67716713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910414053.0A Pending CN110188100A (zh) | 2019-05-17 | 2019-05-17 | 数据处理方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110188100A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111125176A (zh) * | 2019-12-20 | 2020-05-08 | 北京百度网讯科技有限公司 | 一种业务数据搜索方法、装置、电子设备和存储介质 |
| CN111914066A (zh) * | 2020-08-17 | 2020-11-10 | 山东合天智汇信息技术有限公司 | 多源数据库全局搜索方法及系统 |
| CN112015738A (zh) * | 2020-08-28 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 用于实现多个数据明细表的联表处理的方法及装置 |
| CN112445873A (zh) * | 2020-12-02 | 2021-03-05 | 深圳市镜玩科技有限公司 | 列表显示处理方法、相关装置、设备及介质 |
| CN112597162A (zh) * | 2020-12-25 | 2021-04-02 | 平安银行股份有限公司 | 数据集采集方法、系统、设备及存储介质 |
| CN113779058A (zh) * | 2020-10-16 | 2021-12-10 | 北京京东振世信息技术有限公司 | 获取业务数据的方法、装置、设备和计算机可读介质 |
| CN114519090A (zh) * | 2020-11-20 | 2022-05-20 | 马上消费金融股份有限公司 | 一种停用词的管理方法、装置及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760174A (zh) * | 2016-03-09 | 2016-07-13 | 浪潮软件集团有限公司 | 一种基于Windows定时任务的建议数据抽取方法 |
| CN106020944A (zh) * | 2016-05-04 | 2016-10-12 | 北京思特奇信息技术股份有限公司 | 一种基于后台数据库配置进行数据下载的方法和系统 |
| CN106919637A (zh) * | 2016-07-04 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 唯一索引创建和唯一性查询方法及装置 |
| US20170357693A1 (en) * | 2016-06-14 | 2017-12-14 | Sap Se | Overlay Visualizations Utilizing Data Layer |
| US20180096018A1 (en) * | 2016-09-30 | 2018-04-05 | Microsoft Technology Licensing, Llc | Reducing processing for comparing large metadata sets |
| CN109408535A (zh) * | 2018-09-28 | 2019-03-01 | 中国平安财产保险股份有限公司 | 大数据量匹配方法、装置、计算机设备及存储介质 |
| CN109669949A (zh) * | 2018-12-27 | 2019-04-23 | 广州云趣信息科技有限公司 | 一种基于数据模型的动态报表生成方法和系统实现 |
-
2019
- 2019-05-17 CN CN201910414053.0A patent/CN110188100A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760174A (zh) * | 2016-03-09 | 2016-07-13 | 浪潮软件集团有限公司 | 一种基于Windows定时任务的建议数据抽取方法 |
| CN106020944A (zh) * | 2016-05-04 | 2016-10-12 | 北京思特奇信息技术股份有限公司 | 一种基于后台数据库配置进行数据下载的方法和系统 |
| US20170357693A1 (en) * | 2016-06-14 | 2017-12-14 | Sap Se | Overlay Visualizations Utilizing Data Layer |
| CN106919637A (zh) * | 2016-07-04 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 唯一索引创建和唯一性查询方法及装置 |
| US20180096018A1 (en) * | 2016-09-30 | 2018-04-05 | Microsoft Technology Licensing, Llc | Reducing processing for comparing large metadata sets |
| CN109408535A (zh) * | 2018-09-28 | 2019-03-01 | 中国平安财产保险股份有限公司 | 大数据量匹配方法、装置、计算机设备及存储介质 |
| CN109669949A (zh) * | 2018-12-27 | 2019-04-23 | 广州云趣信息科技有限公司 | 一种基于数据模型的动态报表生成方法和系统实现 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111125176A (zh) * | 2019-12-20 | 2020-05-08 | 北京百度网讯科技有限公司 | 一种业务数据搜索方法、装置、电子设备和存储介质 |
| CN111125176B (zh) * | 2019-12-20 | 2023-10-03 | 北京百度网讯科技有限公司 | 一种业务数据搜索方法、装置、电子设备和存储介质 |
| CN111914066A (zh) * | 2020-08-17 | 2020-11-10 | 山东合天智汇信息技术有限公司 | 多源数据库全局搜索方法及系统 |
| CN111914066B (zh) * | 2020-08-17 | 2024-02-02 | 山东合天智汇信息技术有限公司 | 多源数据库全局搜索方法及系统 |
| CN112015738A (zh) * | 2020-08-28 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 用于实现多个数据明细表的联表处理的方法及装置 |
| CN113779058A (zh) * | 2020-10-16 | 2021-12-10 | 北京京东振世信息技术有限公司 | 获取业务数据的方法、装置、设备和计算机可读介质 |
| CN114519090A (zh) * | 2020-11-20 | 2022-05-20 | 马上消费金融股份有限公司 | 一种停用词的管理方法、装置及电子设备 |
| CN114519090B (zh) * | 2020-11-20 | 2023-11-21 | 马上消费金融股份有限公司 | 一种停用词的管理方法、装置及电子设备 |
| CN112445873A (zh) * | 2020-12-02 | 2021-03-05 | 深圳市镜玩科技有限公司 | 列表显示处理方法、相关装置、设备及介质 |
| CN112445873B (zh) * | 2020-12-02 | 2024-03-26 | 深圳市镜玩科技有限公司 | 列表显示处理方法、相关装置、设备及介质 |
| CN112597162A (zh) * | 2020-12-25 | 2021-04-02 | 平安银行股份有限公司 | 数据集采集方法、系统、设备及存储介质 |
| CN112597162B (zh) * | 2020-12-25 | 2023-08-08 | 平安银行股份有限公司 | 数据集采集方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188100A (zh) | 数据处理方法、装置及计算机存储介质 | |
| CN106557486A (zh) | 一种数据的存储方法和装置 | |
| CN102129425B (zh) | 数据仓库中大对象集合表的访问方法及装置 | |
| US9569486B2 (en) | System and a method for hierarchical data column storage and efficient query processing | |
| CN104598550B (zh) | 一种网络视频索引的更新方法和装置 | |
| US10496645B1 (en) | System and method for analysis of a database proxy | |
| CN110471754A (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
| CN108062384A (zh) | 数据检索的方法和装置 | |
| CN110427364A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| WO2023040143A1 (zh) | 云服务的资源编排方法、装置、设备及存储介质 | |
| CN107391535A (zh) | 在文档应用中搜索文档的方法及装置 | |
| CN110069488A (zh) | 一种数据存储方法、数据读取方法及其装置 | |
| US20130346405A1 (en) | Systems and methods for managing data items using structured tags | |
| US20130103664A1 (en) | Searches for Similar Documents | |
| CN114969585A (zh) | 电子票据邮件的处理方法及装置 | |
| CN112860412A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
| CN109582476B (zh) | 数据处理方法、装置及系统 | |
| CN105184550B (zh) | 管理排期数据的方法、服务器及系统 | |
| CN103995831A (zh) | 基于物品间相似度的物品处理方法、系统和装置 | |
| US9286348B2 (en) | Dynamic search system | |
| CN102999554A (zh) | 业务数据处理方法和装置 | |
| US9230011B1 (en) | Index-based querying of archived data sets | |
| US20210149746A1 (en) | Method, System, Computer Readable Medium, and Device for Scheduling Computational Operation Based on Graph Data | |
| Anantha et al. | Context Tuning for Retrieval Augmented Generation | |
| CN109947702A (zh) | 索引构建方法及装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |