CN102129461A - 一种快速检索企业数据的方法 - Google Patents
一种快速检索企业数据的方法 Download PDFInfo
- Publication number
- CN102129461A CN102129461A CN201110058805.8A CN201110058805A CN102129461A CN 102129461 A CN102129461 A CN 102129461A CN 201110058805 A CN201110058805 A CN 201110058805A CN 102129461 A CN102129461 A CN 102129461A
- Authority
- CN
- China
- Prior art keywords
- data
- retrieval
- search engine
- search
- need
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
快速检索企业数据的方法，采用如下步骤：搜索引擎即检索模块初始化时，从数据库里加载所有需检索的数据，并按照搜索引擎配置的多元检索类型关键字生成多个散列表，为每个类型建立对应的索引；同时，对数据所有属性进行指定类型处理后存放在该数据的缓冲区接受用户检索条件匹配；分析检索条件参数和散列索引表控制：根据散列索引表获取数据块、对散列索引表中数据进行判断；对选中的数据进行检索条件参数匹配识别，排列并生成检索结果；获取指定数据块后，将从该数据块内的每条数据的缓冲区判定是否满足用户输入的检索条件参数，如果满足，则将该结果添加到搜索结果中。
Description
一、技术领域
本发明涉及计算机信息检索技术领域，具体涉及企业内部各种信息化系统所包含的数据进行快速检索的方法以及搜索引擎。
二、背景技术
在信息技术日益发达，企业生产数据日益庞大，知识爆炸性增长的今天，如何快速有效检索企业内部的运营数据，提升知识管理的运用与效果，是每个企业不得不面对的一个现实问题。
目前在万维网上常见的信息检索技术，通常采用的是大规模服务器阵列存储海量数据，蜘蛛机器人自动在网络上爬行获取数据进行分析缓存，这种模式并不适用于企业级应用。企业各种信息化系统大多采用关系型数据库进行数据存储，对系统内关键数据检索通常是基于数据库部分字段的精确匹配及部分字段的模糊搜索，在数据量比较大时，此类检索性能较差，在用户较多时，搜索会带给整个系统较大性能压力。而当数据库结构发生变化时，需要对新增加的字段进行检索则会导致产生新的客户需求，引发系统变更及升级，增加企业及软件供应商的成本。
三、发明内容
本发明目的是：针对企业数据检索需求，本发明提供了一种进行数据缓存及快速检索的方法和系统。这种方法对企业关键数据进行管理，提供高效的散列检索及数据匹配过滤，构建了一个快速有效的搜索引擎，适用范围广。
本发明的技术方案是，快速检索企业数据的方法：搜索引擎即检索模块初始化时，从数据库(系统的数据库，检索对象系统)里加载所有需检索的数据，并按照搜索引擎配置的多元检索类型关键字生成多个散列表，为每个类型建立对应的索引；同时，对数据所有属性进行指定类型处理后存放在该数据的缓冲区接受用户（终端）检索条件匹配；分析检索条件参数和散列索引表控制：根据散列索引表获取数据块、对散列索引表中数据进行判断；对选中的数据进行检索条件参数匹配识别，排列并生成检索结果；在检索数据时，首先判定该数据是否有对应的索引，例如编码索引，名称索引，如果发现索引，则通过索引去获取该索引指定的数据块，如果没有，则检索所有数据；获取指定数据块后，将从该数据块内的每条数据的缓冲区判定是否满足用户输入的检索条件参数，如果满足，则将该结果添加到搜索结果中。如此，以内存空间为代价，取代数据库级模糊检索，大大提高效率，如果需要检索的数据量很大，可以采用多台服务器分别负责不同的数据类型模式并行搜索，提高响应速度。
快速检索的搜索引擎构成一个独立的模块，加载在C/S模式下的服务器端或加载在B/S模式下的Web服务器业务层；调用方式是直接调用封装代码，也可以异步Ajax调用；在系统中添加企业数据快速检索引擎或模块，只需要少量的代码变更，涉及到以下方面：检索引擎在系统启动时是不会被自动启动的，需要显示调用在第一次调用时进行初始化加载，计算机系统可以选择性在加载完成后调动搜索引擎初始化。系统数据变更时，可以发送消息给检索引擎，检索引擎会进行异步数据刷新。
快速检索引擎的引用：添加引擎代码类库引用或直接添加源代码到项目。
设置检索数据：需要对进行检索的数据库的数据类型进行分析，并进行配置，例如，与核心主数据相关联的附加数据的表名设置，在搜索引擎加载系统数据时，会一次性加载所有附加数据表里的所有数据，并根据关联字段自动匹配缓冲区数据。
设置需要检索的数据内容：配置检索字段,即设置数据哪些对应的字段参与检索或不参与检索(默认情况下所有字段会被加载入缓冲区，有些无意义的字段则可以设置为不检索以提高效率)。
设置检索匹配数据：企业部分数据格式特殊，需要额外设置。举例1：某些字段是数值型，需要转化成对应的字符串（例如，状态栏为0表示正常，当用户输入检索条件为正常时应当能过滤出）。举例2：某些字段的关键字存在重复混淆，例如，优选/非优选，检索时如果单纯使用优选对结果没有影响，使用非优选则能检索出非优选数据，正确设置后使用优选则可以过滤掉非优选数据。
编写检索界面：包括用户输入界面及结果显示界面。
引擎扩展：支持SaaS模式，可以通过Web服务支持多个检索引擎检索不同类型数据并合并到最终结果；从本发明方案可以看出，本发明对企业数据检索提供了快速有效准确的支持，从用户使用到代码扩展开发，均简便快捷，对不同企业不同类型数据适用面广。
本发明的有益效果是：这种方法在目前的信息化系统内应用时基本无需增加额外的硬件支持，性能极高。并且本方法和引擎模块提供给用户的使用界面极其方便，用户无需进行多次点击及分类导航等，一次输入，即可快速获得结果。本引擎提供给开发者的效率也很高，无需对数据进行各种分类，编写各样的数据分类、导航界面，只需提供一个用户输入框便可完成前台检索界面。
四、附图说明
图1是本发明流程图
五、具体实施方式
具体数据检索方式：通过一个简单的实例，结合附图对本发明的应用进行更详细的描述，但不构成对本发明的限制。
本发明对企业核心数据数据进行检索的方法描述：
以制造业零部件信息检索为例：在用户打开搜索界面后，将可以看到一个搜索信息输入栏，后面是搜索按钮，整个界面干净简洁，
检索对应编码零部件
用户在输入栏直接输入零部件的编码，点击搜索按钮，直接根据该编码给出对应零部件的详细信息
根据名称检索
1、 用户输入要检索的零部件名称，例如“螺栓”，自动检索出所有螺栓相关的零部件
2、 用户输入要检索的零部件名称，并在后面加上参数，可以自动检索并过滤满足条件的零部件，例如，用户输入“螺栓 M20”，自动检索出所有M20的螺栓，参数可以是多个，中间以空格或逗号分隔
3、 参数可以是各种条件，例如重量、尺寸、描述、供应商、等级、状态等，并可以叠加，例如用户输入“发动机 100 优选”，则可以检索出所有发动机，并且被用户设置为优选件的，同时，某项参数里带有100，例如尺寸100*xx*xx的，或排气量为100L之类的，检索结果里，零部件属性中含检索参数项将会被红色标注
4、 用户也可以不输入零部件名称，直接输入各种检索条件，这种情况下，因为会检索所有数据，检索效率会略有降低，但不影响检索结果
搜索引擎原理
搜索引擎是一个独立的模块，可以加载在C/S模式下的服务器端也可以加载在B/S模式下的Web服务器业务层。调用方式可以是直接调用封装代码，也可以异步Ajax调用，开发者也可以根据业务逻辑针对性修改源代码。
搜索引擎在系统启动时是不会被自动启动的，需要显示调用在第一次调用时进行初始化加载，系统可以选择性在加载完成后调动搜索引擎初始化。系统数据变更时，可以发送消息给引擎，引擎会进行异步数据刷新。
引擎初始化时，会从数据库里加载所有需检索的数据，并自动按照关键字生成多个散列索引表，同时，对数据所有属性进行指定类型处理后存放在该数据的缓冲区。在检索数据时，会首先判定该数据是否有对应的索引，例如编码索引，名称索引，如果发现，则通过索引去获取该索引指定的数据块，如果没有，则检索所有数据。获取指定数据块后，将从该数据块内的每条数据的缓冲区判定是否满足用户输入的参数，如果满足，则将该结果添加到搜索结果中，如此，以内存空间为代价，取代数据库级模糊检索，大大提高效率，如果用户数据量很大，可以采用多台服务器分别负责不同的数据类型模式并行搜索，提高响应速度。
引擎检索流程图：根据实际运行效果，以十万条为单位的数据量检索中，消耗内存代价不高，检索速度极快，及其适合于制造业关键数据检索。
以上通过一个具体使用场景案例详细描述了本发明，本领域的技术人员应能理解。在不脱离本发明实质的范围内，可以作修改和变形，比如部分模块的剥离使用和将系统嵌入于其他应用系统中。
Claims (6)
1.快速检索企业数据的方，其特征是采用如下步骤：搜索引擎即检索模块初始化时，从数据库里加载所有需检索的数据，并按照搜索引擎配置的多元检索类型关键字生成多个散列表，为每个类型建立对应的索引；同时，对数据所有属性进行指定类型处理后存放在该数据的缓冲区接受用户检索条件匹配；分析检索条件参数和散列索引表控制：根据散列索引表获取数据块、对散列索引表中数据进行判断；对选中的数据进行检索条件参数匹配识别，排列并生成检索结果；在检索数据时，首先判定该数据是否有对应的索引，如果发现索引，则通过索引去获取该索引指定的数据块，如果没有，则检索所有数据；获取指定数据块后，将从该数据块内的每条数据的缓冲区判定是否满足用户输入的检索条件参数，如果满足，则将该结果添加到搜索结果中。
2.根据权利要求1所述的快速检索企业数据的方法：其特征是快速检索的搜索引擎构成一个独立的模块，加载在C/S模式下的服务器端或加载在B/S模式下的Web服务器业务层；调用方式是直接调用封装代码，也可以异步Ajax调用；
快速检索的搜索引擎构成一个独立的模块，加载在C/S模式下的服务器端或加载在B/S模式下的Web服务器业务层；调用方式是直接调用封装代码，或异步Ajax调用；在计算机系统中添加企业数据快速检索引擎或模块，只需要少量的代码变更：检索引擎在系统启动时是不会被自动启动的，需要调用时进行初始化加载，计算机系统选择性在加载完成后调动搜索引擎初始化；计算机系统数据变更时，可以发送消息给检索引擎，检索引擎会进行异步数据刷新。
3.根据权利要求1所述的快速检索企业数据的方法：其特征是在计算机系统中添加企业数据快速检索引擎，只需要少量的代码变更，涉及到以下方面：搜索引擎在系统启动时是不会被自动启动的，需要显示调用在第一次调用时进行初始化加载，系统可以选择性在加载完成后调动搜索引擎初始化；
系统数据变更时，可以发送消息给引擎，引擎会进行异步数据刷新。
4.根据权利要求1所述的快速检索企业数据的方法：其特征是如果需要检索的数据量很大，采用多台服务器分别负责不同的数据类型模式并行搜索，提高响应速度。
5.根据权利要求1所述的快速检索企业数据的方法：其特征是有关设置为：
快速检索引擎的引用：添加引擎代码类库引用或直接添加源代码到项目；
设置检索数据：需要对进行检索的数据库的数据类型进行分析，并进行配置；与核心主数据相关联的附加数据的表名设置，在搜索引擎加载系统数据时，会一次性加载所有附加数据表里的所有数据，并根据关联字段自动匹配缓冲区数据；设置需要检索的数据内容：配置检索字段,即设置数据哪些对应的字段参与检索或不参与检索；默认情况下所有字段会被加载入缓冲区，有些对检索无意义的字段则可以设置为不检索以提高系统效率。
6.根据权利要求1所述的快速检索企业数据的方法：其特征是设置检索匹配数据：企业部分数据格式特殊，需要额外设置，当某些字段是数值型，需要转化成对应的字符串：某些字段的关键字存在重复混淆，过滤掉非优选数据；编写检索界面：包括用户输入界面及结果显示界面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110058805.8A CN102129461B (zh) | 2011-03-11 | 2011-03-11 | 一种快速检索企业数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110058805.8A CN102129461B (zh) | 2011-03-11 | 2011-03-11 | 一种快速检索企业数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102129461A true CN102129461A (zh) | 2011-07-20 |
| CN102129461B CN102129461B (zh) | 2013-06-26 |
Family
ID=44267543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110058805.8A Active CN102129461B (zh) | 2011-03-11 | 2011-03-11 | 一种快速检索企业数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102129461B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064990A (zh) * | 2013-02-04 | 2013-04-24 | 广州太平洋电脑信息咨询有限公司 | 一种利用索引数据文件查询方法 |
| CN103368994A (zh) * | 2012-03-28 | 2013-10-23 | 百度在线网络技术（北京）有限公司 | 特定数据的推送方法及系统以及检索服务器 |
| CN103646317A (zh) * | 2013-12-30 | 2014-03-19 | 广西科技大学 | 一种应用于项目管理系统的实时数据智能关联计算方法 |
| CN106547902A (zh) * | 2016-11-07 | 2017-03-29 | 山东浪潮云服务信息科技有限公司 | 一种业务平台及查询业务实现的方法 |
| CN108241723A (zh) * | 2016-12-23 | 2018-07-03 | 天津市勘察院 | 一种应用导向的企业数据资源聚合方法 |
| CN108681593A (zh) * | 2018-05-16 | 2018-10-19 | 青岛海信移动通信技术股份有限公司 | 业务数据检索方法及装置 |
| CN109783498A (zh) * | 2019-01-17 | 2019-05-21 | 北京三快在线科技有限公司 | 数据处理方法及装置、电子设备、存储介质 |
| CN110020063A (zh) * | 2017-07-18 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 垂直搜索方法和系统 |
| CN110222054A (zh) * | 2019-05-22 | 2019-09-10 | 福建大屏网络科技有限公司 | 一种提高检索速度的方法、装置、终端设备和存储介质 |
| CN112685452A (zh) * | 2020-12-31 | 2021-04-20 | 特赞（上海）信息科技有限公司 | 企业案例检索方法、装置、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1987853A (zh) * | 2005-12-23 | 2007-06-27 | 北大方正集团有限公司 | 关系型数据库与全文检索相结合的检索方法 |
| CN101477568A (zh) * | 2009-02-12 | 2009-07-08 | 清华大学 | 一种结构化数据和非结构化数据综合检索的方法 |
-
2011
- 2011-03-11 CN CN201110058805.8A patent/CN102129461B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1987853A (zh) * | 2005-12-23 | 2007-06-27 | 北大方正集团有限公司 | 关系型数据库与全文检索相结合的检索方法 |
| CN101477568A (zh) * | 2009-02-12 | 2009-07-08 | 清华大学 | 一种结构化数据和非结构化数据综合检索的方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103368994A (zh) * | 2012-03-28 | 2013-10-23 | 百度在线网络技术（北京）有限公司 | 特定数据的推送方法及系统以及检索服务器 |
| CN103064990A (zh) * | 2013-02-04 | 2013-04-24 | 广州太平洋电脑信息咨询有限公司 | 一种利用索引数据文件查询方法 |
| CN103064990B (zh) * | 2013-02-04 | 2014-03-26 | 广州太平洋电脑信息咨询有限公司 | 一种利用索引数据文件查询方法 |
| CN103646317A (zh) * | 2013-12-30 | 2014-03-19 | 广西科技大学 | 一种应用于项目管理系统的实时数据智能关联计算方法 |
| CN106547902A (zh) * | 2016-11-07 | 2017-03-29 | 山东浪潮云服务信息科技有限公司 | 一种业务平台及查询业务实现的方法 |
| CN108241723A (zh) * | 2016-12-23 | 2018-07-03 | 天津市勘察院 | 一种应用导向的企业数据资源聚合方法 |
| CN110020063A (zh) * | 2017-07-18 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 垂直搜索方法和系统 |
| CN108681593A (zh) * | 2018-05-16 | 2018-10-19 | 青岛海信移动通信技术股份有限公司 | 业务数据检索方法及装置 |
| CN109783498A (zh) * | 2019-01-17 | 2019-05-21 | 北京三快在线科技有限公司 | 数据处理方法及装置、电子设备、存储介质 |
| CN110222054A (zh) * | 2019-05-22 | 2019-09-10 | 福建大屏网络科技有限公司 | 一种提高检索速度的方法、装置、终端设备和存储介质 |
| CN112685452A (zh) * | 2020-12-31 | 2021-04-20 | 特赞（上海）信息科技有限公司 | 企业案例检索方法、装置、设备和存储介质 |
| CN112685452B (zh) * | 2020-12-31 | 2021-08-10 | 特赞（上海）信息科技有限公司 | 企业案例检索方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102129461B (zh) | 2013-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102129461B (zh) | 一种快速检索企业数据的方法 | |
| US11922221B2 (en) | System and method for automatic dependency analysis for use with a multidimensional database | |
| CN110019397B (zh) | 用于进行数据处理的方法及装置 | |
| CN104714972B (zh) | 数据库分表建立及查询方法 | |
| CN101794315A (zh) | 一种数据库模式固定的对象关系映射模型 | |
| CN112379884B (zh) | 基于Spark和并行内存计算的流程引擎实现方法及系统 | |
| WO2011091708A1 (zh) | 多维数据库存储及查询的方法 | |
| CN112883091A (zh) | 因子数据获取方法、装置、计算机设备和存储介质 | |
| CN114968739A (zh) | 运维任务管理方法、运维方法、装置、设备和介质 | |
| KR102153259B1 (ko) | 데이터 도메인 추천 방법 및 추천된 도메인을 이용하여 통합 데이터 저장소 관리 시스템을 구축하는 방법 | |
| CN101968747B (zh) | 一种机群应用管理系统及其应用管理方法 | |
| US10311051B1 (en) | Storing modeling alternatives with unitized data | |
| US11960488B2 (en) | Join queries in data virtualization-based architecture | |
| CN108241624B (zh) | 一种查询脚本的生成方法及装置 | |
| CN114817226A (zh) | 政府数据的处理方法及装置 | |
| CN114564621A (zh) | 一种关联数据的方法、装置、设备及可读存储介质 | |
| US9785894B2 (en) | Simulation of supply chain plans using web service | |
| CN115686939B (zh) | 数据备份方法、装置、计算机设备和存储介质 | |
| Xu et al. | A PaaS based metadata-driven ETL framework | |
| CN113055476B (zh) | 一种集群式服务系统、方法、介质和计算设备 | |
| CN118152403A (zh) | 业务指标数据处理方法、装置、计算机设备和存储介质 | |
| Zhu et al. | LaUD-MS: An extensible system for unstructured data management | |
| CN110737679B (zh) | 数据资源的查询方法、装置、设备及存储介质 | |
| CN116561074A (zh) | 资源数据的分组方法、装置、计算机设备和存储介质 | |
| Goher et al. | A Survey of Cloud-Based Services Leveraged by Big Data Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220905 Address after: Room 603, Building A7, No. 2 Zidong Road, Maqun Street, Qixia District, Nanjing City, Jiangsu Province, 210000 Patentee after: Nanjing Agile Data Technology Co.,Ltd. Address before: 3rd Floor, Block B, Software Building, No. 9, Xinghuo Road, High-tech Industrial Development Zone, Nanjing High-tech Zone, Jiangsu Province, 210061 Patentee before: NANJING CMODES SOFTWARE INTEGRATION Co.,Ltd. |