CN108038425A - 一种模式识别索引系统及其索引方法 - Google Patents
一种模式识别索引系统及其索引方法 Download PDFInfo
- Publication number
- CN108038425A CN108038425A CN201711216820.4A CN201711216820A CN108038425A CN 108038425 A CN108038425 A CN 108038425A CN 201711216820 A CN201711216820 A CN 201711216820A CN 108038425 A CN108038425 A CN 108038425A
- Authority
- CN
- China
- Prior art keywords
- task
- recognition
- pattern
- task scheduling
- scheduling modules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种模式识别索引系统及其索引方法;该系统包括任务调度模块、数据存储模块和高性能计算模块;任务调度模块用于接收用户提交的模式识别索引任务以及负责整个系统任务的调度。数据存储模块通过局域网与任务调度模块连接。高性能计算模块,通过局域网与任务调度模块连接。该方法包括如用户上传模式识别索引任务至任务调度模块、任务调度模块并将任务下发至数据储存模块,数据存储模块在数据库中进行检索、高性能计算模块对检索结果运算比对,获得计算结果;之后将计算结果反馈给任务调度模块。本发明将大容量存储数据库与高性能计算结合起来,以高性能计算为基础,大大提高模式识别索引的效率。
Description
技术领域
本发明涉及模式识别技术,具体涉及一种模式识别索引系统及其索引方法。
背景技术
模式识别技术是信息科学和人工智能的重要组成部分,主要应用有语音识别技术以及生物认证技术。以指纹识别为例,指纹识别一般包括指纹图像采集、指纹图像增强、特征提取和匹配几个部分,其中特征匹配在整个系统中占有重要地位。指纹识别系统中的匹配算法主要分为基于细节信息和基于全局信息两种模式。目前,大部分的指纹识别系统都是采用基于细节特征的匹配方法,即提取细化后的指纹图像的端点和分叉点信息,采用一定的算法实现匹配。此类算法虽然取得了较好的识别效果,但是对发生偏移、形变、断纹等低质量的指纹图像效果不佳,并由于该类方法在提取特征之前要对指纹图像做一系列的预处理,耗时较长。与指纹识别类似,由于识别处理系统能力瓶颈,各种识别模式未能在当今大数据环境下得到大范围应用。传统识别系统在大库容的情况下,面临着准确率不够高,速度慢等问题。
发明内容
在针对现有技术的不足,本发明提出了一种模式识别索引系统及其索引方法。
本发明的技术方案如下:
一种模式识别索引系统,包括任务调度模块、数据存储模块和高性能计算模块;
任务调度模块:用于接收用户提交的模式识别索引任务、下发模式识别索引任务给数据存储模块并接收数据存储模块传递的检索结果、下发检索结果给高性能计算模块并接收高性能计算模块传递的计算结果以及将计算结果反馈给用户;
数据存储模块,通过局域网与任务调度模块连接;用于存储各模式数据库的数据、接收任务调度模块所下发的识别索引任务并进行检索工作以及将检索结果传递给任务调度模块;
高性能计算模块,通过局域网与任务调度模块连接;接收任务调度模块所下发的检索结果、进行实时高速计算以及任务完成后将计算结果反馈给任务调度模块。
其进一步的技术方案为,任务调度模块包括CPU处理器、存储单元、电源单元和网络通信单元。
其进一步的技术方案为,数据存储模块包括CPU处理器、大容量存储单元、电源单元和网络通信单元。
其进一步的技术方案为,高性能计算模块包括CPU处理器、科学计算卡、存储单元、电源单元和网络通信单元。
其进一步的技术方案为,所述科学计算卡包括外接口通信系统、拟态计算系统、拟态管理系统、存储管理系统、供电系统和散热系统;所述外接口通信系统与所述拟态计算系统通讯连接;所述拟态计算系统与所述拟态管理系统通讯连接;所述拟态管理系统与所述存储管理系统通讯连接;其中,所述外接口通信系统用于将外接口及时序转化为通用的局部总线接口及时序;所述拟态计算系统将需要运算的数据转化为数据结果并进行处理;所述拟态管理系统有多片功能完全相同的计算节点;所述存储管理系统包括多片I/O独立的存储芯片;每片计算节点连接多片存储芯片;所述供电系统对科学计算卡上进行供电;所述散热系统对科学计算卡进行散热。
其进一步的技术方案为,所述计算节点为CPU、嵌入式CPU、DSP、GPU、嵌入式GPU、FPGA、CPLD或/和ASCI chip。
其进一步的技术方案为,外接口通信系统连接计算机的PCI-e插槽、RJ45网口、PCI插槽、ATCA、RS232串口总线或/和RS485串口总线。
一种模式识别索引方法,包括如下步骤:
1)用户上传模式识别索引任务至任务调度模块;任务调度模块接受该模式识别索引任务并准备下发该模式识别索引任务;
2)任务调度模块并将任务下发至数据储存模块,数据存储模块在数据库中进行检索,并将检索结果通过高速网络传输到任务调度模块。
3)任务调度模块接收数据存储模块传递的检索结果,将检索结果下发给高性能计算模块进行计算;高性能计算模块对检索结果运算比对,获得计算结果;之后将计算结果反馈给任务调度模块。
4)任务调度模块将得到的结果数据反馈给用户。
其进一步的技术方案为,模式识别索引任务包括语音识别任务、声纹识别任务、指纹识别任务、文字识别任务、图像识别任务以及DNA识别任务。
其进一步的技术方案为,模式识别索引任务所针对的对象是需要进行模式识别索引的语音、文字、图片及其特征码。
本发明的有益技术效果是:
本发明将大容量存储数据库与高性能计算结合起来,以高性能计算为基础,大大提高模式识别索引的效率。本发明的大容量存储单元具有高扩展性以及高吞吐率的特点,可以在大数据量的情况下做到低相应时间通过更低的成本,实现资源的高效利用。本发明通过设置的任务调度单元可以调度数据存储系统以及高性能计算系统,以平衡两者的资源。。
附图说明
图1为本发明的系统功能示意图。
图2为本发明的系统结构示意图。
图3为本发明的科学计算卡结构示意图。
具体实施方式
图1、图2所示,本发明涉及一种模式识别索引系统。模式识别索引系统包括任务调度模块、数据存储模块和高性能计算模块。
任务调度模块:用于接收用户提交的模式识别索引任务并负责整个系统任务的调度。系统任务包括任务下发、实时监控和结果回收。具体的,包括下发模式识别索引任务给数据存储模块并接收数据存储模块传递的检索结果、下发检索结果给高性能计算模块并接收高性能计算模块传递的计算结果。还包括将计算结果反馈给用户。任务调度模块包括CPU处理器、存储单元、电源单元和网络通信单元。
数据存储模块,通过局域网与任务调度模块连接;用于存储各模式数据库的数据,并接收任务调度模块所下发的识别索引任务,进行检索工作,并将检索结果传递给任务调度模块;数据存储模块包括CPU处理器、大容量存储单元、电源单元和网络通信单元。
高性能计算模块,通过局域网与任务调度模块连接;接收任务调度模块所下发的检索结果,并进行实时高速计算;任务完成后将计算结果反馈给任务调度模块。高性能计算模块包括CPU处理器、科学计算卡、存储单元、电源单元和网络通信单元。
图3是科学计算卡的结构图。科学计算卡包括外接口通信系统、拟态计算系统、拟态管理系统、存储管理系统、供电系统和散热系统;外接口通信系统与拟态计算系统通讯连接;拟态计算系统与拟态管理系统通讯连接;拟态管理系统与存储管理系统通讯连接;其中,外接口通信系统用于将外接口及时序转化为通用的局部总线接口及时序;拟态计算系统将需要运算的数据转化为数据结果并进行处理;拟态管理系统有多片功能完全相同的计算节点;存储管理系统包括多片I/O独立的存储芯片;每片计算节点连接多片存储芯片;供电系统对科学计算卡上进行供电;散热系统对科学计算卡进行散热。
科学计算卡中的计算节点为CPU、嵌入式CPU、DSP、GPU、嵌入式GPU、FPGA、CPLD或/和ASCI chip,并支持行业标准的外围设备、连接器以及丰富的接口,满足需要海量计算和通信的需求。
上文所述的外接口通信系统连接计算机的PCI-e插槽、RJ45网口、PCI插槽、ATCA、RS232串口总线或/和RS485串口总线。
本发明系统中的科学计算卡具有高度安全性能、可灵活性的、可执行高密度运算且高效。作为基于服务器的数据处理设备,该科学计算卡可以实现数据的海量数据处理。强大的计算节点处理性能,可以实现亿门级的硬件加速,方便用户进行复杂的逻辑处理与算法运算。
本发明还公开了一种模式识别索引方法,具体包括如下步骤:
1)用户上传模式识别索引任务至任务调度模块;任务调度模块接受该模式识别索引任务并准备下发该模式识别索引任务。
模式识别索引任务包括语音识别任务,声纹识别任务,指纹识别任务,文字识别任务,图像识别任务以及DNA识别任务。
模式识别索引任务所针对的对象是需要进行模式识别索引的语音、文字、图片及其特征码。
2)通过高速网络传输,任务调度模块将模式识别索引任务下发至数据储存模块,数据存储模块在与模式识别索引任务所对应的数据库中进行检索,索引到相匹配的特征码及其对应的结果;并将检索结果通过高速网络传输到任务调度模块。
3)任务调度模块接收数据存储模块传递的检索结果,将检索结果下发给高性能计算模块进行计算;高性能计算模块通过运行高效模式识别算法,对传入的检索结果任务进行高速、高精确度的运算比对,获得计算结果;之后将计算结果反馈给任务调度模块。
4)任务调度模块将得到的结果数据反馈给用户。
以下通过两个实施例来阐述上述的模式识别索引方法。
实施例1:指纹识别索引任务。具体包括以下步骤:
1)用户上传指纹识别索引任务到任务调度模块,任务调度模块接收该指纹识别索引任务并准备下发该指纹识别索引任务。
2)通过高速网络传输,任务调度模块将指纹识别索引任务下发至数据存储模块,数据存储模块在指纹数据库进行检索,并将检索结果反馈至任务调度模块。
3)任务调度模块接收到由数据存储模块检索完的指纹数据,再将数据交高速运算模块进行运算。高速运算模块得到运算结果,将结果通过高速网络反馈到任务调度模块。
步骤4:任务调度模块得到结果数据,反馈给用户。
实施例2:语音识别索引任务。具体包括以下步骤:
1)用户上传语音识别任务到任务调度模块,任务调度模块接收该语音识别任务并准备下发该语音识别任务。
2)通过高速网络传输,任务调度模块将任务下发至数据存储模块,数据存储模块在语音数据库中进行检索,并将检索结果反馈至任务调度模块。
3)任务调度模块接收到由数据存储模块检索完的语音数据,再将数据交高速运算模块进行运算。高速运算模块得到运算结果,将运算结果通过高速网络传输到任务调度模块。
4)任务调度模块得到结果数据,然后反馈给用户。
以上所述的仅是本发明的优选实施方式,本发明不限于以上实施例。可以理解,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围之内。
Claims (10)
1.一种模式识别索引系统,其特征在于,包括任务调度模块、数据存储模块和高性能计算模块;
任务调度模块:用于接收用户提交的模式识别索引任务、下发模式识别索引任务给数据存储模块并接收数据存储模块传递的检索结果、下发检索结果给高性能计算模块并接收高性能计算模块传递的计算结果以及将计算结果反馈给用户;
数据存储模块,通过局域网与任务调度模块连接;用于存储各模式数据库的数据、接收任务调度模块所下发的识别索引任务并进行检索工作以及将检索结果传递给任务调度模块;
高性能计算模块,通过局域网与任务调度模块连接;接收任务调度模块所下发的检索结果、进行实时高速计算以及任务完成后将计算结果反馈给任务调度模块。
2.如权利要求1所述的模式识别索引系统,其特征在于,任务调度模块包括CPU处理器、存储单元、电源单元和网络通信单元。
3.如权利要求1所述的模式识别索引系统,其特征在于,数据存储模块包括CPU处理器、大容量存储单元、电源单元和网络通信单元。
4.如权利要求1所述的模式识别索引系统,其特征在于,高性能计算模块包括CPU处理器、科学计算卡、存储单元、电源单元和网络通信单元。
5.如权利要求4所述的模式识别索引系统,其特征在于,所述科学计算卡包括外接口通信系统、拟态计算系统、拟态管理系统、存储管理系统、供电系统和散热系统;所述外接口通信系统与所述拟态计算系统通讯连接;所述拟态计算系统与所述拟态管理系统通讯连接;所述拟态管理系统与所述存储管理系统通讯连接;其中,所述外接口通信系统用于将外接口及时序转化为通用的局部总线接口及时序;所述拟态计算系统将需要运算的数据转化为数据结果并进行处理;所述拟态管理系统有多片功能完全相同的计算节点;所述存储管理系统包括多片I/O独立的存储芯片;每片计算节点连接多片存储芯片;所述供电系统对科学计算卡上进行供电;所述散热系统对科学计算卡进行散热。
6.如权利要求5所述的模式识别索引系统,其特征在于,所述计算节点为CPU、嵌入式CPU、DSP、GPU、嵌入式GPU、FPGA、CPLD或/和ASCI chip。
7.如权利要求5所述的模式识别索引系统,其特征在于,外接口通信系统连接计算机的PCI-e插槽、RJ45网口、PCI插槽、ATCA、RS232串口总线或/和RS485串口总线。
8.一种模式识别索引方法,其特征在于,包括如下步骤:
1)用户上传模式识别索引任务至任务调度模块;任务调度模块接受该模式识别索引任务并准备下发该模式识别索引任务;
2)任务调度模块并将任务下发至数据储存模块,数据存储模块在数据库中进行检索,并将检索结果通过高速网络传输到任务调度模块。
3)任务调度模块接收数据存储模块传递的检索结果,将检索结果下发给高性能计算模块进行计算;高性能计算模块对检索结果运算比对,获得计算结果;之后将计算结果反馈给任务调度模块。
4)任务调度模块将得到的结果数据反馈给用户。
9.如权利要求8所述的模式识别索引方法,其特征在于,模式识别索引任务包括语音识别任务、声纹识别任务、指纹识别任务、文字识别任务、图像识别任务以及DNA识别任务。
10.如权利要求8所述的模式识别索引方法,其特征在于,模式识别索引任务所针对的对象是需要进行模式识别索引的语音、文字、图片及其特征码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711216820.4A CN108038425A (zh) | 2017-11-28 | 2017-11-28 | 一种模式识别索引系统及其索引方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711216820.4A CN108038425A (zh) | 2017-11-28 | 2017-11-28 | 一种模式识别索引系统及其索引方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108038425A true CN108038425A (zh) | 2018-05-15 |
Family
ID=62093997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711216820.4A Pending CN108038425A (zh) | 2017-11-28 | 2017-11-28 | 一种模式识别索引系统及其索引方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108038425A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110209433A (zh) * | 2019-04-15 | 2019-09-06 | 杭州丰锐智能电气研究院有限公司 | 一种识别不同型号集中器的方法 |
CN111261170A (zh) * | 2020-01-10 | 2020-06-09 | 深圳市声扬科技有限公司 | 基于声纹库的声纹识别方法、主控节点及计算节点 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002304598A (ja) * | 2001-01-31 | 2002-10-18 | Ajasuto:Kk | 文書読取装置及び文書読取処理プログラム |
JP2003123023A (ja) * | 2001-10-12 | 2003-04-25 | Nippon Telegr & Teleph Corp <Ntt> | 文字認識方法及び文字認識装置、文字認識プログラム並びにそのプログラムを記録した記録媒体 |
CN101231662A (zh) * | 2008-01-25 | 2008-07-30 | 华中科技大学 | 基于网格平台的分布式医学图像检索系统 |
CN101488204A (zh) * | 2009-02-25 | 2009-07-22 | 中国网络通信集团公司 | 任务优化调度系统 |
CN104572648A (zh) * | 2013-10-11 | 2015-04-29 | 中国石油化工股份有限公司 | 一种基于高性能计算的存储统计系统及方法 |
CN206115334U (zh) * | 2016-06-30 | 2017-04-19 | 无锡十月中宸科技有限公司 | 一种基于混合资源的拟态科学计算卡 |
-
2017
- 2017-11-28 CN CN201711216820.4A patent/CN108038425A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002304598A (ja) * | 2001-01-31 | 2002-10-18 | Ajasuto:Kk | 文書読取装置及び文書読取処理プログラム |
JP2003123023A (ja) * | 2001-10-12 | 2003-04-25 | Nippon Telegr & Teleph Corp <Ntt> | 文字認識方法及び文字認識装置、文字認識プログラム並びにそのプログラムを記録した記録媒体 |
CN101231662A (zh) * | 2008-01-25 | 2008-07-30 | 华中科技大学 | 基于网格平台的分布式医学图像检索系统 |
CN101488204A (zh) * | 2009-02-25 | 2009-07-22 | 中国网络通信集团公司 | 任务优化调度系统 |
CN104572648A (zh) * | 2013-10-11 | 2015-04-29 | 中国石油化工股份有限公司 | 一种基于高性能计算的存储统计系统及方法 |
CN206115334U (zh) * | 2016-06-30 | 2017-04-19 | 无锡十月中宸科技有限公司 | 一种基于混合资源的拟态科学计算卡 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110209433A (zh) * | 2019-04-15 | 2019-09-06 | 杭州丰锐智能电气研究院有限公司 | 一种识别不同型号集中器的方法 |
CN110209433B (zh) * | 2019-04-15 | 2022-07-01 | 杭州丰锐智能电气研究院有限公司 | 一种识别不同型号集中器的方法 |
CN111261170A (zh) * | 2020-01-10 | 2020-06-09 | 深圳市声扬科技有限公司 | 基于声纹库的声纹识别方法、主控节点及计算节点 |
WO2021139211A1 (zh) * | 2020-01-10 | 2021-07-15 | 深圳市声扬科技有限公司 | 基于声纹库的声纹识别方法、主控节点及计算节点 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7076483B2 (ja) | データモデルを構築する方法、装置、デバイス及び媒体 | |
Ming et al. | Dynamic multi-task learning for face recognition with facial expression | |
CN109858007A (zh) | 语义分析问答方法和装置、计算机设备和存储介质 | |
CN112559687B (zh) | 问题识别及查询方法、装置、电子设备及存储介质 | |
CN111325156A (zh) | 人脸识别方法、装置、设备和存储介质 | |
CN113157739B (zh) | 跨模态检索方法、装置、电子设备及存储介质 | |
US11874866B2 (en) | Multiscale quantization for fast similarity search | |
CN112417996B (zh) | 工业图纸的信息处理方法、装置、电子设备和存储介质 | |
CN108038425A (zh) | 一种模式识别索引系统及其索引方法 | |
CN112231417A (zh) | 数据分类方法、装置、电子设备及存储介质 | |
CN112632264A (zh) | 智能问答方法、装置、电子设备及存储介质 | |
CN113221570A (zh) | 基于线上问诊信息的处理方法、装置、设备及存储介质 | |
US11574004B2 (en) | Visual image search using text-based search engines | |
CN113360803A (zh) | 基于用户行为的数据缓存方法、装置、设备及存储介质 | |
CN117390173B (zh) | 一种语义相似度匹配的海量简历筛选方法 | |
CN117874166A (zh) | 文本处理方法、装置、计算机设备及存储介质 | |
CN108121763A (zh) | 一种模式识别索引系统及其索引方法 | |
CN110349635B (zh) | 一种基因测序数据质量分数的并行压缩方法 | |
CN114860667B (zh) | 文件分类方法、装置、电子设备及计算机可读存储介质 | |
CN111061779A (zh) | 一种基于大数据平台的数据处理方法及装置 | |
CN116340831A (zh) | 一种信息分类方法、装置、电子设备及存储介质 | |
CN110826991A (zh) | 一种电子回单处理系统及方法 | |
CN115544010A (zh) | 一种映射关系确定方法、装置、电子设备及存储介质 | |
CN110019739A (zh) | 基于必要条件的问答方法和装置、计算机设备和存储介质 | |
CN112182211B (zh) | 文本分类方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180515 |
|
RJ01 | Rejection of invention patent application after publication |