CN112328636A - 一种数据查找方法、装置及电子设备 - Google Patents

一种数据查找方法、装置及电子设备 Download PDF

Info

Publication number
CN112328636A
CN112328636A CN202011163382.1A CN202011163382A CN112328636A CN 112328636 A CN112328636 A CN 112328636A CN 202011163382 A CN202011163382 A CN 202011163382A CN 112328636 A CN112328636 A CN 112328636A
Authority
CN
China
Prior art keywords
field
value
searched
preset
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011163382.1A
Other languages
English (en)
Inventor
辛伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kingstar Fintech Co Ltd
Original Assignee
Shanghai Kingstar Fintech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kingstar Fintech Co Ltd filed Critical Shanghai Kingstar Fintech Co Ltd
Priority to CN202011163382.1A priority Critical patent/CN112328636A/zh
Publication of CN112328636A publication Critical patent/CN112328636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据查找方法、装置及电子设备，在进行数据查找时，确定待查找字段集合的多维特征值，并依据预设降维规则，对多维特征值进行降维处理，将降维处理结果作为位置索引值，确定存储在位置索引值对应的存储区域的目标数据，并将目标数据确定为待查找字段集合对应的查询结果。本发明中，直接确定待查找字段集合的位置索引值，然后，确定存储在所述位置索引值对应的存储区域的目标数据即可，本发明中的处理和查找操作，相比于在容器中遍历key的方式，数据处理速度较快，数据查找时间较短，进而能够缩短业务处理时间，对紧急业务的适用性更好。

Description

一种数据查找方法、装置及电子设备
技术领域
本发明涉及数据索引领域，更具体的说，涉及一种数据查找方法、装置及电子设备。
背景技术
数据查找的速度决定了整个数据查询流程的快慢，通常在进行数据查找时，是将待查找字段集合中的多个字段的内容进行组合，得到关键要素key,然后在容器中遍历该key，找到该key后，就可以获取到存储在该key所在位置的数据。
但是上述这种数据查找方法，需要在容器中遍历key,遍历时间较长，进而使得整个数据查询流程占用时间较长，对于一些对处理时间要求较严格的紧急业务不能及时处理。
发明内容
有鉴于此，本发明提供一种数据查找方法、装置及电子设备，以解决现有数据查找方法的查找时间较长的问题。
为解决上述技术问题，本发明采用了如下技术方案：
一种数据查找方法，应用于处理器，所述处理器预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到；所述数据查找方法包括：
获取待查找字段集合；所述待查找字段集合包括多个预先设定的字段；
依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值；所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
确定存储在所述位置索引值对应的存储区域的目标数据，并将所述目标数据确定为所述待查找字段集合对应的查询结果。
可选地，依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，包括：
获取所述待查找字段集合对应的字段最小值；
依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值；
将所述待查找字段集合中每一字段的特征值组合得到所述待查找字段集合的多维特征值。
可选地，依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值，包括：
获取所述待查找字段集合的字段类型，并确定与所述字段类型对应的特征值计算规则；
依据所述特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值。
可选地，依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值，包括：
获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果；
将所述降维处理结果确定为位置索引值。
可选地，获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果，包括：
获取预先生成的维度乘数计算公式以及位置索引值计算公式；
获取所述待查找字段集合对应的字段最小值和字段最大值；
依据所述字段最小值、所述字段最大值以及所述维度乘数计算公式，计算得到维度乘数值；
依据所述维度乘数值以及所述位置索引值计算公式，计算得到所述多维特征值的降维结果。
一种数据查找装置，应用于处理器，所述处理器预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到；所述数据查找装置包括：
集合获取模块，用于获取待查找字段集合；所述待查找字段集合包括多个预先设定的字段；
数据处理模块，用于依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值；所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
结果确定模块，用于确定存储在所述位置索引值对应的存储区域的目标数据，并将所述目标数据确定为所述待查找字段集合对应的查询结果。
可选地，所述数据处理模块包括：
数据获取子模块，用于获取所述待查找字段集合对应的字段最小值；
数据计算子模块，用于依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值；
特征确定子模块，用于将所述待查找字段集合中每一字段的特征值组合得到所述待查找字段集合的多维特征值。
可选地，所述数据计算子模块具体用于：
获取所述待查找字段集合的字段类型，并确定与所述字段类型对应的特征值计算规则，依据所述特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值。
可选地，所述数据处理模块包括：
降维子模块，用于获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果；
结果确定子模块，用于将所述降维处理结果确定为位置索引值。
一种电子设备，所述电子设备预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取待查找字段集合；所述待查找字段集合包括多个预先设定的字段；
依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值；所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
确定存储在所述位置索引值对应的存储区域的目标数据，并将所述目标数据确定为所述待查找字段集合对应的查询结果。
相较于现有技术，本发明具有以下有益效果：
本发明提供了一种数据查找方法、装置及电子设备，在进行数据查找时，确定待查找字段集合的多维特征值，并依据预设降维规则，对多维特征值进行降维处理，将降维处理结果作为位置索引值，确定存储在位置索引值对应的存储区域的目标数据，并将目标数据确定为待查找字段集合对应的查询结果。本发明中，直接确定待查找字段集合的位置索引值，然后，确定存储在所述位置索引值对应的存储区域的目标数据即可，本发明中的处理和查找操作，相比于在容器中遍历key的方式，数据处理速度较快，数据查找时间较短，进而能够缩短业务处理时间，对紧急业务的适用性更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据查找方法的方法流程图；
图2为本发明实施例提供的另一种数据查找方法的方法流程图；
图3为本发明实施例提供的再一种数据查找方法的方法流程图；
图4为本发明实施例提供的一种对待查找字段集合处理得到位置索引值的场景示意图；
图5为本发明实施例提供的一种数据查找装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于从事期货交易的交易员，都追求交易的速度，从而把握市场行情，获取盈利。因此对服务于交易员的期货交易业务处理模块要求有极高的性能，处理速度都要求是微秒级别。
对于期货交易的业务处理模块，一般的业务流程大体是一笔委托到达后，进行资金冻结、持仓冻结等操作。在此过程中，主要涉及的关联数据有账户资金、账户持仓。因此如何根据委托数据中的账户、合约、买卖方向、投保方向等关键要素，快速的查询到资金、持仓等关联数据成为了提高业务处理速度的痛点。
常规的做法是将待查找字段集合中的多个字段的内容进行组合，得到关键要素key,然后在map容器中遍历该key，找到该key后，就可以获取到存储在该key所在位置的数据。常规做法在大量账户，持仓多的场景下，每次委托业务的处理将耗费大量的时间在map中查询需要处理的数据，对于一些对处理时间要求较严格的紧急业务不能及时处理。因此在大量账户、持仓、交易量的场景下，如何创建高效的索引查找容器、建立高效的关键字查找机制成为了提高查询性能的重心。
为了解决上述的技术问题，发明人经过研究发现，若是能够在进行数据查找之前，所述处理器预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到，进而就能够直接根据待查找字段集合对应的位置索引值，查找到相对应的数据，由于不需要遍历查找，因此缩短了数据查找时间，对紧急业务的适应性更强。
更具体的，本发明中，在进行数据查找时，确定待查找字段集合的多维特征值，并依据预设降维规则，对多维特征值进行降维处理，将降维处理结果作为位置索引值，确定存储在位置索引值对应的存储区域的目标数据，并将目标数据确定为待查找字段集合对应的查询结果。本发明中，直接确定待查找字段集合的位置索引值，然后，确定存储在所述位置索引值对应的存储区域的目标数据即可，本发明中的处理和查找操作，相比于在容器中遍历key的方式，数据处理速度较快，数据查找时间较短，进而能够缩短业务处理时间，对紧急业务的适用性更好。
在上述内容的基础上，本发明的实施例提供了一种数据查找方法，应用于处理器，所述处理器预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到。
在实际应用中，一个存储区域设置有一个位置索引值，在进行数据查找之前，需要将数据存储到处理器的存储区域中，具体的，在进行数据存储时，待存储的数据是字段集合的目标数据，首先，将字段集合按照预设处理规则进行处理，得到的结果确定为位置索引值，然后在位置索引值对应的存储区域存储该字段集合对应的目标数据，这样后续在接收到字段集合之后，就可以对该字段集合进行处理，得到对应的位置索引值，该位置索引值对应的存储区域存储的数据即为该字段集合对应的数据，由于本发明仅需处理和查找，相比于遍历的方式，能够缩短数据处理时间。
其中，本实施例中的位置索引值可以是哈希函数值，在使用位置索引值进行数据查找时，首先需要将待查找字段集合转换成对应的位置索引值，然后查找到存储在所述位置索引值对应的存储区域的目标数据，该目标数据即为所述待查找字段集合对应的查询结果。
参照图1，数据查找方法可以包括：
S11、获取待查找字段集合。
其中，所述待查找字段集合包括多个预先设定的字段，在实际应用中，待查找字段集合可以是账户资金、账户持仓、账户委托、账户成交或合约等对应的待查找字段集合。
其中，账户资金是指系统配置的交易员资金账户，按不同币种类别可分为不同的账户资金；特征值是账户编号和资金类型。
账户持仓是指期货市场交易员的账户持仓，特征值是账户编号、合约代码、买卖方向、投保方向。
账户委托是指期货市场相应交易员的交易委托记录，特征值是账户编号、合约代码、买卖方向、投保方向。
账户成交是指期货交易所生成的账户、委托相关的交易成交数据。
合约是指国内期货交易所的交易合约，特征值是合约代码。
以合约为例，合约内容会包含：合约代码(au2011)、合约乘数、最小价格变动、最后交易日、报单最大手数等等。国内期货合约一般都是按字母和数字组成，且一般都是6位字符，合约字母范围：‘a’-‘z’；‘A’-‘Z’，合约数字范围：‘0’-‘9’，如au2011。也就是说，合约对应的待查找字段集合中包括合约代码(au2011)、合约乘数、最小价格变动、最后交易日和报单最大手数这几个字段。
对于账户资金，可以将资金账户和资金类别按整型数据顺序编号，一个编号和资金类别确定一个账户的资金数据。也就是说，账户资金对应的待查找字段集合中包括资金账户和资金类别两个字段。
对于账户持仓，账户持仓一般包含有账户、合约、买卖方向、投保等4个关键要素，即账户持仓对应的待查找字段集合中包括账户、合约、买卖方向和投保四个字段。
S12、依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值。
其中，所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
在实际应用中，首先确定每一字段的字段值，依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值。
具体的，参照图3，“依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值”可以包括：
S21、获取所述待查找字段集合对应的字段最小值。
仍以待查找字段集合为合约的待查找字段集合为例，合约内容会包含：合约代码(au2011)、合约乘数、最小价格变动、最后交易日、报单最大手数等字段。
在进行特征值计算时，由于每个英文及数字字符有相对应的ASCII值，所以在使用每一字段的ASCII值进行相应的特征值的计算，首先需要获取到合约对应的字段最小值，即选取出合约中所有字段种类的最小ASCII值，举例来说，不管是合约的哪一字段，均是由字母或数字构成，而合约字母范围：‘a’-‘z’；‘A’-‘Z’，合约数字范围：‘0’-‘9’，由于0对应的ASCII值小于a和A对应的ASCII值，则合约对应的字段最小值为0对应的ASCII值，根据‘a’、‘z’、‘A’、‘Z’、‘0’和‘9’的大小关系，确定特征值范围为‘0’-‘z’。
而由于国内期货合约一般都是按字母和数字组成，且一般都是6位字符，所以其对应的特征值是一个6维特征数组。
S22、依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值。
在实际应用中，步骤S22可以包括：
1)获取所述待查找字段集合的字段类型，并确定与所述字段类型对应的特征值计算规则。
对于不同的待查找字段集合，如合约、账户资金等，在进行数据查找时，是分开进行处理的，即通过合约查找到对应的数据，通过账户资金查找到对应的数据，然后对所有查找到的数据进行后续处理，如资金冻结等等操作。另外，不同的待查找字段集合使用的特征值的计算规则是不同的，所以需要依据待查找字段集合的字段类型，并确定与所述字段类型对应的特征值计算规则。
具体的，在获取到待查找字段集合之后，就需要获取到待查找字段集合的字段类型，本实施例中的字段类型是指合约、账户资金、账户持仓、账户委托、账户成交等。
2)依据所述特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值。
在实际应用中，待查找字段集合中每一字段的字段值是已知的，如上述的au2011，每一字段的字段值分别为a、u、2、0、1和1。字段最小值的确定过程在上述的方法步骤中已经给出。
特征值的计算是在字段类型对应的容器中进行的，本实施例中在计算特征值时，需要获取特征值计算规则，本实施例中的特征值计算规则可以是坐标转换哈希函数，由于每一字段类型对应的字段的数量是不同的，如合约内容会包含：合约代码(au2011)、合约乘数、最小价格变动、最后交易日、报单最大手数等等，即合约对应的字段的数量至少是六维的，账户资金包括资金账户和资金类别两个字段，则账户资金的字段的数量是二维的，即在进行特征值计算时，由于最终计算得到的特征值是一维的，则对于不同的字段类型，由多维转换成一维时，多维的维数是不同的，所以对应的特征值计算规则也是不同的，即不同字段类型对应的坐标转换哈希函数也是不同的。
在实际应用中，会预先设定字段类型与特征值计算规则的对应关系，在字段类型确定之后，直接依据对应关系，找到对应的特征值计算规则即可。
更具体的，特征值计算规则是指将字段的字段值-字段最小值，将其结果确定为该字段的特征值。
S23、将所述待查找字段集合中每一字段的特征值组合得到所述待查找字段集合的多维特征值。
举例来说，1)合约：国内期货合约一般都是按字母和数字组成，且一般都是6位字符，如au2011。因此可以采用ASCII码，将合约代码转换成6维的特征进行索引。
合约字母范围：‘a’-‘z’；‘A’-‘Z’
合约数字范围：‘0’-‘9’
特征值范围：’0’-‘z’
特征空间：6维特征数组
具体的，因为每个英文及数字字符有相对应的ASCII值，因此对应ASCII值范围就是[48,122]；则“au2011”对应的特征值：[97,117,50,48,49,49]。
2)账户资金：可以将资金账户和资金类别按整型数据顺序编号，一个编号和资金类别确定一个账户的资金数据。资金类别按币种对应整型数字进行规范化转换成相应的特征值，如对人民币、美元等进行顺序数字编号。
如账户编号：1,2,3,4……
币种编号：人民币：1，美元：2；
特征空间：2维特征数组
3)账户持仓：持仓一般包含有账户、合约、买卖方向、投保等4个关键要素，因此将持仓数据提取如上特征值。
特征值规范化如下：
账户：账户编号；
合约特征值是合约代码对应合约索引容器的下标索引；
买卖方向：买：0，卖：1；
投机套保：投机：0，套保：1；
特征空间：4维特征数组
对于特征值不能规范化成容器下标索引值的场景，则定义有序的数字编号。如买卖方向、投机套保，从0开始进行整型数字编号。
在本发明的另一实施例中，“依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值”的过程包括：
获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果，将所述降维处理结果确定为位置索引值。
在实际应用中，“获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果”包括：
S31、获取预先生成的维度乘数计算公式以及位置索引值计算公式。
S32、获取所述待查找字段集合对应的字段最小值和字段最大值。
S33、依据所述字段最小值、所述字段最大值以及所述维度乘数计算公式，计算得到维度乘数值。
S34、依据所述维度乘数值以及所述位置索引值计算公式，计算得到所述多维特征值的降维结果。
在实际应用中，算法的核心是特征空间的映射转换，而空间的转换可以模仿计算机存储数组的方式。
当我们将每种特征做为一个特征维度，如账户、合约、买卖方向、投保方向，则是四维空间，可以定义如下：账户：x；合约：y；买卖方向：z；投保方向：t；目标容器的下标索引值：v；
则有：f1(x，y，z，t)＝v
要实现唯一的HashID：f1(HashID)＝v，则需要有HashID＝f3(x，y，z，t)；f3即是一个坐标转换的哈希函数。如果要实现所有的x，y，z，t各维度上的数据在转换到一维空间后不重复，即f3(x，y，z，t)都是一一对应，则可以模仿计算机存储多维数组的方法。
交易业务逻辑处理中，经常会出现需要一个key或者多个key查找业务对象。这些key值在规范化后即可以作为数据的特征值。把每种特征类型当作一个数组维度，则在所有特征值确定后，可以统计出每个数组维度的最大值、最小值，从而确定每种特征类型的取值空间及特征数组长度。再模仿上述的计算机存储数组方式使用坐标转换哈希函数进行数组降维。使用一维数组来保存目标索引值，从而达到快速查找业务对象的目的。
具体的，坐标转换哈希函数的构建过程可以如下：
索引容器(SearchIndex)包含的必要函数如下：
Figure BDA0002744969640000111
插入需要构建的数据，AddIndex(int value_index，...)：
将所有的数据[{ID11，ID21，...，value1}，{ID12，ID22，...，value2}，...]缓存到cache_data；并计算dim个维度下每一维度的[IDMini，IDMaxi]；；并保存到m_min和m_max中。
使用的公式如下：
i＝1，....
m_min[i]＝IDMini＝min(IDi1，IDi2，...IDidim)
m_max[i]＝IDMaxi＝max(IDi1，IDi2，...IDidim)
构建索引数据：BuildIndex()：
按维度遍历m_min、m_max中的数据，计算每个维度的维度乘数；
维度乘数公式：
Figure BDA0002744969640000121
其中multiplier[dim]＝1申请大小为
Figure BDA0002744969640000122
的内存hash_array，作为目标索引容器，用于存储哈希索引值对应的目标数据value。
将ID1，ID2，...IDdim转换为一维哈希索引值，使用的坐标哈希转换函数，也即位置索引值计算公式，如下：
Figure BDA0002744969640000123
index_value[hash_pow]＝index
使用上述的坐标哈希转换函数即可计算得到上述的字段结合的多维特征值的降维结果。
参照图4，图4给出了对待查找字段集合进行处理，得到位置索引值的过程。具体的，目标索引数据(Object Array)可存放在一维数组或者std：：vector类似的顺序容器定义的目标索引容器中。具体的目标索引数据(obji)保存的数据值可以是位置索引值，如目标数据指针地址或者目标容器的下标索引。通过目标索引数据可以在目标容器中直接索引得到业务数据。
对待查找字段集合进行处理，得到位置索引值的过程包括：
1)转换：将一个或多个key规范化转换为相应存储容器的下标索引ID值或者有序的数字编号；
2)遍历：将所有的key经过步骤1的转换，获取所有维度的[IDMin，IDMax]的区间；
3)映射：将每个数据的的ID映射到[0，IDMax-IDMin]，得到新的区间上的IDNew；
IDNew＝ID-IDMin
4)计算哈希索引值：将步骤3中映射得到的IDNew，对多维数组计算维度乘数，之后使用坐标转换哈希函数将多维数组映射到一维数组上，得到哈希索引值HashPos，将HashPos对应的目标值(obj)复制到ObjArray[HashPos]。
5)每次新插入数据值后，需要重新从(2)开始执行。
为了本领域技术人员更加清楚的了解本发明的具体实现方案，现举例进行介绍：
1)合约索引容器
建立合约数据的目标容器std：：vector<contract>m_contract；
需要建立全部合约代码映射的下标索引容器。
按特征提取中的分析，合约有6个特征维度，每个维度的区间值都在’0’～’Z’之间；构建6维的索引容器，SearchIndex<6>m_contract_index。在输入合约代码后，GetIndex函数返回m_contract容器的下标索引。
2)资金索引容器
建立资金数据的目标容器std：：vector<FundInfo>m_fund；需要按账户和资金类型建立全部资金账户的下标索引容器。
账户编号为1开始的数字编号：1，2，3，4，5，.......；
资金类型按币种进行编号：1：人民币；2：美元，....；
则以资金账户编号为1维，资金类型为2维进行2维索引容器构建，SearchIndex<2>m_fund_index；
在输入账户编号、资金类型后，GetIndex函数可以返回m_fund容器的下标索引。
3)持仓索引容器
建立持仓的目标容器std：：vector<HoldInfo>m_Hold，需要按账户编号、合约下标索引、买卖方向、投保方向建立全部持仓的下标索引容器。
账户编号同4.2；合约下标索引是m_contract中合约代码对应的从0开始的下标索引值。
买卖方向：买：0；卖：1；
投保方向：投机：0；保值：1；
按以上4个关键要素建立4维索引容器,SearchIndex<4>m_hold_index。
在输入账户编号、合约下标索引、买卖方向、投保方向后，GetIndex函数可以返回m_Hold容器的下标索引。
4)委托业务处理
假设有一笔委托业务：
账户：2；资金：人民币；合约：au2012；买卖方向：买；投保方向：投机；手数：5
则相应的关联数据查找流程如下：
业务关键要素规范化转换成特征ID：
合约：ContraceCode＝“au2012”
账户编号:Accid＝2
资金类型：fundType＝1
买卖方向：buysell＝0
投保方向：hedge＝0
//合约数据查找
int contract_index＝m_contract.GetIndex(ContraceCode)；
//资金数据查找；
int fund_index＝m_fund.GetIndex(Accid,fundType)；
m_fund[fund_index]进行资金的冻结、扣减处理；
//持仓数据查找
Int hold_index＝m_Hold.find(Accid,contract_index,buysell,hedge)；
m_Hold[hold_index]进行持仓的冻结、扣减处理；
如果业务上还需要处理其它关联数据，则可以按上述内容构建相应的索引容器，之后在业务处理中按规范化转换特征值为ID值后进行索引查找，从而快速的处理业务数据。
本实施例中，通过上述的哈希算法进行数据查找具有速度快、构建简单以及适用性及扩展性强的优点。现分别进行介绍：
1)速度快
基于索引的快速查找是使用一维数组缓存的下标索引或指针查找目标数据，因此耗费的时间主要是在坐标转换哈希函数计算哈希索引值，耗时相比于常规的map容器，查询耗时平均值较小。使用新的算法进行关联数据查找，由于哈希函数运算简单且运算量小，因此获取关联数据快且耗时很小，相比常规的方法有很大的优势，满足交易业务极速处理的需求。
2)构建简单
只需要将提取的数据关键要素规范化转换为相应的特征值，之后使用多维特征空间可构建完整的目标索引容器，且只需要构建一次即可，后续可直接查询使用。
3)适应性及扩展性强
可以根据数据的关键要素多少而构建多维度的特征值，且可以自定义特征的规范化规则，使索引容器可以适用于各种场景。坐标转换哈希函数还可以根据不同的数据进行修改，并不一定仅限于文中所定义的哈希函数，从而满足多维特征空间映射到一维空间的多样化。多维度、特征规范化可定制、坐标转换哈希函数可修改等使得该算法可扩展性及适应性强。
可选地，在上述数据查找方法的实施例的基础上，本发明的另一实施例提供了一种数据查找装置，应用于处理器，所述处理器预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到。
参照图5，所述数据查找装置包括：
集合获取模块11，用于获取待查找字段集合；所述待查找字段集合包括多个预先设定的字段；
数据处理模块12，用于依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值；所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
结果确定模块13，用于确定存储在所述位置索引值对应的存储区域的目标数据，并将所述目标数据确定为所述待查找字段集合对应的查询结果。
进一步，所述数据处理模块包括：
数据获取子模块，用于获取所述待查找字段集合对应的字段最小值；
数据计算子模块，用于依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值；
特征确定子模块，用于将所述待查找字段集合中每一字段的特征值组合得到所述待查找字段集合的多维特征值。
进一步，所述数据计算子模块具体用于：
获取所述待查找字段集合的字段类型，并确定与所述字段类型对应的特征值计算规则，依据所述特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值。
进一步，所述数据处理模块包括：
降维子模块，用于获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果；
结果确定子模块，用于将所述降维处理结果确定为位置索引值。
进一步，降维子模块具体用于：
获取预先生成的维度乘数计算公式以及位置索引值计算公式，获取所述待查找字段集合对应的字段最小值和字段最大值，依据所述字段最小值、所述字段最大值以及所述维度乘数计算公式，计算得到维度乘数值，依据所述维度乘数值以及所述位置索引值计算公式，计算得到所述多维特征值的降维结果。
本实施例中，在进行数据查找时，确定待查找字段集合的多维特征值，并依据预设降维规则，对多维特征值进行降维处理，将降维处理结果作为位置索引值，确定存储在位置索引值对应的存储区域的目标数据，并将目标数据确定为待查找字段集合对应的查询结果。本发明中，直接确定待查找字段集合的位置索引值，然后，确定存储在所述位置索引值对应的存储区域的目标数据即可，本发明中的处理和查找操作，相比于在容器中遍历key的方式，数据处理速度较快，数据查找时间较短，进而能够缩短业务处理时间，对紧急业务的适用性更好。
需要说明的是，本实施例中的各个模块和子模块的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
可选地，在上述数据查找方法的实施例的基础上，本发明的另一实施例提供了一种电子设备，所述电子设备预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取待查找字段集合；所述待查找字段集合包括多个预先设定的字段；
依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值；所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
确定存储在所述位置索引值对应的存储区域的目标数据，并将所述目标数据确定为所述待查找字段集合对应的查询结果。
进一步，依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，包括：
获取所述待查找字段集合对应的字段最小值；
依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值；
将所述待查找字段集合中每一字段的特征值组合得到所述待查找字段集合的多维特征值。
进一步，依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值，包括：
获取所述待查找字段集合的字段类型，并确定与所述字段类型对应的特征值计算规则；
依据所述特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值。
进一步，依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值，包括：
获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果；
将所述降维处理结果确定为位置索引值。
进一步，获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果，包括：
获取预先生成的维度乘数计算公式以及位置索引值计算公式；
获取所述待查找字段集合对应的字段最小值和字段最大值；
依据所述字段最小值、所述字段最大值以及所述维度乘数计算公式，计算得到维度乘数值；
依据所述维度乘数值以及所述位置索引值计算公式，计算得到所述多维特征值的降维结果。
本实施例中，在进行数据查找时，确定待查找字段集合的多维特征值，并依据预设降维规则，对多维特征值进行降维处理，将降维处理结果作为位置索引值，确定存储在位置索引值对应的存储区域的目标数据，并将目标数据确定为待查找字段集合对应的查询结果。本发明中，直接确定待查找字段集合的位置索引值，然后，确定存储在所述位置索引值对应的存储区域的目标数据即可，本发明中的处理和查找操作，相比于在容器中遍历key的方式，数据处理速度较快，数据查找时间较短，进而能够缩短业务处理时间，对紧急业务的适用性更好。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据查找方法，其特征在于，应用于处理器，所述处理器预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到；所述数据查找方法包括：
获取待查找字段集合；所述待查找字段集合包括多个预先设定的字段；
依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值；所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
确定存储在所述位置索引值对应的存储区域的目标数据，并将所述目标数据确定为所述待查找字段集合对应的查询结果。
2.根据权利要求1所述的数据查找方法，其特征在于，依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，包括：
获取所述待查找字段集合对应的字段最小值；
依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值；
将所述待查找字段集合中每一字段的特征值组合得到所述待查找字段集合的多维特征值。
3.根据权利要求2所述的数据查找方法，其特征在于，依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值，包括：
获取所述待查找字段集合的字段类型，并确定与所述字段类型对应的特征值计算规则；
依据所述特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值。
4.根据权利要求1所述的数据查找方法，其特征在于，依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值，包括：
获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果；
将所述降维处理结果确定为位置索引值。
5.根据权利要求4所述的数据查找方法，其特征在于，获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果，包括：
获取预先生成的维度乘数计算公式以及位置索引值计算公式；
获取所述待查找字段集合对应的字段最小值和字段最大值；
依据所述字段最小值、所述字段最大值以及所述维度乘数计算公式，计算得到维度乘数值；
依据所述维度乘数值以及所述位置索引值计算公式，计算得到所述多维特征值的降维结果。
6.一种数据查找装置，其特征在于，应用于处理器，所述处理器预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到；所述数据查找装置包括：
集合获取模块，用于获取待查找字段集合；所述待查找字段集合包括多个预先设定的字段；
数据处理模块，用于依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值；所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
结果确定模块，用于确定存储在所述位置索引值对应的存储区域的目标数据，并将所述目标数据确定为所述待查找字段集合对应的查询结果。
7.根据权利要求6所述的数据查找装置，其特征在于，所述数据处理模块包括：
数据获取子模块，用于获取所述待查找字段集合对应的字段最小值；
数据计算子模块，用于依据预先设定的特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值；
特征确定子模块，用于将所述待查找字段集合中每一字段的特征值组合得到所述待查找字段集合的多维特征值。
8.根据权利要求7所述的数据查找装置，其特征在于，所述数据计算子模块具体用于：
获取所述待查找字段集合的字段类型，并确定与所述字段类型对应的特征值计算规则，依据所述特征值计算规则、所述字段最小值以及所述待查找字段集合中每一字段的字段值，计算所述待查找字段集合中每一字段的特征值。
9.根据权利要求6所述的数据查找装置，其特征在于，所述数据处理模块包括：
降维子模块，用于获取预先设定的索引值计算公式，并调用所述索引值计算公式对所述多维特征值进行降维计算，得到降维结果；
结果确定子模块，用于将所述降维处理结果确定为位置索引值。
10.一种电子设备，其特征在于，所述电子设备预先设置有多个存储区域，所述处理器为不同的字段集合设置有对应的存储区域，且所述存储区域用于存储所述字段集合的目标数据，所述存储区域设置有对应的位置索引值，所述位置索引值是通过预设处理规则，对所述字段集合处理得到；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取待查找字段集合；所述待查找字段集合包括多个预先设定的字段；
依据预设处理规则，对所述待查找字段集合进行处理，得到位置索引值；所述预设处理规则包括依据每一所述字段的字段值，确定所述待查找字段集合的多维特征值，以及依据预设降维规则，对所述多维特征值进行降维处理，将降维处理结果作为位置索引值；
确定存储在所述位置索引值对应的存储区域的目标数据，并将所述目标数据确定为所述待查找字段集合对应的查询结果。
CN202011163382.1A 2020-10-27 2020-10-27 一种数据查找方法、装置及电子设备 Pending CN112328636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011163382.1A CN112328636A (zh) 2020-10-27 2020-10-27 一种数据查找方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011163382.1A CN112328636A (zh) 2020-10-27 2020-10-27 一种数据查找方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112328636A true CN112328636A (zh) 2021-02-05

Family

ID=74296449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011163382.1A Pending CN112328636A (zh) 2020-10-27 2020-10-27 一种数据查找方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112328636A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510525A (zh) * 2022-04-18 2022-05-17 深圳丰尚智慧农牧科技有限公司 数据格式转换方法、装置、计算机设备和存储介质
CN116680279A (zh) * 2023-08-03 2023-09-01 北京冠群信息技术股份有限公司 基于哈希索引的数据处理方法、系统、装置和计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412879A (zh) * 2013-07-17 2013-11-27 中国人民解放军国防科学技术大学 大规模信息网络中数据语义信息的处理方法
CN106776809A (zh) * 2016-11-24 2017-05-31 中国银联股份有限公司 一种数据查询方法及系统
CN108875064A (zh) * 2018-07-03 2018-11-23 湖南新实网络科技有限公司 基于FPGA的OpenFlow多维数据匹配查找方法
CN109359183A (zh) * 2018-10-11 2019-02-19 南京中孚信息技术有限公司 文本信息的查重方法、装置及电子设备
CN110399104A (zh) * 2019-07-23 2019-11-01 网易（杭州）网络有限公司 数据存储方法、数据存储装置、电子设备、存储介质
CN110457346A (zh) * 2019-07-05 2019-11-15 中国平安财产保险股份有限公司 数据查询方法、装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412879A (zh) * 2013-07-17 2013-11-27 中国人民解放军国防科学技术大学 大规模信息网络中数据语义信息的处理方法
CN106776809A (zh) * 2016-11-24 2017-05-31 中国银联股份有限公司 一种数据查询方法及系统
CN108875064A (zh) * 2018-07-03 2018-11-23 湖南新实网络科技有限公司 基于FPGA的OpenFlow多维数据匹配查找方法
CN109359183A (zh) * 2018-10-11 2019-02-19 南京中孚信息技术有限公司 文本信息的查重方法、装置及电子设备
CN110457346A (zh) * 2019-07-05 2019-11-15 中国平安财产保险股份有限公司 数据查询方法、装置及计算机可读存储介质
CN110399104A (zh) * 2019-07-23 2019-11-01 网易（杭州）网络有限公司 数据存储方法、数据存储装置、电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何婧: "面向云计算的多维数据索引研究", 《中国博士学位论文全文数据库 (信息科技辑)》 *
何婧: "面向云计算的多维数据索引研究", 《中国博士学位论文全文数据库 (信息科技辑)》, 15 February 2017 (2017-02-15), pages 3 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510525A (zh) * 2022-04-18 2022-05-17 深圳丰尚智慧农牧科技有限公司 数据格式转换方法、装置、计算机设备和存储介质
CN116680279A (zh) * 2023-08-03 2023-09-01 北京冠群信息技术股份有限公司 基于哈希索引的数据处理方法、系统、装置和计算机可读介质

Similar Documents

Publication Publication Date Title
CN111291139B (zh) 基于注意力机制的知识图谱长尾关系补全方法
Guo et al. A stock market forecasting model combining two-directional two-dimensional principal component analysis and radial basis function neural network
CN110287873B (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN112328636A (zh) 一种数据查找方法、装置及电子设备
JP2017208092A (ja) 記述子を使用して３ｄアイテムのデータベースを検索する方法及び装置
Götze et al. An algorithm and architecture based on orthonormal μ-rotations for computing the symmetric EVD
CN109308616B (zh) 一种交易记录的风险判定方法及装置
CN104036259A (zh) 人脸相似度识别方法和系统
WO2020140681A1 (zh) 数值计算方法、装置、计算机设备和存储介质
CN109726391A (zh) 对文本进行情感分类的方法、装置及终端
CN110688565A (zh) 基于多维霍克斯过程和注意力机制的下一个物品推荐方法
CN111507297B (zh) 一种基于度量信息矩阵的雷达信号识别方法及系统
CN111373393A (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN115690803A (zh) 数字图像的识别方法、装置、电子设备及可读存储介质
Xu et al. Multi‐pyramid image spatial structure based on coarse‐to‐fine pyramid and scale space
CN113569933A (zh) 商标图样匹配方法及其相应的装置、设备、介质
Lu et al. Three-dimensional object recognition using an extensible local surface descriptor
CN111428486B (zh) 物品信息数据处理方法、装置、介质及电子设备
Mitchel et al. Echo: Extended convolution histogram of orientations for local surface description
WO2020199483A1 (zh) 金融数据的图像处理方法、装置、设备及计算机可读存储介质
Meissl A priori prediction of roundoff error accumulation in the solution of a super-large geodetic normal equation system
Chan et al. F-sort: An alternative for faster geometric verification
Zhan et al. Fast method of constructing image correlations to build a free network based on image multivocabulary trees
CN111506756A (zh) 相似图片的查找方法及系统、电子设备、存储介质
CN111695441A (zh) 图像文档处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205