CN112052194A - 三态内容可寻址存储器及其操作方法 - Google Patents

三态内容可寻址存储器及其操作方法 Download PDF

Info

Publication number
CN112052194A
CN112052194A CN202010497226.2A CN202010497226A CN112052194A CN 112052194 A CN112052194 A CN 112052194A CN 202010497226 A CN202010497226 A CN 202010497226A CN 112052194 A CN112052194 A CN 112052194A
Authority
CN
China
Prior art keywords
tcam
input
approximate
calculation
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010497226.2A
Other languages
English (en)
Inventor
伊霍尔.瓦希尔特索夫
黄荣南
朴容河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190098347A external-priority patent/KR20200140167A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112052194A publication Critical patent/CN112052194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0875—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with dedicated cache, e.g. instruction or stack
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C15/00—Digital stores in which information comprising one or more characteristic parts is written into the store and in which information is read-out by searching for one or more of these characteristic parts, i.e. associative or content-addressed stores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/45—Caching of specific data in cache memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Image Processing (AREA)
  • Executing Machine-Instructions (AREA)

Abstract

本公开提供三态内容可寻址存储器及其操作方法。一种三态内容可寻址存储器件(TCAM)可以包括：高速缓冲存储器，存储关于多个函数的计算结果的查找表；近似单元，配置为生成掩码位；以及控制器，配置为基于掩码位获得与输入关键字对应的近似输入值以及从查找表检索与获得的近似输入值对应的输出值。

Description

三态内容可寻址存储器及其操作方法
相关申请的交叉引用
本申请要求享有分别在2019年6月5日和2019年8月12日在韩国知识产权局提交的韩国专利申请第10-2019-0066885号和第10-2019-0098347号的权益，其公开内容通过引用全文各自在此合并。
技术领域
本发明构思涉及内容可寻址存储器(CAM)。例如，至少一些示例实施例涉及三态CAM(其执行用于机器学习和深度学习的近似计算)和/或其操作方法。
背景技术
CAM可以在存储的数据字(例如入口(entry))当中搜索匹配搜索字(搜索数据)的数据字，并且当存在匹配的数据字时，可以输出匹配的数据字的地址。
CAM可以分为二态CAM和三态CAM。二态CAM的每个存储单元可以存储“0”或“1”的信息。三态CAM(TCAM)的每个存储单元除了可以存储“0”和“1”的信息之外，还可以存储“X”(不用关心don't care))的信息。“X”可以具有“0”或“1”的任何值。
包括TCAM的电子装置可以在机器学习或深度学习中并行地高效执行处理多个计算的过程。为了在机器学习和深度学习中处理多个计算，包括TCAM的电子装置可以包括针对需要处理的每个函数的专用加速器，从而提高计算处理速度。
发明内容
本发明构思提供三态内容可寻址存储器件，用于通过关于预加载数据使用掩码位对输入关键字执行近似计算来提高机器学习和深度学习过程的计算速度，从而减少关于输入关键字的未命中次数。
根据本发明构思的一示例实施例，提供一种三态内容可寻址存储器件(TCAM)，该TCAM包括：高速缓冲存储器，配置为存储用于多个函数的查找表；以及处理电路，配置为生成掩码位、基于掩码位获得与输入关键字对应的近似输入值、以及从查找表检索与近似输入值对应的输出值。
根据本发明构思的另一示例实施例，提供一种操作三态内容可寻址存储器件(TCAM)的方法，该方法包括：接收关于输入关键字和计算函数的信息；基于精度信息和位选择信息生成掩码位，精度信息包括汉明距离的值，位选择信息指示最高有效位(MSB)或最低有效位(LSB)之一；基于掩码位获得与输入关键字对应的近似输入值；以及从查找表检索与近似输入值对应的输出值。
根据本发明构思的另一示例实施例，提供一种三态内容可寻址存储器件(TCAM)，该TCAM包括：处理电路，配置为生成用于近似计算的掩码位；以及查找表，配置为存储关于多个函数的计算结果，其中近似计算包括基于掩码位获得与输入关键字对应的近似输入值以及从查找表检索与近似输入值对应的输出值。
附图说明
通过以下结合附图的详细描述，本发明构思的示例实施例将被更清楚地理解，附图中：
图1是根据本发明构思的示例实施例的包括三态内容可寻址存储器的装置的框图；
图2是根据本发明构思的示例实施例的近似单元的子块图；
图3A示出根据本发明构思的示例实施例的掩码生成电路和掩码位的示例，图3B是根据本发明构思的示例实施例的掩码生成电路的电路图；
图4A是根据本发明构思的示例实施例的用于在三态内容可寻址存储器(TCAM)中执行比较计算的电路图，图4B示出用于并行执行比较计算的电路图的示例；
图5A至图5C示出根据本发明构思的示例实施例的用于线性和非线性函数的近似计算的示例；
图6示出根据本发明构思的示例实施例的查找表(LUT)的示例；
图7示出根据本发明构思的示例实施例的存储在关键字值表中的输入关键字和命中次数的正态分布曲线图的示例；
图8示出根据发明构思的示例实施例的TCAM的操作顺序；
图9A至图9E示出根据本发明构思的示例实施例的TCAM的使用场景；以及
图10示出了显示根据本发明构思的示例实施例的累积未命中率的降低的曲线图。
具体实施方式
图1是根据本发明构思的示例实施例的包括三态内容可寻址存储器的电子装置100的框图。
参考图1，电子装置100可以包括主处理器110、三态内容可寻址存储器(下文中称为TCAM)120、子处理器130和随机存取存储器140。
根据各种示例实施例，主处理器110可以总体地控制电子装置100。例如，主处理器110可以运行软件以控制电子装置100的连接到主处理器110的至少一个其他组件(例如TCAM 120)，并且执行各种数据处理或计算。例如，主处理器110可以执行用于机器学习(ML)和/或深度学习(DL)的任务处理或计算。
这样的机器学习系统可以利用各种人工神经网络组织和处理模型，诸如卷积神经网络(CNN)、反卷积神经网络、可选地包括长短期记忆(LSTM)单元和/或门控循环单元(GRU)的递归神经网络(RNN)、堆叠神经网络(SNN)、状态空间动态神经网络(SSDNN)、深度置信网络(DBN)、生成对抗网络(GAN)和/或受限玻尔兹曼机(RBM)。替代地或额外地，这样的机器学习系统可以包括其他形式的机器学习模型，诸如例如线性和/或逻辑回归、统计聚类、贝叶斯分类、决策树、降维(诸如主成分分析)和专家系统；和/或其组合，包括集合(诸如随机森林)。这种机器学习模型还可以用于提供各种服务和/或应用程序，例如图像分类服务、基于生物信息或生物特征数据的用户身份验证服务、高级驾驶员辅助系统(ADAS)服务、语音助手服务、自动语音识别(ASR)服务等可以由电子装置100执行、运行或处理。
根据各种示例实施例，主处理器110可以与子处理器130区分开。例如，主处理器110可以对应于中央处理单元(CPU)，并且子处理器130可以对应于图形处理单元(GPU)、神经处理单元(NPU)或微处理单元(MPU)中的一种。
子处理器130可以从TCAM 120接收计算请求并且响应于该计算请求执行请求的计算。当与输入关键字对应的数据没有存储在TCAM 120中时，TCAM 120可以将计算请求发送到子处理器130以根据输入关键字来执行计算。在本发明构思的各种示例实施例中，电子装置100可以不包括用于处理多个计算中的每个计算的专用加速器，而是可以控制子处理器130以执行所述多个计算。
TCAM 120可以存储查找表(下文中称为LUT)121，并且可以包括TCAM控制器(下文中称为控制器)123、命中/未命中计数器(下文中称为H/M计数器)125、调度器127和近似单元129。
LUT 121可以关于特定计算对应于一组先前计算的结果。可以参考LUT 121以缩短执行特定计算的时间并快速获得结果值。存储在LUT 121中的先前计算的结果的该组数据可以对应于预加载数据。特定计算可以包括执行ML算法或DL算法所需的计算。例如，特定计算可以包括但不限于乘法(MUL)计算、SIGMOID计算、双曲正切(TANH)计算和平方根(SQRT)计算。
根据各种示例实施例，由于LUT 121存储先前计算的结果值，因此与当通过针对每个计算的专用加速器执行计算时相比，可以减少操作时间。例如，当专用加速器执行SIGMOID计算时，它可能花费50个时钟，而根据本发明构思的各种示例实施例，由于先前计算的结果值被存储在LUT 121中，因此可以通过请求访问LUT 121并读取先前计算的结果值来执行SIGMOID计算。在这种情况下，SIGMOID操作可以在一到两个时钟内执行。
控制器123可以总体地控制TCAM 120。控制器123可以控制TCAM 120执行与外部组件(例如主处理器110)的数据发送/接收，或者检索与输入关键字对应的数据。例如，控制器123可以向H/M计数器125发送关于输入的关键字的命中或未命中信息、向调度器127发送更新请求信号或者从近似单元129接收掩码信息。
H/M计数器125可以从控制器123接收指示关于输入关键字的搜索结果的命中/未命中信息。H/M计数器125可以使用接收到的信息来计数关于输入关键字的命中次数或者关于输入关键字的未命中次数，并计算命中/未命中率。
调度器127可以从控制器123接收更新请求信号，并且响应于该更新请求信号，可以向随机存取存储器140请求用于更新LUT 121的数据。随机存取存储器140可以存储关于输入关键字的分布中具有低调用次数的输入关键字的数据。当未存储在LUT 121中的数据被输入关键字请求的次数超过期望的(或备选地，预定的)次数时，用于更新LUT 121的数据可以被存储在LUT 121中使得该数据被包括作为预加载数据。
近似单元129可以将掩码信息提供到控制器123。掩码信息与掩码位有关，并且可以用作比较检索到的关键字与存储在LUT 121中的TCAM关键字的结果。通过对比较检索到的关键字与每个TCAM关键字的结果执行ADD计算，掩码位当中与位“0”相同位置的关键字位可以等同于“无关”。
图2是根据本发明构思的示例实施例的近似单元129的子块图。
图2所示的近似单元129可以对应于图1所示的近似单元129。
根据各种示例实施例，近似单元129可以包括掩码生成电路210和位选择表220。
位选择表220可以包括用于选择最高有效位(MSB)或最低有效位(LSB)之一的信息。位选择表220中包括的信息可以对应于下面的表1。
表1
计算函数 位选择信息
SIGMOID MSB
MULTIPLY LSB
ADD LSB
TANH MSB
参考上面的表1，位选择表220可以指示与每个计算函数对应的MSB或LSB中的任何一个。例如，当计算函数为SIGMOID或TANH时，函数输出值随着函数的输入值的增大而饱和。也就是，当函数的输入值大于某一大小时，即使输入值改变，输出值也可以保持恒定。因此，在SIGMOID函数的情况下，MSB可以被设定为“不用关心的”。作为另一示例，当计算函数是MULTIPLY或ADD时，MULTIPLY计算或ADD计算的结果值当MSB改变时在输出值中具有大的改变。也就是，与MSB的变化对输出值的影响相比，LSB的变化对输出值的影响可以相对较小。因此，当计算函数为MULTIPLY时，LSB可以被设定为“无关”。
根据各种示例实施例，位选择表220可以从主处理器110或控制器123接收关于计算函数的信息，并且将与该计算函数对应的位选择信息提供到掩码生成电路210。
掩码生成电路210可以生成掩码位。掩码生成电路210可以基于精度信息和从位选择表220接收的位选择信息来生成掩码位。
精度信息可以从主处理器110或控制器123提供。精度信息可以包括指示在近似计算中要执行多少近似的信息。精度信息可以包括关于汉明距离(下文中称为HD)的信息。HD可以对应于具有相同长度的两个字符串中的相同位置，但是可以指示具有不同值的字符的数量。例如，“1100”位串和“1110”位串之间的HD可以是“1”。“1100”位串和“1111”位串之间的HD可以是“2”。“1111”位串和“1111”位串之间的HD可以是0。也就是，HD越小，要比较的两个字符串或位串可以对应于相同的字符串或位串。
根据各种示例实施例，精度信息可以具有0HD、1HD或2HD之一的值。例如，当精度信息是0HD时，TCAM 120可以不执行近似计算，并且可以仅在输入关键字和存储在TCAM 120中的关键字精确匹配时才输出数据。作为另一示例，当精度信息是1HD时，TCAM 120可以执行近似计算。TCAM 120可以输出数据直到一个位的值在输入关键字和存储在TCAM 120中的关键字之间不同时为止。所述一个位的位置可以根据位选择信息来确定。作为另一示例，当精度信息是2HD时，TCAM 120可以输出与精度信息是1HD时的值相比更加近似的值。也就是，TCAM 120可以输出数据直到两个位在输入关键字与存储在TCAM 120中的关键字之间不同时为止。所述两个位的位置可以根据位选择信息来确定。
图3A示出根据本发明构思的示例实施例的掩码生成电路210和掩码位的示例，图3B是根据本发明构思的示例实施例的掩码生成电路210的电路图。
参考图3A，示出了掩码生成电路210。掩码生成电路210可以接收一个位的位选择信息(例如指示MSB或LSB的信息)和两个位的精度信息(例如指示0HD、1HD或2HD的信息)。
如上所述，由于位选择信息是指示MSB和LSB之一的信息，所以位选择信息可以用一个位表示。在下文中，当位选择信息是“1”时指示MSB，而当位选择信息是“0”时指示LSB。然而，示例实施例不限于此。
此外，如上所述，由于精度信息是指示0HD、1HD或2HD之一的信息，所以精度信息可以由至少2个位来表示。当精度信息的值是“0”，也就是，HD[1:0]＝00时，精度信息可以指示0HD，并且TCAM 120可以不执行近似计算。当精度信息的值为“1”，也就是，HD[1:0]＝01时，精度信息可以指示1HD，并且TCAM 120可以输出存储在TCAM 120中的关键字当中的其一个位与输入关键字不同的关键字的数据。当精度信息的值是“2”，也就是，HD[1:0]＝10时，精度信息可以指示2HD，并且TCAM 120可以输出存储在TCAM 120中的关键字当中的其两个位与输入关键字不同的关键字的数据。然而，示例实施例不限于此，并且精度信息可以以各种方式指示汉明距离。
根据各种示例实施例，当考虑位选择信息和精度信息两者来生成掩码位时，掩码位可以对应于图3A所示的表。参考图3A所示的表，例如，当计算函数是ADD或MULTIPLY时，由于LSB的影响很小，所以位选择信息可以是“0”以指示LSB。当对于近似计算允许一个位的误差时，由于精度信息是1HD，因此HD[1:0]＝01。因此，可以看出，生成的掩码位是MASK[3:0]＝1110。然而，示例实施例不限于此。
参考图3B，示出了对应于图3A的表的电路图。如在上述示例实施例中的，当位选择信息是“0”并且精度信息是1HD的“01”时，从四个或(OR)门输出的掩码位可以对应于“1110”。
图4A是根据本发明构思的示例实施例的用于在TCAM 120中执行比较计算的电路图，图4B示出用于并行执行比较计算的电路图的示例。
参考图4A，示出了其中TCAM 120执行比较计算以确定与输入关键字对应的值是否存在的电路图。图4A所示的关键字值表400可以存储在图1所示的LUT 121的至少一部分中，或者可以存储在单独的存储器中。根据各种示例实施例，关键字值表400可以是映射多个关键字和分别对应于所述多个关键字的输出值的表。
TCAM 120可以通过比较器410比较输入关键字值与从关键字值表400接收的关键字值。比较器410可以包括多个异或(XOR)门。XOR门的数量可以对应于输入关键字或存储在关键字值表400中的关键字的位数。例如，当输入关键字或存储在关键字值表400中的关键字的位数是4时，包括在比较器410中的XOR门的数量可以是4。所述多个XOR门中的每个可以输出在输入关键字与从关键字值表400接收的关键字之间位串是否一致。例如，当比较输入关键字的位串“1110”与关键字值表400中存储的关键字当中的关键字串“1111”时，因为除LSB以外的所有其他位相同，所以比较器410输出的位串可以是“0001”。
TCAM 120可以通过掩码单元420对比较输入关键字与存储在关键字值表400中的关键字的结果执行掩码。掩码单元420可以包括多个与(AND)门。从比较器410输出的位和从掩码生成电路(例如图2的掩码生成电路200)接收的掩码位可以通过所述多个AND门分别比较。例如，当掩码位相对于从比较器410输出的位串“0001”(也就是，在LSB不匹配)为“1111”时，输出LSB的AND门的输出可以为“1”。因此，可以不输出与“1111”对应的数据，并且TCAM120可以执行比较输入关键字与存储在关键字值表400中的另一关键字的操作。作为另一示例，当掩码位相对于从比较器410输出的位串“0001”为“1110”时，掩码单元420的所有AND门的输出可以是“0”。因此，可以输出与存储在关键字值表400中的关键字“1111”对应的数据。
根据上述实施例，可以看出，由于确定输入关键字没有存储在关键字值表400中，因此当不执行近似计算(即，掩码位为“1111”)时，没有数据被输出，然而，当执行近似计算(即，掩码位的位串中的至少一个包括0)时，输出与输入关键字的位串“1110”实质不同的与位串“1111”的关键字对应的数据。
参考图4B，TCAM 120可以并行操作比较器410和掩码单元420。例如，TCAM 120可以同时比较和掩码输入的关键字“1110”和存储在关键字值表400中的多个关键字，例如，“0000”至“1111”的16个关键字。根据各种示例实施例，在第一层430中，TCAM 120可以比较输入关键字与存储在关键字值表400中的关键字当中的具有“1011”位串的关键字，在第二层440中，TCAM 120可以比较输入关键字与存储在关键字值表400中的关键字当中的具有“1111”位串的关键字，此外，在第三层450中，TCAM 120可以比较输入关键字与存储在关键字值表400中的关键字当中的具有“1001”位串的关键字。比较输入关键字与存储在关键字值表400中的关键字的详细操作与图4A的详细操作重复，因此其描述被省略。
图5A至图5C示出根据本发明构思的示例实施例的用于线性函数和非线性函数的近似计算的示例。
关于图5A至图5C，图5A和图5B示出在执行ADD和MULTIPLY计算(其为线性函数)时使用掩码位的近似计算，图5C示出在执行SIGMOID计算(其为非线性函数)时使用掩码位的近似计算。
根据各种示例实施例，图5A示出执行a*b+c计算的情况。a、b和c可以构成输入关键字。也就是，每个输入关键字的位串长度可以是16。TCAM 120可以对用于ADD计算的输入关键字c进行掩码。尽管TCAM 120对ADD计算执行近似计算，但是由于对结果值的影响相对小于MULTIPLY计算，因此TCAM 120可以对输入关键字c执行掩码。TCAM 120可以在比较输入关键字c和存储在关键字值表400中的多个关键字的过程中执行掩码以输出与输入关键字c对应的数据。
根据各种示例实施例，TCAM 120可以改变精度信息值。也就是，即使一个位在关于输入关键字c的位串与存储在关键字值表400中的关键字的位串之间不匹配，TCAM 120也可以被控制为将精度信息设定为1HD从而关于输入关键字c输出数据并执行a*b+c计算。此外，即使两个位在关于输入关键字c的位串与存储在关键字值表400中的关键字的位串之间不匹配，TCAM 120也可以被控制为将精度信息设定为2HD从而关于输入关键字c输出数据并执行a*b+c计算。
根据各种示例实施例，当精度对应于1HD时和当精度对应于2HD时发生不匹配的位的范围可以不同。例如，当精度对应于1HD时，发生一个不匹配的位的位置可以被限制为长度为16的位串中的8个低位的位置。作为另一示例，如果精度对应于2HD，则发生两个不匹配的位的位置可以被限制为长度为16的位串中的4个低位的位置。当允许一个位不匹配时，即使在8个低位中的任何一个位发生不匹配，也可以将不匹配包括在可接受的误差范围内，但是当允许两个位不匹配并且允许在8个低位的两个中发生两个位不匹配时，可能导致输入值的变化超出可接受的误差范围。因此，随着在近似计算中的近似度增加，在位串中可允许引起不匹配发生的位的范围不可避免地变窄。
根据各种示例实施例，参考图5A，由于在a*b计算之后执行ADD计算，所以可以对与输入关键字c对应的数据执行近似计算。这里，由于计算函数是ADD，所以位选择信息可以是LSB，也就是“0”。如上所述，当精度对应于1HD时，即使在长度为16的位串的8个低位中的任何一个中发生位之间的不匹配，该长度为16的位串也可以作为关于输入关键字c的数据输出。当精度对应于2HD时，即使在长度为16的位串的4个低位中的两个中发生位之间的不匹配，该长度为16的位串也可以作为关于输入关键字c的数据输出。
根据各种示例实施例，图5B示出了执行a+b计算的情况。变量a和b可以构成输入关键字。也就是，每个输入关键字的位串长度可以是16。由于TCAM 120是ADD计算，所以位选择信息可以被设定为“0”。然而，图5B与图5A的不同之处在于，可以对输入关键字a和输入关键字b两者执行掩码。图5A涉及将与输入关键字c对应的数据和MULTIPLY计算的结果值相加的操作，因此可以仅在输出关于输入关键字c的数据的过程中执行掩码。另外，由于图5B的输入关键字a和输入关键字b是存储在关键字值表400中的值，所以可以对输入关键字a和输入关键字b两者执行掩码。与图5A的描述相同的描述可以被省略。
根据各种示例实施例，图5C示出了在执行SIGMOID计算时执行掩码。变量a可以对应于输入关键字。输入关键字a的位串长度可以是16。TCAM 120可以执行掩码以输出与输入关键字a对应的数据，该输入关键字a是SIGMOID计算的输入值。尽管TCAM 120对SIGMOID计算的输入值执行近似计算并且对高位执行掩码，即使将长度为16的位串作为与输入关键字a对应的数据输出，其结果值改变的幅度也可以包含在可允许的误差范围内。这是因为，由于SIGMOID函数的特性，当输入关键字的大小大于某个值时，输出的大小饱和并且几乎没有变化。在图3A中描述了可以将精度设定为1HD或2HD，因此其描述被省略。然而，由于计算函数是SIGMOID计算，因此其不同之处可以在于位选择信息是“1”，也就是，MSB。例如，为了以1HD的精度执行近似计算，即使在长度为16的位串中的8个高位之一中发生不匹配，也可以将该长度为16的位串作为关于输入关键字a的数据输出。作为另一示例，为了以2HD的精度执行近似计算，即使两个位之间的不匹配发生在长度为16的位串中的4个高位中，也可以将该长度为16的位串作为关于输入关键字a的数据输出。与参考图5A和图5B提供的描述相同的描述被省略。
图6示出根据发明构思的一示例实施例的LUT 121的示例。
参考图6，LUT 121可以存储关于多个函数的计算结果值。所述多个函数可以包括至少乘法(MUL)计算、平方根(SQRT)计算、SIGMOID计算和双曲正切(TANH)计算。与LUT 121中的所述多个函数中的每个函数对应的区域可以对应于存储函数计算值的区域。例如，对应于MUL计算的区域可以对应于存储关于多个输入值的MUL计算的结果值的区域。参考图5A和图6，TCAM 120可以获得与输入关键字a对应的数据和与输入关键字b对应的数据从而执行a*b计算。TCAM 120可以不在与输入关键字a对应的数据和与输入关键字b对应的数据之间执行乘法计算，而是可以在LUT 121中与MUL计算对应的区域中检索对与输入关键字a对应的数据和与输入关键字b对应的数据执行乘法计算的结果。根据各种示例实施例，当使用针对MULTIPLY计算的专用加速器执行乘法计算时，可能需要至少3个时钟且最多100个时钟的时间，而通过使用存储关于所述多个函数的计算值的LUT 121，可以仅用一个时钟所需的时间来获得乘法计算的结果值。
根据各种示例实施例，TCAM 120可以基于指令或正在运行的算法来调整LUT 121中包括的函数的类型以及存储的结果值的规模(magnitude)。参考图6，左侧的LUT可以是对应于第一算法的LUT，而右侧的LUT可以是对应于第二算法的LUT。也就是，为了执行第一算法，当最频繁地使用MUL计算时，TCAM 120可以为MUL计算分配大量的存储空间，并且尽可能多地存储关于多个输入值的乘法计算的结果值。然后，当第二算法频繁使用TANH计算或SIGMIOD计算时，TCAM 120可以改变存储区域的配置以存储TANH计算或SIGMOID计算的结果值。也就是，尽管通过第一算法需要关于MUL计算的大量结果值，但是当LUT 121的存储区域被设定为与第二算法对应时，由于可能未在LUT 121中存储必要的计算结果值，专用加速器或子处理器130可以用于直接执行计算，并且执行计算所需的时间增加，这可能导致整体性能下降。因此，TCAM 120可以基于将要执行的算法或指令来灵活地改变LUT 121的存储区域，从而通过读取结果值来实现高计算处理速度，而无需直接执行计算。
图7示出根据本发明构思的示例实施例的存储在关键字值表400中的输入关键字和命中次数的正态分布曲线图的示例。
参考图7，该曲线图示出了根据输入关键字的分布的命中次数的分布。关于所有输入关键字的命中次数可以遵循正态分布。也就是，在所有输入关键字当中被频繁调用的输入关键字可以具有大的命中次数，而很少被调用的输入关键字可以具有少的命中次数。在更新关键字值表400的输入关键字之前的输入关键字分布可以对应于“关键字表入口(entry)”。也就是，关键字值表400可以仅存储超过预定命中次数的范围内的输入关键字，而不存储关于所有输入关键字的所有值。如上所述，这是因为必须通过多层(例如图4B的430、440和450)同时执行比较搜索到的关键字与输入关键字的操作。然而，当TCAM 120通过命中/未命中计数器125识别出与搜索到的关键字对应的输入关键字没有存储在关键字值表400中时，TCAM 120可以将更新请求信号UPDATE REQ发送到调度器127。调度器127可以接收更新请求信号，并且向随机存取存储器140请求未存储在关键字值表400中的输入关键字及其对应的值。随机存取存储器140可以将未存储在关键字值表400中的输入关键字及其对应的值作为更新信息UPDATE INFORMATION发送到关键字值表400或包括关键字值表400的LUT 121。关键字值表400或包括关键字值表400的LUT 121可以基于更新信息UPDATEINFORMATION来改变存储的输入关键字。
根据各种示例实施例，图7中的虚线所示的曲线可以指的是根据更新信息改变存储在关键字值表400中的输入关键字之后的输入关键字分布。也就是，当由于搜索到的关键字与关键字值表400中存储的输入关键字不匹配而发生未命中时，可以通过改变关键字值表400的输入关键字的范围来降低将来发生未命中的可能性。
图8示出根据发明构思的示例实施例的TCAM 120的操作顺序。
参考图8，在操作810中，TCAM 120可以接收关于输入关键字和计算函数的信息。TCAM 120可以基于接收到的关于计算函数的信息来生成位选择信息。位选择信息可以是基于计算函数的特性而指示LSB或MSB之一的信息。例如，因为SIGMIOD函数具有输出值随着输入值的增大而饱和的特性，所以TCAM 120可以生成指示MSB的位选择信息。
在操作820中，TCAM 120可以基于精度信息和位选择信息来生成掩码位。精度信息可以对应于与接收到的输入关键字不匹配但是被确定为用于近似计算的近似输入关键字的信息。例如，当精度信息是1HD时，可以将1个位与输入关键字不同的关键字确定为近似输入关键字。作为另一示例，当精度信息是2HD时，可以将两个位与输入关键字不同的关键字之一确定为近似输入关键字。TCAM 120可以基于位选择信息来确定允许不匹配的位的位置。例如，当位选择信息指示MSB并且精度信息是2HD时，TCAM 120可以将从MSB开始的特定范围的位内的两个位与接收到的输入关键字不匹配的关键字确定为近似输入关键字。
在操作830中，TCAM 120可以使用掩码位来获得关于接收到的输入关键字的近似输入值。TCAM 120可以比较接收到的输入关键字与存储在关键字值表400中的每个关键字，并且当具有不同值的位的位置与掩码位当中“0”的位置相同时，TCAM 120可以输出与比较的关键字对应的值。例如，当接收到的输入关键字是“1001”并且与关键字值表400中存储的“1011”比较时，具有不同值的位可以对应于较低的第二位。在这种情况下，当掩码位当中的较低的第二位的值为“0”时，“1001”和“1011”实质上不同，但是被确定为近似输入关键字，并且与关键字值表400中的“1011”对应的值可以被输出为近似输入值。也就是，TCAM 120可以使用掩码位对接收到的输入关键字执行近似计算，从而减少关于接收到的输入关键字的未命中次数。
在操作840中，TCAM 120可以从LUT 121检索与所获得的近似输入值对应的输出值。也就是，TCAM 120可以使用所获得的近似输入值作为输入来执行计算函数，并输出结果值。然而，当所获得的近似输入值是存储在LUT 121中的计算结果值当中的输入时，TCAM120可以搜索并输出对应结果值，而无需直接执行计算。例如，当用所获得的近似输入值执行SIGMOID计算时，TCAM 120可以在与SIGMOID函数对应的存储空间中检索对所获得的近似输入值执行SIGMOID计算的结果值，并输出检索到的值。
图9A至图9E示出根据本发明构思的示例实施例的TCAM 120的使用场景。
参考图9A至图9E，示出了包括TCAM 120的电子装置的各种示例实施例。
参考图9A，电子装置可以包括处理器和单个TCAM。也就是，当处理器将执行ML和/或DL算法所需的计算和输入关键字发送到TCAM 120时，TCAM可以对输入关键字执行掩码操作以选择与存储在TCAM中的输入关键字当中的一个关键字对应的数据，所述一个关键字具有与从处理器接收的输入关键字的近似值。此后，TCAM可以在先前参考LUT计算的结果值当中获得与所选择的数据对应的值，并将该值作为计算结果输出。根据一示例实施例，TCAM可以从处理器接收位选择信息(MSB/LSB)和精度信息(0HD/1HD/2HD)以生成掩码位。TCAM可以基于掩码位对输入关键字执行近似计算，并且相对于近似输入关键字输出关于命中或未命中率的信息。
参考图9B，电子装置还可以包括硬件HW。硬件HW可以对应于图形处理单元(GPU)、神经处理单元(NPU)和微处理单元(MPU)中的任何一个。如图9B所示，当硬件HW是NPU或GPU时，计算速度可以在6至20个时钟内执行，并且当硬件HW是微处理单元(MPU)时，计算速度可以在100个时钟至400个时钟内。因此，电子装置可以使硬件HW执行计算而不使主处理器执行计算。根据各种示例实施例，硬件HW可以对未存储在TCAM的LUT中的计算结果预先执行计算。此后，硬件HW可以响应于从TCAM的调度器接收更新请求而将关于计算结果的计算数据发送到TCAM。
参考图9C，电子装置还可以包括动态随机存取存储器(DRAM)，以存储关于在输入关键字的分布中具有较少调用次数的输入关键字的计算结果。也就是，对可输入到电子装置的多个关键字以及分别关于所述多个关键字的多个函数的计算可以被预先执行，并且所有计算结果值可以存储在DRAM中。在这种情况下，当输入关键字的命中/未命中率改变时，TCAM可以通过反映该改变来请求更新以更新LUT的计算结果值。
参考图9D，电子装置还可以包括并行设置的加速器。也就是，当对输入关键字的函数计算的结果值被存储在LUT中时，TCAM可以读取LUT以快速输出数据，并且可以通过并行设置的加速器来执行未存储在LUT中的函数计算的请求。
参考图9E，电子装置可以包括TCAM、随机存取存储器(RAM)和加速器。在存在存储于LUT中的输入关键字和对该输入关键字的函数计算的结果值的情况下，TCAM可以读取LUT以快速输出数据。可以通过并行设置的加速器来执行未存储在LUT中的函数计算的请求。可以通过加速器执行未存储在LUT中的函数计算，并且所执行的函数计算的结果值可以作为数据输出，并且同时发送到并行设置的RAM。因此，当稍后接收到对于相同函数计算的请求时，RAM可以将先前通过加速器执行的函数操作的结果值预加载到LUT中，从而提高计算速度。
图10示出了显示根据本发明构思的示例实施例的累积未命中率的降低的曲线图。
参考图10，左图示出了当对输入关键字执行近似计算时发生的未命中次数的累积值，右图示出了当除了对输入关键字的近似计算之外预加载数据存储在LUT中时发生的未命中次数的累积值。
参考左图，可以看出，与输入关键字不相同但具有近似值的关键字被用作数据，使发生的未命中次数饱和的值对于1HD精度降低至1/2，对于2HD精度降低至1/3。另外，参考右图，可以看出，作为存储与LUT中极有可能被调用的输入关键字对应的计算结果值以及对所述输入关键字的近似计算的结果，即使输入关键字被近似，由于关键字未存储在LUT中，单独的硬件执行计算或者从外部RAM请求的更新次数减少，因此发生的未命中次数饱和的值在数据以1HD的精度被预加载时被减小至1/5并且在数据以2HD的精度被预加载时被减小至1/10。
以上描述的图1至图10的元件，诸如TCAM 120和子处理器130(包括TCAM控制器123、命中/未命中计数器125、调度器127和近似单元129)以及主处理器110可以以处理电路和存储器实现，该处理电路诸如为：包括逻辑电路的硬件；诸如运行软件的处理器的硬件/软件组合；或者其组合。例如，处理电路更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等，并且存储器140可以包括配置为存储信息(诸如LUT121)的各种易失性或非易失性存储器件。处理电路可以是专用处理电路，其与当通过针对每个计算的专用加速器执行计算时相比，通过关于预加载数据使用掩码位执行近似计算来增加计算速度因此增加命中率并减少操作，改善了处理性能。
尽管已经参考本发明构思的一些示例实施例具体示出和描述了本发明构思，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可以在此进行在形式和细节上的各种改变。

Claims (20)

1.一种三态内容可寻址存储器件(TCAM)，包括：
高速缓冲存储器，配置为存储用于多个函数的查找表；以及
处理电路，配置为
产生掩码位，
基于所述掩码位获得与输入关键字对应的近似输入值，以及
从所述查找表检索与所述近似输入值对应的输出值。
2.根据权利要求1所述的TCAM，其中所述处理电路被配置为基于精度信息和位选择信息确定所述掩码位，所述精度信息包括汉明距离的值，并且所述位选择信息指示最高有效位(MSB)或最低有效位(LSB)之一。
3.根据权利要求2所述的TCAM，其中所述处理电路被配置为基于所述多个函数中的针对其计算所述近似输入值的一个函数的类型来确定所述位选择信息。
4.根据权利要求1所述的TCAM，其中所述处理电路被配置为每至少一个时钟更新所述掩码位。
5.根据权利要求1所述的TCAM，其中所述掩码位的数量与所述输入关键字的位的数量相同。
6.根据权利要求1所述的TCAM，其中所述处理电路还被配置为：
接收指示关于所述近似输入值的命中或未命中之一的信息，使得所述信息指示响应于使用所述掩码位获得近似于所述输入关键字的所述近似输入值的所述命中，并且所述信息指示响应于使用所述掩码位未获得近似于所述输入关键字的所述近似输入值的所述未命中，以及
根据所述信息更新命中次数或未命中次数。
7.根据权利要求6所述的TCAM，其中所述处理电路还被配置为响应于更新请求更新所述查找表。
8.根据权利要求7所述的TCAM，其中，当关于所述输入关键字的所述未命中次数超过阈值时，所述处理电路被配置为基于存储在位于所述TCAM外部的随机存取存储器或闪存中的数据或来自位于所述TCAM外部的处理器的计算结果来更新所述查找表。
9.根据权利要求8所述的TCAM，其中所述处理器被实现为微处理单元(MPU)、神经处理单元(NPU)和图形处理单元(GPU)中的一种。
10.根据权利要求1所述的TCAM，其中所述查找表存储与其命中率超过阈值率的输入关键字对应的计算结果值。
11.一种操作三态内容可寻址存储器件(TCAM)的方法，所述方法包括：
接收关于输入关键字和计算函数的信息；
基于精度信息和位选择信息生成掩码位，所述精度信息包括汉明距离的值，并且所述位选择信息指示最高有效位(MSB)或最低有效位(LSB)之一；
基于所述掩码位获得与所述输入关键字对应的近似输入值；以及
从查找表检索与所述近似输入值对应的输出值。
12.根据权利要求11所述的方法，还包括：
基于所述计算函数的类型确定所述位选择信息。
13.根据权利要求11所述的方法，还包括：
每至少一个时钟更新所述掩码位。
14.根据权利要求11所述的方法，其中所述掩码位的数量与所述输入关键字的位的数量相同。
15.根据权利要求11所述的方法，还包括：
接收指示关于所述近似输入值的命中或未命中之一的信息，使得所述信息指示响应于使用所述掩码位获得近似于所述输入关键字的所述近似输入值的所述命中，并且所述信息指示响应于使用所述掩码位未获得近似于所述输入关键字的所述近似输入值的所述未命中；以及
根据所述信息更新命中次数或未命中次数。
16.根据权利要求11所述的方法，还包括：
响应于更新请求更新所述查找表。
17.根据权利要求16所述的方法，还包括：
当关于所述输入关键字的未命中次数超过阈值时，从位于所述TCAM外部的随机存取存储器或闪存中请求用于更新所述查找表的数据，或从位于所述TCAM外部的处理器请求计算。
18.根据权利要求17所述的方法，其中所述处理器被实现为微处理单元(MPU)、神经处理单元(NPU)和图形处理单元(GPU)中的一种。
19.根据权利要求11所述的方法，其中所述查找表存储与其命中率超过阈值率的输入关键字对应的计算结果值。
20.一种三态内容可寻址存储器件(TCAM)，包括：
处理电路，配置为生成用于近似计算的掩码位；以及
查找表，配置为存储关于多个函数的计算结果，其中
所述近似计算包括：基于所述掩码位获得与输入关键字对应的近似输入值以及从所述查找表检索与所述近似输入值对应的输出值。
CN202010497226.2A 2019-06-05 2020-06-03 三态内容可寻址存储器及其操作方法 Pending CN112052194A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190066885 2019-06-05
KR10-2019-0066885 2019-06-05
KR10-2019-0098347 2019-08-12
KR1020190098347A KR20200140167A (ko) 2019-06-05 2019-08-12 터너리 내용 주소화 메모리 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
CN112052194A true CN112052194A (zh) 2020-12-08

Family

ID=73609747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010497226.2A Pending CN112052194A (zh) 2019-06-05 2020-06-03 三态内容可寻址存储器及其操作方法

Country Status (2)

Country Link
US (1) US11232038B2 (zh)
CN (1) CN112052194A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238821A (zh) * 2021-05-31 2021-08-10 深圳市商汤科技有限公司 数据处理的加速方法、装置、电子设备及存储介质
CN114239818A (zh) * 2021-12-23 2022-03-25 电子科技大学 基于tcam和lut的存内计算架构神经网络加速器
CN116156026A (zh) * 2023-04-20 2023-05-23 中国人民解放军国防科技大学 一种支持rmt的解析器、逆解析器、解析方法及交换机
CN117376453A (zh) * 2023-10-31 2024-01-09 中科驭数（北京）科技有限公司 报文字段提取和传输方法、装置及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125441A (en) 1997-12-18 2000-09-26 Advanced Micro Devices, Inc. Predicting a sequence of variable instruction lengths from previously identified length pattern indexed by an instruction fetch address
US6230237B1 (en) 1998-09-09 2001-05-08 3Dfx Interactive, Inc. Content addressable memory with an internally-timed write operation
US6999952B1 (en) 2001-04-18 2006-02-14 Cisco Technology, Inc. Linear associative memory-based hardware architecture for fault tolerant ASIC/FPGA work-around
GB0420464D0 (en) 2004-09-14 2004-10-20 Zentian Ltd A speech recognition circuit and method
US7856523B2 (en) 2005-06-01 2010-12-21 Microsoft Corporation Random Access Memory (RAM) based Content Addressable Memory (CAM) management
US7761774B2 (en) 2005-10-28 2010-07-20 Qualcomm Incorporated High speed CAM lookup using stored encoded key
JP4934825B2 (ja) 2006-03-31 2012-05-23 国立大学法人九州工業大学 連想メモリ
US20140219279A1 (en) 2013-02-07 2014-08-07 The Royal Institution For The Advancement Of Learning / Mcgill University Methods and systems for network address lookup engines
US9563599B2 (en) 2013-11-04 2017-02-07 Lewis Rhodes Labs, Inc. Computing architecture for operating on sequential data
US10353860B2 (en) 2015-10-08 2019-07-16 Via Alliance Semiconductor Co., Ltd. Neural network unit with neural processing units dynamically configurable to process multiple data sizes
JP2018010505A (ja) 2016-07-14 2018-01-18 ルネサスエレクトロニクス株式会社 検索装置および半導体装置
US10289752B2 (en) 2016-12-12 2019-05-14 Intel Corporation Accelerator for gather-update-scatter operations including a content-addressable memory (CAM) and CAM controller
GB2580138B (en) * 2018-12-21 2021-01-13 Graphcore Ltd Function approximation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238821A (zh) * 2021-05-31 2021-08-10 深圳市商汤科技有限公司 数据处理的加速方法、装置、电子设备及存储介质
CN114239818A (zh) * 2021-12-23 2022-03-25 电子科技大学 基于tcam和lut的存内计算架构神经网络加速器
CN114239818B (zh) * 2021-12-23 2023-04-18 电子科技大学 基于tcam和lut的存内计算架构神经网络加速器
CN116156026A (zh) * 2023-04-20 2023-05-23 中国人民解放军国防科技大学 一种支持rmt的解析器、逆解析器、解析方法及交换机
CN117376453A (zh) * 2023-10-31 2024-01-09 中科驭数（北京）科技有限公司 报文字段提取和传输方法、装置及设备

Also Published As

Publication number Publication date
US11232038B2 (en) 2022-01-25
US20200387452A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
CN112052194A (zh) 三态内容可寻址存储器及其操作方法
US10607668B2 (en) Data processing method and apparatus
US11507797B2 (en) Information processing apparatus, image recognition apparatus, and parameter setting method for convolutional neural network
CN109522435B (zh) 一种图像检索方法及装置
CN107567621B (zh) 用于执行数字搜索的方法、系统和计算机程序产品
US9418019B2 (en) Cache replacement policy methods and systems
US20120137060A1 (en) Multi-stage TCAM search
Poduval et al. Cognitive correlative encoding for genome sequence matching in hyperdimensional system
CN112667528A (zh) 一种数据预取的方法及相关设备
CN113841165A (zh) 用于训练人工神经网络的系统和方法
JP2020077066A (ja) 学習装置および学習方法
Wu et al. Efficient dynamic fixed-point quantization of CNN inference accelerators for edge devices
JP2020027437A (ja) 学習装置および学習方法
KR20200140167A (ko) 터너리 내용 주소화 메모리 및 이의 동작 방법
US20220171602A1 (en) Integrated circuit for constant multiplication and device including the same
Shi et al. Quality-score guided error correction for short-read sequencing data using CUDA
CN113536222A (zh) 系统局部字段矩阵更新的方法、系统和存储介质
CN115759238B (zh) 一种量化模型的生成方法及装置、电子设备及存储介质
US10997497B2 (en) Calculation device for and calculation method of performing convolution
US6189083B1 (en) Method and apparatus for accessing a cache memory utilization distingushing bit RAMs
US7505997B1 (en) Methods and apparatus for identifying cached objects with random numbers
JP2020077070A (ja) 学習装置および学習方法
US11157174B2 (en) Hybrid first-fit K-choice insertions for hash tables, hash sets, approximate set membership data structures, and caches
US20190279071A1 (en) Arithmetic processing device and system to realize multi-layer convolutional neural network circuit to perform process with fixed-point number format
CN107818076B (zh) 针对自然语言的语义处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201208

WD01 Invention patent application deemed withdrawn after publication