CN116777727B - 存算一体芯片、图像处理方法、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种存算一体芯片、图像处理方法、电子设备及存储介质，应用于芯片技术领域，存算一体芯片包括：逻辑电路、数字模拟转换模块、存算一体阵列以及模拟数字转换模块；逻辑电路用于接收各待比对图像的特征向量和目标图像的特征向量，控制数字模拟转换模块将各第一待比对图像和目标图像的特征向量存入存算一体阵列；存算一体阵列用于计算目标图像的特征向量与每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，控制模拟数字转换模块将第一向量矩阵乘结果输出至逻辑电路；逻辑电路用于将第一向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前N个距离，输出前N个距离对应的第一待比对图像。本申请可避免影响设备的性能。

Description

存算一体芯片、图像处理方法、电子设备及存储介质

技术领域

本申请涉及芯片技术领域，尤其涉及一种存算一体芯片、图像处理方法、电子设备及存储介质。

背景技术

图像比对技术指在图像集合中查找和目标图像相似的图像，或者从两个图像集合中查找相似的图像。图像指由像素点阵构成的位图，包括但不限于照片、绘画、剪贴画、地图、书法作品、手写汉字、传真、卫星云图、影视画面、X光片、脑电图、心电图、围棋图谱。图像比对技术的应用比较广泛，例如，搜索引擎中的“以图搜图”功能、人脸识别中人脸抓拍图与人脸底库图的比对、行人重识别技术、网络图片审核与过滤，以及视频内容识别、指纹识别、文字识别(OCR)、公式识别、手势和姿态识别场景下的图像比对等。

相关技术中，通过提取目标图像和图像库中各个图像的特征，并将目标图像的特征和图像库中各图像的特征进行比较，从而在图像库中查找与目标图像相似的一张或多张图像。然而，当图像库中图像的数量较多时，计算量较大，将会影响计算设备的性能。

发明内容

为了解决上述技术问题，本申请提供了一种存算一体芯片、图像处理方法、电子设备、存储介质及计算机程序产品。

根据本申请的第一方面，提供了一种存算一体芯片，包括：逻辑电路、与所述逻辑电路连接的数字模拟转换模块、与所述数字模拟转换模块连接的存算一体阵列以及与所述存算一体阵列连接的模拟数字转换模块；所述模拟数字转换模块与所述逻辑电路连接；

所述逻辑电路，用于接收第一图像集合中每个第一待比对图像的特征向量和目标图像的特征向量，控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列；

所述存算一体阵列，用于计算所述目标图像的特征向量与所述每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制所述模拟数字转换模块将所述第一向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第一向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前N个距离，并输出前N个距离分别对应的第一待比对图像，其中，N为正整数。

可选地，所述存算一体阵列的数量为多个；

所述逻辑电路，用于控制所述数字模拟转换模块将所述各第一待比对图像的特征向量存入多个存算一体阵列；以及将所述目标图像的特征向量存入所述多个存算一体阵列；

所述多个存算一体阵列中的每个存算一体阵列，用于计算所述目标图像的特征向量与所述存算一体阵列中第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制所述模拟数字转换模块将所述第一向量矩阵乘结果输出至所述逻辑电路。

可选地，所述逻辑电路，用于接收第二图像集合中每个第二待比对图像的特征向量和多个类簇中每个类簇的中心向量，所述多个类簇的中心向量是对所述第二待比对图像的特征向量进行聚类得到的，控制所述数字模拟转换模块将所述每个第二待比对图像的特征向量和所述多个类簇的中心向量存入所述存算一体阵列；

所述存算一体阵列，用于计算所述目标图像的特征向量与所述每个类簇的中心向量之间的第二向量矩阵乘结果，并控制所述模拟数字转换模块将所述第二向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第二向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为第一目标中心向量；控制所述数字模拟转换模块将第一目标中心向量存入所述存算一体阵列；

所述存算一体阵列，用于计算所述目标图像的特征向量与所述第一目标中心向量对应的类簇中每个第二待比对图像的特征向量之间的第三向量矩阵乘结果，并控制所述模拟数字转换模块将所述第三向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第三向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前M个距离，并输出前M个距离分别对应的第二待比对图像，其中，M为正整数。

可选地，所述存算一体阵列的数量为多个；

所述逻辑电路，用于接收多个类簇中每个类簇的中心向量，所述多个类簇的中心向量是对样本图像集合中各样本图像的特征向量进行聚类得到的，控制所述数字模拟转换模块将所述多个类簇的中心向量存入多个存算一体阵列中的第一目标存算一体阵列；

所述逻辑电路，用于控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述第一目标存算一体阵列；

所述第一目标存算一体阵列，用于针对每个第一待比对图像，计算所述第一待比对图像的特征向量与所述每个类簇的中心向量之间的第四向量矩阵乘结果，并控制所述模拟数字转换模块将所述每个第一待比对图像对应的第四向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述每个第一待比对图像对应的第四向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为每个第一待比对图像对应的中心向量；控制所述数字模拟转换模块将每个中心向量对应的第一待比对图像、存入每个中心向量在多个存算一体阵列中对应的第二目标存算一体阵列；

所述第一目标存算一体阵列，用于计算所述目标图像的特征向量与所述每个类簇的中心向量之间的第五向量矩阵乘结果，并控制所述模拟数字转换模块将所述第五向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第五向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前Q个距离，将所述前Q个距离对应的中心向量确定为第二目标中心向量；其中，Q为正整数；以及控制所述数字模拟转换模块将所述目标图像的特征向量存入每个所述第二目标中心向量对应的第二目标存算一体阵列；

每个所述第二目标中心向量对应的第二目标存算一体阵列，用于计算所述目标图像的特征向量与所述第二目标中心向量对应的每个第一待比对图像之间的第六向量矩阵乘结果，并控制所述模拟数字转换模块将所述第六向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第六向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前R个距离，并输出前R个距离分别对应的第一待比对图像；其中，R为正整数。

可选地，所述第二目标存算一体阵列为所述多个存算一体阵列中除所述第一目标存算一体阵列之外的存算一体阵列，且所述每个类簇的中心向量与所述第二目标存算一体阵列具有一一对应关系。

可选地，所述存算一体芯片还包括：缓存模块；

所述逻辑电路，用于在控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列之前，将所述每个第一待比对图像的特征向量和目标图像的特征向量存入所述缓存模块；

所述逻辑电路，用于从所述缓存模块获取各第一待比对图像的特征向量和所述目标图像的特征向量，并控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列。

根据本申请的第二方面，提供了一种图像处理方法，应用于存算一体芯片，所述存算一体芯片包括：逻辑电路、与所述逻辑电路连接的数字模拟转换模块、与所述数字模拟转换模块连接的存算一体阵列以及与所述存算一体阵列连接的模拟数字转换模块；所述模拟数字转换模块与所述逻辑电路连接；

所述方法包括：

所述逻辑电路接收第一图像集合中每个第一待比对图像的特征向量和目标图像的特征向量，控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列；

所述存算一体阵列计算所述目标图像的特征向量与所述每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制所述模拟数字转换模块将所述第一向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路将所述第一向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前N个距离，并输出前N个距离分别对应的第一待比对图像，其中，N为正整数。

可选地，所述存算一体阵列的数量为多个；

控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列，包括：

控制所述数字模拟转换模块将所述各第一待比对图像的特征向量存入多个存算一体阵列；以及将所述目标图像的特征向量存入所述多个存算一体阵列；

所述存算一体阵列计算所述目标图像的特征向量与所述每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，包括：

所述多个存算一体阵列中的每个存算一体阵列计算所述目标图像的特征向量与所述存算一体阵列中第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制所述模拟数字转换模块将所述第一向量矩阵乘结果输出至所述逻辑电路。

可选地，所述方法还包括：

所述逻辑电路接收第二图像集合中每个第二待比对图像的特征向量和多个类簇中每个类簇的中心向量，所述多个类簇的中心向量是对所述第二待比对图像的特征向量进行聚类得到的，控制所述数字模拟转换模块将所述每个第二待比对图像的特征向量和所述多个类簇的中心向量存入所述存算一体阵列；

所述存算一体阵列计算所述目标图像的特征向量与所述每个类簇的中心向量之间的第二向量矩阵乘结果，并控制所述模拟数字转换模块将所述第二向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路将所述第二向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为第一目标中心向量；控制所述数字模拟转换模块将第一目标中心向量存入所述存算一体阵列；

所述存算一体阵列计算所述目标图像的特征向量与所述第一目标中心向量对应的类簇中每个第二待比对图像的特征向量之间的第三向量矩阵乘结果，并控制所述模拟数字转换模块将所述第三向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路将所述第三向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前M个距离，并输出前M个距离分别对应的第二待比对图像，其中，M为正整数。

可选地，所述存算一体阵列的数量为多个；所述方法还包括：

所述逻辑电路接收多个类簇中每个类簇的中心向量，所述多个类簇的中心向量是对样本图像集合中各样本图像的特征向量进行聚类得到的，控制所述数字模拟转换模块将所述多个类簇的中心向量存入多个存算一体阵列中的第一目标存算一体阵列；控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述第一目标存算一体阵列；

针对每个第一待比对图像，所述第一目标存算一体阵列计算所述第一待比对图像的特征向量与所述每个类簇的中心向量之间的第四向量矩阵乘结果，并控制所述模拟数字转换模块将所述每个第一待比对图像对应的第四向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路将所述每个第一待比对图像对应的第四向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为每个第一待比对图像对应的中心向量；控制所述数字模拟转换模块将每个中心向量对应的第一待比对图像、存入每个中心向量在多个存算一体阵列中对应的第二目标存算一体阵列；

所述第一目标存算一体阵列计算所述目标图像的特征向量与所述每个类簇的中心向量之间的第五向量矩阵乘结果，并控制所述模拟数字转换模块将所述第五向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路将所述第五向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前Q个距离，将所述前Q个距离对应的中心向量确定为第二目标中心向量；其中，Q为正整数；以及控制所述数字模拟转换模块将所述目标图像的特征向量存入每个所述第二目标中心向量对应的第二目标存算一体阵列；

每个所述第二目标中心向量对应的第二目标存算一体阵列计算所述目标图像的特征向量与所述第二目标中心向量对应的每个第一待比对图像之间的第六向量矩阵乘结果，并控制所述模拟数字转换模块将所述第六向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路将所述第六向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前R个距离，并输出前R个距离分别对应的第一待比对图像；其中，R为正整数。

可选地，所述第二目标存算一体阵列为所述多个存算一体阵列中除所述第一目标存算一体阵列之外的存算一体阵列，且所述每个类簇的中心向量与所述第二目标存算一体阵列具有一一对应关系。

可选地，所述存算一体阵列还包括缓存模块，所述方法还包括：

所述逻辑电路在控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列之前，将所述每个第一待比对图像的特征向量和目标图像的特征向量存入所述缓存模块；

所述逻辑电路控制所述数字模拟转换模块将各第一待比对图像的特征向量和目标图像的特征向量存入所述存算一体阵列，包括：

所述逻辑电路从所述缓存模块获取各第一待比对图像的特征向量和所述目标图像的特征向量，并控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列。

根据本申请的第三方面，提供了一种电子设备，包括第一方面所述的存算一体芯片。

根据本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第二方面所述的方法。

根据本申请的第五方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第二方面所述的方法。

本申请实施例提供的技术方案与现有技术相比具有如下优点：

本申请实施例中，可以利用存算一体芯片同时具有存储能力和计算能力的特性实现图像的比对。存算一体芯片包括：逻辑电路、数字模拟转换模块、存算一体阵列以及与模拟数字转换模块。存算一体芯片中的存算一体阵列具有存储能力和计算能力，通过与逻辑电路、数字模拟转换模块和模拟数字转换模块相结合，即可实现图像的比对。因此，利用存算一体芯片可以避免影响计算设备的性能。并且，存算一体阵列的数量可以是一个或多个，可根据第一图像集合中第一待比对图像的数量进行设置。例如，在第一待比对图像的数量较多时，可以使用包含多个存算一体阵列的存算一体芯片进行图像比对，以提高存算一体芯片的存储能力和计算能力，避免影响计算设备的性能。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中存算一体芯片的一种结构示意图；

图2为本申请实施例中包含单阵列的存算一体芯片的一种示意图；

图3为本申请实施例中包含多阵列的存算一体芯片的一种示意图；

图4为本申请实施例中图像处理方法的一种流程图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。

参见图1，图1为本申请实施例中存算一体芯片的一种结构示意图，存算一体芯片100包括：逻辑电路110、与逻辑电路连接的数字模拟转换模块120、与数字模拟转换模块连接的存算一体阵列130以及与存算一体阵列连接的模拟数字转换模块140；模拟数字转换模块140与逻辑电路110连接。

存算一体芯片100依靠其自身的物理特性同时具有存储能力和计算能力，包括但不限于：Nor Flash、ReRAM、FeRAM(Ferroelectric RAM)、MRAM(Magnetoresistive RandomAccess Memory)等新型存储器件。其中，NOR Flash是一种非易失闪存技术，ReRAM代表电阻式RAM(随机存取存储器)，将SRAM(静态随机存取存储器)和DRAM(动态随机存取存储器)的读写速度与SSD(固态硬盘)的非易失性结合于一身，关闭电源后存储器仍能记住数据。MRAM是一种非易失性的磁性随机存储器。

其中，逻辑电路110，可以处理系统调度和向量矩阵乘法之外的运算。数字模拟转换模块120可以将数字信号转换为存算一体阵列130计算所需要的电压信号。存算一体阵列130即由大量存算一体器件构成的矩阵型阵列，具有存储能力和计算能力。存储能力指的是不同的新型存储器件依照其物理特性，通过改变其电导值来实现二值或多值存储数值的能力；计算能力指的是通过构造由新型存储器件组成的阵列，依欧姆定律和基尔霍夫定律，实现在一定时间内完成二值或多值向量矩阵乘法计算的能力。模拟数字转换模块140可以将存算一体阵列130输出的电流信号转换为数字信号。

假设第一图像集合为任意要进行图像比对的图像集合，即从第一图像集合中查找与目标图像相似的图像，第一图像集合中的图像为第一待比对图像，可以预先提取每个第一待比对图像的特征向量以及目标图像的特征向量。例如，可以预先训练神经网络模型，将每个第一待比对图像输入训练完成的神经网络模型，提取出每个第一待比对图像的特征向量；将目标图像输入神经网络模型，提取出目标图像的特征向量。通过比较目标图像的特征向量和每个第一待比对图像的特征向量，可以得到与目标图像相似的第一待比对图像。

逻辑电路110，用于接收第一图像集合中每个第一待比对图像的特征向量和目标图像的特征向量，控制数字模拟转换模块120将各第一待比对图像的特征向量和目标图像的特征向量存入存算一体阵列130。

在存算一体芯片100与CPU(中央处理单元)连接的情况下，CPU可以对第一图像集合中每个第一待比对图像进行特征提取，得到每个第一待比对图像的特征向量。对目标图像进行特征提取，得到目标图像的特征向量。并向存算一体芯片100发送第一图像集合中每个第一待比对图像的特征向量和目标图像的特征向量。

类似地，在存算一体芯片100与MCU(微控制单元)或NPU(神经网络处理单元)连接的情况下，MCU或NPU向存算一体芯片100发送第一图像集合中每个第一待比对图像的特征向量和目标图像的特征向量。

存算一体阵列130，用于计算目标图像的特征向量与每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制模拟数字转换模块140将第一向量矩阵乘结果输出至逻辑电路110。

可以理解的是，目标图像的特征向量和第一待比对图像的特征向量之间的距离越小，目标图像和第一待比对图像越相似，因此，通过计算目标图像的特征向量和第一待比对图像的特征向量之间的距离，可以查找与目标图像相似的第一待比对图像。

假设第一待比对图像的特征向量表示为目标图像的特征向量表示为/>两个向量之间的距离可以表示为：

存算一体阵列130可以计算目标图像的特征向量与每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，即

逻辑电路110，用于将第一向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前N个距离，并输出前N个距离分别对应的第一待比对图像，其中，N为正整数。

逻辑电路110可以根据上述公式(1)将第一向量矩阵乘结果转换为距离，从而得到每个第一待对比图像对应的距离。可以选取对应距离最小的一张第一待比对图像，或者选取对应距离较小的多张第一待比对图像。

本申请实施例中，存算一体芯片中的存算一体阵列具有存储能力和计算能力，通过将存算一体阵列与逻辑电路、数字模拟转换模块和模拟数字转换模块相结合，即可实现图像的比对。可见，利用存算一体芯片可以实现图像的比对，从而避免影响计算设备的性能。

本申请实施例中，存算一体芯片100还可以包括缓存模块。缓存模块用于暂时存储一些中间数据，通常基于SRAM(Static Random-Access Memory，静态随机存取存储器)实现。其中，SRAM是一种随机存取存储器，“静态”是指存储器只要保持通电，里面储存的数据就可以恒常保持。

逻辑电路110，用于在控制数字模拟转换模块120将各第一待比对图像的特征向量和目标图像的特征向量存入存算一体阵列之前，将每个第一待比对图像的特征向量和目标图像的特征向量存入缓存模块。之后，可以从缓存模块获取各第一待比对图像的特征向量和目标图像的特征向量，并控制数字模拟转换模块120将各第一待比对图像的特征向量和目标图像的特征向量存入存算一体阵列。

在图像集合中图像数量较少的情况下，存算一体阵列130的数量可以为一个。参见图2，图2为本申请实施例中包含单阵列的存算一体芯片的一种示意图。在图像集合中图像数量较多的情况下，存算一体阵列130的数量可以为多个。参见图3，图3为本申请实施例中包含多阵列的存算一体芯片的一种示意图。可以看出，包含多阵列的存算一体芯片的硬件配置与包含单阵列的存算一体芯片的硬件配置类似，不同之处在于：一个逻辑电路对应多个存算一体阵列，每个存算一体阵列均可以具有相应的数字模拟转换模块和模拟数字转换模块。本申请实施例中，多个存算一体阵列可以对应一个数字模拟转换模块和一个模拟数字转换模块。

在存算一体阵列130的数量为多个的情况下，逻辑电路110，用于控制数字模拟转换模块120将各第一待比对图像的特征向量存入多个存算一体阵列；以及将目标图像的特征向量存入多个存算一体阵列。例如，可以将所有第一待比对图像的特征向量构成的集合分为多个子集，将不同的子集分别存储至多个不同的存算一体阵列130中。由于多个存算一体阵列130均要进行向量矩阵乘运算，因此目标图像的特征向量也会存储至多个存算一体阵列130中。

多个存算一体阵列中的每个存算一体阵列130，用于计算目标图像的特征向量与存算一体阵列中第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制模拟数字转换模块140将第一向量矩阵乘结果输出至逻辑电路110。

需要说明的是，可以将各第一待比对图像的特征向量平均存储至多个存算一体阵列130中，这样，多个存算一体阵列130通过并行计算第一向量矩阵乘结果，可以提高图像比对的效率。

与前述的第一图像集合类似，假设第二图像集合也是任意要进行图像比对的图像集合，即从第二图像集合中查找与目标图像相似的图像，第二图像集合中的图像为第二待比对图像，可以预先提取每个第二待比对图像的特征向量以及目标图像的特征向量。例如，将每个第二待比对图像输入训练完成的神经网络模型，提取出每个第二待比对图像的特征向量；将目标图像输入神经网络模型，提取出目标图像的特征向量。

在一些实施例中，可以先对第二待比对图像的特征向量进行聚类，得到多个类簇的中心向量，计算目标图像的特征向量与每个类簇的中心向量之间的距离，得到与目标图像最相似的类簇。进而，从与目标图像最相似的类簇中选取与目标图像相似的第二待比对图像。

逻辑电路110，用于接收第二图像集合中每个第二待比对图像的特征向量和多个类簇中每个类簇的中心向量，控制数字模拟转换模块120将每个第二待比对图像的特征向量和多个类簇的中心向量存入存算一体阵列130；

逻辑电路110可以接收CPU、MCU或NPU等装置发送的、第二图像集合中每个第二待比对图像的特征向量和多个类簇中每个类簇的中心向量。

存算一体阵列130，用于计算目标图像的特征向量与每个类簇的中心向量之间的第二向量矩阵乘结果，并控制模拟数字转换模块140将第二向量矩阵乘结果输出至逻辑电路110；

逻辑电路110，用于将第二向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为第一目标中心向量；控制数字模拟转换模块120将第一目标中心向量存入存算一体阵列130。

通过计算目标图像的特征向量与每个类簇的中心向量的距离，将最小的距离对应的中心向量确定为第一目标中心向量，第一目标中心向量对应的类簇即为与目标图像最相似的类簇。进一步地，可以从该第一目标中心向量对应的类簇中查找与目标图像相似的第二待比对图像。

存算一体阵列130，用于计算目标图像的特征向量与第一目标中心向量对应的类簇中每个第二待比对图像的特征向量之间的第三向量矩阵乘结果，并控制模拟数字转换模块将第三向量矩阵乘结果输出至逻辑电路；

逻辑电路，用于将第三向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前M个距离，并输出前M个距离分别对应的第二待比对图像，其中，M为正整数。

可以看出，通过先对第二待比对图像的特征向量进行聚类，存算一体芯片100可以先查找与目标图像相似的类簇，然后从与目标图像相似的类簇中查找与目标图像相似的第二待比对图像，可以提高图像比对的效率。

假设从第一图像集合中查找与目标图像相似的图像，第一图像集合中的图像为第一待比对图像，在第一待比对图像的数量较多的情况下，存算一体阵列130的数量可以为多个。在此场景下，可以先对样本图像集合中的样本图像进行聚类，得到多个类簇，利用样本图像对第一待比对图像进行聚类，即，确定每个第一待比对图像在多个类簇中所属的类簇。从多个类簇选取与目标图像相似的类簇之后，从与目标图像相似的类簇对应的第一待比对图像中选取与目标图像相似的第一待比对图像。

需要说明的是，样本图像集合可以是与第一图像集合相同的图像集合，也可以是与第一图像集合不同的图像集合。当样本图像集合与第一图像集合相同时，图像比对结果的准确性会更高。

逻辑电路110，用于接收多个类簇中每个类簇的中心向量，多个类簇的中心向量是对样本图像集合中各样本图像的特征向量进行聚类得到的，控制数字模拟转换模块120将多个类簇的中心向量存入多个存算一体阵列130中的第一目标存算一体阵列。第一目标存算一体阵列是多个存算一体阵列130中的任一存算一体阵列。

逻辑电路110，用于控制数字模拟转换模块120将各第一待比对图像的特征向量和目标图像的特征向量存入第一目标存算一体阵列。

第一目标存算一体阵列，用于针对每个第一待比对图像，计算第一待比对图像的特征向量与每个类簇的中心向量之间的第四向量矩阵乘结果，并控制模拟数字转换模块将每个第一待比对图像对应的第四向量矩阵乘结果输出至逻辑电路110。

逻辑电路110，用于将每个第一待比对图像对应的第四向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为每个第一待比对图像对应的中心向量。控制数字模拟转换模块120将每个中心向量对应的第一待比对图像、存入每个中心向量在多个存算一体阵列中对应的第二目标存算一体阵列。这样，第一待比对图像可以存储至该第一待比对图像所属的类簇对应的第二目标存算一体阵列。

可选地，第二目标存算一体阵列为多个存算一体阵列中除第一目标存算一体阵列之外的存算一体阵列，且每个类簇的中心向量与第二目标存算一体阵列具有一一对应关系。也就是每类第一待比对图像均存储至单独的第二目标存算一体阵列中，每个第二目标存算一体阵列可以并行地将自身存储的第一待比对图像和目标图像进行向量矩阵乘运算，可以提高图像比对的效率。

第一目标存算一体阵列，用于计算目标图像的特征向量与每个类簇的中心向量之间的第五向量矩阵乘结果，并控制模拟数字转换模块将第五向量矩阵乘结果输出至逻辑电路。

逻辑电路110，用于将第五向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前Q个距离，将前Q个距离对应的中心向量确定为第二目标中心向量；其中，Q为正整数；以及控制数字模拟转换模块120将目标图像的特征向量存入每个第二目标中心向量对应的第二目标存算一体阵列。

逻辑电路110查找出与目标图像的特征向量相似的Q个第二目标中心向量，即查找出与目标图像相似的Q个类簇，并将目标图像的特征向量存储至Q个第二目标中心向量对应的第二目标存算一体阵列。这样，可以从Q个第二目标存算一体阵列中选取与目标图像相似的第一待比对图像。

每个第二目标中心向量对应的第二目标存算一体阵列，用于计算目标图像的特征向量与第二目标中心向量对应的每个第一待比对图像之间的第六向量矩阵乘结果，并控制模拟数字转换模块将第六向量矩阵乘结果输出至逻辑电路。

逻辑电路110，用于将第六向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前R个距离，并输出前R个距离分别对应的第一待比对图像；其中，R为正整数。

可以理解的是，逻辑电路110可以获取Q个第二目标存算一体阵列输出的第六向量矩阵乘结果，将第六向量矩阵乘结果转换为距离，并获取前R个距离分别对应的第一待比对图像。

本申请实施例中，通过聚类的方式，对样本图像进行聚类，得到多个类簇，并将多个类簇的中心向量存储至第一目标存算一体阵列。并且，通过样本图像对第一待比对图像进行聚类，即确定与每个第一待比对图像相似的类簇，将与同一个类簇相似的第一待比对图像划分为一类，并将每类第一待比对图像存储至第二目标存算一体阵列。通过计算每个类簇的中心向量和目标图像的特征向量之间的距离，选取Q个与目标图像相似的类簇。进而，从该Q个类簇对应的第一待比对图像中选取R个与目标图像相似的第一待比对图像。通过上述聚类和多个存算一体阵列相结合的方式，可以提高计算速度，因此提高了图像比对的效率。

本申请实施例还提供了一种图像处理方法，应用于存算一体芯片，存算一体芯片包括：逻辑电路、与逻辑电路连接的数字模拟转换模块、与数字模拟转换模块连接的存算一体阵列以及与存算一体阵列连接的模拟数字转换模块；模拟数字转换模块与逻辑电路连接。

参见图4，图像处理方法可以包括以下步骤：

步骤S402，逻辑电路接收第一图像集合中每个第一待比对图像的特征向量和目标图像的特征向量，控制数字模拟转换模块将各第一待比对图像的特征向量和目标图像的特征向量存入存算一体阵列。

步骤S404，存算一体阵列计算目标图像的特征向量与每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制模拟数字转换模块将第一向量矩阵乘结果输出至逻辑电路。

步骤S406，逻辑电路将第一向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前N个距离，并输出前N个距离分别对应的第一待比对图像，其中，N为正整数。

可选地，存算一体阵列的数量为多个；

控制数字模拟转换模块将各第一待比对图像的特征向量和目标图像的特征向量存入存算一体阵列，包括：

控制数字模拟转换模块将各第一待比对图像的特征向量存入多个存算一体阵列；以及将目标图像的特征向量存入该多个存算一体阵列；

存算一体阵列计算目标图像的特征向量与每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，包括：

多个存算一体阵列中的每个存算一体阵列计算目标图像的特征向量与存算一体阵列中第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制模拟数字转换模块将第一向量矩阵乘结果输出至逻辑电路。

可选地，上述图像处理方法还包括：

逻辑电路接收第二图像集合中每个第二待比对图像的特征向量和多个类簇中每个类簇的中心向量，多个类簇的中心向量是对第二待比对图像的特征向量进行聚类得到的，控制数字模拟转换模块将每个第二待比对图像的特征向量和多个类簇的中心向量存入存算一体阵列；

存算一体阵列计算目标图像的特征向量与每个类簇的中心向量之间的第二向量矩阵乘结果，并控制模拟数字转换模块将第二向量矩阵乘结果输出至逻辑电路；

逻辑电路将第二向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为第一目标中心向量；控制数字模拟转换模块将第一目标中心向量存入存算一体阵列；

存算一体阵列计算目标图像的特征向量与第一目标中心向量对应的类簇中每个第二待比对图像的特征向量之间的第三向量矩阵乘结果，并控制模拟数字转换模块将第三向量矩阵乘结果输出至逻辑电路；

逻辑电路将第三向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前M个距离，并输出前M个距离分别对应的第二待比对图像，其中，M为正整数。

可选地，存算一体阵列的数量为多个；

上述图像处理方法还包括：

逻辑电路接收多个类簇中每个类簇的中心向量，多个类簇的中心向量是对样本图像集合中各样本图像的特征向量进行聚类得到的，控制数字模拟转换模块将多个类簇的中心向量存入多个存算一体阵列中的第一目标存算一体阵列；控制数字模拟转换模块将各第一待比对图像的特征向量和目标图像的特征向量存入第一目标存算一体阵列；

针对每个第一待比对图像，第一目标存算一体阵列计算第一待比对图像的特征向量与每个类簇的中心向量之间的第四向量矩阵乘结果，并控制模拟数字转换模块将每个第一待比对图像对应的第四向量矩阵乘结果输出至逻辑电路；

逻辑电路将每个第一待比对图像对应的第四向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为每个第一待比对图像对应的中心向量；控制数字模拟转换模块将每个中心向量对应的第一待比对图像、存入每个中心向量在多个存算一体阵列中对应的第二目标存算一体阵列；

第一目标存算一体阵列计算目标图像的特征向量与每个类簇的中心向量之间的第五向量矩阵乘结果，并控制模拟数字转换模块将第五向量矩阵乘结果输出至逻辑电路；

逻辑电路将第五向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前Q个距离，将前Q个距离对应的中心向量确定为第二目标中心向量；其中，Q为正整数；以及控制数字模拟转换模块将目标图像的特征向量存入每个第二目标中心向量对应的第二目标存算一体阵列；

每个第二目标中心向量对应的第二目标存算一体阵列计算目标图像的特征向量与第二目标中心向量对应的每个第一待比对图像之间的第六向量矩阵乘结果，并控制模拟数字转换模块将第六向量矩阵乘结果输出至逻辑电路；

逻辑电路将第六向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前R个距离，并输出前N个距离分别对应的第一待比对图像；其中，R为正整数。

可选地，第二目标存算一体阵列为多个存算一体阵列中除第一目标存算一体阵列之外的存算一体阵列，且每个类簇的中心向量与第二目标存算一体阵列具有一一对应关系。

可选地，存算一体阵列还包括缓存模块，上述图像处理方法还包括：

逻辑电路在控制数字模拟转换模块将各第一待比对图像的特征向量和目标图像的特征向量存入存算一体阵列之前，将每个第一待比对图像的特征向量和目标图像的特征向量存入缓存模块；

逻辑电路控制数字模拟转换模块将各第一待比对图像的特征向量和目标图像的特征向量存入存算一体阵列，包括：

逻辑电路从缓存模块获取各第一待比对图像的特征向量和目标图像的特征向量，并控制数字模拟转换模块将各第一待比对图像的特征向量和目标图像的特征向量存入存算一体阵列。

上述方法中各步骤的具体细节已经在对应的存算一体芯片中进行了详细的描述，因此此处不再赘述。

本申请实施例中，还提供了一种电子设备，包括：前述的存算一体芯片。

本申请实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。

需要说明的是，本申请所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。

本申请实施例中，还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述图像处理方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种存算一体芯片，其特征在于，包括：逻辑电路、与所述逻辑电路连接的数字模拟转换模块、与所述数字模拟转换模块连接的存算一体阵列以及与所述存算一体阵列连接的模拟数字转换模块；所述模拟数字转换模块与所述逻辑电路连接；

所述逻辑电路，用于接收第一图像集合中每个第一待比对图像的特征向量和目标图像的特征向量，控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列；

所述存算一体阵列，用于计算所述目标图像的特征向量与所述每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制所述模拟数字转换模块将所述第一向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第一向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前N个距离，并输出前N个距离分别对应的第一待比对图像，其中，N为正整数。

2.根据权利要求1所述的存算一体芯片，其特征在于，所述存算一体阵列的数量为多个；

所述逻辑电路，用于控制所述数字模拟转换模块将所述各第一待比对图像的特征向量存入多个存算一体阵列；以及将所述目标图像的特征向量存入所述多个存算一体阵列；

所述多个存算一体阵列中的每个存算一体阵列，用于计算所述目标图像的特征向量与所述存算一体阵列中第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制所述模拟数字转换模块将所述第一向量矩阵乘结果输出至所述逻辑电路。

3.根据权利要求1所述的存算一体芯片，其特征在于，所述逻辑电路，用于接收第二图像集合中每个第二待比对图像的特征向量和多个类簇中每个类簇的中心向量，所述多个类簇的中心向量是对所述第二待比对图像的特征向量进行聚类得到的，控制所述数字模拟转换模块将所述每个第二待比对图像的特征向量和所述多个类簇的中心向量存入所述存算一体阵列；

所述存算一体阵列，用于计算所述目标图像的特征向量与所述每个类簇的中心向量之间的第二向量矩阵乘结果，并控制所述模拟数字转换模块将所述第二向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第二向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为第一目标中心向量；控制所述数字模拟转换模块将第一目标中心向量存入所述存算一体阵列；

所述存算一体阵列，用于计算所述目标图像的特征向量与所述第一目标中心向量对应的类簇中每个第二待比对图像的特征向量之间的第三向量矩阵乘结果，并控制所述模拟数字转换模块将所述第三向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第三向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前M个距离，并输出前M个距离分别对应的第二待比对图像，其中，M为正整数。

4.根据权利要求1所述的存算一体芯片，其特征在于，所述存算一体阵列的数量为多个；

所述逻辑电路，用于接收多个类簇中每个类簇的中心向量，所述多个类簇的中心向量是对样本图像集合中各样本图像的特征向量进行聚类得到的，控制所述数字模拟转换模块将所述多个类簇的中心向量存入多个存算一体阵列中的第一目标存算一体阵列；

所述逻辑电路，用于控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述第一目标存算一体阵列；

所述第一目标存算一体阵列，用于针对每个第一待比对图像，计算所述第一待比对图像的特征向量与所述每个类簇的中心向量之间的第四向量矩阵乘结果，并控制所述模拟数字转换模块将所述每个第一待比对图像对应的第四向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述每个第一待比对图像对应的第四向量矩阵乘结果转换为距离，将最小的距离对应的中心向量确定为每个第一待比对图像对应的中心向量；控制所述数字模拟转换模块将每个中心向量对应的第一待比对图像、存入每个中心向量在多个存算一体阵列中对应的第二目标存算一体阵列；

所述第一目标存算一体阵列，用于计算所述目标图像的特征向量与所述每个类簇的中心向量之间的第五向量矩阵乘结果，并控制所述模拟数字转换模块将所述第五向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第五向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前Q个距离，将所述前Q个距离对应的中心向量确定为第二目标中心向量；其中，Q为正整数；以及控制所述数字模拟转换模块将所述目标图像的特征向量存入每个所述第二目标中心向量对应的第二目标存算一体阵列；

每个所述第二目标中心向量对应的第二目标存算一体阵列，用于计算所述目标图像的特征向量与所述第二目标中心向量对应的每个第一待比对图像之间的第六向量矩阵乘结果，并控制所述模拟数字转换模块将所述第六向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路，用于将所述第六向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前R个距离，并输出前R个距离分别对应的第一待比对图像；其中，R为正整数。

5.根据权利要求4所述的存算一体芯片，其特征在于，所述第二目标存算一体阵列为所述多个存算一体阵列中除所述第一目标存算一体阵列之外的存算一体阵列，且所述每个类簇的中心向量与所述第二目标存算一体阵列具有一一对应关系。

6.根据权利要求1所述的存算一体芯片，其特征在于，还包括：缓存模块；

所述逻辑电路，用于在控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列之前，将所述每个第一待比对图像的特征向量和目标图像的特征向量存入所述缓存模块；

所述逻辑电路，用于从所述缓存模块获取各第一待比对图像的特征向量和所述目标图像的特征向量，并控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列。

7.一种图像处理方法，其特征在于，应用于存算一体芯片，所述存算一体芯片包括：逻辑电路、与所述逻辑电路连接的数字模拟转换模块、与所述数字模拟转换模块连接的存算一体阵列以及与所述存算一体阵列连接的模拟数字转换模块；所述模拟数字转换模块与所述逻辑电路连接；

所述方法包括：

所述逻辑电路接收第一图像集合中每个第一待比对图像的特征向量和目标图像的特征向量，控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列；

所述存算一体阵列计算所述目标图像的特征向量与所述每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制所述模拟数字转换模块将所述第一向量矩阵乘结果输出至所述逻辑电路；

所述逻辑电路将所述第一向量矩阵乘结果转换为距离，按照距离从小到大的顺序选取前N个距离，并输出前N个距离分别对应的第一待比对图像，其中，N为正整数。

8.根据权利要求7所述的方法，其特征在于，所述存算一体阵列的数量为多个；

控制所述数字模拟转换模块将各第一待比对图像的特征向量和所述目标图像的特征向量存入所述存算一体阵列，包括：

控制所述数字模拟转换模块将所述各第一待比对图像的特征向量存入多个存算一体阵列；以及将所述目标图像的特征向量存入所述多个存算一体阵列；

所述存算一体阵列计算所述目标图像的特征向量与所述每个第一待比对图像的特征向量之间的第一向量矩阵乘结果，包括：

所述多个存算一体阵列中的每个存算一体阵列计算所述目标图像的特征向量与所述存算一体阵列中第一待比对图像的特征向量之间的第一向量矩阵乘结果，并控制所述模拟数字转换模块将所述第一向量矩阵乘结果输出至所述逻辑电路。

9.一种电子设备，其特征在于，包括权利要求1-6任一项所述的存算一体芯片。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7或8所述的方法。