CN107851175B - 图像识别加速器、终端设备及图像识别方法 - Google Patents

图像识别加速器、终端设备及图像识别方法 Download PDF

Info

Publication number
CN107851175B
CN107851175B CN201680012483.4A CN201680012483A CN107851175B CN 107851175 B CN107851175 B CN 107851175B CN 201680012483 A CN201680012483 A CN 201680012483A CN 107851175 B CN107851175 B CN 107851175B
Authority
CN
China
Prior art keywords
image recognition
adjusted
success rate
image
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680012483.4A
Other languages
English (en)
Other versions
CN107851175A (zh
Inventor
余浩
王雨豪
倪磊滨
杨伟
赵俊峰
肖世海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Nanyang Technological University
Original Assignee
Huawei Technologies Co Ltd
Nanyang Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Nanyang Technological University filed Critical Huawei Technologies Co Ltd
Publication of CN107851175A publication Critical patent/CN107851175A/zh
Application granted granted Critical
Publication of CN107851175B publication Critical patent/CN107851175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)

Abstract

一种图像识别加速器(20)、终端设备及图像识别方法。图像识别加速器(20)包括了降维处理模块(205)、NVM(210)以及图像匹配模块(215)。在图像识别加速器(20)进行图像识别的过程中，先由降维处理模块(205)根据设置的降维参数γ降低第一图像数据的维度。NVM(210)将降维后的第一图像数据中的各个数值的低ω位按照设置的第一电流I写入NVM(210)中的第一存储区域(2104)，并将降维后的第一图像数据中的各个数值的高N‑ω位按照设置的第二电流写入NVM(210)中的第二存储区域(2106)。其中，第一电流小于第二电流。从而，匹配模块(215)可以确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据。图像识别加速器(20)能够在降低终端设备的系统功耗的基础上保证图像识别的准确性。

Description

图像识别加速器、终端设备及图像识别方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像识别加速器、终端设备及图像识别方法。
背景技术
图像识别技术是人工智能的一个重要领域。图像识别是指利用计算机对图像进行处理和分析，以识别各种不同目标和对像的技术。近年来，随着社交网络的普及，在移动设备中进行实时图像数据分析的需求逐渐增强。然而，由于实现图像数据分析会消耗较多的系统资源，因此，移动设备有限的电池寿命限制了图像数据分析在移动设备上的应用。
为了降低图像数据分析过程中的系统功耗，现有技术中的一种图像数据处理方法是通过降低图像数据写入静态随机存储器(Static Random-Access Memory，SRAM)中的写入电流的方式来降低系统功耗。然而，随着写入电流的降低，SRAM中存储的数据的错误率也随之上升。为了恢复错误，还需要通过解凸优化(convex optimization)处理等方式对存储的图像数据进行恢复，从而能够基于恢复后的图像数据进行图像识别。在这种方式中，虽然写入数据时系统功耗有所减少，然而，图像恢复过程中的CPU的计算复杂度高，也比较浪费系统资源。并且，为了保持存储于SRAM中的数据，SRAM需要保持通电状态，因此，SRAM还存在静态功耗，上述图像数据处理方式也并不能完全消除SRAM保持数据时所需的静态功耗。因此，总体上说，采用现有的图像数据处理方式处理图像数据时，系统功耗依然较大。
发明内容
本发明实施例中提供的一种图像识别加速器、终端设备及图像识别方法，能够在降低终端设备的系统功耗的基础上保证图像识别的准确性。
第一方面，本发明实施例提供了一种应用于终端设备中用于识别图像的图像识别加速器，包括：
降维处理模块，用于根据设置的降维参数γ降低第一图像数据的维度，其中，降维后的第一图像数据包括多个数值；
非易失性内存NVM，用于将降维后的第一图像数据的每一个数值的低ω位按照设置的第一电流I存储于所述NVM的第一存储区域，将降维后的第一图像数据的每一个数值的高(N-ω)位按照设置的第二电流Is存储于所述NVM的第二存储区域，其中，N为每一个数值所占的比特位，ω为设置的宽度参数，所述第一电流I小于所述第二电流Is，所述降维参数γ、宽度参数ω以及第一电流I根据所述终端设备的系统功耗和设置的第一图像识别成功率获得；
图像匹配模块，用于确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据。
结合第一方面，在第一方面的第一种可能的实现方式中，所述图像识别加速器还包括：参数调整模块，用于如果统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值，则根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
所述降维处理模块，还用于根据调整后的降维参数γ′降低第二图像数据的维度；
所述非易失性内存NVM，还用于将降维后的第二图像数据的每一个数值的低ω′位按照调整后的第一电流I′存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω′)位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，ω′为调整后的宽度参数，所述I′小于所述Is；
所述图像匹配模块，还用于确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
结合第一方面或第一方面的第一种实现方式，在第一方面的第二种可能的实现方式中，所述降维处理模块具体用于：
根据所述第一图像数据与设置的二进制矩阵的乘积获得所述降维后的第一图像数据，其中，所述第一图像数据为k行*m列的矩阵，所述二进制矩阵为m行*n列的矩阵，所述降维后的第一图像数据为k行*n列的矩阵，k、m和n为正整数，m的值大于n，n的值根据设置的降维参数γ确定，γ＝n/m。
结合第一方面的第一种或第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述参数调整模块具体用于：
如果统计的图像识别成功率与所述第二图像识别成功率之间的差值大于预设阈值，则分别调整降维参数γ、所述宽度参数ω或第一电流I的取值以降低系统功耗E，并分别获得调整后的图像识别成功率，其中，所述E的值与γ((N-ω)＊Is 2+ω*I)的值成正比；
确定在调整后的图像识别成功率与所述第二图像识别成功率之间的差值的绝对值不大于所述预设阈值时所述终端设备的最小功耗E′；
选择在满足所述最小功耗E′时获得最大图像识别成功率的降维参数γ、所述宽度参数ω以及第一电流I分别作为所述调整后的降维参数γ′、宽度参数ω′以及第一电流I′。
第二方面，本发明实施例提供了一种终端设备，所述终端设备包括CPU和图像识别加速器，其中，所述CPU，用于向所述图像识别加速器发送待识别的第一图像数据；
所述图像识别加速器，用于根据设置的降维参数γ降低所述第一图像数据的维度，其中，降维后的第一图像数据包括多个数值；
将所述降维后的第一图像数据的每一个数值的低ω位按照设置的第一电流I存储于NVM的第一存储区域，将所述降维后的第一图像数据的每一个数值的高(N-ω)位按照设置的第二电流Is存储于所述NVM的第二存储区域，其中，N为每一个数值所占的比特位，ω为设置的宽度参数，所述I小于所述Is，所述降维参数γ、宽度参数ω以及第一电流I根据所述终端设备的系统功耗和设置的第一图像识别成功率获得；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据。
结合第二方面，在第二方面的第一种可能的实现方式中，所述图像识别加速器，还用于如果统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值，则根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
所述CPU，还用于向所述图像识别加速器发送第二图像数据；
所述图像识别加速器，还用于：
根据调整后的降维参数γ′降低第二图像数据的维度；
将降维后的第二图像数据的每一个数值的低ω′位按照调整后的第一电流I′存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω′)位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，ω′为调整后的宽度参数，所述I′小于所述Is；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
结合第二方面，在第二方面的第二种可能的实现方式中，所述CPU，还用于统计在预设的统计期间内所述图像识别加速器输出的匹配结果，获取统计的图像识别成功率；确定所述统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值；
所述图像识别加速器，还用于根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
所述CPU，还用于向所述图像识别加速器发送第二图像数据；
所述图像识别加速器，还用于根据调整后的降维参数γ′降低第二图像数据的维度；
将降维后的第二图像数据的每一个数值的低ω′位按照调整后的第一电流I′存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω′)位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，所述ω′为调整后的宽度参数，所述I′小于所述Is；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
结合第二方面，在第二方面的第三种可能的实现方式中，所述CPU还用于：
统计在预设的统计期间内所述图像识别加速器输出的匹配结果，获取所述统计的图像识别成功率；
如果统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值，则根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
向所述图像识别加速器发送第二图像数据；
所述图像识别加速器，还用于：
根据调整后的降维参数γ′降低第二图像数据的维度；
将降维后的第二图像数据的每一个数值的低ω′位按照调整后的第一电流I′存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω′)位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，ω′为调整后的宽度参数，所述I′小于所述Is；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
结合第二方面或第二方面的第一种至第三种任意一种可能的实现方式中，在第二方面的第四种可能的实现方式中，所述图像识别加速器具体用于：
根据所述第一图像数据与设置的二进制矩阵的乘积获得所述降维后的第一图像数据，其中，所述第一图像数据为k行*m列的矩阵，所述二进制矩阵为m行*n列的矩阵，所述降维后的第一图像数据为k行*n列的矩阵，k、m和n为正整数，m的值大于n，n的值根据设置的降维参数γ确定，γ＝n/m。
结合第二方面的第一种或第二种可能的实现方式中，在第二方面的第五种可能的实现方式中，所述图像识别加速器具体用于：
分别调整降维参数γ、所述宽度参数ω或第一电流I的取值以降低所述终端设备的系统功耗E，并分别获得调整后的图像识别成功率，其中，所述E的值与γ((N-ω)＊Is 2+ω*I)的值成正比；
确定在调整后的图像识别成功率与所述第二图像识别成功率之间的差值的绝对值不大于所述预设阈值时所述终端设备的最小功耗E′；
选择在满足所述最小功耗E′时获得最大图像识别成功率的降维参数γ、所述宽度参数ω以及第一电流I分别作为所述调整后的降维参数γ、宽度参数ω′以及第一电流I′。
结合第二方面的第三种可能的实现方式中，在第二方面的第六种可能的实现方式中，所述CPU具体用于：
分别调整降维参数γ、所述宽度参数ω或第一电流I的取值以降低所述终端设备的系统功耗E，并分别获得调整后的图像识别成功率，其中，所述E的值与γ((N-ω)＊Is 2+ω*I)的值成正比；
确定在调整后的图像识别成功率与所述第二图像识别成功率之间的差值的绝对值不大于所述预设阈值时所述终端设备的最小功耗E′；
选择在满足所述最小功耗E′时获得最大图像识别成功率的降维参数γ、所述宽度参数ω以及第一电流I分别作为所述调整后的降维参数γ′、宽度参数ω′以及第一电流I′。
第三方面，本发明实施例提供了一种应用于终端设备的图像识别方法，所述方法由所述终端设备中的图像识别加速器执行，所述方法包括：
根据设置的降维参数γ降低第一图像数据的维度，其中，降维后的第一图像数据包括多个数值；
将所述降维后的第一图像数据的每一个数值的低ω位按照设置的第一电流I存储于所述图像识别加速器中的NVM的第一存储区域，将所述降维后的第一图像数据的每一个数值的高(N-ω)位按照设置的第二电流Is存储于所述NVM的第二存储区域，其中，N为每一个数值所占的比特位，ω为设置的宽度参数，所述I小于所述Is，所述降维参数γ、宽度参数ω以及第一电流I根据所述终端设备的系统功耗和设置的第一图像识别成功率获得；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据。
结合第三方面，在第三方面第一种可能的实现方式中，所述方法还包括：
确定统计的图像识别成功率与设置的第二图像识别成功率的差值的绝对值大于预设阈值；
根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
根据调整后的降维参数γ′降低第二图像数据的维度；
将降维后的第二图像数据的每一个数值的低ω′位按照调整后的第一电流I′存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω′)位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，ω′为调整后的宽度参数，所述I′小于所述Is；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
结合第三方面或第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述根据设置的降维参数γ降低第一图像数据的维度包括：
根据所述第一图像数据与设置的二进制矩阵的乘积获得所述降维后的第一图像数据，其中，所述第一图像数据为k行*m列的矩阵，所述二进制矩阵为m行*n列的矩阵，所述降维后的第一图像数据为k行*n列的矩阵，k、m和n为正整数，m的值大于n，n的值根据设置的降维参数γ确定，γ＝n/m。
结合第三方面或第三方面的第一种至第二种中任意一种可能的实现方式，在第三方面的第三种可能的实现方式中，所述根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，包括：
分别调整降维参数γ、所述宽度参数ω或第一电流I的取值以降低所述终端设备的系统功耗E，并分别获得调整后的图像识别成功率，其中，所述E的值与γ((N-ω)＊Is 2+ω*I)的值成正比；
确定在调整后的图像识别成功率与所述第二图像识别成功率之间的差值的绝对值不大于所述预设阈值时所述终端设备的最小功耗E′；
选择在满足所述最小功耗E′时获得最大图像识别成功率的降维参数γ、所述宽度参数ω以及第一电流I分别作为所述调整后的降维参数γ′、宽度参数ω′以及第一电流I′s
第四方面，本发明实施例提供了一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令用于执行前述第三方面中所述的方法。
第五方面，本申请提供了又一种应用于终端设备中用于识别图像的图像识别加速器。该图像识别加速器包括降维处理模块、非易失性内存NVM以及图像匹配模块。所述降维处理模块用于接收降维参数γ，根据接收的降维参数γ降低第一图像数据的维度，其中，降维后的第一图像数据包括多个数值，所述降维参数γ是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得的。所述非易失性内存NVM用于接收宽度参数ω和第一电流I，并根据接收的宽度参数ω获得存储位数S，然后，将降维后的第一图像数据的每一个数值的低S位按照设置的第一电流I存储于所述NVM的第一存储区域，将降维后的第一图像数据的每一个数值的高(N-S)位按照设置的第二电流Is存储于所述NVM的第二存储区域.其中，N为每一个数值所占的比特位，所述第一电流I小于所述第二电流Is，所述宽度参数ω以及所述第一电流I是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得的。所述图像匹配模块，用于确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据。
结合第五方面，在一种可能的实现方式中，所述图像识别加速器还包括参数调整模块。所述参数调整模块用于根据设置的所述第一图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数、宽度参数以及第一电流的值，以获得调整后的降维参数γ、宽度参数ω以及第一电流I，并将调整后的所述降维参数γ发送给所述降维处理模块，将调整后的所述宽度参数ω以及调整后的所述第一电流I发送给所述NVM。
结合上述第五方面以及可能的实现方式，在又一种可能的实现方式中，所述参数调整模块具体用于：分别调整所述降维参数、所述宽度参数或所述第一电流的值，并分别获得多个调整后的图像识别成功率和多个调整后的系统功耗，每个调整后的图像识别成功率对应于每个调整后的系统功耗；确定调整后的每个图像识别成功率与所述第一图像识别成功率之间的差值，选择所述差值的绝对值不大于所述预设阈值的至少一个调整后的图像识别成功率所对应的至少一个调整后的系统功耗中的最小系统功耗；选择在满足所述最小系统功耗时获得最大图像识别成功率的降维参数、宽度参数以及第一电流的值分别作为调整后的所述降维参数γ、所述宽度参数ω以及所述第一电流I，并将调整后的所述降维参数γ发送给所述降维处理模块，将调整后的所述宽度参数ω以及所述第一电流I发送给所述NVM。
结合上述第五方面以及可能的实现方式，在又一种可能的实现方式中，所述降维处理模块具体用于：根据所述第一图像数据与设置的二进制矩阵的乘积获得所述降维后的第一图像数据，其中，所述第一图像数据为k行*m列的矩阵，所述二进制矩阵为m行*n列的矩阵，所述降维后的第一图像数据为k行*n列的矩阵，k、m和n为正整数，m的值大于n，n的值根据设置的降维参数γ确定，γ＝n/m。
本发明实施例提供的一种应用于终端设备中用于进行图像识别的图像识别加速器包括了降维处理模块、NVM以及图像匹配模块。在所述图像识别加速器对第一图像数据进行识别的过程中，先由降维处理模块根据设置的降维参数γ降低第一图像数据的维度。NVM可以将降维后的第一图像数据中的各个数值的低ω位按照设置的第一电流I写入NVM中的第一存储区域，并将降维后的第一图像数据中的各个数值的高N-ω位按照设置的第二电流Is写入NVM中的第二存储区域。其中，第一电流小于第二电流。从而，匹配模块可以确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据，以获得第一图像数据的图像识别结果。由于设置的降维参数γ、宽度参数ω以及第一电流I均是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得，因此能够保证存储于第一存储区域的数值中的低位部分在存储过程中出现的错误对第一图像数据的识别成功率的影响较小。本发明实施例提供的图像识别加速器能够在降低终端设备的系统功耗的基础上保证图像识别的准确性，并且能够提高图像数据的识别速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例中的附图。
图1为本发明实施例提供的一种终端设备的结构示意图；
图2为本发明实施例提供的另一种终端设备的结构示意图；
图3为本发明实施例提供的一种图像识别加速器的结构示意图；
图4为本发明实施例提供的一种图像识别方法的流程图；
图5为本发明实施例提供的一种降维处理模块的结构示意图；
图6为本发明实施例提供的一种NVM的硬件结构示意图；
图7为本发明实施例提供的又一种图像识别加速器的结构示意图；
图8为本发明实施例提供的又一种图像识别方法的流程图；
图9为本发明实施例提供的一种参数调整方法流程图；
图10(a)和图10(b)为本发明实施例提供的参数调整过程中记录参数的示意图；
图11为本发明实施例提供的又一种终端设备的结构示意图；
图12为本发明实施例提供的又一种终端设备结构示意图；
图13为本发明实施例提供的一种图像识别方法的信令图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。
本发明实施例提出了一种图像识别加速器，能够在降低系统功耗的基础上保证图像识别的准确性。图1为本发明实施例提供的一种终端设备的结构示意图。在图1所述的终端设备100中，中央处理器(Central Processing Unit，CPU)10与图像识别加速器20通过总线15直接交换数据。总线15可以为PCI、PCIE总线或图像加速接口AGP总线等系统总线，在本发明实施例中不对总线15的类型进行限定。需要说明的是，图1所示的终端设备100可以是计算机、手机、移动终端等终端设备，在此不做限定，只要是需要实现图像识别的终端设备即可。
如图1所示，CPU 10是终端设备100的运算核心(Core)和控制核心(ControlUnit)。CPU 10可以是一块超大规模的集成电路。在CPU 10中安装有操作系统和其他软件程序，从而CPU 10能够实现对内存、缓存等存储空间的访问。可以理解的是，在本发明实施例中，CPU 10仅仅是处理器的一个示例。除了CPU 10外，处理器还可以是其他特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
图像识别加速器20是硬件加速器(Hardware accelerator)中的一种。在本发明实施例中，图像识别加速器20是基于非易失内存(Non-Volatile Memory，NVM)的硬件加速器。硬件加速技术是利用硬件模块来替代软件算法，从而可以充分利用硬件所固有的快速特性，以提高计算机系统的处理速度。在传统的图像数据处理方法中，内存仅仅用于存储图像数据，所有的图像数据处理、分析工作均由CPU完成，因此，CPU的处理速度以及内存的传输带宽成为图像识别技术发展的瓶颈。在本发明实施例中，通过在内存中增加简单的逻辑处理电路，以实现由专用的图像识别加速器来实现图像数据处理工作。在图1所示的终端设备100中，CPU 10只需要向图像识别加速器20发送待识别的图像数据并接受图像识别加速器20获得的识别结果，从而减少了CPU 10的负担，提高了终端设备识别图像的速度。并且，由于图1所示的系统结构减少了在CPU 10和图像识别加速器20的之间传输的数据量，从而可以解决因内存的传输带宽限制图像识别的速度的问题。
实际应用中，图像识别加速器20并不唯一与CPU 10进行数据交互。图2为本发明实施例提供的另一种终端设备的结构示意图。图2所示的终端设备100可以包括CPU 10、图像识别加速器20以及图像数据采集器30。CPU 10和图像数据采集器30分别与图像识别加速器20连接。图像数据采集器30，用于采集图像数据信息，并将采集的图像数据信息发送给图像识别加速器20进行图像识别。本领域人员可以知道，图像数据采集器30可以采集人、物的图像，在此不对图像信息进行具体的限定。图像数据采集器30在采集到图像信息后，可以将采集的图像信息转换为图像数据。实际应用中，图像数据采集器可以包括实现照相或摄像等功能的器件。例如，图像数据采集器可以为手机上的摄像头。图像识别加速器20，用于对图像数据采集器30发送的图像数据信息与存储的图像数据信息进行识别，并将识别结果发送给CPU 10。可以理解的是，在图2中所示的CPU 10以及图像识别加速器20的功能及实现方式的描述可以参见上述图1的描述，在此不再赘述。
可以理解的是，上面描述的仅仅是本发明实施例中的终端设备100的两种示意性结构，说明了图像识别加速器20的两种应用场景。在又一种情形下，图像识别加速器20还可以接收CPU 10发送的图像数据信息进行图像识别后，将图像识别结果发送给其他器件或设备。在又一种情形下，图像识别加速器20还可以接收其他器件(例如图2中的图像数据采集器30)发送的图像数据信息，并向该器件反馈图像识别结果。在此不对与图像识别加速器20通信的器件进行限定。下面将对本发明实施例提供的图像识别加速器20的具体结构及操作过程进行详细描述。
图3为本发明实施例提供的一种图像识别加速器20的结构示意图，在图3中，对图像识别加速器20的结构进行了较为详细的图示。如图3所示，在本发明实施例中，图像识别加速器20可以包括降维处理模块205、非易失性存储器NVM 210、以及图像匹配模块215。需要说明的是，降维处理模块205以及图像匹配模块215均可以是逻辑电路的形式存在，也可以是以集成电路的形式存在。实际应用中，图像识别加速器20可以是一种特定集成电路ASIC(Application Specific Integrated Circuit)或一种单板。在本发明实施例中，不对图像识别加速器20的具体存在形式进行限定。为了清楚的描述图像识别加速器20中各个器件的工作原理，下面将结合图4所示的图像识别方法的流程图对图3所示的图像识别加速器20中的各个器件的结构及工作过程进行详细的介绍。在下面的实施例中，以图像识别加速器20处理第一图像数据为例进行描述。
降维处理模块205，用于根据设置的降维参数γ降低图像数据的维度。具体的，如图4所示，在步骤400中，降维处理模块205可以根据设置的降维参数γ降低第一图像数据的维度。本领域技术人员可以知道，图像数据是用数值表示的各像素(pixel)的灰度值的集合。通常，图像数据是通过顺序地抽取图像的每一个像素的信息而获得的一个离散的阵列，该离散的阵列可以代表一副连续的图像。例如，第一图像数据可以表示为一个k行*m列的矩阵，其中该矩阵中的每一个数值用于代表第一图像数据中的一个像素的灰度值。换一种表达方式，第一图像数据是用数值表示的第一图像的各像素的灰度值的集合。为了提高图像识别的速度，在本发明实施例中降维处理模块205可以采用基于稀疏表示的随机映射方式降低第一图像数据的维度。在本发明实施例中并不对降维处理模块205实现的压缩算法进行限定，只要是能够实现通过稀疏表示的随机映射算法均可。
实际应用中，降维处理模块205可以采用矩阵乘法器来实现。具体的，降维处理模块205可以采用矩阵乘法器将第一图像数据与设置的低维的二进制矩阵相乘，从而实现降低第一图像数据的维度的目的。其中，二进制矩阵是指矩阵中的所有数值均为采用0或1表示的矩阵。采用二进制矩阵来实现降维的目的是为了减少降维过程中的计算复杂度。在本发明实施例中，设置的低维的二进制矩阵可以为伯努利矩阵，但本发明实施例不限定具体的二进制矩阵的形式，只要能够通过稀疏表示的方式实现降维目的的二进制矩阵即可。例如，第一图像数据为k行*m列的矩阵X，设置的二进制矩阵为m行*n列的伯努利矩阵Z，其中，k、m和n均为正整数，且m大于n。通过矩阵乘法器可以将第一图像数据与设置的伯努利矩阵Z相乘，从而可以获得一个k行*n列矩阵Y，矩阵Y即为降维后的第一图像数据。换一种表达方式，降低X矩阵的维度实际是为了降低X矩阵的列的数量。实际应用中，n的值可以根据m的值以及设置的降维参数γ来确定，其中，降维参数γ为降维后的第一图像数据的维度与第一图像数据的维度的比值，即γ＝n/m，则n＝m*γ。降维参数γ也可以被称为是降维率。
本领域人员可以知道，乘法器(multiplier)是一种用于完成两个互不相关的模拟信号或数字信号相乘的作用的电子器件。乘法器可以将两个二进制数相乘。矩阵乘法器是由多个乘法器和加法器构成的用以实现矩阵与矩阵相乘的功能的器件。由于矩阵乘法器中不同列的乘法器和加法器的计算互不相关，能够实现并行运算，因此，可以通过增加或减少矩阵乘法器中乘法器及加法器的列数来调整矩阵的维数。为了描述方便，在本发明实施例中，将乘法器和加法器构成的用以实现矩阵乘法运算的电路简称为乘加器。
在本发明实施例中，降维处理模块205可以通过减少矩阵乘法器中的部分列的乘加器来实现降低图像数据的维度的目的。具体的，可以通过关闭降维处理模块205中的部分列的乘加器的电源来减少部分列的乘加器。图5为本发明实施例提供的一种降维处理模块205的结构示意图。如图5所示，降维模块205包括m列乘加器，各列乘加器之间的运算互相独立。各列乘加器通过独立的开关控制该列乘加器是否工作。例如，开关S1用于控制第1列乘加器，开关S2用于控制第2列乘加器，依次类推，开关Sm用于控制第m列乘加器。本领域技术人员可以知道，开关可以通过场效应晶体管或开关电路来实现，例如，开关可以为结型场效应管(iunction field effect transistor，JFET)和金属氧化物半导体场效应管(metal-oxide semiconductor FET，MOS-FET)，在此不对开关的实现方式进行限制。
例如，在本发明实施例中，降维处理模块205可以接收CPU 10或图像数据采集器30发送的第一图像数据X，其中，X为k行*m列的矩阵。假设设置的伯努利矩阵Z为m行*n列的矩阵。降维处理模块205中可以设置m列乘加器。在一个周期内，可以将第一图像数据中的一个数值分别传输到矩阵乘法器的m列乘加器。矩阵乘加器中的各列乘加器可以分别将接收该数值与降维处理模块205中存储的伯努利矩阵Z中的一行数值中的一个数值进行乘法运算，并输出计算结果。换一种表达方式，每列乘加器一个周期内能够计算X矩阵中的一个数值与Z矩阵中的一个数值的计算结果，则在一个周期内，m列乘加器能够获得X矩阵中的该数值与Z矩阵中的一行数值的计算结果。可以理解的是，根据这种方式，经过m*k个循环后，可以获得X矩阵中的K行数值与伯努利矩阵Z的运算结果。在降低第一图像数据的维度的过程中，为了实现对第一图像数据的降维操作，降维处理模块205可以根据设定的降维参数γ以及第一图像数据中的m的值获得n的值，并根据获得的n的值关闭矩阵乘法器中控制m-n列乘加器的开关。例如，如图5所示，可以关闭矩阵乘法器中控制第n+1列至第m列乘加器的开关，使矩阵乘法器中的第n+l列至第m列乘加器在运算的过程中不进行运算。根据上述方式，降维处理模块205能够实现X矩阵和Z矩阵的乘法运算，获得降维后的第一图像数据，其中，降维后的第一图像数据以k行*n列的Y矩阵来表示。
非易失性内存(Non-Volatile Memory，NVM)210，用于存储待识别的图像数据以及预设的图像库中的图像数据。具体的，如图4所示，在步骤410中，NVM 210可以将降维后的第一图像数据的每一个数值的低ω位按照设置的第一电流I存储于所述图像识别加速器20中的NVM 210的第一存储区域2104，将降维后的第一图像数据的每一个数值的高(N-ω)位按照设置的第二电流Is存储于所述NVM 210的第二存储区域2106。其中，所述降维参数γ、宽度参数ω以及第一电流I根据所述终端设备的系统功耗和设置的第一图像识别成功率获得。
在本发明实施例中，NVM 210是新一代的非易失性内存。NVM 210的存取速度与传统的易失性内存(例如，动态随机存取存储器DRAM或静态随机存取存储器SRAM)的存取速度相当。此外，NVM 210具有半导体产品的可靠性，使用寿命较长，能够实现按字节(Byte)寻址，将数据以位(bit)为单位写入存储介质中。因此，NVM 210能够被挂在内存总线上，作为内存被CPU 10直接访问。需要说明的是，NVM 210与传统的易失性内存不同，是非易失(Non-Volatile)的，当终端设备100关闭电源后，NVM 210中的信息依然存在。在本发明实施例中，NVM 210可以包括相变存储器(Phase Change Memory，PCM)、阻变存储器(ResistiveRandom Access Memory，RRAM)、磁性随机存储器(Magnetic Random Access Memory，MRAM)和铁电式随机存储器(Ferroelectric Random Access Memory，FRAM)等为代表的下一代非易失性存储器(Non-Volatile Memory，NVM)。具体的，由于自旋转移矩磁随机存取存储器(spin-transfer-torque magnetie RAM，STT-MRAM)的使用寿命较长且功耗较低，并且，由于STT-MRAM的写入成功率与写入电流关系较大，在本发明实施例中，NVM 210可以为STT-MRAM。
NVM 210可以包括NVM控制器2102、第一存储区域2104和第二存储区域2106。NVM控制器2102用于访问第一存储区域2104和第二存储区域2106。例如，NVM控制器2102可以将数据写入第一存储区域2104和第二存储区域2106，或者从第一存储区域2104和第二存储区域2106中读取数据。实际应用中，在NVM控制器2102中，可以包括处理器、特定集成电路(Application Specific Integrated Circuit，ASIC)或者被配置成实施本发明实施例的一个或多个集成电路。在NVM控制器2102中还可能包括缓存、通信接口等，在此不对NVM控制器2012的具体结构进行限定。
第一存储区域2104和第二存储区域2106可以是由多个存储单元构成的存储区域。在本发明实施例中，存储单元是指用于存储数据的最小存储介质单元，每个存储单元用于存储1比特(bit)的数据。例如，存储单元可以包括相变存储单元、磁性存储单元、阻变存储单元等非易失性存储单元。在本发明实施例中，以NVM 210为STT-MRAM为例，第一存储区域2104和第二存储区域2106可以是由多个磁性存储单元构成的存储阵列。本领域技术人员可以知道，每个磁性存储单元包括两个磁性层和一个隧道层。其中，一个磁性层的电磁方向固定，另一磁性层的电磁方向可以通过外部的电磁场来改变。当两个磁性层的方向一样时，该磁性存储单元的电阻低，用于代表数据“0”；当两个磁性层的方向相反时，该磁性存储单元的电阻为高，用于代表数据“1”。通常，本领域技术人员将能够通过外部电磁场改变电磁方向的磁性层称为自由层。在本发明实施例中，可以通过将自旋偏振电流通过磁性存储单元来改变自由层的磁场方向。需要说明的是，在本发明实施例中，第一存储区域2104和第二存储区域2106并不一定是连续的地址空间。并且，在NVM 210中除了第一存储区域2104和第二存储区域2106外，还可以包括用于存储其他数据的存储空间(图中未示出)，在此不做限定。
本领域技术人员可以知道，与传统内存相比，非易失性内存基本不存在静态功耗，然而对非易失性内存执行读操作和写操作所造成的能量开销(也可称为动态功耗)较大。其中，静态功耗是指未对非易失性内存执行读操作和写操作期间所造成的能量开销。为了达到降低终端设备的系统功耗的目的，可以通过降低NVM的动态功耗来实现。具体的，可以通过控制写操作过程中的写入电流的大小来控制NVM的动态功耗。然而，本领域技术人员可以知道，在向磁性存储单元写数据的过程中，写入电流的强度要超过阈值电流才能保证磁性存储单元的电阻状态的翻转，因此，写入成功率与写入电流的大小也密切相关。在实现本发明的过程中，发明人发现，对于部分图像、视频等应用，数据中的低位部分在存储过程中出现的错误对识别成功率的影响较小。为了在降低写入功耗的同时不影响图像数据识别的成功率，在本发明实施例中，NVM 210采用了通过不同的写入电流结合存储的方式来存储图像数据。根据这种方式，NVM控制器2102可以通过控制写入电流将经过降维处理模块205降维处理后的第一图像数据中各个数值的低位部分和高位部分分别写入第一存储区域2104和第二存储区域2106。具体的，在本发明实施例中，第一存储区域2104的写入电流I低于第二存储区域2106的写入电流Is。例如，第一存储区域2104的写入电流可以为第一电流I，第二存储区域2106的写入电流Is可以为2I。本领域技术人员可以知道，NVM控制器2102可以通过控制写入电压来控制写入电流的大小。
图6为本发明实施例提供的一种NVM 210的硬件结构示意图。如图6所示，第一存储区域2104和第二存储区域2106包括多个磁性存储单元610构成的存储阵列。NVM控制器2102可以通过控制第一电压V来控制第一电流I，NVM控制器2102可以通过控制第二电压Vs来控制第二电流Is。同一列的磁性存储单元610可以连接一个多路选择器(multiplexer，MUX)605。NVM控制器2102可以通过控制信号控制多路选择器605输出第一电压V还是输出第二电压Vs，以实现选择通过第一电流I将降维后的第一图像数据中的各数值的低ω位写入第一存储区域2104或通过第二电流Is将各数值的高(N-ω)位写入第二存储区域2106的目的。其中，N为每一个数值所占的比特位，ω为设置的宽度参数。例如，若待识别的图像数据的数值为64bit，则可以按照第一电流I将该数值的低16bit写入第一存储区域2104，按照第二电流Is将该数值的高48bit写入第二存储区域2106。为了描述方便，在本发明实施例中，将ω称为宽度参数。实际应用中，ω的值以及第一电流I的值均需要根据终端设备100的系统功耗以及设置的图像识别成功率来确定。可以理解的是，待识别的图像数据的类型不同，对图像识别成功率的要求也不相同，设置的宽度参数ω以及第一电流I的值也就不同，其中，ω的值为正整数。
可以理解的是，图6仅仅是为了阐述图像识别加速器20中的NVM 210如何将图像数据进行分区存储而对NVM 210中的部分结构做出的示意性图示。实际应用中，多路选择器MUX 605可能并不直接连接磁性存储单元610，而是通过STT-MRAM中的写装置(图6中未示出)将数据写入磁性存储单元610。此外，实际应用中，也可以为多列磁性存储单元610设置一个MUX 605，或者为一行或多行磁性存储单元610设置一个MUX 605。在此不对MUX 605的数量以及MUX 605与磁性存储单元610的连接关系进行限制，只要能够实现将图像数据中的数值的不同部分按照不同的电流分别写入不同的磁性存储单元610即可。
图像匹配模块215，用于确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据，并输出匹配结果。具体的，结合图4，在步骤410中，图像匹配模块215可以确定所述NVM 210中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据，以获得所述降维后的第一图像数据与NVM 210中存储的图像库中的图像数据的匹配结果。例如，图像匹配模块215可以分别从第一存储区域2104和第二存储区域2106读取降维后的第一图像数据，并将降维后的第一图像数据直接与NVM 210中存储的图像库中的图像数据进行匹配，以判断是否能够成功识别该第一图像数据。可以理解的是，为了识别图像，在NVM 210中需要预先存储包含有至少一个图像数据的图像库。在本发明实施例中，图像匹配模块215可以是逻辑电路或ASIC芯片。例如，图像匹配模块215可以通过逻辑电路或ASIC芯片将降维后的第一图像数据与图像库中的图像数据按照匹配追踪(Matching Pursuits，MP)算法进行计算，从而确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据，以获得匹配结果。可以理解的是，图像库中的图像数据也可以是经过与第一图像数据相同的处理方法存储于NVM 210中的图像数据。
需要说明的是，本发明实施例并不对图像匹配模块215的具体实现形式进行限制，只要能够实现图像数据的匹配过程即可。并且，本发明实施例也不对具体的匹配算法进行限定，实际应用中，可以采用正交匹配追踪(Orthogonal Matching Pursuit，OMP)算法，也可以采用其他匹配算法，在此，不对图像匹配模块215采用的匹配算法进行限定。实际应用中，匹配模块215获得匹配结果后，可以将匹配结果返回给CPU或者将匹配结果发生给其他数据处理模块，在此不进行限定。
在本发明实施例中，由于NVM 210将降维后的第一图像数据中的各个数值的不同部分按照不同的电流分别写入第一存储区域2104和第二存储区域2106，且第一电流I小于第二电流Is，因此，按照第一电流I将数据存储于第一存储区域2104与按照第二电流Is将数据存储于第二存储区域2106相比更节省系统功耗。本领域人员可以知道，通常，写入电流越低，存储的数据出现错误的机会将越大。或者换一种表达方式，随着写入电流的降低，图像数据的识别成功率将会降低。因此，现有技术中通常会先将存储的图像数据通过解凸优化等恢复方式进行恢复后再进行图像识别。在本发明实施例中，由于设置的宽度参数ω以及第一电流I是根据终端设备100的系统功耗和设置的第一图像识别成功率获得的，从而使得存储于第一存储区域2104的数值中的低位部分在存储过程中出现的错误对识别成功率的影响较小。因此，图像匹配模块215在实现图像数据匹配的过程中，并不需要将图像数据恢复后进行匹配，而可以直接将存储于NVM 210中的降维后的第一图像数据与图像库中的图像数据进行匹配。通过本发明实施例提供的这种图像识别方式，能够在节省系统功耗的情况下满足设置的图像识别成功率，保证存储的图像数据的准确性。
为了使终端设备100能够满足各种类型的图像数据的识别需求，并能够在节省系统功耗的情况下满足设置的图像识别成功率，在本发明实施例提供的图像识别加速器20中还可以设置有统计模块225以及参数调整模块220。如图7所示，图7为本发明实施例提供的又一种图像识别加速器20的结构示意图。如图7所示，在图3所示的结构基础上，参数调整模块220分别连接降维处理模块205以及NVM 210。统计模块225分别与匹配模块215以及参数调整模块220连接。下面将结合图8所示的又一种图像识别方法对图7所示的图像识别加速器20中的各个器件的结构和工作原理进行详细的介绍。
统计模块225用于统计在预设的统计期间内图像匹配模块215输出的匹配结果，以获得统计的图像识别成功率。从而参数调整模块220能够根据统计模块225统计的图像识别成功率以及设置的第二图像识别成功率判断是否需要调整图像识别参数。具体的，如图8所示，在步骤800中，统计模块225可以统计在预设的统计期间内图像匹配模块215输出的匹配结果，获取所述统计的图像识别成功率。可以理解的是，统计模块225获得的图像识别成功率是根据多个图像数据的识别结果获得的。实际应用中，统计模块225可以是计数器等器件，在此不对统计模块225的具体实现形式进行限制。
可以理解的是，图7仅仅是对统计模块225的一种结构的示意，实际应用中，还可以将统计模块225单独设置于终端设备100中，也可以将统计模块225设置在CPU 10中，或者将统计模块225设置在与匹配模块215连接的其他设备中，本发明实施例不对统计模块225设置的具体位置进行限定。
参数调整模块220，用于如果统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值，则根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I。为了描述方便，在本发明实施例中，可以将降维参数γ、宽度参数ω以及第一电流I统称为图像识别参数。具体的，参数调整模块220可以根据统计模块225统计的图像识别成功率与设置的第二图像识别成功率的差值的绝对值来判断是否需要调整图像识别参数的取值。其中，第二图像识别成功率为重新设置的图像识别成功率，第二图像识别成功率与前述的第一图像识别成功率不同。可以理解的是，第二图像识别成功率可以预先从CPU 10获得。结合图8所示，若在步骤805中，参数调整模块220确定统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值，则在步骤810中，参数调整模块220可以根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I。
为了清楚阐述参数调整模块220具体如何调整图像识别参数，下面将结合图9所示的参数调整方法流程图对参数调整模块220如何平衡系统功耗和图像识别成功率，以获得合适的图像识别参数进行描述。图9为本发明实施例提供的一种参数调整方法流程图。在本发明实施例中，以需要将图像识别成功率从第一图像识别成功率调整为第二图像识别成功率为例进行描述。如图9所示，该参数调整方法可以包括下述步骤。
在步骤900中，参数调整模块220分别逐渐调整降维参数γ、所述宽度参数ω或第一电流I的取值以降低所述终端设备的系统功耗E，并分别通过统计模块225获得调整后的图像识别成功率。根据前面的描述可以知道，第一电流I的值越小，终端设备100存储图像数据时的动态功耗越小，则终端设备100的系统功耗越小。随着宽度参数ω的值增大，按照第一电流I存储于第一存储区域2104的数据越多，则终端设备100的系统功耗越小。降维参数γ的值越小，降维后的图像数据的数据量越少，终端设备100的系统功耗也会越小。终端设备的系统功耗E的值与γ((N-ω)＊Is 2+ω*I)的值成正比，其中，Is为设置的标准写入电流，或者也可以被称为是安全电流，按照Is将数据写入NVM 210中时，可以保证图像数据的准确度。通常，Is的值可以根据NVM 210的物理参数获得，在使用NVM 210的过程中，NVM 210的Is不会改变。可以理解的是，不同工艺制造的NVM 210因其物理参数不同，因此Is也可能不同。所述第二图像数据是用数值表示的第二图像的各像素的灰度值的集合，所述第二图像数据可以包括多个数值。实际应用中，在调整图像识别参数的过程中，参数调整模块220可以分别通过逐渐增加宽度参数ω的值、或逐渐降低降维参数γ或逐渐第一电流I的值的方式降低终端设备100的系统功耗E，并记录下调整的过程中的各个参数的值、系统功耗以及获得的图像识别成功率。记录的形式可以是图10(a)所示的表格形式，也可以是如图10(b)所示的图形的形式，还可以是其他记录形式。其中，在图10(b)中仅对如何采用图表的形式记录ω和I的调整对图像识别成功率的值的改变进行了示例。可以看出，用图形的形式比用表格记录更加直观。在本发明实施例中，图像识别成功率也可以被称为服务质量QoS。可以理解的是，图像识别成功率可以采用确定的图像识别参数识别多个图像数据的试验来获得。系统功耗可以根据γ((N-ω)＊Is 2+ω*I)的公式计算获得，可以理解的是，系统功耗的值可以是一个估计值。
具体的，在调整参数的过程中，当调整了一次降维参数γ、所述宽度参数ω或第一电流I的值后，可以通过图3所示的图像识别加速器识别多个实验数据，以获得根据调整的降维参数γ、所述宽度参数ω或第一电流I的值识别多个实验数据的识别成功率，并根据γ((N-ω)＊Is 2+ω*I)计算获得每次调整参数后的系统功耗，以得到图10(a)所示的多组参数值以及对应的系统功耗和图像识别成功率的值。可以理解的是，在本发明实施例中，实验数据也为图像数据。例如，以调整过程中调整的参数值为图10(a)中的γ3、ω3和I3为例。参数调整模块220在将调整降维参数、所述宽度参数或第一电流的值调整为第一组参数值：γ3、ω3和I3后，参数调整模块220可以根据γ((N-ω)＊Is 2+ω*I)的公式计算获得与所述第一组参数值对应的系统功耗E5。并且，参数调整模块220可以将调整后的参数值γ3发送给降维处理模块205，将ω3和I3发送给NVM 210。降维处理模块205、NVM 210以及图像识别模块分别根据调整后的参数值γ3、ω3和I3按照图4所示的方法对实验数据进行识别，以得到相应的系统功耗和图像识别成功率。具体的，降维处理模块205根据接收的降维参数值γ3对实验数据进行降维处理。NVM 210根据I3将降维后的实验数据中的低ω3位存储在第一存储区域2104中，并根据Is将降维后的实验数据中的高(N-ω3)位存储于第二存储区域2106中。图像匹配模块215可以分别从第一存储区域2104和第二存储区域2106读取降维后的实验数据，并将降维后的实验数据直接与NVM 210中存储的图像库中的图像数据进行匹配，以判断是否能够成功识别该实验数据。按照这种方式，按照γ3、ω3和I3对多个实验数据进行识别后，可以获得该组参数值对应的图像识别成功率Qos5。如果Qos5不满足设定的第二图像识别成功率的要求，可以继续调整降维参数γ、所述宽度参数ω或第一电流I的值，再根据调整后的参数值对实验数据按照图4所示的方法进行识别。从而在调整参数过程中，能够按照这种方式获得每次调整参数值后的图像识别成功率以及系统功耗。例如，根据这种方式可以得到如图10(a)所示的多组参数值以及对应的系统功耗和图像识别成功率。
实际应用中，由于宽度参数ω的值为整数，因此在调整过程中，为了方便调整，可以优先调整宽度参数ω的值，并以调整后的宽度参数ω的值为依据分别调整γ和I的值，以使调整后的参数值对实验数据识别后能够满足设定的图像识别成功率(例如第二图像识别成功率)的要求。本发明实施例不对参数值的具体调整顺序进行限定。可以理解的是，在调整参数的过程中，当调整参数值后，可以通过调整后的参数值对预设数量的实验数据进行识别以获得图像识别成功率。在本发明实施例中，可以将参数调整过程中识别多个实验数据的识别成功率称为调整后的识别成功率。可以理解的是，在本发明实施例中，可以预先设置图像数据的实验库，在实验库中存储有实验用的图像数据，以用于在调整参数过程中作为实验数据使用。需要说明的是，在本发明实施例中，除了图10(a)所示的列表中的表头部分(图10(a)中第一行)的ω、γ、I、E及Qos是用于表示参数外，表中除第一行之外的其他部分中的ω、γ、I、γ1、ω1、I2、E1、Qos1等均用于表示具体的参数值，本发明实施例中其他部分的ω、γ、I、γ′、ω′以及I′均用于表示具体的参数值。换一种表达方式，在本发明实施例中，如无特别说明，ω和ω′均用于表示宽度参数的值，γ和γ′均用于表示降维参数的值，I和I′均用于表示第一电流的值。
在步骤905中，参数调整模块905确定在调整后的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值不大于所述预设阈值时所述终端设备的最小功耗E′。可以理解的是，在步骤900所示的调整参数的过程中，可以获得与调整的参数对应的多个图像识别成功率以及多个系统功耗。本领域技术人员可以理解的是，降维参数γ的值越小，降维后的图像数据的数据量越小，出错机会更小，但降维后的图像数据中每个数值包含的信息量更大。因此，实际应用中，会存在降维参数γ减小而图像识别成功率更高的情况。从而，在选择参数时，需要考虑降维参数γ与图像识别成功率的折衷。
在本发明实施例中，可以将与设置的第二图像识别成功率的差值的绝对值不大于预设阈值的图像识别成功率都作为是满足第二图像识别成功率的要求的图像识别成功率。例如，若第二图像识别成功率为90％，预设阈值为2％，则在88％-92％之间的图像识别成功率均可以认为是满足第二图像识别成功率要求的图像识别成功率。在本步骤中，可以在记录的多个图像识别成功率中确定满足第二图像识别成功率要求的至少一个图像识别成功率。并在确定的至少一个图像识别成功率对应的多个系统功耗中确定最小的系统功耗E′。
在步骤910中，参数调整模块220选择在满足所述最小系统功耗E′时获得最大图像识别成功率的降维参数γ、所述宽度参数ω以及第一电流I分别作为所述调整后的降维参数γ′、宽度参数ω′以及第一电流I′。可以理解的是，在步骤905中确定的最小系统功耗E′对应的满足第二图像识别成功率要求的图像识别成功率可以有多个。因此，在步骤910中，参数调整模块220可以选择满足所述最小系统功耗E′时获得最大图像识别成功率的降维参数γ、所述宽度参数ω以及第一电流I作为调整后的降维参数γ′、宽度参数ω′以及第一电流I′。例如，在第一种情形下，宽度参数ω增加1bit，获得的图像识别成功率为88％，系统功耗E′为10w。在第二种情形下，降维参数γ减少0.5，获得的图像识别成功率为90％，系统功耗E′也为10w。在第三种情形下，电流I减少500μA，获得的图像识别成功率为92％，系统功耗E′也为10w。则可以将第三种情形下的降维参数γ、所述宽度参数ω以及第一电流I作为调整后的降维参数γ′、宽度参数ω′以及第一电流I′。
可以理解的是，本发明实施例仅仅对参数调整模块220调整图像识别参数的过程进行了一个简单的示例，实际应用中，还可以组合调整上述三个参数，例如，可以同时将宽度参数ω增加1bit并将降维参数γ减少0.5。在本发明实施例中不对具体的调整形式进行限定，只要调整上述三个图像识别参数中的至少一个参数即可。实际应用中，参数调整模块220可以根据贪心算法来确定调整后的降维参数γ′、宽度参数ω′以及第一电流I′。
需要说明的是，实际应用中，统计模块225还可以位于终端设备100的CPU 10中，则在这种情形下，参数调整模块220可以根据CPU10的指示调整图像识别参数。如图11所示，图11为本发明实施例提供的又一种终端设备的结构示意图。在图11所示的结构中，统计模块225(图11中未示出)可以位于CPU 10中，CPU 10可以根据图像匹配模块215在预设的统计期间发送的匹配结果统计图像识别加速器20的图像识别成功率。如果统计的图像识别成功率与所述第二图像识别成功率之间的差值大于预设阈值，则CPU 10可以向参数调整模块220发送参数调整指令，以指示参数调整模块220调整图像识别参数。所述参数调整指令中包含有所述第二图像识别成功率。换一种表达方式，在图11所示的结构中，由CPU10和参数调整模块220共同完成调整图像识别参数的功能，具体的，可以由CPU 10执行图8中所示的步骤800-805的动作，并指示参数调整模块220执行步骤810的动作。
在又一种情形下，还可以由终端设备100中的CPU 10完成调整图像识别参数的功能。如图12所示，图12为本发明实施例提供的又一种终端设备结构示意图。图12在图11的基础上减少了参数调整模块220，图11中的参数调整模块220的功能改由CPU 10执行。具体的，在图12所示的终端设备100的结构示意图中，图像匹配模块215可以将匹配结果反馈给CPU10，CPU 10可以根据匹配结果统计预设统计期间图像识别加速器20识别图像数据的图像识别成功率。CPU 10可以根据统计的图像识别成功率以及重新设置的第二图像识别成功率确定是否需要调整图像识别参数。当CPU 10确定统计的图像识别成功率与设置的第二图像识别成功率的差值的绝对值大于预设阈值时，CPU 10可以根据第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个图像识别参数：降维参数γ、宽度参数ω以及第一电流I，并将调整后的降维参数γ′、宽度参数ω′以及第一电流I′分别发送给降维处理模块205和NVM 210。换一种表达方式，在图12所示的结构中，CPU 10可以执行图8中所示的步骤800-810的方法。各器件具体功能的描述可以参见前述实施例的相关描述，在此不再赘述。可以理解的是，在图12所示的结构中，当CPU 10调整图像识别参数时，可以采用指令的形式向图像识别加速器20中的降维处理模块205和NVM 210发送调整的降维参数γ′、宽度参数ω′以及第一电流I′，从而控制降维处理模块205和NVM 210按照调整后的图像识别参数对图像数据进行识别。
本领域技术人员可以理解的是，虽然上述实施例是以将图像识别成功率从第一图像识别成功率调整为第二图像识别成功率为例对本发明实施例提供的图像识别加速器实现参数调整的过程进行描述，但上述示例只是为了对图像识别加速器能够实现的参数调整功能，从而获得满足条件的图像识别参数(包括降维参数、宽度参数以及第一电流)值的一个示例。可以理解的是，在本发明实施例中，用于对第一图像数据进行识别的降维参数γ、宽度参数ω以及第一电流I也是依据上述参数调整方式调整后获得的。换一种表达方式，上述参数调整方法是对如何通过调整参数值以获得满足系统功耗以及图像识别成功率的需求的图像识别参数值的一种方法的描述，实际应用中，当需要调整参数时，均可以按照上述参数调整方法获得满足需求的参数值。
在获得调整后的降维参数γ′、宽度参数ω′以及第一电流I′后，图像识别加速器20可以根据调整后的降维参数γ′、宽度参数ω′以及第一电流I′对后续需要识别的第二图像数据进行图像识别。具体的，如图8所示，在步骤815中，降维处理模块205可以根据调整后的降维参数γ′降低第二图像数据的维度。在步骤820中，NVM 210可以将降维后的第二图像数据的每一个数值的低ω′位按照调整后的第一电流I′存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω′)位按照所述第二电流Is存储于NVM 210的第二存储区域，其中，所述I′小于所述Is。在步骤825中，图像匹配模块215可以确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。具体的，图像匹配模块215可以将降维后的第二图像数据与NVM 210中存储的图像库中的图像数据进行比较，以获得所述降维后的第二图像数据与NVM 210中存储的图像库中的图像数据的匹配结果。可以理解的是，图像识别加速器根据调整后的降维参数γ′、宽度参数ω′以及第一电流I′对第二图像数据进行图像识别的过程与前述的根据降维参数γ、宽度参数ω以及第一电流I对第一图像数据进行图像识别的过程类似，具体描述可以参见前面的描述，在此不再赘述。
可以理解的是，本发明实施例中的参数调整方法只在需要调整参数时才会触发调整参数。换一种表达方式，当需要调整图像识别参数的值时，图像识别加速器可以触发停止接收待识别的图像数据(也可称为业务数据)，而是按照图9所示的方式通过调整参数值并识别实验数据的方式获得满足需求的图像识别参数的值。在获得满足图像识别需求的参数值后，再将满足需求的参数值分别发送给降维处理模块205以及NVM 210，使得降维处理模块205、NVM 210以及图像匹配模块215能够根据调整获得的图像识别参数值对待识别的图像数据(例如第一图像数据和第二图像数据)进行图像识别。
为了更清晰的描述本发明实施例提供的图像识别加速器20如何识别图像数据，下面将结合图13所示的图像识别方法的信令图对图7所示的图像识别加速器20的工作过程进行简单的描述。在本发明实施例中，仍然以识别第一图像数据为例进行描述。如图13所示。降维处理模块205接收CPU 10发送的待识别的第一图像数据1300后，降维处理模块205可以根据参数调整模块220设置的降维参数γ降低第一图像数据1300的维度。其中降维处理模块205可以采用伯努利矩阵对第一图像数据1300进行降维，以便能够基于稀疏表示的随机映射的方式对第一图像数据1300进行降维。NVM 210接收到降维后的第一图像数据1305后，NVM 210可以根据参数调整模块220设置的宽带参数ω以及第一电流I将降维后的第一图像数据的每一个数值中的低ω位按照第一电流I存储于第一存储区域2104，并将降维后的第一图像数据的每一个数值中的高N-ω位按照第二电流Is存储于第二存储区域2106。图像匹配模块215可以基于NVM210存储的图像库中的图像数据对降维后的第一图像数据1305进行识别，确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据，并输出匹配结果。为了图示方便，在图13中，将图像库中的图像数据以及降维后的第一图像数据1305统称为待比较的图像数据1310。一方面，在图13中，图像匹配模块215可以向CPU 10输出第一图像数据1305的识别结果。另一方面，统计模块225可以统计图像匹配模块215的图像匹配结果，从而获得统计期间内的图像识别成功率1320，参数调整模块220从而可以根据统计模块225获得的图像识别成功率1320与设置的第二图像识别成功率确定是否需要调整图像识别参数。当参数调整模块220确定需要调整图像识别参数时，参数调整模块220可以根据图9所示的方法对图像识别参数进行调整，并向降维模块205和NVM210分别输出调整后的降维参数γ′、宽度参数ω′以及第一电流I′。从而，降维处理模块205、NVM 210以及图像匹配模块215能够根据调整后的降维参数γ′、宽度参数ω′以及第一电流I′对后续的第二图像数据进行识别。
可以理解的是，图13仅仅是对本发明实施例提供的一种终端设备100的信令示意图，对其他实施例提供的图像识别加速器20或终端设备100的工作过程可以参见图13以及前述实施例的描述。在此不再赘述。
本发明实施例提供的终端设备，通过图像识别加速器识别图像，减少了CPU数据处理量，也减少了CPU与内存的数据交互，能够减少CPU的负担，且能够减少内存带宽对图像数据识别应用的限制，提高图像数据的识别速度。并且，在本发明实施例提供的终端设备中，图像识别加速器可以根据基于稀疏表示的随机映射的方式降低待识别的图像数据的维度，然后将降维后的图像数据按照不同的电流写入图像识别加速器的NVM中的不同存储区域。由于设置的降维参数γ、宽度参数ω以及第一电流I均是根据所述终端设备的系统功耗和设置的图像识别成功率获得的，因此能够在降低终端设备的系统功耗的基础上保证图像识别的准确性。
本发明实施例还提供一种数据处理的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令用于执行前述任意一个方法实施例所述的方法流程。本领域普通技术人员可以理解，前述的存储介质包括：U盘、移动硬盘、磁碟、光盘、随机存储器(Random-Access Memory，RAM)、固态硬盘(Solid State Disk，SSD)或者非易失性存储器(non-volatile memory)等各种可以存储程序代码的非短暂性的(non-transitory)机器可读介质。
需要说明的是，本申请所提供的实施例仅仅是示意性的。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本发明实施例、权利要求以及附图中揭示的特征可以独立存在也可以组合存在。在本发明实施例中以硬件形式描述的特征可以通过软件来执行，反之亦然。在此不做限定。

Claims (26)

1.一种应用于终端设备中用于识别图像的图像识别加速器，其特征在于，包括：
降维处理模块，用于接收降维参数γ，根据接收的降维参数γ降低第一图像数据的维度，其中，降维后的第一图像数据包括多个数值，所述降维参数γ是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得的；
非易失性内存NVM，用于接收宽度参数ω和第一电流I，将降维后的第一图像数据的每一个数值的低ω位按照设置的第一电流I存储于所述NVM的第一存储区域，将降维后的第一图像数据的每一个数值的高(N-ω)位按照设置的第二电流Is存储于所述NVM的第二存储区域，其中，N为每一个数值所占的比特位，所述第一电流I小于所述第二电流Is，所述宽度参数ω以及所述第一电流I是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得的；
图像匹配模块，用于确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据。
2.根据权利要求1所述的图像识别加速器，其特征在于，还包括：
参数调整模块，用于根据设置的所述第一图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数、宽度参数以及第一电流的值，以获得调整后的降维参数γ、宽度参数ω以及第一电流I，并将调整后的所述降维参数γ发送给所述降维处理模块，将调整后的所述宽度参数ω以及调整后的所述第一电流I发送给所述NVM。
3.根据权利要求2所述的图像识别加速器，其特征在于，所述参数调整模块具体用于：
分别调整所述降维参数、所述宽度参数或所述第一电流的值，并分别获得多个调整后的图像识别成功率和多个调整后的系统功耗，每个调整后的图像识别成功率对应于每个调整后的系统功耗；
确定调整后的每个图像识别成功率与所述第一图像识别成功率之间的差值，选择所述差值的绝对值不大于预设阈值的至少一个调整后的图像识别成功率所对应的至少一个调整后的系统功耗中的最小系统功耗；
选择在满足所述最小系统功耗时获得最大图像识别成功率的降维参数、宽度参数以及第一电流的值分别作为调整后的所述降维参数γ、所述宽度参数ω以及所述第一电流I，并将调整后的所述降维参数γ发送给所述降维处理模块，将调整后的所述宽度参数ω以及所述第一电流I发送给所述NVM。
4.根据权利要求2所述的图像识别加速器，其特征在于：
所述参数调整模块，还用于如果统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值，则根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，以获得调整后的降维参数γ'、宽度参数ω'以及第一电流I'，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
所述降维处理模块，还用于根据调整后的所述降维参数γ'降低第二图像数据的维度；
所述非易失性内存NVM，还用于将降维后的第二图像数据的每一个数值的低ω'位按照调整后的第一电流I'存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω')位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，所述ω'为调整后的宽度参数，所述I'小于所述Is；
所述图像匹配模块，还用于确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
5.根据权利要求1-4任意一项所述的图像识别加速器，其特征在于，还包括：
统计模块，用于统计在预设的统计期间内所述图像匹配模块输出的匹配结果，获取所述统计的图像识别成功率。
6.根据权利要求1-4任意一项所述的图像识别加速器，其特征在于，所述降维处理模块具体用于：
根据所述第一图像数据与设置的二进制矩阵的乘积获得所述降维后的第一图像数据，其中，所述第一图像数据为k行*m列的矩阵，所述二进制矩阵为m行*n列的矩阵，所述降维后的第一图像数据为k行*n列的矩阵，k、m和n为正整数，m的值大于n，n的值根据设置的降维参数γ确定，γ＝n/m。
7.根据权利要求4所述的图像识别加速器，其特征在于，所述参数调整模块具体用于：
如果所述统计的图像识别成功率与所述第二图像识别成功率之间的差值大于预设阈值，则分别调整降维参数γ、所述宽度参数ω或第一电流I的值，并分别获得多个调整后的图像识别成功率和多个调整后的系统功耗E，其中，所述多个调整后的系统功耗E的值与γ((N-ω)*Is 2+ω*I)的值成正比，每个调整后的图像识别成功率对应于每个调整后的系统功耗；
确定调整后的每个图像识别成功率与所述第二图像识别成功率之间的差值，选择所述差值的绝对值不大于所述预设阈值时的至少一个调整后的图像识别成功率所对应的至少一个调整后的系统功耗中的最小系统功耗E'；
选择在满足所述最小系统功耗E'时获得最大图像识别成功率的降维参数、宽度参数以及第一电流的值分别作为所述调整后的降维参数γ'、宽度参数ω'以及第一电流I'，并将所述调整后的降维参数γ'发送给所述降维处理模块，将所述调整后的宽度参数ω'以及第一电流I'发送给所述NVM。
8.根据权利要求6所述的图像识别加速器，其特征在于，所述二进制矩阵包括伯努利映射矩阵。
9.一种终端设备，其特征在于，包括CPU和图像识别加速器，其中：
所述CPU，用于向所述图像识别加速器发送待识别的第一图像数据；
所述图像识别加速器，用于根据降维参数γ降低所述第一图像数据的维度，其中，降维后的第一图像数据包括多个数值，所述降维参数γ是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得的；
将所述降维后的第一图像数据的每一个数值的低ω位按照第一电流I存储于NVM的第一存储区域，将所述降维后的第一图像数据的每一个数值的高(N-ω)位按照设置的第二电流Is存储于所述NVM的第二存储区域，其中，N为每一个数值所占的比特位，ω为宽度参数，所述I小于所述Is，所述宽度参数ω以及所述第一电流I是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得的；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据。
10.根据权利要求9所述的终端设备，其特征在于，所述图像识别加速器还用于：
根据设置的所述第一图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数、宽度参数以及第一电流的值，以获得所述降维参数γ、所述宽度参数ω以及所述第一电流I。
11.根据权利要求10所述的终端设备，其特征在于，所述图像识别加速器具体用于：
分别调整所述降维参数、所述宽度参数或所述第一电流的值，并分别获得多个调整后的图像识别成功率和多个调整后的系统功耗，每个调整后的图像识别成功率对应于每个调整后的系统功耗；
确定调整后的每个图像识别成功率与所述第一图像识别成功率之间的差值，选择所述差值的绝对值不大于预设阈值的至少一个调整后的图像识别成功率所对应的至少一个调整后的系统功耗中的最小系统功耗；
选择在满足所述最小系统功耗时获得最大图像识别成功率的降维参数、所述宽度参数以及第一电流的值分别作为所述降维参数γ、所述宽度参数ω以及所述第一电流I。
12.根据权利要求9所述的终端设备，其特征在于：
所述图像识别加速器，还用于如果统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值，则根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，以获得调整后的降维参数γ'、宽度参数ω'以及第一电流I'，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
所述CPU，还用于向所述图像识别加速器发送第二图像数据；
所述图像识别加速器，还用于：
根据调整后的所述降维参数γ'降低第二图像数据的维度；
将降维后的第二图像数据的每一个数值的低ω'位按照调整后的所述第一电流I'存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω')位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，ω'为调整后的宽度参数，所述I'小于所述Is；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
13.根据权利要求9所述的终端设备，其特征在于：
所述CPU，还用于统计在预设的统计期间内所述图像识别加速器输出的匹配结果，获取统计的图像识别成功率；
确定所述统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值；
所述图像识别加速器，还用于根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I的值，以获得调整后的降维参数γ'、宽度参数ω'以及第一电流I'，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
所述CPU，还用于向所述图像识别加速器发送第二图像数据；
所述图像识别加速器，还用于根据调整后的所述降维参数γ'降低第二图像数据的维度；
将降维后的第二图像数据的每一个数值的低ω'位按照调整后的所述第一电流I'存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω')位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，所述ω'为调整后的宽度参数，所述I'小于所述Is；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
14.根据权利要求9所述的终端设备，其特征在于，所述CPU还用于：
统计在预设的统计期间内所述图像识别加速器输出的匹配结果，获取所述统计的图像识别成功率；
如果统计的图像识别成功率与设置的第二图像识别成功率之间的差值的绝对值大于预设阈值，则根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，以获得调整后的降维参数γ'、宽度参数ω'以及第一电流I'，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
向所述图像识别加速器发送第二图像数据；
所述图像识别加速器，还用于：
根据调整后的所述降维参数γ'降低第二图像数据的维度；
将降维后的第二图像数据的每一个数值的低ω'位按照调整后的所述第一电流I'存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω')位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，所述ω'为调整后的宽度参数，所述I'小于所述Is；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
15.根据权利要求9-14任意一项所述的终端设备，其特征在于，所述图像识别加速器具体用于：
根据所述第一图像数据与设置的二进制矩阵的乘积获得所述降维后的第一图像数据，其中，所述第一图像数据为k行*m列的矩阵，所述二进制矩阵为m行*n列的矩阵，所述降维后的第一图像数据为k行*n列的矩阵，k、m和n为正整数，m的值大于n，n的值根据设置的降维参数γ确定，γ＝n/m。
16.根据权利要求12或13所述的终端设备，其特征在于，所述图像识别加速器具体用于：
分别调整降维参数γ、所述宽度参数ω或第一电流I的值，并分别获得多个调整后的图像识别成功率和多个调整后的系统功耗E，其中，所述多个调整后的系统功耗E的值与γ((N-ω)*Is 2+ω*I)的值成正比，每个调整后的图像识别成功率对应于每个调整后的系统功耗；
确定调整后的每个图像识别成功率与所述第二图像识别成功率之间的差值，选择所述差值的绝对值不大于所述预设阈值时的至少一个调整后的图像识别成功率所对应的至少一个调整后的系统功耗中的最小系统功耗E'；
选择在满足所述最小系统功耗E'时获得最大图像识别成功率的降维参数、宽度参数以及第一电流I的值分别作为所述调整后的降维参数γ'、宽度参数ω'以及第一电流I'。
17.根据权利要求14所述的终端设备，其特征在于，所述CPU具体用于：
分别调整降维参数γ、所述宽度参数ω或第一电流I的值，并分别获得多个调整后的图像识别成功率和多个调整后的系统功耗E，其中，所述多个调整后的系统功耗E的值与γ((N-ω)*Is 2+ω*I)的值成正比，每个调整后的图像识别成功率对应于每个调整后的系统功耗；
确定调整后的图像识别成功率与所述第二图像识别成功率之间的差值，选择所述差值的绝对值不大于所述预设阈值时的至少一个调整后的图像识别成功率所对应的至少一个调整后的系统功耗中的最小系统功耗E'；
选择在满足所述最小系统功耗E'时获得最大图像识别成功率的降维参数、宽度参数以及第一电流分别作为所述调整后的降维参数γ'、宽度参数ω'以及第一电流I'。
18.根据权利要求15所述的终端设备，其特征在于：所述二进制矩阵包括伯努利映射矩阵。
19.一种应用于终端设备的图像识别方法，其特征在于，所述方法由所述终端设备中的图像识别加速器执行，所述方法包括：
根据降维参数γ降低第一图像数据的维度，其中，降维后的第一图像数据包括多个数值，所述降维参数γ是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得的；
将所述降维后的第一图像数据的每一个数值的低ω位按照设置的第一电流I存储于所述图像识别加速器中的NVM的第一存储区域，将所述降维后的第一图像数据的每一个数值的高(N-ω)位按照设置的第二电流Is存储于所述NVM的第二存储区域，其中，N为每一个数值所占的比特位，ω为宽度参数，所述I小于所述Is，所述宽度参数ω以及第一电流I是根据所述终端设备的系统功耗和设置的第一图像识别成功率获得的；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第一图像数据相匹配的图像数据。
20.根据权利要求19所述的图像识别方法，其特征在于，还包括：
根据设置的所述第一图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数、宽度参数以及第一电流的值，以获得调整后的降维参数γ、宽度参数ω以及第一电流I。
21.根据权利要求20所述的图像识别方法，其特征在于，所述根据设置的所述第一图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数、宽度参数以及第一电流的值，以获得调整后的降维参数γ、宽度参数ω以及第一电流I具体包括：
分别调整所述降维参数、所述宽度参数或所述第一电流的值，并分别获得多个调整后的图像识别成功率和多个调整后的系统功耗，每个调整后的图像识别成功率对应于每个调整后的系统功耗；
确定调整后的每个图像识别成功率与所述第一图像识别成功率之间的差值，选择所述差值的绝对值不大于预设阈值的至少一个调整后的图像识别成功率所对应的至少一个调整后的系统功耗中的最小系统功耗；
选择在满足所述最小系统功耗时获得最大图像识别成功率的降维参数、宽度参数以及第一电流的值分别作为调整后的所述降维参数γ、所述宽度参数ω以及所述第一电流I。
22.根据权利要求19所述的图像识别方法，其特征在于，还包括：
确定统计的图像识别成功率与设置的第二图像识别成功率的差值的绝对值大于预设阈值；
根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，以获得调整后的降维参数γ'、宽度参数ω'以及第一电流I'，其中，所述第二图像识别成功率与所述第一图像识别成功率不同；
根据调整后的所述降维参数γ'降低第二图像数据的维度；
将降维后的第二图像数据的每一个数值的低ω'位按照调整后的第一电流I'存储于NVM的第一存储区域，将降维后的第二图像数据的每一个数值的高(N-ω')位按照所述第二电流Is存储于所述NVM的第二存储区域，其中，所述ω'为调整后的宽度参数，所述I'小于所述Is；
确定所述NVM中存储的图像库中是否包含有与所述降维后的第二图像数据相匹配的图像数据。
23.根据权利要求19-22任意一项所述的图像识别方法，其特征在于，还包括：
统计在预设的统计期间内的匹配结果，获取所述统计的图像识别成功率。
24.根据权利要求19-22任意一项所述的图像识别方法，其特征在于，所述根据设置的降维参数γ降低第一图像数据的维度包括：
根据所述第一图像数据与设置的二进制矩阵的乘积获得所述降维后的第一图像数据，其中，所述第一图像数据为k行*m列的矩阵，所述二进制矩阵为m行*n列的矩阵，所述降维后的第一图像数据为k行*n列的矩阵，k、m和n为正整数，m的值大于n，n的值根据设置的降维参数γ确定，γ＝n/m。
25.根据权利要求22所述的图像识别方法，其特征在于，所述根据所述第二图像识别成功率以及所述终端设备的系统功耗调整下述至少一个参数：降维参数γ、宽度参数ω以及第一电流I，包括：
分别调整降维参数γ、所述宽度参数ω或第一电流I的值，并分别获得多个调整后的图像识别成功率和多个调整后的系统功耗E，其中，所述多个调整后的系统功耗E的值与γ((N-ω)*Is 2+ω*I)的值成正比；
确定调整后的每个图像识别成功率与所述第二图像识别成功率之间的差值，选择所述差值的绝对值不大于所述预设阈值时的至少一个调整后的图像识别成功率所对应的至少一个调整后的系统功耗中的最小系统功耗E'；
选择在满足所述最小系统功耗E'时获得最大图像识别成功率的降维参数、宽度参数以及第一电流的值分别作为所述调整后的降维参数γ'、宽度参数ω'以及第一电流I'。
26.根据权利要求24所述的图像识别方法，其特征在于：所述二进制矩阵包括伯努利映射矩阵。
CN201680012483.4A 2015-03-06 2016-02-22 图像识别加速器、终端设备及图像识别方法 Active CN107851175B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2015101011559 2015-03-06
CN201510101155.9A CN105989352B (zh) 2015-03-06 2015-03-06 图像识别加速器、终端设备及图像识别方法
PCT/CN2016/074240 WO2016141803A1 (zh) 2015-03-06 2016-02-22 图像识别加速器、终端设备及图像识别方法

Publications (2)

Publication Number Publication Date
CN107851175A CN107851175A (zh) 2018-03-27
CN107851175B true CN107851175B (zh) 2020-07-14

Family

ID=56879170

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510101155.9A Active CN105989352B (zh) 2015-03-06 2015-03-06 图像识别加速器、终端设备及图像识别方法
CN201680012483.4A Active CN107851175B (zh) 2015-03-06 2016-02-22 图像识别加速器、终端设备及图像识别方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510101155.9A Active CN105989352B (zh) 2015-03-06 2015-03-06 图像识别加速器、终端设备及图像识别方法

Country Status (7)

Country Link
US (1) US10346701B2 (zh)
EP (1) EP3244345B1 (zh)
JP (1) JP6399534B2 (zh)
KR (1) KR102057471B1 (zh)
CN (2) CN105989352B (zh)
SG (1) SG11201706525RA (zh)
WO (1) WO2016141803A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230296B (zh) 2017-11-30 2023-04-07 腾讯科技（深圳）有限公司 图像特征的识别方法和装置、存储介质、电子装置
CN108256492A (zh) * 2018-01-26 2018-07-06 郑州云海信息技术有限公司 一种图像识别方法、装置及系统
CN110147792B (zh) * 2019-05-22 2021-05-28 齐鲁工业大学 基于内存优化的药品包装字符高速检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1220754A (zh) * 1996-03-15 1999-06-23 微米技术有限公司 压缩和字排列位图高速块传送的方法和装置
CN1577622A (zh) * 2003-07-18 2005-02-09 株式会社半导体能源研究所 存储器电路及包含其的显示装置和电子设备
CN1904907A (zh) * 2005-07-27 2007-01-31 上海明波通信技术有限公司 一种高速图像匹配检测系统及方法
CN103514432A (zh) * 2012-06-25 2014-01-15 诺基亚公司 人脸特征提取方法、设备和计算机程序产品
CN103810119A (zh) * 2014-02-28 2014-05-21 北京航空航天大学 一种利用三维集成电路片上温差降低stt-ram功耗的缓存设计方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3440617A (en) * 1967-03-31 1969-04-22 Andromeda Inc Signal responsive systems
US5339108A (en) * 1992-04-09 1994-08-16 Ampex Corporation Ordering and formatting coded image data and reconstructing partial images from the data
JP3915855B2 (ja) * 1997-12-19 2007-05-16 ソニー株式会社 画像符号化装置および画像符号化方法、並びに学習装置および学習方法
JP4825644B2 (ja) * 2006-11-14 2011-11-30 ルネサスエレクトロニクス株式会社 画像復号装置、画像符号化装置、およびシステムｌｓｉ
CN101236601B (zh) * 2008-03-11 2010-10-06 马磊 图像识别加速装置及具有图像识别加速装置的微处理器芯片
JP5303325B2 (ja) * 2009-03-18 2013-10-02 ルネサスエレクトロニクス株式会社 データ処理装置
US8427875B2 (en) * 2010-12-07 2013-04-23 Silicon Motion Inc. Method and memory controller for reading data stored in flash memory by referring to binary digit distribution characteristics of bit sequences read from flash memory
KR101180471B1 (ko) 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
TWI455041B (zh) 2011-11-07 2014-10-01 Pixart Imaging Inc 人臉影像辨識方法及裝置
CN103106388B (zh) 2011-11-15 2017-02-08 中国科学院深圳先进技术研究院 图像识别方法和系统
KR20130057086A (ko) * 2011-11-23 2013-05-31 삼성전자주식회사 비휘발성 메모리 장치의 프로그램 방법
KR20140099295A (ko) * 2011-12-28 2014-08-11 인텔 코포레이션 파이프라인 이미지 프로세싱 시퀀서
US9645177B2 (en) * 2012-05-04 2017-05-09 Seagate Technology Llc Retention-drift-history-based non-volatile memory read threshold optimization
US8861270B2 (en) 2013-03-11 2014-10-14 Microsoft Corporation Approximate multi-level cell memory operations
US9118346B2 (en) * 2013-12-19 2015-08-25 Analog Devices, Inc. Complementary switches in current switching digital to analog converters
CN103824075A (zh) * 2014-02-18 2014-05-28 深圳天源迪科信息技术股份有限公司 图像识别系统及方法
US9213602B1 (en) * 2014-06-23 2015-12-15 Seagate Technology Llc Write mapping to mitigate hard errors via soft-decision decoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1220754A (zh) * 1996-03-15 1999-06-23 微米技术有限公司 压缩和字排列位图高速块传送的方法和装置
CN1577622A (zh) * 2003-07-18 2005-02-09 株式会社半导体能源研究所 存储器电路及包含其的显示装置和电子设备
CN1904907A (zh) * 2005-07-27 2007-01-31 上海明波通信技术有限公司 一种高速图像匹配检测系统及方法
CN103514432A (zh) * 2012-06-25 2014-01-15 诺基亚公司 人脸特征提取方法、设备和计算机程序产品
CN103810119A (zh) * 2014-02-28 2014-05-21 北京航空航天大学 一种利用三维集成电路片上温差降低stt-ram功耗的缓存设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Ultralow-power Memory-based Big-data Computing Platform by Nonvolatile Domain-wall Nanowire Devices;Yuhao Wang 等;《International Symposium on Low Power Electronics and Design (ISLPED) 》;20130906;329（1-6） *
Robust Face Recognition via Sparse Representation;John Wright 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20080403;第31卷(第2期);210-227 *

Also Published As

Publication number Publication date
SG11201706525RA (en) 2017-09-28
EP3244345A4 (en) 2017-12-13
CN107851175A (zh) 2018-03-27
KR102057471B1 (ko) 2020-01-14
JP2018508904A (ja) 2018-03-29
CN105989352B (zh) 2019-08-20
US10346701B2 (en) 2019-07-09
BR112017018752A2 (zh) 2018-07-24
JP6399534B2 (ja) 2018-10-03
CN105989352A (zh) 2016-10-05
WO2016141803A1 (zh) 2016-09-15
US20180012095A1 (en) 2018-01-11
KR20170140162A (ko) 2017-12-20
EP3244345A1 (en) 2017-11-15
EP3244345B1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
CN107545889B (zh) 适用于模式识别的模型的优化方法、装置及终端设备
US11551068B2 (en) Processing system and method for binary weight convolutional neural network
EP3660629A1 (en) Data processing apparatus and method
EP4156017A1 (en) Action recognition method and apparatus, and device and storage medium
US11190715B2 (en) System and method for event camera data processing
CN108089814B (zh) 一种数据存储方法及装置
JP2020518191A (ja) ディープニューラルネットワークを用いた、視覚的品質を維持した量子化パラメータ予測
CN107851175B (zh) 图像识别加速器、终端设备及图像识别方法
US11568225B2 (en) Signal processing system and method
CN112449009B (zh) 一种基于svd的联邦学习推荐系统通信压缩方法及装置
CN109598250B (zh) 特征提取方法、装置、电子设备和计算机可读介质
US10922785B2 (en) Processor and method for scaling image
CN111245732B (zh) 一种流量控制方法、装置及设备
CN111062897B (zh) 图像均衡方法、终端及存储介质
CN103793873A (zh) 图像像素中值的获取方法和装置
US20210233280A1 (en) Encoding device control method and device, and storage medium
US10212291B2 (en) System, method, and non-transitory computer readable storage medium for image recognition based on convolutional neural networks
CN113900813B (zh) 一种基于双口ram的盲元填充方法、系统及装置
US20200242467A1 (en) Calculation method and calculation device for sparse neural network, electronic device, computer readable storage medium, and computer program product
CN110188773B (zh) 图像处理方法及装置
CN110490312B (zh) 一种池化计算方法和电路
US20200192574A1 (en) Method and apparatus for controlling storage operations of data of region of interest
CN116501649B (zh) 一种基于先验信息的跟踪器黑盒攻击方法及系统
CN117873391A (zh) 芯片数据缓存方法、装置、计算机设备和存储介质
BR112017018752B1 (pt) Acelerador e método de reconhecimento de imagem, dispositivo terminal e mídia legível por computador

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant