CN110289029B

CN110289029B - 存储器装置及其操作方法

Info

Publication number: CN110289029B
Application number: CN201810227314.3A
Authority: CN
Inventors: 林昱佑; 李峰旻
Original assignee: Macronix International Co Ltd
Current assignee: Macronix International Co Ltd
Priority date: 2018-03-19
Filing date: 2018-03-19
Publication date: 2021-06-15
Anticipated expiration: 2038-03-19
Also published as: CN110289029A

Abstract

本发明揭露一种存储器装置包括多条位线、多条字线及一控制电路。位线用以接收一影像的多个像素数据。各字线包括多个参数单元。各字线的参数单元依据一滤镜的多个参数进行配置。各字线的配置相互不同。当以滤镜处理影像的一第一区域时，控制电路将位于影像的第一区域的像素数据输入位线，并使能字线的其中之一进行运算。当以滤镜处理影像的一第二区域时，控制电路保持位于第二区域内与第一区域重叠的像素数据输入于位线，并将位于第二区域内与第一区域未重叠的像素数据输入位线，并使能字线的其中另一以进行运算。

Description

存储器装置及其操作方法

技术领域

本发明是有关于一种存储器装置及其操作方法。

背景技术

对象辨识(object recognition)被广泛应用在各种领域，诸如自动驾驶(self-driving)、卫星影像分析、人脸辨识等。一般来说，在对象辨识的过程中，需要耗费大量的能量。在能量日益珍贵的未来，如何降低能量消耗是业界努力的目标之一。

发明内容

本发明的目的是提供一种可降低图像处理的能量消耗的存储器装置及其操作方法。

本发明的一实施例揭露一种存储器装置，包括多条位线、多条字线及一控制电路。位线用以接收一影像的多个像素数据。各字线包括多个参数单元，且各字线通过参数单元耦接至位线，其中各字线的参数单元是依据一滤镜的多个参数进行配置，且各字线的参数单元的配置相互不同。控制电路耦接至字线及位线。当以滤镜处理影像的一第一区域时，控制电路将位于影像的第一区域的像素数据输入位线，并使能字线的其中之一以进行运算。当以滤镜处理影像的一第二区域时，控制电路保持位于影像的第二区域内与第一区域重叠的像素数据输入于位线，并将位于影像的第二区域内与第一区域未重叠的像素数据输入位线，并使能字线的其中另一以进行运算。

本发明的一实施例揭露一种存储器装置的操作方法，包括：提供一影像，其中该影像包括多个像素数据；当以一滤镜处理该影像的一第一区域时，由该存储器装置的一控制电路将该影像的该第一区域的这些像素数据输入该存储器装置的多条位线；由该控制电路使能该存储器装置的多条字线的其中之一，以该字线与该影像的该第一区域的这些像素数据进行运算，其中各该字线包括多个参数单元，各该字线的这些参数单元是依据该滤镜的多个参数进行配置，且这些字线的这些参数单元的配置相互不同；当以该滤镜处理该影像的一第二区域时，由该控制电路保持位于该影像的该第二区域内与该第一区域重叠的这些像素数据输入于这些位线，并将位于该影像的该第二区域内与该第一区域未重叠的这些像素数据输入这些位线；以及由该控制电路使能这些字线的其中另一，以该另一字线与该影像的该第二区域的这些像素数据进行运算。

通过本发明提出存储器装置及其操作方法，可有效减少图像处理时的能量消耗，甚至进一步缩短运算时间。

为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：

附图说明

图1绘示依据本发明一实施例的图像处理系统的架构图；

图2A、2B绘示依据本发明一实施例的以滤镜处理影像的示意图；

图3绘示依据本发明一实施例的存储器装置的方块图；

图4绘示依据本发明一实施例的参数单元的方块图；

图5绘示依据本发明一实施例的存储器装置的操作方法的流程图；

图6A绘示依据本发明另一实施例的以滤镜处理影像的示意图；以及

图6B绘示依据本发明另一实施例的存储器装置的运作示意图。

【符号说明】

1：图像处理系统

12：特征抽取模块

14：分类模块

122：特征匹配单元

20：存储器装置

BL1～BL8：位线

WL1～WL12：字线

P11～P14、P21～P24：参数单元

IMG：影像

F1、F2：滤镜

SL1～SL12：源极线

S501～S509：步骤

具体实施方式

请参照图1，图1绘示依据本发明一实施例的图像处理系统的架构图。图像处理系统1包括一特征抽取模块12以及一分类模块14。图像处理系统1例如可应用于对象辨识(object recognition)或类神经网络(neural network)等技术中。图像处理系统1可用以处理一影像IMG。

特征抽取模块12可包括多个特征匹配单元122。各个特征匹配单元122可例如以一滤镜处理影像IMG，其中滤镜可例如是方形、圆形、三角形等几何图案。在一实施例中，如图2A、2B所示，特征匹配单元122是以一个大小为2×2的滤镜F1对影像IMG进行处理。滤镜F1包括多个参数a1、a2、a3、a4。影像IMG是一大小为4×4的影像，包括多个像素数据X11～X44。当以滤镜F1处理影像IMG时，是将影像IMG与滤镜F1做卷积(convolution)。如图2B所示，滤镜F1与影像IMG之间有一相对位置，此相对位置为可改变的。所谓「相对位置」指的是滤镜F1所要处理的影像IMG的区域。例如，当以滤镜F1处理影像IMG的一第一区域时，可视作将滤镜F1覆盖于影像IMG的第一区域的像素数据X11、X21、X12、X22上，并将滤镜F1的参数a1～a4分别与像素资料X11、X21、X12、X22相乘，特征匹配单元122的输出F11等于X11*a1+X21*a2+X12*a3+X22*a4。相似地，当滤镜F1覆盖于影像IMG的一第二区域的像素数据X12、X22、X13、X23上，特征匹配单元122的输出F12等于X12*a1+X22*a2+X13*a3+X23*a4，以此类推。当完成特征匹配的程序后，可得到特征匹配结果F11～F33(如图2A所示)。这些结果会由分类模块14进行分类。

所述的特征匹配单元122可用一或多个存储器装置来实现，其中存储器装置可为易失性存储器或非易失性存储器，例如NAND型或NOR型存储器。请参照图3，图3绘示依据本发明一实施例的存储器装置的方块图。存储器装置20包括多条位线BL1～BL4、多条源极线SL1、SL2、多条字线WL1、WL2以及一控制电路CTL，其中控制电路CTL耦接至字线WL1、WL2及位线BL1～BL4。位线BL1～BL4可提供给影像IMG的像素数据作为输入端。字线WL1包括多个参数单元P11～P14，且字线WL1通过参数单元P11～P14分别耦接至位线BL1～BL4以及源极线SL1。字线WL2包括多个参数单元P21～P24，且字线WL2通过参数单元P21～P24分别耦接至位线BL1～BL4以及源极线SL2。

字线WL1的参数单元P11～P14依据滤镜F1的参数a1～a4进行配置。相似地，字线WL2的参数单元P21～P24亦依据滤镜F1的参数a1～a4进行配置。然而，字线WL1的参数单元P11～P14与字线WL2的参数单元P21～P21对应至参数a1～a4的不同排列方式。在本实施例中，参数单元P11对应至参数a1，参数单元P12对应至参数a2，参数单元P13对应至参数a3，且参数单元P14对应至参数a4。参数单元P21对应至参数a3，参数单元P22对应至参数a4，参数单元P23对应至参数a1，且参数单元P24对应至参数a2。

如图4所示，在一实施例中，各参数单元P11～P14、P21～P24可包括一晶体管M及一(或多个)电阻R。当字线被控制电路CTL使能(enable)时，该字在线的参数单元的晶体管M会导通，致使该字线可与位线BL1～BL4上的信号进行运算，并通过源极线SL1输出结果SUM1。电阻R的电阻值可依据此参数单元对应到的参数进行配置。例如，参数单元P11的电阻R的电阻值可依据参数a1进行配置，参数单元P12的电阻R的电阻值可依据参数a2进行配置，以此类推。

在一实施例中，参数单元P11～P14、P21～P24的配置可为固定的，且预先编程于存储器装置20中。在另一实施例中，参数单元P11～P14、P21～P24的配置为可改变的，且可依据存储于存储器装置20或一外部装置(未绘示)的一参数配置对参数单元P11～P14、P21～P24表进行编程。外部装置例如是一易失性存储器或非易失性存储器。参数配置表可记录字线WL1～WL2的参数单元P11～P14、P21～P24与滤镜F1的参数a1～a4之间的对应关系。也就是说，参数配置表记录了各字线所对应的参数的排列方式。

请参照图5，图5绘示存储器装置的操作方法的流程图。本操作方法可用以操作存储器装置20。本操作方法包括步骤S501～S509。

在步骤S501中，提供一影像IMG，其中影像IMG包括多个像素数据X11～X44。

在步骤S503中，当以滤镜F1处理影像IMG的第一区域时，由控制电路CTL将影像IMG的第一区域的像素数据X11、X21、X12、X22输入位线BL1～BL4。例如，控制电路CTL将像素数据X11输入位线BL1，像素数据X21输入位线BL2，像素数据X12输入位线BL3，像素数据X22输入位线BL4。

在步骤S505中，由控制电路CTL使能字线的其中之一WL1，以字线WL1与影像IMG的第一区域的像素数据X11、X21、X12、X22进行运算。在一实施例中，像素数据X11、X21、X12、X22是以电压信号(voltage signal)的形式输入位线BL1～BL4。当像素数据X11经过参数单元P11的电阻R(电阻值依据参数a1设置)所产生的电流会流入源极线SL1，其中所产生的电流即可视作X11*a1的结果。相似地，像素资料X21经过参数单元P12的电阻R(电阻值依据参数a2设置)所产生的电流可视作X21*a2的结果，以此类推。各个像素资料X11、X21、X12、X22经过参数单元P11～P14所产生的电流会汇集于源极线SL1上。再通过一感测放大器(未绘示)感测源极线SL1上的总电流即可得到上述运算的结果SUM1(等于F11)。换言之，源极线SL1的输出SUM1为X11*a1+X21*a2+X12*a3+X22*a4，也就是F11。

在步骤S507中，当以滤镜F1处理影像IMG的第二区域时，由控制电路CTL保持位于影像IMG的第二区域内与第一区域重叠的这些像素数据X12、X22输入于这些位线BL3、BL4，并将位于影像IMG的第二区域内与第一区域未重叠的像素数据X13、X23输入位线BL1、BL2。换言之，在更新位线BL1～BL4的输入时，控制电路CTL会保留位线BL3、BL4上的输入(即像素数据X12、X22)，只更新位线BL1、BL2上的输入，亦即将像素数据X13输入位线BL1，并将像素数据X23输入位线BL2。

在步骤S509中，由控制电路CTL使能字线WL2，以字线WL2与影像IMG的第二区域的像素数据X12、X22、X13、X23进行运算。由于参数单元P21、P22、P23、P24被配置为分别对应至参数a3、a4、a1、a2，汇集于源极线SL2上的电流的总和(SUM2)可视作X13*a3+X23*a4+X12*a1+X22*a2的结果F12。

在一实施利中，控制电路CTL可依据滤镜F1与影像IMG的一相对位置决定要用来运算的字线。也就是说，控制电路CTL可根据位线BL1～BL4上被保留的输入及被更新的输入选择具有对应配置的参数单元的字线，以得到正确的计算结果。在另一实施例中，控制电路CTL可依据参数配置表决定所要用来运算的字线。

在一实施例中，滤镜F1从影像IMG的一第一侧边界经一或多次横向移动而到达影像IMG的一第二侧边界时，滤镜F1可回到影像IMG的第一侧边界并往下方移动一个像素单位。此时，控制电路CTL可更新所有位线BL1～BL4上的输入。例如，当完成以滤镜F1处理影像IMG的像素数据X13、X23、X14、X24后，滤镜F1可移动至影像IMG的像素数据X21、X31、X22、X32，而控制电路CTL可将位线BL1～BL4上的输入分别更新为像素数据X21、X31、X22、X32，并以字线WL1进行运算。

依据上述的存储器装置及操作方法，当滤镜由影像的第一区域移动至第二区域时，控制电路仅将影像的第一区域与第二区域未重叠的像素数据更新至位线，而不更动输入于位在线影像的第一区域与第二区域重叠的像素数据，并以对应的字线进行运算。因此，可有效地减少运算过程中所需要执行的数据搬动的次数，进而降低能量的消耗。

请参照图6A、6B所示的另一实施例。本实施例的存储器装置可用以实现滤镜F1及滤镜F2。影像IMG及滤镜F1、F2如图6A所示，各字线的参数单元的配置则如图6B所示。为了更清楚的说明，图6B中控制电路被省略，且参数单元被以所对应的滤镜F1、F2的参数或0表示。

在本实施例中，存储器装置的控制电路仅需更新两次位在线的输入即可计算出影像IMG及滤镜F1、F2的卷积。如图6B所示，于第一时间T1输入至位线BL1～BL8的分别是像素资料X11、X21、X31、X41、X12、X22、X32、X42。于第二时间T2，控制电路保留了位线BL5～BL8上的输入，并将位线BL1～BL4上的输入分别更新为像素数据X13、X23、X33、X43。于第三时间T3，控制电路保留了位线BL1～BL4上的输入，并将位线BL5～BL8上的输入分别更新为像素数据X14、X24、X34、X44。

于第一时间T1，控制电路使能字线WL1、WL3、WL5、WL7、WL9、WL11，以获得F11、F21、F31、G11、G21、G31。于第二时间T2，控制电路使能字线WL2、WL4、WL6、WL8、WL10、WL12，以获得F12、F22、F32、G12、G22、G32。于第三时间T3，控制电路使能字线WL1、WL3、WL5、WL7、WL9、WL11，以获得F13、F23、F33、G13、G23、G33。

在本实施例中，通过滤镜F1、F2的参数以不同的排列方式配置于不同的字在线，不仅能够减少能量消耗，还能够缩短运算所需的时间。

需要注意的是，上述的各实施例仅是为了说明而已，影像IMG的大小虽然以4×4为例，滤镜F1、F2虽然以2×2为例，但本发明可应用于任何大小的影像及滤镜。此外，存储器装置的位线、字线及参数单元的数量，皆可依据不同的需求进行设计。

综上所述，虽然本发明已以实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当以权利要求所界定的为准。

Claims

1.一种存储器装置，包括：

多条位线，用以接收一影像的多个数据；

多条字线，各该字线连接多个参数单元，且各该字线通过这些参数单元耦接至这些位线，其中各该字线的这些参数单元是依据一滤镜的多个参数进行配置，且这些字线的这些参数单元的配置相互不同；以及

一控制电路，耦接至这些字线及这些位线，

其中当以该滤镜处理该影像的一第一区域时，该控制电路将位于该影像的该第一区域的这些数据输入这些位线，并使能这些字线的其中之一以进行运算；当以该滤镜处理该影像的一第二区域时，该控制电路保持位于该影像的该第二区域内与该第一区域重叠的这些数据输入于这些位线，并将位于该影像的该第二区域内与该第一区域未重叠的这些数据输入这些位线，并使能这些字线的其中另一以进行运算。

2.如权利要求1所述的存储器装置，其中这些参数单元的配置为固定的，且预先编程于该存储器装置中；或者这些参数单元的配置为可改变的，且依据存储于该存储器装置或一外部装置的一参数配置表对这些参数单元进行编程。

3.如权利要求1所述的存储器装置，其中该控制电路依据该滤镜与该影像的一相对位置或一参数配置表决定要用来运算的该字线。

4.如权利要求1所述的存储器装置，其中各该参数单元包括一或多个电阻，该一或多个电阻的电阻值是依据该滤镜的这些参数决定。

5.如权利要求1所述的存储器装置，其中与这些字线连接的这些参数单元的配置对应于该滤镜的这些参数的不同排列方式。

6.一种存储器装置的操作方法，包括：

提供一影像，其中该影像包括多个像素数据；

当以一滤镜处理该影像的一第一区域时，由该存储器装置的一控制电路将该影像的该第一区域的这些数据输入该存储器装置的多条位线；

由该控制电路使能该存储器装置的多条字线的其中之一，以该字线与该影像的该第一区域的这些数据进行运算，其中各该字线连接多个参数单元，各该字线的这些参数单元是依据该滤镜的多个参数进行配置，且这些字线的这些参数单元的配置相互不同；

当以该滤镜处理该影像的一第二区域时，由该控制电路保持位于该影像的该第二区域内与该第一区域重叠的这些数据输入于这些位线，并将位于该影像的该第二区域内与该第一区域未重叠的这些数据输入这些位线；以及

由该控制电路使能这些字线的其中另一，以该另一字线与该影像的该第二区域的这些数据进行运算。

7.如权利要求6所述的操作方法，其中这些参数单元的配置为固定的，且预先编程于该存储器装置中；或者这些参数单元的配置为可改变的，且依据存储于该存储器装置或一外部装置的一参数配置表对这些参数单元进行编程。

8.如权利要求6所述的操作方法，其中该控制电路依据该滤镜与该影像的一相对位置或一参数配置表决定要用来运算的该字线。

9.如权利要求6所述的操作方法，其中各该参数单元包括一或多个电阻，该一或多个电阻的电阻值是依据该滤镜的这些参数决定。

10.如权利要求6所述的操作方法，其中与这些字线连接的这些参数单元的配置对应于该滤镜的这些参数的不同排列方式。