CN111405214A - 影像处理电路 - Google Patents

Abstract

本发明提出一种影像处理电路，其中存储器控制单元先将参考影像与参数从第一存储器移动至第三存储器，卷积神经网络电路从第三存储器取得参数。存储器控制单元也将至少一部分的参考影像从第三存储器移动至第二存储器，其中第三存储器的储存空间大于第二存储器的储存空间。深度解码器从第二存储器取得参考影像，根据此参考影像与结构化影像计算出深度信息，并将深度信息储存至第二存储器。

Description

影像处理电路

技术领域

本发明涉及一种影像处理电路，且特别涉及一种卷积神经网络电路的存储器架构。

背景技术

近年来，卷积神经网络的技术已受到学术界与业界的大量关注，并且在很多领域上都有了突破性的发展，特别是在影像处理上。当使用卷积神经网络来进行影像处理的应用时，往往会需要大量的存储器来储存影像以及卷积神经网络中的参数，因此如何设计适当的硬件架构来储存或搬运这些数据，为此领域技术人员所关心的议题。

发明内容

本发明的实施例提出一种影像处理电路，其包括第一存储器、第二存储器、存储器控制单元、卷积神经网络电路与深度解码器。其中第一存储器储存有参考影像与多个参数，第二存储器的储存空间小于第一存储器的储存空间。存储器控制单元电性连接至第一存储器与第二存储器，卷积神经网络电路电性连接至第二存储器，深度解码器电性连接至第二存储器。深度解码器用以从红外线感测器接收结构化影像。在第一模式下：存储器控制单元将参考影像与参数从第一存储器移动至第三存储器，其中第三存储器电性连接至卷积神经网络电路、存储器控制单元与第二存储器，并且第三存储器的储存空间大于第二存储器的储存空间；卷积神经网络电路从第三存储器取得参数，存储器控制单元将参考影像的至少一部分从第三存储器移动至第二存储器；以及深度解码器从第二存储器取得部分的参考影像，根据此部分的参考影像与结构化影像计算出深度信息，并将深度信息储存至第二存储器。

在一些实施例中，影像处理电路还包括总线与多工器。总线电性连接至存储器控制单元、第二存储器与卷积神经网络电路，多工器电性连接至总线、第三存储器与卷积神经网络电路。在第一模式中，卷积神经网络电路是透过多工器从第三存储器取得参数。

在一些实施例中，在第一模式中，存储器控制单元还透过总线将参数的一部分从第三存储器移动至第二存储器；以及当存储器控制单元透过总线将参考影像的部分从第三存储器移动至第二存储器的同时，卷积神经网络电路直接从第二存储器取得上述的参数。

在一些实施例中，上述部分的参数是对应至卷积神经网络的层。

在一些实施例中，第二存储器还接收来自红外线感测器的灰阶影像。卷积神经网络电路还从第二存储器取得深度信息与灰阶影像，并根据灰阶影像、深度信息与参数执行物件检测程序或物件识别程序。

在一些实施例中，上述部分的参考影像包含至少一行的像素。

在一些实施例中，上述的第二存储器为静态随机存取存储器，第三存储器为动态随机存取存储器。

在一些实施例中，第一存储器为快闪存储器。

在一些实施例中，存储器控制单元切换在第一模式与第二模式之间。在第二模式中：存储器控制单元将参考影像与参数从第一存储器移动至第二存储器；卷积神经网络电路从第二存储器取得参数；以及深度解码器从第二存储器取得参考影像，根据参考影像与结构化影像计算出深度信息，并将深度信息储存至第二存储器。

在一些实施例中，存储器控制单元根据实体开关、检测电路或固件设定切换在第一模式与第二模式之间。

在上述的影像处理电路中，可以减少存储器的空间需求，或在不同模式下采用不同的存储器架构。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明。

附图说明

图1是根据一实施例示出电子装置的电路示意图。

图2是根据一实施例示出电子装置的电路示意图。

附图标记说明：

100：电子装置

110：红外线感测器

111：红外线投射器

120：影像处理电路

121：第一存储器

122：第二存储器

123：第三存储器

130：存储器控制单元

140：卷积神经网络电路

150：深度解码器

160：总线

170：多工器

具体实施方式

关于本文中的用语“第一”、“第二”、……等，并非特别指次序或顺位的意思，其仅为了区别以相同技术用语描述的元件或操作。

[第一实施例]

图1是根据一实施例示出电子装置的电路示意图。请参照图1，电子装置100包括了红外线感测器110、红外线投射器111与影像处理电路120。电子装置100可以实施为手机、平板电脑、笔记型电脑或其他合适的电子装置。在一些实施例中，电子装置100还可包括其他元件或部件，例如摄影机等等，本发明并不在此限。影像处理电路120则包括了第一存储器121、第二存储器122、第三存储器123、存储器控制单元130、卷积神经网络电路140、深度解码器150、总线160与多工器170。其中，第二存储器122电性连接至红外线感测器110、深度解码器150、卷积神经网络电路140。总线160电性连接至第二存储器122、存储器控制单元130、多工器170。第一存储器121电性连接至存储器控制单元130，多工器170是电性连接至卷积神经网络电路140与第三存储器123。

在此实施例中，影像处理电路120用于执行一个影像处理程序，例如物件检测程序或物件识别程序。在执行影像处理程序时需要关于场景的深度图，此深度图是透过比较两张红外线影像中特定图案之间的位移(disparity)而计算出来的，在此将这两张影像称为参考影像与结构化影像。参考影像中的图案是预设的，也称为金图案(golden pattern)，此预设图案例如是随机设置的多个圆点或是长条图，本发明并不限制此预设图案为何。结构化影像是透过红外线投射器111投射出上述的预设图案至场景中，然后由红外线感测器110来感测所得到的影像，换言之结构化影像中也具有上述的预设图案。然而，受到场景中深度的影响，结构化影像中的预设图案会有相对应的位移，因此透过计算参考影像与结构化影像中某一位置的位移便可以计算出该位置的景深。在此实施例中，上述的参考影像是储存在第一存储器121中。

另一方面，卷积神经网络电路140用以执行卷积神经网络。一般来说，卷积神经网络具有多个层，而每一层都具有多个参数，这些参数是事先经过训练所决定的。在此实施例中，上述的参数也是储存在第一存储器121中。

在一些实施例中，第一存储器121与第三存储器123的储存空间均大于第二存储器122的储存空间，但第二存储器122的读取速度则大于第一存储器121与第三存储器123的读取速度。举例来说，第一存储器121为快闪存储器，第二存储器122为静态随机存取存储器，第三存储器123为动态随机存取存储器，但本发明并不在此限。特别的是，上述的参数与参考影像会先从第一存储器121搬移至第三存储器123，再从第三存储器123搬移至第二存储器122。

具体来说，存储器控制单元130会将参考影像与参数从第一存储器121移动至第三存储器123，此时多工器170选择输入端“0”。接下来，多工器170可继续选择输入端“0”，此时存储器控制单元130将至少部分的参考影像从第三存储器123移动至第二存储器122。深度解码器150会从第二存储器122取得此部分的参考影像，并根据参考影像与从红外线感测器110接收到的结构化影像来计算出深度信息，最后将深度信息储存至第二存储器122中。在一些实施例中，由于深度解码器150是一行(row)一行地计算深度信息，因此上述部分的参考影像只需要包括一或多行的像素，换言之存储器控制单元130每次是将一或多行像素从第三存储器123移动至第二存储器122，如此一来并不需要一次把全部的参考影像都载入至第二存储器122，可以减少第二存储器122的空间需求。

另一方面，卷积神经网络电路140有两种方式从第三存储器123取得参数。第一种方法是多工器170选择输入端“1”，而卷积神经网络电路140透过多工器170从第三存储器123中读取参数。第二种方法是多工器170选择输入端“0”，存储器控制单元130先将参数从第三存储器123移动至第二存储器122，接下来卷积神经网络电路140直接从第二存储器122中读取参数，在此同时存储器控制单元130可以透过总线160将参考影像从第三存储器123移动至第二存储器122，如此一来参数与参考影像的读取可以同时进行。在一些实施例中，移动至第二存储器122的参数是对应至卷积神经网络的一层(而非所有层)，如此一来也可以减少第二存储器122的空间需求。

在一些实施例中，红外线感测器110除了会感测结构化影像以外，也会感测一灰阶影像。此灰阶影像中并没有投射的图案，也就是说灰阶影像的像素只会反应场景中的物件，并且灰阶影像会传送至第二存储器122。卷积神经网络电路140会从第二存储器122中取得参数、深度信息与灰阶影像，并根据这些灰阶影像、深度信息与参数执行物件检测程序或物件识别程序，例如人脸识别程序或人脸识别程序，然而，本发明并不限制物件检测程序与物件识别程序的内容。

[第二实施例]

图2是根据一实施例示出电子装置的电路示意图。在图2的实施例中，影像处理电路120并没有第三存储器123，因此上述的参考影像与参数是从第一存储器121移动至第二存储器122。卷积神经网络电路140可从第二存储器取得参数。深度解码器150从第二存储器122取得参考影像，根据参考影像与结构化影像计算出深度信息，并将深度信息储存至第二存储器122。

相较于图1的第一实施例来说，图2的第二实施例较适用于解析度较小的影像，因此可将所有的参数与整张参考影像直接存在第二存储器122中。然而，本发明并不在此限，第一实施例与第二实施例可以适用于任意解析度的影像。值得注意的是，图1与图2的差别仅在于第三存储器123，而其他元件均相同，因此影像处理电路120并不需要太多修改便可以适用于不同的产品。上述的第一实施例被称为第一模式，第二实施例被称为第二模式，存储器控制单元130可切换在第一模式与第二模式之间。在一些实施例中，影像处理电路120中可设置一个检测电路(未示出)，由此检测电路来判断是否存在第三存储器123，若存在第三存储器123则存储器控制单元130会执行第一模式，否则执行第二模式。或者，存储器控制单元130也可以根据实体开关或固件设定来切换在第一模式与第二模式之间，此实体开关可以设置在电路板或其他任意的位置上，而固件设定可以事先烧录存储器控制单元130或其他控制器中，本发明并不在此限。

虽然本发明已通过实施例公开如上，然而其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，应当可进行一定的更动与润饰，所以本发明的保护范围应以随附权利要求范围所界定者为准。

Claims (10)

1.一种影像处理电路，包括：

一第一存储器，储存有一参考影像与多个参数；

一第二存储器，其中该第二存储器的储存空间小于该第一存储器的储存空间；

一存储器控制单元，电性连接至该第一存储器与该第二存储器；

一卷积神经网络电路，电性连接至该第二存储器；以及

一深度解码器，电性连接至该第二存储器，用以从一红外线感测器接收一结构化影像，

其中在一第一模式下：

该存储器控制单元将该参考影像与该多个参数从该第一存储器移动至一第三存储器，其中该第三存储器电性连接至该卷积神经网络电路、该存储器控制单元与该第二存储器，并且该第三存储器的储存空间大于该第二存储器的该储存空间；

该卷积神经网络电路从该第三存储器取得该多个参数，该存储器控制单元将该参考影像的至少一部分从该第三存储器移动至该第二存储器；以及

该深度解码器从该第二存储器取得该参考影像的该至少一部分，根据该参考影像的该至少一部分与该结构化影像计算出深度信息，并将该深度信息储存至该第二存储器。

2.如权利要求1所述的影像处理电路，还包括：

一总线，电性连接至该存储器控制单元、该第二存储器与该卷积神经网络电路；以及

一多工器，电性连接至该总线、该第三存储器与该卷积神经网络电路，

其中在该第一模式中，该卷积神经网络电路是透过该多工器从该第三存储器取得该多个参数。

3.如权利要求2所述的影像处理电路，其中在该第一模式中：

该存储器控制单元还透过该总线将该多个参数的一部分从该第三存储器移动至该第二存储器；以及

当该存储器控制单元透过该总线将该参考影像的该至少一部分从该第三存储器移动至该第二存储器的同时，该卷积神经网络电路直接从该第二存储器取得该多个参数的该部分。

4.如权利要求3所述的影像处理电路，其中该多个参数的该部分是对应至一卷积神经网络的一层。

5.如权利要求1所述的影像处理电路，其中该第二存储器还接收来自该红外线感测器的一灰阶影像，

该卷积神经网络电路还从该第二存储器取得该深度信息与该灰阶影像，并根据该灰阶影像、该深度信息与该多个参数执行一物件检测程序或一物件识别程序。

6.如权利要求1所述的影像处理电路，其中该参考影像的该至少一部分包含该参考影像中至少一行的像素。

7.如权利要求1所述的影像处理电路，其中该第二存储器为静态随机存取存储器，该第三存储器为动态随机存取存储器。

8.如权利要求7所述的影像处理电路，其中该第一存储器为快闪存储器。

9.如权利要求1所述的影像处理电路，其中该存储器控制单元切换在该第一模式与一第二模式之间，在该第二模式中：

该存储器控制单元将该参考影像与该多个参数从该第一存储器移动至该第二存储器；

该卷积神经网络电路从该第二存储器取得该多个参数；以及

该深度解码器从该第二存储器取得该参考影像，根据该参考影像与该结构化影像计算出该深度信息，并将该深度信息储存至该第二存储器。

10.如权利要求9所述的影像处理电路，其中该存储器控制单元根据实体开关、检测电路或固件设定切换在该第一模式与该第二模式之间。

Images