CN115249204A - 图像传感器模块、图像处理系统以及图像传感器模块的操作方法 - Google Patents

Abstract

一种图像传感器模块包括：图像传感器，被配置为生成图像数据；以及存储器，至少包括存储图像数据的存储体和存储器中处理器(PIM)电路，该PIM电路包括多个处理元件。存储器被配置为：从存储体中读取图像数据；使用多个处理元件来生成光流数据和图案密度数据，光流数据指示图像数据中包括的至少一个对象的时序运动，并且图案密度数据指示图像数据的图案的密度；以及输出图像数据、光流数据和图案密度数据。

Description

图像传感器模块、图像处理系统以及图像传感器模块的操作 方法

相关申请的交叉引用

本申请基于并要求于2021年4月27日向韩国知识产权局提交的韩国专利申请No.10-2021-0054523的优先权，该申请的公开通过全文引用合并于此。

技术领域

本发明构思涉及图像传感器模块、图像处理系统以及图像传感器模块的操作方法，并且更具体地，涉及包括执行计算过程的存储器的图像传感器模块、图像处理系统以及图像传感器模块的操作方法。

背景技术

图像传感器可以捕获例如对象的二维(2D)和/或三维(3D)图像。图像传感器可以使用光电转换元件生成对象的图像，该光电转换元件对从对象反射和/或以其他方式发射的光的强度作出反应。随着近来互补金属氧化物半导体(CMOS)技术的发展，使用CMOS的CMOS图像传感器已经被广泛使用。

随着近来对高质量和高清照片和图像的需求不断增加，由图像传感器生成的图像数据的大小也在增加。当图像数据的大小增加时，例如图像数据的平滑计算处理需要高带宽。

例如，使用图像传感器的高级驾驶员辅助系统(ADAS)需要提高对象检测的准确性和对象检测的实时执行以确保安全。通过高分辨率图像数据可以保证对象检测的准确性，并且通过高带宽和高计算性能可以保证对象检测的实时执行。

发明内容

本发明构思提供一种包括执行计算过程的存储器的图像传感器模块、图像处理系统以及图像传感器模块的操作方法。

根据本发明构思的方面，提供了一种图像传感器模块，该图像传感器模块包括：图像传感器，被配置为生成图像数据；以及存储器，至少包括存储图像数据的存储体和存储器中处理器(PIM)电路，该 PIM电路包括多个处理元件，并且存储器被配置为从存储体读取图像数据，使用多个处理元件来生成光流数据和图案密度数据，以及输出图像数据、光流数据和图案密度数据，该光流数据指示图像数据中包括的至少一个对象的时序运动，并且该图案密度数据指示图像数据的图案的密度。

根据本发明构思的另一方面，提供了一种图像处理系统，该图像处理系统包括图像传感器模块和图像处理设备，该图像传感器模块包括：图像传感器，其被配置为生成图像数据；以及存储器，其被配置为使用存储器中处理器(PIM)电路来生成光流数据和图案密度数据，该光流数据指示图像数据中包括的至少一个对象的时序运动，并且图案密度数据指示图像数据的图案的密度，并且该图像处理设备被配置为基于图像数据、光流数据和图案密度数据来对图像数据执行对象检测。

根据本发明构思的另一方面，提供了一种包括图像传感器和存储器的模块的操作方法。该操作方法包括：使用图像传感器获得图像数据；将图像数据存储在存储器中包括的多个存储体中；使用存储器中包括的处理元件来生成关于图像数据的光流数据；使用存储器中包括的处理元件来生成关于图像数据的图案密度数据；以及输出图像数据、光流数据和图案密度数据。

附图说明

根据以下结合附图的详细描述，将更清楚地理解本发明构思的示例实施例，在附图中：

图1是根据一些示例实施例的图像处理系统的框图；

图2示出了根据一些示例实施例的神经网络结构的示例；

图3是示出了根据一些示例实施例的存储器的配置的框图；

图4A和图4B是用于描述根据一些示例实施例的图像传感器模块和图像处理设备的操作的框图；

图5是用于描述根据一些示例实施例的多个图像传感器模块和图像处理设备的操作的框图；

图6A和图6B是用于描述根据一些示例实施例的根据图像传感器模块的拍摄模式生成光流数据的方法的图；

图7是示出了根据一些示例实施例的对象检测模块的配置的框图；

图8A和图8B是示出了根据一些示例实施例的掩模数据的图；

图9是用于描述根据一些示例实施例的生成经掩模图像的操作的图；

图10是用于描述根据一些示例实施例的特征提取器和检测器的操作的图；

图11是根据一些示例实施例的存储器的一部分的框图；

图12是示出了根据一些示例实施例的存储器结构的框图；

图13是示出了根据一些示例实施例的存储器结构的详细示图；

图14是根据一些示例实施例的图像传感器模块的操作方法的流程图；

图15是图像传感器模块的分解透视图；

图16是图像传感器模块的平面图；以及

图17是根据一些示例实施例的电子设备的框图。

具体实施方式

在下文中，将参考附图详细描述示例实施例，其中相似的附图标记始终指示相似的元件。

虽然本文中可以使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些术语仅用于将一个元件、组件、区域、层或部分与另一区域、层或部分区分开来。因此，在不脱离本公开的范围的情况下，以下提到的第一元件、组件、区域、层或部分可备选地称为第二元件、组件、区域、层或部分。此外，当元件被称为在另一元件“上”、“连接到”、“耦合到”或“邻近于”另一元件时，该元件可以直接在另一元件上、直接连接到、耦合到或邻近于另一元件，或者可以存在一个或多个其他中间元件。

图1是根据一些示例实施例的图像处理系统的框图。

参考图1，图像处理系统10可以包括图像传感器模块100和图像处理设备200。例如，图像处理系统10可以包括例如个人计算机、物联网(IoT)设备和/或便携式电子设备，和/或被包括在例如个人计算机、物联网(IoT)设备和/或便携式电子设备中。便携式电子设备可以包括例如膝上型计算机、蜂窝电话、智能电话、平板个人计算机(PC)、个人数字助理(PDA)、企业数字助理(EDA)、数字照相机、数码摄像机、音频设备、便携式多媒体播放器(PMP)、个人导航设备(PND)、 MP3播放器、手持式游戏控制台、电子书、可穿戴设备等。图像处理系统10可以安装在电子设备上和/或电子设备中，该电子设备例如是无人机和/或高级驾驶员辅助系统(ADAS)；和/或安装在电子设备上(和 /或电子设备中)，该电子设备作为电动车辆、家具、制造设施、门和/ 或各种测量设备的组件提供。

图像传感器模块100可以将对象感测为图像，处理所感测的图像，和/或将所感测的图像存储在存储器中，并将经处理的图像存储在存储器中。在一些实施例中，图像传感器模块100可以包括图像传感器110、存储器120、信号处理器130和接口140。在一些示例实施例中，图像传感器模块100可以在多个半导体芯片中实现和/或包括多个半导体芯片。然而，实施例不限于此，并且图像传感器模块100可以在单个半导体芯片中实现和/或包括单个半导体芯片。

图像传感器模块100可以捕获外部对象并生成图像数据。例如，图像传感器模块100的图像传感器110可以将通过透镜LS入射的对象的光信号转换为电信号。图像传感器110可以包括像素阵列，其中多个像素以二维(或更多维)布置，并且输出包括与像素阵列的各个像素相对应的多个像素值的图像数据。

像素阵列可以包括多条行线、多条列线、以及以矩阵布置的多个像素，每个像素与行线之一和列线之一连接。每个像素可以包括至少一个光电转换元件(和/或光敏器件)。光电转换元件可以感测光并将光转换为光电荷。例如，光电转换元件可以包括光敏器件，例如无机光电二极管、有机光电二极管、钙钛矿光电二极管、光电晶体管、光电门、钉扎光电二极管，其包括有机或无机材料等。在一些示例实施例中，每个像素可以包括多个光电转换元件。

在一些示例实施例中，由图像传感器110生成的图像数据可以包括原始图像数据和/或通过对行图像数据进行预处理而获得的图像数据，该原始图像数据包括从像素阵列输出的多个像素信号的数模转换产生的多个像素值。

在一些示例实施例中，图像传感器110可以包括驱动和读取电路，其控制像素阵列并将从像素阵列接收的像素信号转换为像素值。例如，驱动和读取电路可以包括行驱动器、读出电路、斜坡信号发生器、时序控制器等。驱动和读取电路可以生成包括与所接收的像素信号相对应的像素值的原始图像数据。在一些示例实施例中，图像传感器110 还可以包括对原始图像数据进行预处理的处理逻辑。图像传感器110 可以将原始图像数据和/或经预处理的图像数据发送到存储器120和/ 或信号处理器130。

存储器120可以包括存储体122、存储器中处理器(PIM)电路 124和控制逻辑126。存储体122可以包括多个存储体(存储体1至存储体N)。存储体(存储体1至存储体N)中的每一个可以包括存储单元阵列，其包括多个存储单元。存储体可以被不同地定义。例如，存储体可以被定义为包括存储单元的配置和/或包括存储单元和至少一个外围电路的配置。

存储器120可以存储由图像传感器110生成的图像数据和/或由信号处理器130处理的图像数据。在一些示例实施例中，存储体122 可以将从图像传感器110和/或信号处理器130接收的图像数据存储在存储体(存储体1至存储体N)中的至少一个中。存储体122可以在图像传感器模块100的控制下读取其中存储的图像数据，并将图像数据发送到信号处理器130和/或接口140。

存储器120可以使用PIM电路124对例如从图像传感器110接收的图像数据和/或存储在其中的图像数据执行计算过程。在一些示例实施例中，PIM电路124可以使用处理元件PE来执行与各种图像处理操作相关的计算过程。

在一些示例实施例中，PIM电路124可以例如对图像数据的图像伪影执行各种图像处理操作，例如，使用例如图像增强算法的操作、分类操作和/或分割操作。例如，使用图像增强算法的操作可以包括白平衡、去噪、去马赛克、重新马赛克、镜头阴影和/或伽马校正，但是不限于此。

根据一些示例实施例，PIM电路124可以执行作为示例图像处理操作的图案密度检测操作，其中分析图像数据的多个图像区域的图案并且生成图像数据的图案密度数据，和/或PIM电路124可以执行光流检测操作，其中分析图像数据的多个帧并且生成指示帧之间对象的时序运动的光流数据。

在一些示例实施例中，图像处理操作可以通过基于神经网络的任务来实现，并且PIM电路124可以执行至少一些基于神经网络的计算过程。例如，在一些实施例中，PIM电路124可以包括神经网络处理单元(NPU)(和/或被包括在NPU中)。神经网络可以包括基于选自以下的至少一个的神经网络模型：人工神经网络(ANN)、卷积神经网络 (CNN)、区域CNN(R-CNN)、区域建议网络(RPN)、递归神经网络(RNN)、基于堆叠的深度神经网络(S-DNN)、状态空间动态神经网络(S-SDNN)、反卷积网络、深度置信网络(DBN)、受限玻尔兹曼机器(RBM)、完全卷积网络、长短期记忆(LSTM)网络、分类网络、普通残差网络、密集网络、金字塔分层网络等。例如，神经网络模型的种类不限于上述那些。将参考图2详细描述由PIM电路124执行的执行基于神经网络的计算过程的方法。

在一些示例实施例中，PIM电路124的处理元件PE可以从存储体 122的存储体(存储体1至存储体N)中读取图像数据，并在对图像数据执行图像处理操作(例如，上述图像处理操作中的至少一个)。在存储体122中，存储器120可以存储已经使用PIM电路124对其执行计算过程的图像数据和/或已经通过计算过程生成的计算数据。存储器120还可以将经过计算过程的图像数据和/或计算数据提供给信号处理器130。存储器120还可以通过接口140将经过计算过程的图像数据和/或计算数据输出到图像传感器模块100的外部设备。

控制逻辑126可以控制存储体122和PIM电路124。在一些示例实施例中，控制逻辑126可以对提供给存储器120的命令和地址进行解码，并控制存储体122和PIM电路124，使得根据解码结果来执行存储器操作。例如，提供给存储器120的命令可以包括与诸如数据写入或读取操作的存储器操作相关的命令以及与计算操作相关的命令。控制逻辑126可以包括处理电路(和/或被包括在处理电路中)，例如包括逻辑电路的硬件；硬件/软件组合，例如执行软件的处理器；和/ 或二者的组合。控制逻辑126可以根据解码结果控制存储体122在对应于地址的存储区域上执行写入或读取数据的存储器操作，和/或控制 PIM电路124基于写入对应于地址的存储区域的数据执行计算操作。

存储器120可以包括动态随机存取存储器(DRAM)，例如双倍数据速率(DDR)同步DRAM(SDRAM)、低功率DDR(LPDDR)、同步DRAM (SDRAM)、图形DDR(GDDR)、Rambus DRAM(RDRAM)等。然而，示例实施例不限于此。例如，存储器件可以包括非易失性存储器，例如闪存、磁RAM(MRAM)、铁电RAM(FeRAM)、相变RAM(PRAM)和/或电阻 RAM(ReRAM)。

存储器120可以对应于单个半导体芯片和/或可以对应于存储器件中的单个通道，该存储器件包括多个通道，每个通道具有独立的接口。当存储器模块可以包括多个芯片时，存储器120可以对应于存储器模块和/或对应于安装在模块板上的单个存储器芯片。

信号处理器130可以对从图像传感器110和/或存储器120接收的图像数据执行计算过程。例如，信号处理器130可以包括中央处理单元(CPU)、微处理器和/或微控制器单元(MCU)。在一些示例实施例中，信号处理器130可以执行与各种图像处理操作相关的计算过程。例如，与存储器120的PIM电路124一样，信号处理器130可以执行各种图像处理操作，例如白平衡、去噪、去马赛克、重新马赛克、镜头阴影、伽马校正、分类操作、分割操作等。

例如，在一些示例实施例中，信号处理器130可以接收已经由存储器120对其执行特定图像处理操作的图像数据，并且对所接收的图像数据执行其他图像处理操作。例如，信号处理器130可以接收已经由存储器120对其执行去噪的图像数据，并对所接收的图像数据执行选自白平衡、去马赛克、重新马赛克、镜头阴影、伽马校正、分类操作和/或分割操作中的至少一种操作。

在一些实施例中，信号处理器130可以从图像传感器110接收图像数据，并对图像数据执行各种图像处理操作。此后，信号处理器130 可以将经处理的图像数据发送到存储器120。存储器120可以存储从信号处理器130接收的图像数据。

图像传感器模块100可以通过接口140输出图像数据。例如，在一些示例实施例中，接口140可以输出存储器120中存储的图像数据和/或由信号处理器130处理的图像数据。图像传感器模块100还可以通过接口140输出由存储器120的计算操作产生的计算数据。例如，接口140可以包括基于移动行业处理器接口(MIPI)的相机串行接口 (CSI)。接口140的种类不限于此，并且可以根据各种协议标准来实现。

图像处理设备200可以包括接口210和处理器220。图像处理设备200可以通过接口210从图像传感器模块100接收图像数据和/或计算数据。例如，接口210可以连接到接口140和/或被配置为与接口 140进行通信。与接口140一样，接口210可以包括MIPI，但是不限于此。图像处理设备200可以将图像数据和/或计算数据存储在存储器 (未示出)中。

处理器220可以例如基于通过接口210接收的图像数据和/或计算数据来执行各种图像处理操作。根据本示例实施例，作为图像处理操作的示例，处理器220可以对图像中包括的至少一个对象执行对象检测，和/或对其执行分割以用于对象检测。例如，在一些示例实施例中，处理器220可以从图像传感器模块100接收图案密度数据和光流数据以及原始图像数据和/或经预处理的图像数据。处理器220可以通过使用图案密度数据和光流数据分析图像数据来检测和/或分割图像中包括的对象。

处理器220可以包括各种计算处理设备和/或被包括在各种计算处理设备中，各种计算处理设备例如是CPU、图形处理单元(GPU)、应用处理器(AP)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、神经网络处理单元(NPU)、电子控制单元(ECU)、图像信号处理器(ISP) 等。

根据本示例实施例，图像传感器模块100可以通过使用存储器120 执行计算过程以执行该计算过程来提高图像处理操作的计算速度。例如，当使用存储器120执行计算过程时，由于存储器120中的存储体 122和PIM电路124之间的带宽通常高于存储器120和信号处理器130 之间的带宽，因此计算速度可以提高。当计算速度提高时，可以在与之前相同的时间期间执行具有更多层的神经网络计算。因此，可以提高图像传感器模块100的计算操作的准确性。

例如，在一些示例实施例中，图像传感器模块100向图像处理设备200提供使用存储器120生成的图案密度数据和光流数据；以及图像处理设备200基于与图像数据一起接收的图案密度数据和光流数据来执行对象检测。因此，可以提高图像处理系统10的对象检测操作的计算速度。

在图1的实施例中，处理元件PE可以包括各种数量和布置的处理元件。例如，每个处理元件可以对应于一个存储体或至少两个存储体来布置。

尽管为了便于理解和说明，图1中示出了存储体122与PIM电路 124分离，但是存储体122和PIM电路124可以至少部分地彼此合并。将参考图11详细地描述其示例。图2示出了神经网络结构的示例。图 1中的PIM电路124可以应用于图2的神经网络NN的结构的至少一部分的实现。

参考图2，神经网络NN可以包括多个层，例如，第一层L1至第 n层Ln。具有这种多层架构的神经网络NN可以被称为深度神经网络 (DNN)和/或深度学习架构。第一层L1至第n层Ln中的每一层可以包括线性层和/或非线性层。在一些示例实施例中，至少一个线性层可以与至少一个非线性层组合，从而形成单层。例如，线性层可以包括卷积层和全连接层，而非线性层可以包括池化层和激活层。

例如，第一层L1可以对应于卷积层，第二层L2可以对应于池化层，并且第n层Ln可以对应于全连接层作为输出层。神经网络NN还可以包括激活层和/或还可以包括执行其他种类计算的其他层。

第一层L1至第n层Ln中的每一层可以接收图像帧和/或在前一层中生成的特征图，作为输入特征图，并且可以通过对输入特征图执行计算来生成输出特征图和/或识别信号REC。此时，特征图是指数据，其表示输入数据的各种特征。例如，第一至第n特征图FM1、FM2、FM3 和FMn可以具有包括多个特征值的二维和/或三维矩阵(例如，张量) 形式。第一特征图FM1至第n特征图FMn可以具有宽度W(例如，列)、高度H(例如，行)和深度D，其可以分别对应于坐标系中的x轴、y 轴和z轴。此时，例如，深度D可以被称为通道的数量。

第一层L1可以通过对第一特征图FM1和权重图WM执行卷积来生成第二特征图FM2。权重图WM可以具有包括多个权重的二维和/或三维矩阵形式。权重图WM可以被称为滤波器和/或核。权重图WM可以过滤第一特征图FM1。权重图WM的深度(例如，通道的数量)可以与第一特征图FM1的深度(例如，通道的数量)相同。可以在权重图WM 和第一特征图FM1二者中的相同通道上执行卷积。通过使用滑动窗口遍历第一特征图FM1，可以在第一特征图FM1上移动权重图WM。在移动期间，权重图WM中包括的每个权重可以乘以和/或添加到权重图WM 与第一特征图FM1重叠的区域中的所有特征值。可以通过对第一特征图FM1和权重图WM执行卷积来生成第二特征图FM2的一个通道。尽管图2中仅示出了一个权重图WM，但是可以将多个权重图WM与第一特征图FM1进行卷积，使得可以生成第二特征图FM2的多个通道。例如，第二特征图FM2的通道数量可以对应于权重图的数量。

第二层L2可以通过池化改变第二特征图FM2的空间大小来生成第三特征图FM3。池化可以被称为采样和/或下采样。二维池化窗口PW 可以以池化窗口PW的大小为单位在第二特征图FM2上移动，并且可以选择池化窗口PW与第二特征图FM2重叠的区域中的特征值中的最大值(或特征值的平均值)。因此，可以通过改变第二特征图FM2的空间大小来生成第三特征图FM3。第三特征图FM3的通道数量可以与第二特征图FM2的通道数量相同。

第n层Ln可以组合第n特征图FMn的特征，并对输入数据的类 CL进行分类。第n层Ln还可以生成对应于类CL的识别信号REC。神经网络NN的结构不限于上述示例。可以从神经网络NN中省略第一层 L1至第n层Ln中的一些层，或者可以向神经网络NN添加附加层。

根据一些示例实施例，图1中的PIM电路124的处理元件PE可以构成和/或对应于神经网络NN的卷积层、全连接层、池化层和激活层中的至少一个。例如，PIM电路124的一些处理元件PE可以被配置为对从存储体(存储体1至存储体N)读取的图像数据执行卷积计算，并且PIM电路124的一些处理元件PE可以被配置为对卷积结果执行池化计算。

根据一些示例实施例，PIM电路124的处理元件PE可以体现为神经网络模型，其被训练以执行图案密度检测操作和/或光流检测操作。

图3是示出了根据一些示例实施例的存储器的配置的框图。在一些示例实施例中，图3的存储器120可以对应于图1中的存储器120。

参考图3，存储体122可以将图像数据IDT发送到PIM电路124。在一些示例实施例中，存储体122可以(例如，从图1中的图像传感器110)接收图像数据IDT，将图像数据IDT划分(例如，划分为特定大小)，以及存储图像数据IDT(例如，存储在存储体(存储体1至存储体N)中的至少一个中)。存储体122可以从存储体(存储体1至存储体N)中的至少一个读取图像数据IDT，并将图像数据IDT发送到 PIM电路124。

在一些示例实施例中，PIM电路124可以包括执行第一计算操作的第一处理元件组PEG1和执行第二计算操作的第二处理元件组PEG2。第一处理元件组PEG1和第二处理元件组PEG2中的每一个可以包括至少一个处理元件PE。在一些示例实施例中，第一计算操作和第二计算操作可以对应于对图像数据IDT的图像处理操作。

第一处理元件组PEG1可以通过基于图像数据IDT执行第一计算操作来生成第一计算数据ODT1。第二处理元件组PEG2可以通过基于图像数据IDT执行第二计算操作来生成第二计算数据ODT2。在一些示例实施例中，第一处理元件组PEG1和第二处理元件组PEG2中的每一个可以体现为执行第一计算操作和/或第二计算操作的神经网络模块。在一些示例实施例中，第一计算数据ODT1和第二计算数据ODT2可以存储在存储体122中和/或存储器120的外部设备(例如，图1中的图像处理设备200)中。

根据一些示例实施例，第一处理元件组PEG1可以体现为神经网络模块，其被训练以执行作为第一计算操作的光流检测操作。第一处理元件组PEG1可以通过对图像数据IDT执行光流检测操作来生成作为第一计算数据ODT1的光流数据。

在一些实施例中，光流检测操作需要图像数据IDT的多个帧。因此，图1中的图像传感器100可以将在不同时间点生成的图像数据IDT 的多个帧存储在存储体122中；以及第一处理元件组PEG1可以从存储体122接收图像数据IDT的帧，并执行光流检测操作。

第二处理元件组PEG2可以体现为神经网络模块，其被训练以执行作为第二计算操作的图案密度检测操作。第二处理元件组PEG2可以通过对图像数据IDT执行图案密度检测操作来生成作为第二计算数据 ODT2的图案密度数据。

尽管为了便于理解，图3中示出了存储体122与PIM电路124分离，但是存储体122和PIM电路124可以至少部分地彼此合并。将参考图11详细地描述其示例。

图4A是用于描述根据一些示例实施例的图像传感器模块和图像处理设备的操作的框图。图4A中的图像传感器模块100和图像处理设备200可以分别对应于图1中的图像传感器模块100和图像处理设备 200。

参考图4A，图像传感器模块100可以包括对应于被训练以执行光流检测操作的神经网络模块的光流模块125以及对应于被训练以执行图案密度检测操作的神经网络模块的图案密度模块126。光流模块125 可以对应图3中的第一处理元件组PEG1，而图案密度模块126可以对应于图3中的第二处理元件组PEG2。

光流模块125可以从存储体122接收图像数据IDT，并通过对图像数据IDT执行光流检测操作来生成光流数据OF。图案密度模块126 可以从存储体122接收图像数据IDT，并通过对图像数据IDT执行图案密度检测操作来生成图案密度数据PD。图像传感器模块100可以将图像数据IDT、光流数据OF和图案密度数据PD发送到图像处理设备 200。

参考图4A，图像处理设备200的处理器220可以包括生成深度信息的深度信息模块222和执行对象检测的对象检测模块224。作为非限制性示例，深度信息模块222和对象检测模块224可以体现为神经网络模块。

深度信息模块222可以基于从图像传感器模块100接收的光流数据0F和图案密度数据PD来生成关于图像数据IDT的深度信息DI。例如，深度信息DI可以包括与从图像传感器110到图像数据IDT中包括的对象的距离相对应的深度值。在一些示例实施例中，深度信息模块 222可以基于对象越远图案密度越高的特性以及对象越远位置随时间变化越小的特性来生成关于图像数据IDT的深度信息DI。深度信息模块222可以向对象检测模块224提供深度信息DI。

对象检测模块224可以从图像传感器模块100接收图像数据IDT 和光流数据OF，以及从深度信息模块222接收深度信息DI。对象检测模块224可以例如基于光流数据0F和深度信息DI对图像数据IDT执行对象检测。对象检测模块224可以生成对象信息OI(其可以包括关于在图像数据IDT中检测到的对象的各种信息)作为对象检测结果。例如，对象信息0I可以包括三维(3D)信息(其可以包括围绕对象的 3D边界框)、对象的形状、到对象的距离和/或对象的位置；和/或二维(2D)信息，其包括例如对象的边缘。下面将参考图7至图10详细描述由对象检测模块224执行的生成对象信息OI的方法。

尽管在图4A的实施例中描述了对象检测模块224基于图像数据 IDT、光流数据OF和深度信息DI来执行对象检测，但是当执行对象检测时，可以附加考虑其他各种信息(例如，图案密度数据PD)。

尽管在图4A的实施例中示出和描述了处理器220包括深度信息模块222和对象检测模块224二者，但是实施例不限于此。例如，图像处理设备200可以包括包含深度信息模块222的处理器220和包含对象检测模块224的单独(例如，第二)处理器。

图4B是用于描述根据一些示例实施例的图像传感器模块和图像处理设备的操作的框图。图4B示出了图4A的修改实施例。在下文中，省略了上面参考图4A给出的冗余描述。

参考图4B，图像处理设备200a的处理器220a可以包括被配置为执行对象检测操作的对象检测模块224a。对象检测模块224a可以从图像传感器模块100接收图像数据IDT、光流数据OF和图案密度数据 PD。对象检测模块224a可以基于光流数据OF和/或图案密度数据PD 来对图像数据IDT执行对象检测。对象检测模块224a可以生成关于图像数据IDT的对象信息OI。下面将参考图7至图10详细描述生成对象信息OI的示例方法。

在图4A和图4B中，深度信息模块222以及对象检测模块224和 /或224a中的每一个可以通过固件和/或软件来实现，并且可以被加载到图像处理设备200和/或200a的存储器(未示出)中，然后由处理器220或220a执行。然而，实施例不限于此。深度信息模块222以及对象检测模块224或224a中的每一个可以通过硬件或者软件和硬件的组合来实现。

如上所述，图像传感器模块100可以使用执行计算过程的存储器 120来生成关于图像数据IDT的光流数据OF和图案密度数据PD。图像处理设备200和/或200a可以基于从图像传感器模块100接收的图像数据IDT、光流数据0F和/或图案密度数据PD来执行对象检测。

图5是用于描述根据一些示例实施例的多个图像传感器模块和图像处理设备的操作的框图。图5所示的示例实施例基于图4A的修改实施例。在下文中，省略了上面参考图4A给出的冗余描述。

根据一些示例实施例，可以存在多个图像传感器模块。例如，参考图5，可以存在第一图像传感器模块100_1和第二图像传感器模块 100_2。在示例实施例中，第一图像传感器模块100_1和第二图像传感器模块100_2可以彼此相邻并在彼此相似的方向上捕获图像，并且可以被称为立体相机。例如，第一图像传感器模块100_1可以捕获左眼图像，并且第二图像传感器模块100_2可以捕获右眼图像。

第一图像传感器模块100_1和第二图像传感器模块100_2中的每一个可以与图4A中的图像传感器模块100相同和/或相似。在一些示例实施例中，第一图像传感器模块100_1可以包括第一图像传感器 110_1和第一PIM电路120_1。第一图像传感器110_1可以生成第一图像数据IDT1，并且第一PIM电路120_1可以基于第一图像数据IDT1 生成第一光流数据OF1和第一图案密度数据PD1。

第二图像传感器模块100_2可以包括第二图像传感器110_2和第二PIM电路120_2。第二图像传感器110_2可以生成第二图像数据 IDT2，并且第二PIM电路120_2可以基于第二图像数据IDT2生成第二光流数据OF2和第二图案密度数据PD2。

参考图5，图像处理设备200b的处理器220b可以包括深度信息模块222b和对象检测模块224b。深度信息模块222b可以从第一图像传感器模块100_1和第二图像传感器模块100_2接收第一光流数据 OF1和第二光流数据OF2以及第一图案密度数据PD1和第二图案密度数据PD2，并基于所接收的数据生成深度信息DI。例如，第一光流数据OF1和第一图案密度数据PD1可以对应于左眼图像(例如，第一图像数据IDT1)，而第二光流数据OF2和第二图案密度数据PD2对应于右眼图像(例如，第二图像数据IDT2)。深度信息模块222b可以生成深度信息DI。例如，深度信息模块222b可以确定左眼图像和右眼图像之间的差异，其中，对象离第一图像传感器模块100_1和第二图像传感器模块100_2越远，差异越小。深度信息模块222b可以向对象检测模块224b提供深度信息DI。

对象检测模块224b可以从第一图像传感器模块100_1和/或第二图像传感器模块100_2中的至少一个接收图像数据(例如，第一图像数据IDT1)和/或光流数据(例如，第一光流数据OF1)；以及从深度信息模块222b接收的深度信息DI。对象检测模块224b可以通过基于第一光流数据OF1和深度信息DI对第一图像数据IDT1执行对象检测来生成对象信息OI。

然而，示例实施例不限于此。例如，对象检测模块224b可以从第二图像传感器模块100_2接收第二图像数据IDT2和第二光流数据 OF2以及从深度信息模块222b接收深度信息DI，并执行对象检测。

图6A和图6B是用于描述根据一些示例实施例的根据图像传感器模块的拍摄模式生成光流数据的方法的图。参考图6A和图6B，以下描述包括具有图4A中的光流模块125的图1中的存储器120的PIM 电路124。

在一些示例实施例中，图像传感器模块100可以提供正常拍摄模式和/或连拍模式的功能。在正常拍摄模式下，在参考时间单位内拍摄对象，并生成图像数据。在连拍模式下，可以在参考时间单位内连续多次拍摄对象，并生成多条图像数据。

参考图6A，当图像传感器模块100在正常拍摄模式下操作时，可以在参考时间单位内(例如，每1/60秒)生成图像数据的单个帧。例如，图像传感器(例如，图1的图像传感器110和/或图5的第一图像传感器110_1和第二图像传感器110_2)可以捕获多个帧(例如，至少第一帧(帧1)至第四帧(帧4))，并且PIM电路124可以使用例如第一帧(帧1)至第四帧(帧4)来生成第一光流数据OF1和第二光流数据OF2。

例如，当PIM电路124使用三个帧执行光流检测操作时，PIM电路124可以使用第一帧(帧1)至第三帧(帧3)生成第一光流数据 OF1，并且使用第二帧(帧2)至第四帧(帧4)生成第二光流数据OF2。例如，在一些示例实施例中，PIM电路124生成一条光流数据可能需要六十分之三秒(3/60)秒(例如，1/20秒)。

参考图6B，当图像传感器模块100在连拍模式下操作时，可以在参考时间单位内(例如，每1/60秒)生成多(三)帧图像数据。PIM 电路124可以使用多个帧(例如，第一帧(帧1)至第十二帧(帧12)) 生成第一光流数据OF1至第四光流数据OF4。例如，PIM电路124可以使用三个帧来执行光流检测操作。例如，PIM电路124生成一条光流数据可能需要1/60秒。

如上所述，当图像传感器模块100支持连拍模式的功能时，可以提高光流检测操作的计算速度。此外，随着输入到被训练以执行光流检测操作的神经网络模块的多条图像数据之间的差异减小，神经网络模块(例如，图4A中的光流模块125)可以体现在更简单的结构中。因此，当使用在连拍模式下拍摄的多个帧执行光流检测时，包括更简单结构的图4A中的光流模块125可以被包括在PIM电路124中。

尽管在图6A和图6B的实施例中已经示出和描述了PIM电路124 使用三个帧执行光流检测操作，但是实施例不限于此。例如，PIM电路124可以使用少于或多于三个帧来执行光流检测操作。

图7是示出了根据一些示例实施例的对象检测模块的配置的框图。例如，图7的对象检测模块300可以与图4A、图4B和/或图5中的对象检测模块224、224a和/或224b相同或相似。

参考图7，对象检测模块300可以包括预处理器310、掩模生成器320、掩模单元330、特征提取器340和检测器350。

预处理器310可以接收图像数据IDT并对图像数据IDT进行下采样，以及生成和输出多个金字塔形图像PI。预处理器310可以通过以特定(和/或以其他方式确定的)因子对图像数据IDT的宽度和长度进行下采样来生成第一金字塔形图像，并且可以通过以特定因子对第一金字塔形图像进行下采样来生成第二金字塔形图像。例如，预处理器 310可以生成金字塔形图像PI，其从图像数据IDT导出并且具有从图像数据IDT的大小逐渐减小的大小。

掩模生成器320可以接收深度信息DI，并基于深度信息DI生成 (并输出)用于金字塔形图像PI的多条掩模数据MK。掩模数据MK可以用于对图像中除了有意义区域之外的其余区域进行掩模。

在示例实施例中，每个金字塔形图像PI的有意义区域可以根据分辨率而不同。例如，需要相对较高的分辨率来检测远处的对象，而相对较低的分辨率可能足以检测近处的对象。因此，随着为生成金字塔形图像PI而执行的下采样次数减少(例如，随着分辨率增加)，有意义区域可以包括对应于远处对象的图像区域。相反，随着为生成金字塔形图像PI而执行的下采样次数增加(例如，随着分辨率降低)，有意义区域可以包括对应于近处对象的图像区域。

在示例实施例中，掩模生成器320可以基于深度信息DI识别与每个金字塔形图像PI的分辨率相对应的深度值，并且生成包括深度值的掩模数据MK。例如，掩模生成器320在金字塔形图像PI的分辨率为高时可以识别高深度值，而在金字塔形图像PI的分辨率为低时可以识别低深度值。因此，包括深度值的区域可以与金字塔形图像PI的有意义区域相对应。

备选地，掩模生成器320可以被配置为接收图案密度数据PD而不是深度信息DI，并且基于图案密度数据PD生成和输出用于金字塔形图像PI的掩模数据MK。图案密度具有在对象近时比在对象远时高的特性。因此，高图案密度可以对应于高深度值，而低图案密度可以对应于低深度值。

掩模单元330可以接收金字塔形图像PI和多条掩模数据MK，并且通过将多条掩模数据MK应用于金字塔形图像PI来生成和输出多个经掩模图像IMK。

在一些示例实施例中，掩模单元330可以基于与金字塔形图像PI 相对应的一条掩模数据MK来识别每个金字塔形图像PI的除有意义区域之外的其余区域，并通过对其余区域进行掩模来生成经掩模图像 IMK。

特征提取器340可以接收经掩模图像IMK，并输出针对经掩模图像IMK的多条特征数据FD。例如，特征数据FD可以包括上面参考图2 描述的特征图、类CL和/或识别信号REC。在一些实施例中，特征数据FD可以由各种类型数据构成，各种类型的数据包括每个金字塔形图像PIM和/或图像数据IDT的未掩模区域的特征。

检测器350可以接收多条特征数据FD，基于多条特征数据FD识别和/或检测图像数据IDT中包括的至少一个对象，以及生成包括关于对象的各种信息的对象信息OI。

在一些示例实施例中，检测器350可以附加地接收光流数据OF，并可以基于光流数据OF和多条特征数据FD来检测对象。因为光流数据OF包括关于对象的时序运动的信息，所以检测器350可以通过使用光流数据0F来提高对象检测的准确性。

图8A和图8B是示出了根据一些示例实施例的掩模数据的图。图 8A是示出了基于深度信息DI生成的掩模数据MK的示例图，而图8B 是示出了基于图案密度数据PD生成的掩模数据MK的示例图。

参考图8A，掩模生成器320可以基于深度信息DI来识别分别属于特定深度范围的深度值，并且基于每个深度范围中的深度值来生成多个掩模数据(例如，第一掩模数据MK1至第四掩模数据MK4)之一。

例如，在一些示例实施例中，掩模生成器320可以根据深度信息 DI识别具有相对较高平均值的第一深度范围中的第一深度值，并且生成包括第一深度值的第一掩模数据MK1。掩模生成器320可以根据深度信息DI识别具有比第一深度范围低的平均值的第二深度范围中的第二深度值，并且生成包括第二深度值的第二掩模数据MK2。掩模生成器320可以根据深度信息DI识别具有比第二深度范围低的平均值的第三深度范围中的第三深度值，并且生成包括第三深度值的第三掩模数据MK3。掩模生成器320可以根据深度信息DI识别具有比第三深度范围低的平均值的第四深度范围中的第四深度值，并且生成包括第四深度值的第四掩模数据MK4。

参考图8B，掩模生成器320可以基于图案密度数据PD来识别分别属于特定密度范围的密度值，并基于每个密度范围中的密度值来生成第一掩模数据MK1至第四掩模数据MK4之一。

例如，在一些示例实施例中，掩模生成器320可以根据图案密度数据PD识别具有相对较高平均值的第一密度范围中的第一密度值，并且生成包括第一密度值的第一掩模数据MK1。掩模生成器320可以根据图案密度数据PD识别具有比第一密度范围低的平均值的第二密度范围中的第二密度值，并且生成包括第二密度值的第二掩模数据MK2。掩模生成器320可以根据图案密度数据PD识别具有比第二密度范围低的平均值的第三密度范围中的第三密度值，并且生成包括第三密度值的第三掩模数据MK3。掩模生成器320可以根据图案密度数据PD识别具有比第三密度范围低的平均值的第四密度范围中的第四密度值，并且生成包括第四密度值的第四掩模数据MK4。

图9是用于描述根据一些示例实施例的生成经掩模图像的操作的图。

参考图9，可以通过将第一掩模数据MK1至第四掩模数据MK4分别应用于第一金字塔形图像PI1至第四金字塔形图像P14来生成第一经掩模图像IMK1至第四经掩模图像IMK4。例如，掩模单元330可以基于第一掩模数据MK1至第四掩模数据MK4中的对应一个掩模数据来对第一金字塔形图像PI1至第四金字塔形图像PI4中的每一个金字塔形图像的除了其有意义区域之外的其余区域进行掩模。

在一些示例实施例中，可以根据第一金字塔形图像PI1至第四金字塔形图像PI4中的每一个金字塔形图像的分辨率来应用第一掩模数据MK1至第四掩模数据MK4。例如，掩模单元330可以将由平均值高的深度值(和/或密度值)构成的第一掩模数据MK1应用于具有高分辨率的第一金字塔形图像PI1。掩模单元330可以将由平均值低的深度值(和/或密度值)构成的第四掩模数据MK4应用于具有低分辨率的第四金字塔形图像PI4。

第一经掩模图像[MK1由与第一金字塔形图像PI1的一部分相对应的第一区域C1构成，第二经掩模图像IMK2由与第二金字塔形图像 PI2的一部分相对应的第二区域C2构成，第三经掩模图像IMK3由与第三金字塔形图像PI3的一部分相对应的第三区域C3构成，并且第四经掩模图像IMK4由与第四金字塔形图像PI4的一部分相对应的第四区域C4构成。第一区域C1至第四区域C4中的每一个可以对应于第一金字塔形图像PI1至第四金字塔形图像PI4中的对应一个金字塔形图像的未由第一掩模数据MK1至第四掩模数据MK4中的对应一个掩模数据进行掩模的部分。

图10是用于描述根据一些示例实施例的特征提取器340和检测器350的操作的图。

参考图10，特征提取器340可以包括第一特征提取器340_1至第四特征提取器340_4。第一特征提取器340_1至第四特征提取器340_4 可以分别接收第一经掩模图像IMK1至第四经掩模图像IMK4，并生成 (和输出)关于第一经掩模图像IMK1至第四经掩模图像IMK4的第一特征数据FD1至第四特征数据FD4。

例如，第一特征提取器340_1可以基于第一经掩模图像IMK1生成第一特征数据FD1，第二特征提取器340_2可以基于第二经掩模图像IMK2生成第二特征数据FD2，第三特征提取器340_3可以基于第三经掩模图像IMK3生成第三特征数据FD3，并且第四特征提取器340_3 可以基于第四经掩模图像IMK4生成第四特征数据FD4。尽管示出和描述了第一特征提取器340_1至第四特征提取器340_4是分开的，但是实施例不限于此。

在一些示例实施例中，检测器350可以分别从第一特征提取器 340_1至第四特征提取器340_4接收第一特征数据FD1至第四特征数据FD4，并基于第一特征数据FD1至第四特征数据FD4来执行对象检测。

图11是根据一些示例实施例的存储器的一部分的框图。图11的存储器400可以对应于图l中的存储器120(和/或被包括在图l中的存储器120中)。

参考图11，存储器400可以包括存储体组410、处理元件组420 和本地总线430。在一些示例实施例中，存储体组410可以包括多个存储体(例如，第一存储体(存储体1)至第四存储体(存储体4))，并且处理元件组420可以包括分别对应于多个存储体的多个处理元件(例如，第一处理元件PE1至第四处理元件PE4)。处理元件组420还可以包括独立于存储体组410的第五处理元件PE5。

在一些示例实施例中，第一存储体(存储体1)至第四存储体(存储体4)可以根据它们之间的对应关系连接到第一处理元件PE1至第四处理元件PE4。例如，参考图11，第一存储体(存储体1)可以连接到第一处理元件PE1，第二存储体(存储体2)可以连接到第二处理元件PE2，第三存储体(存储体3)可以连接到第三处理元件PE3，第四存储体(存储体4)可以连接到第四处理元件PE4等。

在存储器400的存储操作中，存储体组410可以存储通过本地总线430发送的数据。在一些示例实施例中，存储器400可以从图1中的图像传感器110接收图像数据，并且第一存储体(存储体1)至第四存储体(存储体4)中的至少一个可以存储图像数据的至少一部分。例如，图像数据可以被划分为特定大小，并存储在第一存储体(存储体1)至第四存储体(存储体4)中的至少一个中。

在存储器400的计算操作中，处理元件组420中的一些处理元件(例如，第一处理元件PE1至第四处理元件PE4)中的每一个可以基于存储体组410中与其相对应的存储体中存储的数据来执行计算操作。

例如，参考图11，第一处理元件PE1可以基于第一存储体(存储体1)中存储的数据执行计算操作，第二处理元件PE2可以基于第二存储体(存储体2)中存储的数据执行计算操作，第三处理元件PE3 可以基于存储在第三存储体(存储体3)中的数据执行计算操作，并且第四处理元件PE4可以基于存储在第四存储体(存储体4)中的数据执行计算操作。此时，第一处理元件PE1至第四处理元件PE4可以并行执行计算操作。例如，在一些示例实施例中，第一处理元件PE1 至第四处理元件PE4中的每一个处理元件可以基于对应存储体中存储的图像数据来执行神经网络计算中的卷积计算，但是示例实施例不限于此。

在一些示例实施例中，处理元件组420中独立于存储体组410的处理元件(例如，第五处理元件PE5)可以基于上述处理元件的计算结果来执行计算操作。例如，第五处理元件PE5可以基于第一处理元件PE1至第四处理元件PE4的计算结果来执行神经网络计算中的池化计算，但是示例实施例不限于此。第五处理元件PE5可以通过本地总线430接收第一处理元件PE1至第四处理元件PE4的计算结果，并基于计算结果执行池化计算。

在一些示例实施例中，处理元件组420的计算结果可以存储在存储体组410中。例如，第一处理元件PE1至第四处理元件PE4的计算结果可以分别存储在第一存储体(存储体1)至第四存储体(存储体4) 中。第五处理元件PE5的计算结果可以存储在第一存储体(存储体1) 至第四存储体(存储体4)中的至少一个中。

处理元件组420的计算结果的存储位置不限于上述位置，并且可以独立于处理元件与存储体之间的对应关系来设置。例如，第一处理元件PE1的计算结果可以通过本地总线430发送并存储在第二存储体 (存储体2)中。

尽管在图11的实施例中示出了第一存储体(存储体1)至第四存储体(存储体4)分别连接到第一处理元件PE1至第四处理元件PE4，但是实施例不限于此。例如，第一存储体(存储体1)至第四存储体 (存储体4)中的至少一个存储体可以被配置为不连接到处理元件的独立存储体。

独立存储体中存储的数据也可以通过本地总线430发送到第一处理元件PE1至第四处理元件PE4。在一些示例实施例中，第一处理元件PE1至第四处理元件PE4可以通过本地总线430从独立存储体接收数据，并立即执行计算过程。备选地，独立存储体的数据可以通过本地总线430存储在与第一处理元件PE1至第四处理元件PE4连接的第一存储体(存储体1)至第四存储体(存储体4)中，并且第一处理元件PE1至第四处理元件PE4可以从第一存储体(存储体1)至第四存储体(存储体4)读取独立存储体的数据并执行计算过程。

为了执行上述计算操作，图1中的控制逻辑126可以基于地址信息和计算顺序信息来控制图1中的存储体122和图1中的PIM电路 124。例如，控制逻辑126可以基于关于独立存储体的地址信息从独立存储体读取数据，并将数据发送到第一处理元件PE1。第一处理元件PE1也可以被设置为对从第一存储体(存储体1)读取的第一图像数据执行计算过程。因此，控制逻辑126可以基于计算顺序信息，在对从第一存储体(存储体1)读取的第一图像数据执行计算操作之前或之后，控制第一处理元件PE1(例如，对独立存储体的数据执行计算过程)。

在图11的实施例中，存储体组410中包括的存储体的数量和处理元件组420中包括的处理元件的数量仅是示例，并且实施例不限于此。可以包括更少或更多的存储体和/或处理元件。

尽管在图11的实施例中示出和描述了存储器400包括执行池化计算的处理元件，例如图11中的第五处理元件PE5，但是实施例不限于此。例如，存储器400可以不包括执行(和/或专用于执行)池化计算的处理元件。

图12是示出了根据一些示例实施例的存储器结构的框图。图12 的存储器500可以与图1的存储器120和/或图11的存储器400相对应。图12示出了在存储器500中彼此连接的存储体和处理元件的结构，并且可以应用于例如图11中的第一存储体(存储体1)和第一处理元件PE1的结构。

参考图12，存储器500可以包括存储单元阵列510、地址缓冲器 520、行解码器530、列解码器540、读出放大器550、输入/输出(I/O) 选通电路560、处理元件570、数据I/O电路580和控制逻辑590。

存储单元阵列510可以包括以行和列的矩阵布置的多个存储单元。存储单元阵列510可以包括多条字线WL和多条位线BL，其中，字线WL和位线BL连接到存储单元。例如，每条字线WL可以连接到一行存储单元，而每条位线BL可以连接到一列存储单元。

地址缓冲器520接收地址ADDR。地址ADDR包括对存储单元阵列 510的行进行寻址的行地址RA和对存储单元阵列510的列进行寻址的列地址CA。地址缓冲器520可以将行地址RA发送到行解码器530，并将列地址CA发送到列解码器540。

行解码器530可以选择连接到存储单元阵列510的字线WL之一。行解码器530可以对从地址缓冲器520接收的行地址RA进行解码，选择对应于行地址RA的字线WL，以及激活字线WL。

列解码器540可以选择存储单元阵列510的一些位线BL。列解码器540可以通过对从地址缓冲器520接收的列地址CA进行解码来生成列选择信号，并且通过I/0选通电路560选择对应于列选择信号的位线BL。

读出放大器550可以连接到存储单元阵列510的位线BL。读出放大器550可以感测位线BL的电压变化，并放大(和输出)电压变化。由读出放大器550感测和放大的位线BL可以通过I/O选通电路560 来选择。

I/O选通电路560可以包括存储由列选择信号选择的位线BL的数据的读取数据锁存器，以及将数据写入存储单元阵列510的写入驱动器。读取数据锁存器中存储的数据可以通过数据I/O电路580提供给数据焊盘DQ。通过数据焊盘DQ提供给数据I/0电路580的数据可以通过写入驱动器写入存储单元阵列510。数据焊盘DQ可以与存储器500 的本地总线(例如，图11中的本地总线430)连接。

处理元件570可以在I/0选通电路560和数据I/0电路580之间。处理元件570可以基于从存储单元阵列510读取的数据或从数据I/0 电路580接收的数据来执行计算操作。数据I/0电路580和处理元件 570可以包括以下(和/或被包括在以下中)：包括逻辑电路的硬件；硬件/软件组合，例如执行软件的处理器；和/或二者的组合。例如，处理元件570可以包括以下和/或者被包括以下中：算术逻辑单元 (ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、以及可编程逻辑单元、微处理器、专用集成电路(ASIC)等，。处理元件570可以将计算结果写入存储单元阵列510，和/或通过数据I/O电路580将计算结果提供给数据焊盘I)Q。

控制逻辑590可以接收时钟信号CLK(和/或命令CMD)，并生成用于控制存储器500的操作时序、存储器操作和/或计算操作的控制信号CTRLS。控制逻辑590可以使用控制信号CTRLS从存储单元阵列510 读取数据并将数据写入存储单元阵列510。控制逻辑590还可以使用控制信号CTRLS来控制处理元件570执行计算过程。

尽管在图12的实施例中示出和描述了控制逻辑590控制存储器 500的存储器操作和计算操作，但是示例实施例不限于此。例如，存储器500可以包括单独元件，例如处理控制器，其生成用于控制存储器500的计算操作的控制信号。

在图12的实施例中示出和描述了存储器500包括处理元件570，但是示例实施例不限于此。例如，当没有处理元件连接到存储体时，可以从图12的实施例中省略处理元件570。

图13是示出了根据一些示例实施例的存储器结构的详细示图。详细地，图13是示出了图12的存储器500的结构的详细示图。在下文中，省略了上面参考图12给出的冗余描述。

参考图12和图13，存储器500还可以包括与计算操作相关的各种元件。例如，处理元件570可以包括分别与存储单元阵列510的多条位线BL1至BLK相对应的ALU。

每个ALU可以包括多个乘法电路(例如，第一至第三乘法电路MC1、 MC2和MC3)和多个加法电路(第一加法电路AC1和第二加法电路AC2)。例如，多个乘法电路(例如，第一至第三乘法电路MC1、MC2和MC3) 可以分别对权重和从对应位线和相邻位线读取的多条数据执行乘法，并输出多个乘法结果。

例如，参考图13，第二乘法电路MC2可以对第二权重和从对应于 ALU的位线读取的数据执行乘法，并输出第二乘法结果。第一乘法电路MC1可以对第一权重和从对应位线的左侧的位线读取的数据执行乘法，并输出第一乘法结果。第三乘法电路MC3可以对第三权重和从对应位线的右侧的位线读取的数据执行乘法，并输出第三乘法结果。在一些示例实施例中，第一权重至第三权重可以彼此相同或不同。从对应位线和相邻位线读取的数据可以对应于通过读出放大器550存储在读取数据锁存器(锁存器1)中的数据。

第一加法电路AC1可以对第一至第三乘法电路MC1、MC2和MC3 的第一至第三乘法结果执行加法，并输出第一加法结果。第二加法电路AC2可以对第一加法结果和从对应位线读取的数据执行加法，并输出第二加法结果。此时，从对应位线读取的数据可以对应于不通过读出放大器550和读取数据锁存器(锁存器1)而从存储单元阵列510 发送的数据。

如上所述，使用ALU的计算操作使用从相邻位线接收的数据以及与ALU相对应的位线的数据来执行，并且因此可以应用于卷积计算。上述方法可以扩展到从位线接收数据的实施例，该位线与对应位线相邻并且被包括在彼此不同的存储体中。

在一些示例实施例中，在第一存储体(存储体1)或第二存储体 (存储体2)的多个ALU中位于彼此相邻的第一存储体(存储体1)和第二存储体(存储体2)中的每一个存储体的边缘的ALU可以通过数据线与位于相邻存储体的边缘的ALU连接。例如，第一存储体(存储体1)的右边缘的ALU可以通过数据线与第二存储体(存储体2)的左边缘的ALU连接。数据线可以将每个ALU的第一(或第三)乘法电路 MC1(或MC3)连接到相邻的位线。

数据I/O电路580可以包括存储从第二加法电路AC2输出的第二加法结果的经计算数据锁存器(锁存器2)，以及选择要提供给数据焊盘DQ的数据的数据选择器。经计算数据锁存器(锁存器2)可以存储从第二加法电路AC2输出的第二加法结果。在一些示例实施例中，数据选择器可以包括至少一个多路复用器。

尽管图12和图13示出了彼此连接的存储体和处理元件的结构，但是示例实施例不限于此。例如，当存储体没有连接到处理元件时，可以省略图12和图13中的处理元件570和数据I/O电路580的经计算数据锁存器(锁存器2)。

图14是根据一些示例实施例的图像传感器模块的操作方法的流程图。例如，可以使用图1中的图像传感器模块100来执行图14的操作方法。

参考图1和图14，在操作S100中，图像传感器模块100可以(例如通过图像传感器110)获得图像数据。在操作S200中，图像传感器模块100可以存储图像数据(例如，将图像数据存储在存储器120的多个存储体中)。在一些示例实施例中，图像传感器模块100可以将图像数据划分为多个图像区域，并将图像区域存储在多个存储体中。例如，图像传感器模块100可以将图像数据的第一图像区域存储在第一存储体中，并且将图像数据的第二图像区域存储在第二存储体中。

在操作S300中，图像传感器模块100可以使用存储器120的处理元件来生成关于图像数据的光流数据。在操作S400中，图像传感器模块100还可以使用存储器120的处理元件来生成关于图像数据的图案密度数据。在一些示例实施例中，生成光流数据和/或图案密度数据可以对应于基于神经网络的计算处理操作。

在操作S500中，图像传感器模块100可以输出图像数据、光流数据和图案密度数据。在一些示例实施例中，图像传感器模块100可以将图像数据、光流数据和图案密度数据输出到图像处理设备200。图像处理设备200可以基于光流数据和图案密度数据对图像数据执行对象检测。

图15是图像传感器模块的分解透视图，并且图16是图像传感器模块的平面图。参考图15和图16，图像传感器模块100a可以具有第一芯片CH1、第二芯片CH2和第三芯片CH3的堆叠结构。图1中的图像传感器110的像素阵列中包括的多个像素中的每一个像素的像素核心(例如，至少一个光电转换元件和像素电路)可以形成在第一芯片 CH1中。包括逻辑电路(例如，行驱动器、读出电路、斜坡发生器和/ 或时序控制器)的驱动和读取电路可以形成在第二芯片CH2中。图1 中的存储器120可以形成在第三芯片CH3中。第一至第三芯片CH1、 CH2和CH3可以通过连接构件或穿通孔彼此电连接。然而，示例实施例不限于此。例如，图像传感器模块100a可以在单个半导体芯片中实现。

如图16所示，第一至第三芯片CH1、CH2和CH3可以分别在其中央部分包括像素阵列、逻辑电路和图1中的存储器120，并且每个芯片在其外部边缘包括外围区域。

沿第三方向(例如，Z方向)延伸的穿通孔TV可以布置在第一至第三芯片CHI、CH2和CH3中的每一个芯片的外围区域中。第一芯片 CH1可以通过穿通孔TV电耦合到第二芯片CH2。沿第一方向(例如，X 方向)或第二方向(例如，Y方向)延伸的布线可以形成在第一至第三芯片CH1、CH2和CH3中的每一个芯片的外围区域中。

图17是根据一些示例实施例的电子设备的框图。

参考图17，电子设备1000可以包括应用处理器1100、相机模块 1200、工作存储器1300、存储装置1400、显示设备1600、用户接口 1700和无线收发机1500。

应用处理器1100可以包括片上系统(SoC)，其通常控制电子设备1000的操作并运行应用程序、操作系统等。应用处理器1100可以将从相机模块1200接收的图像数据提供给显示设备1600，和/或将图像数据存储在存储装置1400中。

参考图1至图16描述的图像传感器模块100可以应用于相机模块1200。相机模块1200可以包括执行计算过程的存储器1210。存储器1210可以使用PIM电路对存储器1210的存储体中存储的图像数据执行计算处理(例如，图案密度检测和光流检测)。

(参考图1至图16描述的)处理器220、220a和/或220b可以应用于应用处理器1100。应用处理器1100可以从相机模块1200接收图像数据和计算数据(例如，图案密度数据和光流数据)，并且基于计算数据对图像数据执行附加计算处理(例如，对象检测)。在示例实施例中，当电子设备1000是自主载具时，应用处理器1100可以基于通过执行对象检测而获得的对象信息来控制自主载具的驱动单元。

工作存储器1300可以包括易失性存储器(例如，DRAM或静态RAM (SRAM))和/或非易失性电阻存储器(例如，FeRAM、RRAM和/或PRAM)。工作存储器1300可以存储由应用处理器1100处理或执行的程序和/ 或数据。

存储装置1400可以包括非易失性存储器，例如NAND闪存和/或电阻存储器。例如，存储装置1400可以被提供为存储卡，例如多媒体卡(MMC)、嵌入式MMC(eMMC)、安全数字(SI))卡和/或微型SD卡。存储装置1400可以存储从相机模块1200接收的图像数据、或由应用处理器1100处理或生成的数据。

用户接口1700可以包括可以接收用户输入的各种设备，例如键盘、按钮面板、触摸面板、指纹传感器和麦克风。用户接口1700可以接收用户输入，并将对应于用户输入的信号提供给应用处理器1100。尽管显示设备1600和用户接口1700被示出为分开的，但是在一些实施例中，显示设备1600和用户接口1700可以至少部分地合并。例如，显示设备1600和用户接口1700可以是(和/或包括)触摸屏。

无线收发机1500可以包括收发机1510、调制解调器1520和天线 1530。

尽管已参考本发明构思的实施例具体示出和描述了本发明构思，但是应当理解，在不脱离所附权利要求的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (20)

1.一种图像传感器模块，包括：

图像传感器，被配置为生成图像数据；以及

存储器，至少包括存储所述图像数据的存储体和存储器中处理器PIM电路，所述PIM电路包括多个处理元件，并且所述存储器被配置为：

从所述存储体中读取所述图像数据，

使用所述多个处理元件来生成光流数据和图案密度数据，所述光流数据指示所述图像数据中包括的至少一个对象的时序运动，并且所述图案密度数据指示所述图像数据的图案的密度；以及

输出所述图像数据、所述光流数据和所述图案密度数据。

2.根据权利要求1所述的图像传感器模块，其中，所述PIM电路包括：

第一处理元件，被配置为生成所述光流数据；以及

第二处理元件，被配置为生成所述图案密度数据。

3.根据权利要求2所述的图像传感器模块，其中，所述PIM电路包括神经网络模块，所述神经网络模块包括所述第一处理元件和所述第二处理元件。

4.根据权利要求1所述的图像传感器模块，其中，所述存储器还包括：

本地总线，被配置为在所述存储体与所述多个处理元件之间传输数据。

5.根据权利要求1所述的图像传感器模块，其中：

所述图像传感器模块被配置为在正常拍摄模式或连拍模式中的至少一种模式下操作，

所述正常拍摄模式在参考时间单位中生成图像数据帧，以及

所述连拍模式在所述参考时间单位中生成连续图像数据的多个帧。

6.根据权利要求5所述的图像传感器模块，其中：

所述图像传感器模块还被配置为在所述连拍模式下生成所述连续图像数据，以及

所述存储器还被配置为基于所述连续图像数据生成所述光流数据。

7.一种图像处理系统，包括：

图像传感器模块；以及

图像处理设备，

所述图像传感器模块包括：

图像传感器，被配置为生成图像数据，以及

存储器，被配置为使用存储器中处理器P|M电路来生成光流数据和图案密度数据，所述光流数据指示所述图像数据中包括的至少一个对象的时序运动，并且所述图案密度数据指示所述图像数据的图案的密度，以及

所述图像处理设备被配置为：基于所述图像数据、所述光流数据和所述图案密度数据来对所述图像数据执行对象检测。

8.根据权利要求7所述的图像处理系统，其中：

所述图像处理设备还被配置为基于所述光流数据和所述图案密度数据来生成深度信息，以及

所述深度信息指示所述图像传感器模块与所述图像数据中包括的所述至少一个对象之间的距离。

9.根据权利要求8所述的图像处理系统，其中，所述图像处理设备还被配置为：使用所述深度信息和所述图像数据来对所述图像数据执行所述对象检测。

10.根据权利要求9所述的图像处理系统，其中，所述图像处理设备包括神经网络模块，所述神经网络模块被训练以基于所述光流数据和所述图案密度数据来生成所述深度信息。

11.根据权利要求9所述的图像处理系统，其中，所述图像处理设备包括神经网络模块，所述神经网络模块被训练以基于所述深度信息和所述图像数据来执行所述对象检测。

12.根据权利要求9所述的图像处理系统，其中，所述图像处理设备还被配置为：

基于所述图像数据来生成多个金字塔形图像，所述多个金字塔形图像具有彼此不同的分辨率；

生成关于所述多个金字塔形图像的多条特征数据；以及

基于所述多条特征数据来对所述图像数据执行所述对象检测。

13.根据权利要求12所述的图像处理系统，其中，所述图像处理设备还被配置为：

基于所述深度信息来生成分别对应于所述多个金字塔形图像的多条掩模数据，

通过将所述多条掩模数据应用于所述多个金字塔形图像来生成多个经掩模图像，以及

基于所述多个经掩模图像来生成所述多条特征数据。

14.根据权利要求13所述的图像处理系统，其中，所述图像处理设备还被配置为：

根据所述深度信息识别深度值，所述深度值对应于所述多个金字塔形图像中的每一个金字塔形图像的分辨率；以及

基于所述深度值来生成掩模数据。

15.根据权利要求9所述的图像处理系统，其中

所述图像传感器模块还包括第一图像传感器模块和第二图像传感器模块，

所述第一图像传感器模块被配置为生成第一图像数据、第一光流数据和第一图案密度数据，以及

所述第二图像传感器模块被配置为生成第二图像数据、第二光流数据和第二图案密度数据。

16.根据权利要求15所述的图像处理系统，其中，所述图像处理设备还被配置为：基于所述第一光流数据和所述第二光流数据以及所述第一图案密度数据和所述第二图案密度数据来生成所述深度信息。

17.根据权利要求16所述的图像处理系统，其中，所述图像处理设备还被配置为：基于所述深度信息来对所述第一图像数据或所述第二图像数据执行所述对象检测。

18.根据权利要求7所述的图像处理系统，其中，所述PIM电路包括：

第一处理元件，被配置为生成所述光流数据；以及

第二处理元件，被配置为生成所述图案密度数据。

19.根据权利要求18所述的图像处理系统，其中，所述P|M电路包括：

神经网络模块，以及

其中，所述神经网络模块包括所述第一处理元件和所述第二处理元件。

20.一种包括图像传感器和存储器的模块的操作方法，所述操作方法包括：

使用所述图像传感器获得图像数据；

将所述图像数据存储在所述存储器中包括的多个存储体中；

使用所述存储器中包括的处理元件来生成关于所述图像数据的光流数据；

使用所述存储器中包括的处理元件来生成关于所述图像数据的图案密度数据；以及

输出所述图像数据、所述光流数据和所述图案密度数据。

Images