CN114128252A - 摄像设备及其控制方法 - Google Patents

Abstract

与本实施例相关的摄像设备包括：检测部件，用于获取通过分割具有以二维图案布置的多个像素的摄像面而获得的多个区域中的各个区域的像素信号，并且在多个区域中检测被摄体图像已改变的区域；确定部件，用于确定摄像模式；以及控制部件，用于进行控制，以响应于检测部件检测到被摄体图像已改变的区域，在确定部件所确定的摄像模式下进行摄像，并输出拍摄图像，其中，确定部件通过基于检测部件所检测到的被摄体图像已改变的区域而选择第一摄像模式或第二摄像模式来确定摄像模式，第一摄像模式是输出由第一像素数量的像素信号构成的图像的模式，第二摄像模式是输出由比第一像素数量小的第二像素数量的像素信号构成的图像的模式。

Description

摄像设备及其控制方法

技术领域

本发明涉及摄像设备及其控制方法。

背景技术

传统上，摄像设备已被用于通过使用图像来观察和监视对象。作为用于这种目的的摄像设备，已知以预定时间间隔拍摄和记录帧图像的设备、以及响应于根据连续帧之间的亮度值的差分而检测到被摄体图像的变化来开始摄像和记录的设备。

专利文献1公开了如下技术：在与进行摄像和记录的通常摄像模式不同的驱动模式下，通过使用通过摄像装置的各分割块中的像素相加而获得的输出来检测被摄体图像的变化，并且减少与该检测相关的图像信息的信息处理量，以降低功耗。

专利文献2公开了如下技术：检测正被拍摄的图像中的被摄体图像的变化，并在检测到的变化量小于预定阈值时进行像素相加或间隔剔除处理，以减少在未检测到期望的变化量时的图像处理的处理负荷。

引用列表

专利文献

专利文献1：日本特开2018-22935

专利文献2：日本特开2006-215260

发明内容

技术问题

当发生被摄体图像的变化时，专利文献1中公开的固态摄像装置从对多个像素的信号进行相加的模式转变为以一个像素为单位输出像素的信号而不对像素进行相加的通常摄像模式。即，固态摄像装置输出由被摄体图像变化之后的各像素构成的、包括最大量的信号的图像。因此，作为用于识别被摄体的图像(例如，位于附近的被摄体图像)，输出图像可能是不必要的详细图像。在专利文献1中公开的技术中，可以在被摄体图像改变之前降低功耗，但是没有考虑在被摄体图像改变之后降低功耗。

在专利文献2中公开的显微镜系统中，通过摄像单元(即，摄像装置)外部的图像处理单元或像素数转换器来进行被摄体图像的变化的检测和相加处理。即，摄像单元总是输出大量像素信号的图像，而没有考虑降低摄像单元自身的功耗。

鉴于上述问题而做出的本发明的目的是实现如下技术，该技术能够在响应于检测到被摄体图像的变化而进行摄像的摄像设备中，在检测到被摄体图像的变化之后的操作中降低功耗。

解决问题的技术手段

为了解决这些问题，例如，本发明的摄像设备具有如下配置。即，一种摄像设备，其特征在于，包括：检测部件，用于获取通过分割具有以二维图案布置的多个像素的摄像面而获得的多个区域中的各个区域的像素信号，并且在所述多个区域中检测被摄体图像已改变的区域；确定部件，用于确定摄像模式；以及控制部件，用于进行控制，以响应于所述检测部件检测到所述被摄体图像已改变的区域，在所述确定部件所确定的摄像模式下进行摄像，并输出拍摄图像，其中，所述确定部件通过基于所述检测部件所检测到的所述被摄体图像已改变的区域而选择第一摄像模式或第二摄像模式来确定摄像模式，所述第一摄像模式是输出由第一像素数量的像素信号构成的图像的模式，所述第二摄像模式是输出由比所述第一像素数量小的第二像素数量的像素信号构成的图像的模式。

本发明的有利效果

根据本发明，响应于检测到被摄体图像的变化而进行摄像的摄像设备能够在检测到被摄体图像的变化之后的操作期间降低功耗。

通过以下结合附图的描述，本发明的其他特征和优点将更加清楚。注意，遍及附图，相同的附图标记表示相同或相似的组件。

附图说明

包含在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且与文字说明一起用来说明本发明的原理。

图1是示出作为根据本实施例的摄像设备的示例的数字照相机的功能配置示例的框图。

图2是示出根据本实施例的摄像装置的功能配置示例的框图。

图3是示出根据本实施例的像素单元的配置示例的图。

图4是示出根据本实施例的像素块的配置示例的图。

图5是示出根据本实施例的事件检测单元的功能配置示例的框图。

图6A是示出根据本实施例的摄像面上的被摄体图像的示例的示意图。

图6B是示出本实施例中的当拍摄被摄体图像时从各像素块输出的图像的示例的示意图。

图7A是示出根据本实施例的摄像面上的被摄体图像的另一示例的示意图。

图7B是示出本实施例中的当拍摄被摄体图像时从各像素块输出的图像的另一示例的示意图。

图8A是示出根据本实施例的摄像面上的被摄体图像的另一示例的示意图。

图8B是示出本实施例中的当拍摄被摄体图像时从各像素块输出的图像的另一示例的示意图。

图9是示出根据本实施例的摄像装置在检测模式下的操作示例的时序图。

图10是示出根据本实施例的摄像装置在4K模式下的操作示例的时序图。

图11是示出根据本实施例的摄像装置在FullHD(全高清)模式下的操作示例的时序图。

图12是示出与根据本实施例的摄像装置的摄像模式控制相关的一系列操作的流程图。

图13A是示出由层叠结构实现的根据本实施例的摄像装置的示例的图。

图13B是示出由层叠结构实现的根据本实施例的摄像装置的示例的图。

图13C是示出由层叠结构实现的根据本实施例的摄像装置的示例的图。

具体实施方式

第一实施例

下文中将参照附图详细描述实施例。注意，以下实施例并不意图限制本发明的范围。在实施例中描述了多个特征，但并不限于需要所有这些特征的发明，而是可以适当组合这些特征。此外，在附图中，对相同或相似的配置赋予相同的附图标记，并将省略其冗余描述。

现在将描述使用如下数字照相机的示例作为摄像设备的示例，该数字照相机能够在通过使用能够检测被摄体图像的变化的摄像装置而检测到被摄体图像的变化之后记录拍摄图像。然而，本实施例不仅适用于数字照相机，还适用于能够在通过使用能够检测被摄体图像的变化的摄像装置检测到被摄体图像的变化之后记录拍摄图像的其他设备。这样的设备可以包括例如个人计算机、包括智能电话的便携式电话、游戏机、平板终端、医疗装置、监视系统和车载系统。

数字照相机的配置

图1是示出作为本实施例的摄像设备的示例的数字照相机的功能配置示例的框图。图1所示的一个或多个功能块可以由诸如ASIC或可编程逻辑阵列(PLA)的硬件来实现，或者可以通过诸如CPU或MPU的可编程处理器执行软件来实现。另选地，这些功能块可以通过软件和硬件的组合来实现。因此，在以下描述中，即使当不同的功能块被描述为操作主体时，也可以将相同的硬件实现为主体。

摄像镜头101构成摄像光学系统并将来自被摄体的光会聚到摄像装置200。摄像装置200包括例如互补金属氧化物半导体(CMOS)图像传感器，并对通过摄像镜头101入射的光进行光电转换。摄像装置200通过下面描述的AD转换电路对光电转换的信号进行模数转换，以输出以像素为单位的图像信号。摄像装置200具有如下控制功能：根据来自内部像素单元的输出值的变化量和变化区域的检测结果，来选择和改变摄像装置200自身的驱动控制。摄像装置200具有例如通常摄像模式和检测模式作为其操作模式。

在通常摄像模式下，摄像装置200输出像素信号作为用于记录的拍摄图像，而在检测模式下，摄像装置200根据检测到被摄体图像的变化来选择和改变摄像模式。尽管将在下面描述细节，但是该控制功能使得能够在摄像装置200内部检测被摄体的变化，并根据被摄体的变化控制合适的摄像模式。摄像模式包括例如用于输出由3840×2160像素组成的图像信号的4K模式、以及用于输出由1920×1080像素组成的图像信号的FullHD模式。

图像处理单元102对从摄像装置200输出的图像信号进行各种类型的校正(诸如滤波)和数字图像处理(诸如压缩)。图像处理单元102还根据各模式，对以4K模式、FullHD模式等拍摄的图像信号进行图像处理，诸如调整大小。

控制单元103包括例如一个或多个处理器，诸如中央处理单元(CPU)。控制单元103通过在存储器104中加载和执行记录在下述记录单元105中的程序，来综合控制包括图像处理单元102、显示单元106等的整个数字照相机100的操作。控制单元103控制摄像装置200的驱动定时，并且还根据来自用户的操作指令选择的摄像模式(诸如静止图像模式、FullHD模式或4K模式)，来控制数字照相机100的驱动。在本实施例中，由于摄像装置200具有用于根据检测到被摄体的变化来选择和改变摄像模式的检测模式，因此控制单元103还进行控制以允许摄像装置200在检测模式下操作。

存储器104例如是易失性存储器，诸如SDRAM。存储器104临时存储从图像处理单元102输出的图像信号、控制单元103的处理所需的数据等。记录单元105包括例如非易失性记录介质(诸如半导体存储器或磁盘)，并且记录和保持从图像处理单元102输出的图像信号(即，拍摄图像)。

显示单元106包括例如显示装置(诸如液晶显示器或有机EL显示器)，并显示拍摄图像或从记录单元105读取的图像。显示单元106还显示操作画面、设置画面等以供用户操作和设置数字照相机100。

操作单元107包括例如用于输入与摄像相关的各种操作的开关，诸如电源按钮、快门按钮和用于指示运动图像的记录开始和停止的按钮。操作单元107包括例如菜单显示按钮、输入按钮、其他光标键和触摸屏。当操作单元107从用户接收到对这些键和按钮的操作时，控制单元103根据操作内容控制数字照相机100的组件。

摄像装置200的配置

现在将参照图2更详细地描述根据本实施例的摄像装置200的功能配置示例。摄像装置200包括像素单元220，在像素单元220中，多个像素以矩阵(即，二维图案)布置。摄像装置200具有如下功能：输出由以像素单元220的像素为单位输出的像素信号组成的图像信号、以及由通过以像素块(通过以预定方式分割像素单元220的平面而获得的块)为单位将多个像素的信号相加而获得的像素信号组成的图像信号。

针对各像素列或作为如下所述的像素块单位的各块列，通过AD转换电路212对从像素单元220输出的像素信号进行模数转换。然后通过水平扫描电路213的驱动，将转换后的像素信号顺次传输到事件检测单元214。

事件检测单元214根据来自进行摄像装置200的驱动模式控制的模式控制单元216的控制信号，从输入像素信号中检测预定事件或将输入像素信号直接输出到信号处理单元215。即，事件检测单元214用作检测部件，该检测部件用于在以像素块为单位输入的像素信号中检测多个像素块中的被摄体图像已经改变的块。事件检测单元214将像素信号的变化量作为检测结果发送到模式控制单元216，以像素块为单位对像素信号进行积分，并将积分后的数据给送到曝光控制单元217。对于以像素为单位(即，在各像素列中)输入的像素信号，事件检测单元214将这些像素信号直接输出到信号处理单元215。

信号处理单元215向从事件检测单元214输出的像素信号的前端和后端中的至少一个添加指示像素信号的变化量、摄像装置200的摄像模式等的附加信息，并且将这些图像信号输出到摄像装置200的外部单元。输出到摄像装置200的外部单元的图像信号可以作为拍摄图像被记录在记录单元105中。

模式控制单元216接收来自摄像装置200中的事件检测单元214或摄像装置200外部的控制单元103的信号，并将驱动定时控制信号给送到AD转换电路212、水平扫描电路213和垂直扫描电路211。这样，模式控制单元216根据摄像装置200的摄像模式进行驱动控制。当控制单元103允许摄像装置200在(作为其操作模式的)检测模式下操作时，模式控制单元216将摄像装置200设置为检测模式，并开始驱动以对各像素块中的像素信号进行相加。

垂直扫描电路211经由与各行连接的信号线，以像素为单位或以像素块为单位选择并驱动行。曝光控制单元217基于来自事件检测单元214的积分数据计算曝光时间，作为摄像装置200的曝光控制，并将摄像装置200的曝光控制信号给送到模式控制单元216。

像素单元220的配置

现在将参照图3描述根据本实施例的像素单元220的配置示例。在像素单元220中，多个像素230以矩阵(即，二维图案)布置。在图3的示例中，作为事件检测的相加单位的像素块240包括例如2×2或四个像素230。注意，在本实施例中，为了简单起见，将描述由以2×2矩阵布置的像素组成的示例像素块240，但是行和列的数量以及布置方式不限于此。

由2×2像素230构成的像素块240经由在块单位的行方向上布线的多个信号线接收各种控制信号。即，提供重置控制信号RST1和RST2、行选择控制信号SEL1和SEL2、传输控制信号TX1和TX2、相加信号ADD1和相加后信号选择控制信号ADD_SEL1。如图3所示，重置控制信号、行选择控制信号和传输控制信号被给送到各像素230。相加信号和相加后信号选择控制信号被给送到各像素块。

在列方向上，一个垂直信号线(例如，垂直信号线410-1)被布线到各像素列。来自同一像素列中的各像素230的输出(即，像素信号)经由垂直信号线410输入到作为连接目的地的AD转换电路212。

通过上述信号线对控制信号的选择性给送使得摄像装置200经由各个垂直信号线410以列为单位顺次输出像素信号。当操作模式为通常摄像模式时，像素信号从像素单元220的各像素230顺次输出。相反，当操作模式为检测模式时，操作下面在像素块240中描述的各FD的加法开关，来从特定像素输出相加结果。

现在将参照图4来描述根据本实施例的像素230的配置。图4示出了布置有四个像素230(像素230-1至230-4)的示例。关注于像素230-1，通过传输控制信号TX1对传输开关405-1的控制，在光电二极管406-1中生成和累积的电荷被传输到浮动扩散(FD)407-1。源极跟随器放大器408-1基于存储在FD407-1中的电荷来放大电压信号，并将其作为像素信号来输出。通过行选择控制信号SEL1对行选择开关409-1的控制，源极跟随器放大器408-1的输出被连接到垂直信号线410-1。垂直信号线410-1与连接到垂直信号线410-1的恒流源411-1一起配置。

当存储在FD 407-1中的不需要的电荷要被重置时，重置开关404-1由重置控制信号RST1控制。当光电二极管406-1的电荷要被重置时，传输控制信号TX1被控制为将传输开关405-1与重置开关404-1一起控制，以执行重置。传输控制信号(例如TX1)、重置控制信号(例如RST1)和行选择控制信号(例如SEL1-1)从垂直扫描电路211给送并具有针对各行的控制信号值。

当摄像装置200的操作模式是通常摄像模式时，传输到各像素230中的FD 407(例如，FD 407-1)的信号从各像素(例如，230-1)输出。与此相反，当操作模式为检测模式时，通过利用相加信号ADD控制加法开关413，使四个像素的FD(407-1、407-2、407-3、407-4)短路，来对传输到FD的信号进行相加和平均。

控制相加后信号选择控制信号ADD_SEL来读取相加结果，以从像素230-3输出相加和平均的信号。这样，在检测模式下输出由2×2像素的FD进行的相加的结果。然而，相加的范围不限于2×2。信号的相加不限于通过FD的相加，并且另选地，例如，可以将来自多行的像素的输出信号同时输出到垂直输出线，以对输出信号进行相加和平均，并且可以通过在AD转换电路的前面设置加法电路来进行水平相加。

事件检测单元214的配置

现在将参照图5描述根据本实施例的事件检测单元214的配置示例。输出切换电路260是用于根据摄像装置200的操作模式将像素输出目的地切换到摄像装置200的内部或外部的电路。

输出切换电路260接收来自模式控制单元216的控制信号，并且当摄像装置200的操作模式为检测模式时，将像素信号的输出目的地设置为摄像装置200内部的积分运算电路261并且引起被摄体图像的变化的检测。当摄像装置200的操作模式为通常摄像模式时，像素信号的输出目的地被设置为摄像装置200的外部单元，并且像素信号从事件检测单元214输出至信号处理单元215。

积分运算电路261接收来自输出切换电路260的像素信号的输出，对输出值进行积分，并将积分后的数据给送到曝光控制单元217。积分运算电路261向用于保持以像素块为单位的像素输出的存储器262输出该像素输出。存储器262将以固定周期(例如，每帧)获取的以像素块为单位的像素信号、以及指示在作为信号的输出源的摄像设备的平面中的二维矩阵的分割位置的信息，作为过去数据进行存储和保持。

差分检测电路263将在同一分割位置处最近读取的像素块单位的像素信号的信号值与保存在存储器262中的过去数据中的像素信号的信号值进行比较，以生成差分数据。差分检测电路263将生成的差分数据给送到比较电路264。比较电路264将给送的各差分数据与预定阈值进行比较，并将获得的比较结果数据发送到模式控制单元216。

图6A示出了拍摄的被摄体图像的示例，并且在该示例中，作为被摄体的房屋位于被分割为4×4像素块的摄像面的右下区域的2×2块上。图中的虚线指示像素块的区域。在以下描述中，将通过将行表示为左侧的数字并将列表示为右侧的数字，来描述像素块在平面上的位置，如左上方的位置00、向右的位置01等等、直至右下方的位置33所表示。

图6B示意性地示出了与图6A所示的被摄体图像相对应的像素单元220的各像素块240的输出。来自与图6A中的房屋部分相对应的位置处的像素块22、23、32和33的输出是通过进行房屋及其背景的像素相加而获得的输出。注意，图6A中所示的示例指示背景比房屋亮的情况。因此，基于房屋面积与背景面积的比率，像素块22和23的输出具有比像素块32和33的输出更高的信号值。

类似于6A，图7A和图8A示出了被摄体图像的示例。与图6A相比，图7A示出了人物被添加到左下方的一个块的被摄体图像的变化的示例，且图8A示出了人物被添加到左侧的三个块的被摄体图像的变化的示例。

图7B示意性地示出了与图7A中的被摄体图像相对应的各个像素块的输出，且图8B示意性地示出了与图8A中的被摄体图像相对应的各个像素块的输出。例如，考虑如下情况：图6A所示的被摄体图像改变为图7A所示的被摄体图像。差分检测电路263根据作为过去数据保持在存储器262中的图6B所示的像素块单位的像素信号、以及最近读取的图7B所示的像素块单位的像素信号，来计算针对各像素块的相同分割位置的差分数据。

比较电路264然后将计算出的差分数据与预定阈值进行比较。即，比较263基于计算出的差分数据和预定阈值(阈值将在下面描述)，来确定是否发生了被摄体图像的变化。结果，在图7A和图7B所示的示例中，从一个像素块30的差分数据检测被摄体图像的变化。

当在一个像素块中检测到被摄体图像的变化时，模式控制单元216改变并选择用于详细图像的摄像模式的驱动控制。例如，在本实施例中，模式控制部216选择4K模式作为摄像模式。

类似地，当检测到图8A中所示的被摄体图像的变化时，基于图6B和图8B所示的像素块单位的像素信号，根据来自差分检测电路263的差分数据，在三个像素块10、20和30中检测被摄体图像的变化。当在多于两个像素块中检测到被摄体图像的变化时，模式控制单元216改变并选择用于低分辨率和低功耗的摄像模式的驱动控制。例如，在本实施例中，模式控制部216选择FullHD模式作为摄像模式。这样，模式控制单元216用作用于确定摄像模式的确定部件。模式控制单元216还用作控制部件，用于在如上所述确定的摄像模式下进行摄像并输出拍摄图像。

现在将参照图9说明在检测模式下的操作期间以像素块为单位的像素信号的读取操作。

假设在定时T0，检测到事件(例如，控制单元103允许摄像装置200在检测模式下操作)，并且设置检测模式。垂直扫描电路211将相加信号ADD和ADD_SEL设置为高电平，使得将通过以块为单位进行相加和平均而获得的像素信号输出到垂直信号线。

在同一定时T0，垂直扫描电路211将重置控制信号RST1和RST2以及传输控制信号TX1和TX2控制为高电平。这样将通过相加信号ADD而处于连接状态的FD 407-1至407-4、以及块中的光电二极管406-1至406-4重置为电源电位。

在定时T1，重置控制信号RST1和RST2以及传输控制信号TX1和TX2返回为低电平，并且在第一行的块单位中开始像素的曝光。在定时T2，在经过一定的曝光时间后，垂直扫描电路211将与第一行的块单位相对应的传输控制信号TX1和TX2控制为高电平，以接通传输开关405-1至405-4。这样将存储在各个光电二极管406-1至406-4中的电荷传输到浮动扩散(FD)。这样完成了混合电荷的块单位的曝光。

传输到FD的块单位的电荷被源极跟随器放大器408-3放大为电压信号，并作为像素输出从垂直信号线输出。通过AD转换电路将输出到垂直信号线的像素输出转换为数字信号。类似地，在定时T3及之后，以块行为单位顺次进行曝光和读取，从而完成所有块行的读取。根据垂直同步信号多次执行所有块行的读取。

现在将参照图10说明在4K模式下的操作期间以像素为单位的像素信号的读取操作。

假设在定时T10，检测到事件(例如，事件检测单元214检测到图7B所示的被摄体图像的变化)，并且将4K模式设置为摄像模式。

垂直扫描电路211在预定脉冲期间将行选择控制信号SEL_1控制为高电平并且将重置控制信号RST1控制为高电平，以读取第一像素行的像素信号。

在同一定时T10，垂直扫描电路211将重置控制信号RST1和传输控制信号TX1控制为高电平。这样将第一行中的像素的FD 407-1和407-2以及光电二极管406-1和406-2重置为电源电位。由于FD 407-3连接到FD 407-1，并且FD407-4连接到FD 407-2，因此它们以相同的方式重置。由于垂直扫描电路211在4K模式下不以块为单位读取像素信号，因此相加信号ADD和ADD_SEL不被设置为高电平。

在定时T11，在垂直扫描电路211的控制下，重置控制信号RST1和传输控制信号TX1返回为低电平，并且针对第一像素行开始曝光。在定时T12，在经过一定的曝光时间后，垂直扫描电路211将传输控制信号TX1控制为高电平，以接通传输开关405-1和405-2。这样将存储在光电二极管406-1中的电荷传输至FD 407-1和407-3，并将存储在光电二极管406-2中的电荷传输至FD407-2和407-4。然后像素单位的曝光结束。

传输到FD的电荷被作为连接目的地的源极跟随器放大器408-1和408-2放大为电压信号，并作为像素信号从列的垂直信号线输出。输出到垂直输出线的像素信号被列的AD转换电路读取。

在接下来的定时T14至T17，进行第二行中的像素的信号读取操作。在信号的读取中，与第二行中的像素相对应的行选择控制信号SEL2、重置控制信号RST2和传输控制信号TX2以与第一行中的像素的相同信号相同的方式来驱动和控制。这样将存储在光电二极管406-3中的电荷传输至FD 407-3和407-1，并将存储在光电二极管406-4中的电荷传输至FD407-4和407-2。然后像素单位中的曝光结束。

传输到FD的电荷被作为连接目的地的源极跟随器放大器408-3和408-4放大为电压信号，并作为像素信号从列的垂直输出线输出。

类似地，对于后续的像素行，以像素行为单位进行曝光和读取，从而完成所有行的读取。根据垂直同步信号多次执行所有行的读取。

现在将参照图11说明在FullHD模式下的操作期间以像素为单位的像素信号的读取操作。

在根据本实施例的FullHD模式下，摄像装置200读取通过将每两行中的像素相加而获得的像素信号。与以一个像素为单位读取像素信号的4K模式相比，减少了要输出的像素的数量，使得降低了分辨率。然而，由于减少了读取时段和数据处理所需的时间，因此可以降低功耗。

假设在定时T20，检测到事件(例如，事件检测单元214检测到图8B所示的被摄体图像的变化)，并且将FullHD模式设置为摄像模式。

垂直扫描电路211在预定脉冲期间，将与对应于FullHD模式下的第一行的两行的像素相对应的重置控制信号RST1和RST2以及行选择控制信号SEL_1控制为高电平。在同一定时T20，垂直扫描电路211将传输控制信号TX1和Tx2控制为高电平。这样将与FullHD模式下的一行相对应的两行像素的FD407-1、407-2、407-3和407-4以及光电二极管406-1、406-2、406-3和406-4重置为电源电位。由于在FullHD模式下垂直扫描电路211不以块为单位读取像素信号，因此相加信号ADD和ADD_SEL不被设置为高电平。

在定时T21，在垂直扫描电路211的控制下，重置控制信号RST1和RST2以及传输控制信号TX1和TX2返回为低电平，并且针对与FullHD模式下的第一行相对应的两行的像素开始曝光。在定时T22，经过一定的曝光时间后，垂直扫描电路211将传输控制信号TX1和TX2控制为高电平，以接通传输开关405-1、405-2、405-3和405-4。这样将存储在光电二极管406-1、406-2、406-3和406-4中的电荷传输到相应的FD，并且与FullHD模式下的第一行相对应的两行的像素的曝光结束。

传送到FD的电荷被源极跟随器放大器408-1和408-2以列为单位放大为电压信号，并作为像素信号从列的垂直输出线输出。由AD转换电路读取输出到垂直输出线的像素信号。类似地，在定时T23及其之后，以与FullHD模式下的一行相对应的两行为单位对像素顺次进行曝光和读取，从而完成所有行的读取。根据垂直同步信号多次执行所有行的读取。

与摄像装置的摄像模式控制相关的一系列操作

现在将参照图12说明与摄像装置200的摄像模式控制相关的一系列操作。在该处理中，通过控制单元103在存储器104中加载和执行存储在记录单元105中的程序来实现控制单元103的操作。除非另有说明，否则各步骤的操作均在摄像装置200中执行。

在以下说明中，由摄像装置200的组件(诸如事件检测单元214)执行的操作将统称为由摄像装置200进行的操作。注意，例如当经由数字照相机100的操作单元107接收到用于将摄像装置200的操作模式改变为检测模式的直接或间接的预定操作指令时，该处理开始。

在步骤S1201中，控制单元103控制摄像装置200在检测模式下操作，并将摄像装置200的操作模式转变为检测模式。摄像装置200响应于从控制单元103接收到在检测模式下进行操作的指令，将摄像装置200的操作模式设置为检测模式，并输出通过摄像装置200中的各像素块中的相加而获得的像素信号。

在步骤S1202中，摄像装置200从像素单元220获取通过各像素块中的相加而获得的像素信号。摄像装置200将获取的像素信号临时存储在存储器262中。

在步骤S1203中，摄像装置200确定从各像素块获取的像素信号是否是在检测模式下的操作开始之后获取的第一个图像的信号。如果摄像装置200确定为像素信号是在操作开始之后获取的第一个图像的信号，则处理返回到步骤S1202，这是因为无法获得与用于检测被摄体图像的变化的过去数据的差分。如果摄像装置200确定为要处理的像素信号不是在操作开始之后获取的第一个图像的信号(在这种情况下，存在过去数据)，则处理进行到步骤S1204。

在步骤S1204中，摄像装置200针对各像素块的像素信号，将在步骤S1202中获取的(第n个图像的)像素信号与存储在存储器262中的过去数据中的(第(n-1)个图像的)像素信号进行比较，以生成差分数据。此时，摄像装置200确定所获得的差分数据是否等于或大于预定阈值，并对与等于或大于预定阈值的差分数据相对应的像素块的数量进行计数。

即，摄像装置200针对各像素块确定是否存在已经检测到事件(即，被摄体图像的变化)的块，并且对已经检测到事件的块的数量进行计数。在上述示例中，以用于确定差分数据的预定阈值固定的情况为例进行了描述，但是另选地，预定阈值也可以根据被摄体类型、摄像条件或用户操作来改变。

例如，当由于小幅移动而存在监视对象(该监视对象的变化不应被检测为被摄体的变化)的变化时，可以提高预定阈值，以减少对被摄体图像变化的误检测(可以调整检测精度)。

在步骤S1205中，摄像装置200确定相应的差分数据等于或大于预定阈值(即，检测到事件)的像素块的数量。如果摄像装置200确定为相应的差分数据等于或大于预定阈值的像素块无计数(即，像素块的数量为零)，则处理返回到步骤S1202，这是因为没有检测到事件。在这种情况下，重复直到步骤S1204的用于检测被摄体图像的变化的上述操作。相反，如果计数大于零(即，如果检测到事件)，则摄像装置200确定为已检测到事件，并且处理进行到步骤S1206。

在步骤S1206中，摄像装置200确定在步骤S1204中获得的计数是否超过预定计数阈值(例如，2)。如果摄像装置200确定为计数等于或小于预定计数阈值，则处理进行到步骤S1207，这是因为变化区域的面积小，并且对象被摄体图像的变化也小。相反，如果摄像装置200确定为计数超过预定计数阈值，则处理进行到步骤S1208。

注意，在步骤S1206的处理示例中，作为示例描述了计数阈值为2的情况，但是计数不限于2，并且可以根据摄像条件或用户意图而改变。

在步骤S1207中，摄像装置200将摄像装置200的操作模式从检测模式改变为通常摄像模式，并且进一步将摄像模式改变为能够获取详细图像的摄像模式。例如，摄像模式转变为4K模式，在4K模式中以一个像素为单位读取像素信号而不进行像素相加。如上所述，4K模式是用于输出具有比在步骤S1209中要转变到的摄像模式(FullHD模式)下输出的图像的像素更多的像素的图像的摄像模式。

在步骤S1208中，摄像装置200确定已经检测到事件的像素块的离散度。如果摄像装置200确定为已经检测到事件的像素块在平面中是离散的(例如，存在不相邻的块)，则推测为存在多个被摄体图像，并且处理进行到用于获取详细图像的步骤S1207。换言之，在该步骤中，摄像装置200确定是变化区域的面积大从而对象被摄体离散、还是被摄体图像大。在前者的情况下，摄像装置200控制摄像模式以获取详细图像。相反，如果摄像装置200确定为已经检测到事件的像素块不是离散的，则推测对象被摄体图像的大小为大，并且处理进行到步骤S1209。

在步骤S1209中，摄像装置200将摄像装置200的操作模式从检测模式改变为通常摄像模式，并且进一步将摄像模式改变为低分辨率低功耗的FullHD模式，在FullHD模式中读取像素的数量比4K模式下的少。如果摄像装置200确定为画面中的对象被摄体的大小为大，则被摄体可能位于数字照相机的近场，并因此可以确定为对于用于识别被摄体的图像，低分辨率就足够了。

在步骤S1210中，当在转变到相关摄像模式之后开始摄像操作(即，拍摄图像在记录单元105中的记录)时，摄像装置200将用于在摄像模式下对图像数据进行计数的计数值CNT重置为零。在步骤S1211中，摄像装置200在每次获取图像数据时递增计数值CNT，并且在步骤S1212中，确定计数值CNT是否等于或大于预定数(N)。

如果摄像装置200确定为计数器值CNT小于N，则处理返回到步骤S1211，并且通过重复步骤S1211之后的处理来继续摄像模式。相反，如果摄像装置200确定为计数器值CNT等于或大于N，则该系列处理结束。注意，如果摄像装置200确定为计数器值CNT等于或大于N，则操作模式可以返回到检测模式以进一步重复处理。在这种情况下，处理返回到步骤S1201。

如上所述，在本实施例中，处于检测模式的摄像装置200通过使用通过各像素块的相加而获得的像素信号来检测被摄体图像的变化。这样，可以降低在检测到事件之前的摄像装置200的操作功耗。此外，摄像装置200基于检测到被摄体图像的变化的块来确定适当的摄像模式。

例如，根据检测到被摄体图像的变化的块，选择用于详细图像的摄像模式或用于低分辨率图像的摄像模式。这样，可以选择能够实现对于被摄体的摄像必要且足够的分辨率的像素的读取方法，并因此可以获得令人满意的拍摄图像。此外，通过允许选择进行像素相加以获得低分辨率图像的摄像模式，可以通过选择该摄像模式来降低功耗。换言之，可以在根据检测到被摄体图像的变化来进行摄像的摄像设备中，降低在检测到被摄体图像的变化之后的操作中的功耗。

注意，在上述示例中，FullHD模式已被描述为通过在共享FD的两个相邻行中的像素信号相加来减少输出像素的数量的模式，但是FullHD模式不限于此，并且另选地，可以在列方向的像素信号相加的范围内或所需的分辨率的范围内改变要相加的像素信号的数量。

上述实施例可以应用于在摄像装置200的像素组中设置滤色器等并且根据颜色输出像素信号的情况。在这种情况下，可以根据设置有相同颜色的输出像素的行或列来进行相同颜色的像素信号的相加。

除了通过像素信号相加来减少要输出的像素信号的数量之外，要读取的像素行或列可以在读取之前被间隔剔除。在上述示例中，尽管已经描述了在检测模式下通过使用经过像素相加的各像素块的像素信号来检测被摄体图像的变化的示例，但是可以在以预定间隔间隔剔除像素块中的像素之后进行像素信号相加。

在上述示例中，4K摄像模式被描述为使用详细图像的摄像模式的示例，而FullHD模式被描述为具有低分辨率和低功耗的摄像模式的示例。然而，摄像模式不限于此，并且可以在数字照相机100中可设置的摄像模式中选择用于拍摄具有不同像素数的图像的两个或更多个摄像模式。

此外，在上述示例中，尽管从分辨率和低功耗的角度来看，根据被摄体图像的变化来选择和切换摄像模式，但是可以根据包括被摄体的摄像的跟随性的优先级，与帧速率一起选择和切换摄像模式。例如，在FullHD模式下的摄像中，被摄体图像可能大并且可能在数字照相机的近场中。为此，可以将摄像装置200的摄像的帧速率设置得较高以用于摄像，这是因为可以推测为画面上的移动速度可能高。在这种情况下，可以根据数字照相机的电源状态或用户的选择来改变优先级。

通过层叠结构实现摄像装置的示例

上述摄像装置200可以通过具有如图13A至图13C所示的层叠结构的摄像装置来实现。摄像装置200可以包括图13B和图13C所示的半导体基板1201和半导体基板1202。半导体基板1201和1202以叠加状态被密封并且被模块化(集成化)。即，如图13C所示，半导体基板1201和1202形成多层结构(层叠结构)。形成在半导体基板1201上的电路和形成在半导体基板1202上的电路经由通孔等相互连接。

这样，摄像装置200可以是第一半导体基板1201和第二半导体基板1202被集成以形成多层结构的模块(也称为大规模集成(LSI)芯片)。在模块中形成这种多层结构的第一半导体基板1201和第二半导体基板1202可以使摄像装置200能够在不增加半导体基板的大小的情况下实现更大规模的电路。即，摄像装置200能够在抑制成本增加的同时实现更大规模的电路。

例如，摄像装置200中包括的各组件如下形成在第一半导体基板1201和第二半导体基板1202中的一者上。例如，如图13A所示，在第一半导体基板1201上形摄像素单元220、垂直扫描电路211、AD转换电路212和水平扫描电路213。在第二半导体基板1202上形成事件检测单元214、信号处理单元215、模式控制单元216和曝光控制单元217。注意，图13A所示的布置仅仅是示例，并且第一半导体基板1201和第二半导体基板1202上的组件的布置不限于此。

其他实施例

本发明还可以通过如下处理来实现：经由网络或存储介质向系统或设备提供用于实现上述实施例的一个或多个功能的程序，并使系统或设备的计算机中的一个或多个处理器读取并执行该程序。还可以通过用于实现一个或多个功能的电路(例如，ASIC)来实现本发明。

本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和变型。因此，做出了所附权利要求以告知本发明的范围。

本申请要求2019年7月19日提交的日本专利申请2019-134013的优先权，该申请的全部内容通过引用并入本文。

附图标记列表

102 图像处理单元

200 摄像装置

220 像素单元

216 模式控制单元

214 事件检测单元

215 信号处理单元

Claims (12)

1.一种摄像设备，其特征在于，包括：

检测部件，用于获取通过分割具有以二维图案布置的多个像素的摄像面而获得的多个区域中的各个区域的像素信号，并且在所述多个区域中检测被摄体图像已改变的区域；

确定部件，用于确定摄像模式；以及

控制部件，用于进行控制，以响应于所述检测部件检测到所述被摄体图像已改变的区域，在所述确定部件所确定的摄像模式下进行摄像，并输出拍摄图像，

其中，所述确定部件通过基于所述检测部件所检测到的所述被摄体图像已改变的区域而选择第一摄像模式或第二摄像模式来确定摄像模式，所述第一摄像模式是输出由第一像素数量的像素信号构成的图像的模式，并且所述第二摄像模式是输出由比所述第一像素数量小的第二像素数量的像素信号构成的图像的模式。

2.根据权利要求1所述的摄像设备，其特征在于，在所述多个区域中所述被摄体图像已改变的区域的数量小于或等于预定阈值的情况下，所述确定部件将所述第一摄像模式确定为摄像模式，并且在所述多个区域中所述被摄体图像已改变的区域的数量大于所述预定阈值的情况下，所述确定部件将所述第二摄像模式确定为摄像模式。

3.根据权利要求2所述的摄像设备，其特征在于，在所述被摄体图像已改变的区域的数量大于所述预定阈值的情况下，所述确定部件还确定所述被摄体图像已改变的区域中的任意区域是否是非相邻区域，并且在所述被摄体图像已改变的区域中存在非相邻区域的情况下，所述确定部件将所述第一摄像模式确定为摄像模式。

4.根据权利要求1至3中的任一项所述的摄像设备，其特征在于，所述第一摄像模式是输出由未经过相加或间隔剔除的像素信号构成的图像的摄像模式，并且所述第二摄像模式是输出由像素数量由于像素信号的相加或间隔剔除而减小的像素信号构成的图像的摄像模式。

5.根据权利要求1至4中的任一项所述的摄像设备，其特征在于，所述检测部件通过以预定周期提取所述多个区域中的各个区域的像素信号、并且确定在周期之间的像素信号的变化是否超过预定变化阈值，来在所述多个区域中检测所述被摄体图像已改变的区域。

6.根据权利要求5所述的摄像设备，其特征在于，所述预定变化阈值能够根据来自所述摄像设备外部的单元的指令而改变。

7.根据权利要求1至6中的任一项所述的摄像设备，其特征在于，针对通过分割所述摄像面而获得的所述多个区域中的各个区域，所述检测部件获取比该区域中的像素数量小的数量的像素信号，并且在所述多个区域中检测所述被摄体图像已改变的区域。

8.根据权利要求1至7中的任一项所述的摄像设备，其特征在于，比所述多个区域中的各个区域中的像素数量小的数量的像素信号是通过对来自该区域的像素的像素信号进行相加、或者对来自该区域的像素的像素信号的预定像素列或预定像素行的像素信号进行间隔剔除而获得的。

9.根据权利要求1至8中的任一项所述的摄像设备，其特征在于，还包括：

摄像装置，其由包括第一半导体基板和第二半导体基板的层叠结构形成。

10.根据权利要求9所述的摄像设备，其特征在于，所述第一半导体基板包括以二维图案布置的像素，并且所述第二半导体基板包括所述检测部件、所述确定部件和所述控制部件。

11.根据权利要求1至9中的任一项所述的摄像设备，其特征在于，还包括：

记录部件，用于记录所述拍摄图像。

12.一种摄像设备的控制方法，其特征在于，包括：

检测步骤，用于获取通过分割具有以二维图案布置的多个像素的摄像面而获得的多个区域中的各个区域的像素信号，并且在所述多个区域中检测被摄体图像已改变的区域；

确定步骤，用于确定摄像模式；以及

控制步骤，用于进行控制，以响应于在所述检测步骤中检测到所述被摄体图像已改变的区域，在所述确定步骤中确定的摄像模式下进行摄像，并输出拍摄图像，

其中，在所述确定步骤中，通过基于在所述检测步骤中检测到的所述被摄体图像已改变的区域而选择第一摄像模式或第二摄像模式来确定摄像模式，所述第一摄像模式是输出由第一像素数量的像素信号构成的图像的模式，并且所述第二摄像模式是输出由比所述第一像素数量小的第二像素数量的像素信号构成的图像的模式。

Images