CN113596289A - 图像传感器和摄像设备 - Google Patents

Abstract

本发明提供一种图像传感器和摄像设备。所述摄像元件输出具有多个像素单元的摄像单元所获取到的图像信号，所述摄像元件包括：增益单元，用于设置针对所述摄像单元的输出信号的增益；控制单元，用于控制所述像素单元的累积时间；以及算术运算单元，用于接收目标亮度值和曝光控制信息，通过使用从所述像素单元读取的图像信号检测亮度值来计算所述增益或所述累积时间，并且使所述增益单元或所述控制单元对所述摄像单元进行曝光控制。

Description

图像传感器和摄像设备

(本申请是申请日为2018年2月9日、申请号为201810136488.9、发明名称为“摄像元件和摄像设备”的申请的分案申请。)

技术领域

本发明涉及具有曝光算术运算的功能的摄像元件以及使用传感器的摄像设备。

背景技术

存在具有顺次显示所拍摄图像的所谓的实时取景功能的摄像设备，诸如镜头可更换照相机等。在用于拍摄运动图像的可更换镜头安装在摄像设备的主体中并且使用该可更换镜头的情况下，可以在运动图像的拍摄期间采用多级来平滑地驱动该可更换镜头的光圈。另外，在用于拍摄静止图像的可更换镜头安装在摄像设备的主体中并且使用该可更换镜头的情况下，采用较少的级数来驱动控制该可更换镜头的光圈。在这种情况下，由于光圈的驱动控制的级数较少，因此如果花费时间进行驱动控制，则可能将难以迅速地对曝光的改变作出响应。光圈的控制是在与设置摄像元件的电子快门和增益的定时不同的定时进行的。这可能导致归因于帧之间的曝光差的图像的闪烁。日本特开2016-184874公开了如下的摄像设备，其中该摄像设备通过放大摄像元件所生成的像素信号、并且改变光圈的开口和放大率来调整图像数据的曝光量。

另外，存在具备拍摄具有1000帧/秒(fps)的高帧频的运动图像的功能的数字照相机。随着由于数字照相机具有高功能性而导致摄像设备的算术处理单元(CPU)的负荷率和存储带宽增大，担心在帧之间的时间内没有完成CPU所进行的曝光计算处理。如果花费时间进行曝光计算处理，则对于曝光变化的追随变得更延迟，由此存在可能会导致图像的闪烁的曝光状态的帧数增加的可能性。日本特开2009-296353公开了如下的处理，其中在该处理中，针对颜色滤波器的各颜色来对摄像元件的图像信息进行相加，并且将相加值传输至CPU。可以通过缩短进行图像数据传输处理所花费的时间来加快CPU的曝光控制处理。

在日本特开2016-184874中，根据从摄像元件读取的图像信息来计算被摄体的亮度，并且通过基于计算结果对光圈的变化进行追随来控制摄像元件的增益。然而，在光圈相对于静止图像拍摄透镜急剧变化的情况下，读取图像信息的时间与光圈变化的定时不一致，难以赶上增益的控制，因此有可能发生闪烁。

在日本特开2009-296353中，摄像元件所拍摄的图像的信息被相加并输出至外部，摄像元件和CPU之间所传输的数据量减少，因此曝光的控制加快。然而，在CPU接收到相加值之后，需要根据程序图来对电子快门和增益进行算术运算，并且当需要针对具有高帧频的运动图像等进行高速驱动时，担心曝光计算处理延迟。另外，由于针对光圈的变化没有采取措施，因此图像中可能发生闪烁。

发明内容

本发明提供用于控制曝光的摄像元件以及可以使用该摄像元件来减少算术处理单元的曝光控制处理量的摄像设备。

根据本发明的方面，一种摄像元件，用于输出具有多个像素单元的摄像单元所获取到的图像信号，所述摄像元件包括：增益单元，用于设置针对所述摄像单元的输出信号的增益；控制单元，用于控制所述像素单元的累积时间；以及算术运算单元，用于接收目标亮度值和曝光控制信息，通过使用从所述像素单元读取的图像信号而检测亮度值来计算所述增益或所述累积时间，并且使所述增益单元或所述控制单元对所述摄像单元进行曝光控制。

根据本发明的方面，一种摄像元件的控制方法，所述摄像元件用于输出具有多个像素单元的摄像单元所获取到的图像信号，所述控制方法包括以下步骤：接收目标亮度值和曝光控制信息，通过使用从所述像素单元读取的图像信号而检测亮度值来计算增益或累积时间，设置针对所述摄像单元的输出信号的增益，以及控制所述像素单元的累积时间。

根据本发明的方面，一种摄像元件，用于输出具有多个像素单元的摄像单元所获取到的图像信号，所述摄像元件包括：接收单元，用于接收目标亮度值或曝光控制信息，以通过使用从所述像素单元读取的图像信号而检测亮度值来计算曝光参数；以及发送单元，用于发送通过使用基于所述目标亮度值或所述曝光控制信息所计算出的所述曝光参数而获取到的图像信号。

根据本发明，可以通过使用用于控制曝光的摄像元件来减少算术处理单元的曝光控制处理量。

根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得显而易见。

附图说明

图1是示出根据本发明的实施例的摄像元件的示意构造图。

图2A和2B是示意性地示出根据本发明的实施例的摄像元件的结构的图。

图3是示出根据本发明的实施例的摄像元件的截面图。

图4是示出根据本发明的实施例的摄像系统的概要的框图。

图5是示出本发明的第一实施例的处理的时序图。

图6是根据本发明的第一实施例的流程图。

图7是根据本发明的第二实施例的流程图。

图8是示出比较例的处理的时序图。

图9是根据本发明的第四实施例的流程图。

图10是示出本发明的第四实施例的处理的时序图。

图11是示出摄像系统的处理的流程图。

具体实施方式

作为本发明的实施例，以下将详细说明可以应对具有高功能性的摄像设备的算术处理单元的处理负荷量或存储带宽的增加的摄像元件、以及摄像设备。由于因摄像元件的像素数的增加等所引起的处理负荷量或存储带宽的增加，因此如果花费时间进行曝光计算处理、则对于曝光变化的追随变得更延迟，这会导致图像的闪烁。根据各实施例，可以减少算术处理单元的曝光控制处理量，并且可以使因光圈的控制所引起的、可能导致闪烁的曝光变化最小化。

第一实施例

图1是示出根据本实施例的摄像元件的结构示例的示意框图。摄像元件具有呈二维阵列形状排列的许多像素单元101的结构。例如，堆叠型摄像元件506具有第一芯片(摄像层)10和第二芯片(电路层)11。摄像信号处理电路507处理摄像元件506的输出信号。整体控制算术运算单元509是用于控制摄像设备中所包括的摄像元件506和其它构成单元的核心单元。尽管在本实施例中、摄像信号处理电路507和整体控制算术运算单元509被设置作为单独的构成单元，但是本发明不限于此，并且这些单元可被包括在包括CPU的同一电路中。

垂直输出线102、传输信号线103、复位信号线104和行选择信号线105分别连接至像素单元101中的各像素单元。增益放大器110连接至像素单元101，并且可以根据来自下述的元件内算术运算单元118的增益控制信号(将由Sg表示)来设置增益。列ADC块111输出通过对从连接至像素单元101的垂直输出线102经由增益放大器110输出的信号进行模拟(A)/数字(D)转换所获得的信号。行扫描电路112通过传输信号线103、复位信号线104和行选择信号线105而连接至像素单元101。多个列扫描电路113通过水平信号线115-a和115-b而连接至多个列ADC块111。定时控制单元114将定时控制信号输出至列ADC块111和列扫描电路113中的每一个以对其进行控制。注意，尽管在本实施例中、增益放大器110与用于放大来自像素单元101的图像信号的增益单元相对应，但是针对图像信号的放大单元不限于此。例如，可以使用列ADC块111针对数字转换所使用的转换增益来放大信号，或者在数字转换之后，可以使用数字增益电路(未示出)来放大信号。

切换单元116切换来自水平信号线115-a和115-b的信号，以将信号输出至帧存储器117和元件内算术运算单元118。并行/串行转换单元(将由P/S转换单元表示)119获取元件内算术运算单元118的输出，并对该输出进行并行/串行转换。P/S转换单元119将转换后的信号输出至摄像信号处理电路507。

摄像元件506具有第一芯片10堆叠在第二芯片11上的结构。第一芯片10具有呈矩阵形状排列的多个像素单元101，并且被配置在光入射侧。即，第一芯片10位于接收来自被摄体的光的入射侧。像素单元101在水平方向(行方向)上连接至传输信号线103、复位信号线104和行选择信号线105，并且在垂直方向(列方向)上连接至垂直输出线102。注意，垂直输出线102中的各垂直输出线根据读取行的单位而具有不同的连接目的地。

第二芯片11中形成有诸如增益放大器110、列ADC块111、行扫描电路112、列扫描电路113和定时控制电路114等的像素驱动电路、帧存储器117、元件内算术运算单元118、以及P/S转换单元119。

如上所述，摄像元件506具有形成了像素单元101的第一芯片10、以及形成了像素驱动电路、存储器电路和算术运算电路等的第二芯片11。可以针对摄像元件506的摄像层和电路层来划分制造处理，因此，可以实现电路层的精细配线、由于高密度产生的更高速度、小型化、以及高功能性。注意，第二芯片11的电路的一部分可以设置在第一芯片上。

切换单元116选择性地将各自具有信道的从水平信号线115-a和115-b输出的图像信号顺次输出到帧存储器117。帧存储器117临时存储所输出的图像信号。元件内算术运算单元118对摄像元件506内的曝光控制进行算术运算，并且以下将说明其详情。P/S转换单元119根据来自定时控制电路114的定时控制信号对元件内算术运算单元118所处理的图像信息进行转换，并且将转换后的信息输出至位于摄像元件506外部的摄像信号处理电路507。曝光控制单元120按照元件内算术运算单元118的控制命令来控制像素单元101的曝光。

图2A和2B是示意性地示出根据本实施例的摄像元件506的外部结构的图。图2A是从光入射侧斜向上观看时的摄像元件506的立体图。图2B是摄像元件506的示意截面图。第一芯片10和第二芯片11各自具有多个微垫302，并且经由多个微凸块301通过电连接而一体化。

图3是示出摄像元件506的详细截面结构的图。在图3中，第一芯片10被示出在下侧，并且第二芯片11被示出在上侧。即，摄像层401与第一芯片10相对应，并且电路层402与第二芯片11相对应。

摄像层401具有在硅(Si)基板403上形成配线层404的结构。Si基板403中形成有作为光电二极管(以下将由PD表示)的n扩散区域407，因此具有背面照射结构。在PD 202的表面部分上(即，在PD和配线层404的边界部分中)形成p⁺扩散区域408。在Si基板403的表面部分上形成用于浮动扩散(FD)的多个n⁺扩散区域409和用于开关晶体管的多个n⁺扩散区域410。

配线层404具有在由二氧化硅(SiO₂)等构成的绝缘层内形成的多个晶体管栅极配线411和信号传播配线412。配线层404的表面部分形成有由Cu等制成的微垫413。利用n⁺扩散区域409、n⁺扩散区域410和晶体管栅极配线411形成传输晶体管、复位晶体管、放大晶体管和选择晶体管。配线层404具有用于将n⁺扩散区域410连接至微垫413的通(VIA)孔414。

电路层402具有在Si基板405上形成配线层406的结构。Si基板405的表面部分形成有多个晶体管扩散区域416。配线层406具有在由SiO₂等构成的绝缘层内形成的多个晶体管栅极配线417和信号传播配线418。在配线层406的表面部分上形成由Cu等制成的微垫419。微垫419经由微凸块415而连接至微垫413。配线层406中形成有用于将扩散区域416等连接至微垫419的通孔420。利用晶体管扩散区域416、晶体管栅极配线417和信号传播配线418等形成各种类型的电路。由于构成元件的详情与本发明没有直接关系，因此将省略其说明。尽管在图3中示出使用用作堆叠连接端子的微凸块415进行摄像层401和电路层402的连接的结构示例，但摄像层401和电路层402在无需使用微凸块的情况下直接连接的实施例也是可能的。

接着，将参考图4来说明本实施例的摄像系统。尽管本实施例的摄像系统是获取运动图像或静止图像作为示例的数字照相机，但本发明不限于此。例如，本发明还可以适用于监视照相机、诸如智能电话等的移动装置、诸如车载照相机等的移动物体等。图4是示出使用摄像元件506的摄像设备的概要的框图。镜头单元501包括构成摄像光学系统的多个透镜。镜头单元501是可以安装在照相机主体内的可更换镜头、或与照相机主体一体化的镜头单元。镜头驱动单元502驱动摄像光学系统中所包括的可移动透镜(诸如变焦透镜和调焦透镜等)。机械快门(在图中由机械快门表示)503用于控制曝光时间，并且光圈504用于控制曝光量。机械快门/光圈驱动单元(在图中由快门/光圈驱动单元表示)505驱动机械快门503和光圈504。注意，诸如ND滤波器等的光学滤波器可以被设置为用于控制曝光量的单元。

摄像元件506接收来自经由摄像光学系统形成图像的被摄体的光，然后对所接收到的光进行光电转换，并且输出电信号。摄像信号处理电路507处理摄像元件506的输出信号，并且输出处理后的图像信号。第一存储器单元(在图中由存储器单元I表示)508存储摄像信号处理电路507所处理的图像信号等。

整体控制算术运算单元509是负责整体控制摄像系统的核心单元，并且包括中央处理单元(CPU)。CPU通过执行从第二存储器单元(在图中由存储器单元II表示)514读取的程序来控制各个单元的操作。第二存储器单元514存储CPU的算术运算结果、以及通过用户操作在摄像设备中设置的照相机信息等。记录介质控制接口(I/F)单元510按照整体控制算术运算单元509的控制命令将图像信号等记录在记录介质512中，并且从记录介质512进行信息读取处理。记录介质512可以从摄像设备的主体拆卸。显示单元511包括诸如液晶显示面板等的显示装置，并且按照整体控制算术运算单元509的控制命令在画面上显示图像数据等。外部接口(I/F)单元513是用于与诸如计算机等的外部装置交换信息的通信处理单元。操作单元515包括诸如开关和触摸面板等的输入装置，接收用户的操作指示，并且将操作指示信号输出至整体控制算术运算单元509。另外，整体控制算术运算单元509通过将用于控制图1所示的摄像元件506的各构成元件的控制信号输出至摄像元件506，来控制摄像元件506。控制信号包括摄像同步信号、驱动模式设置或曝光设置信息等。

已通过镜头单元501的来自被摄体的光由光圈504进行调整以具有适当的光量，并且在摄像元件506的摄像面上形成图像。构成摄像元件506的像素单元101的光电转换单元对被摄体的光学图像进行光电转换，并且输出电信号。然后，该电信号受到增益控制，通过A/D转换从模拟信号转换为数字信号，然后被获取作为R、Gr、Gb和B的信号，然后被发送至摄像信号处理电路507。摄像信号处理电路507进行诸如用于降低噪声的低通滤波处理、阴影校正处理或白平衡处理等的各种类型的信号处理，然后还进行各种类型的校正或图像信号的压缩等。

镜头驱动单元502在摄像期间控制镜头单元501以进行变焦驱动和调焦驱动等。机械快门503和光圈504各自由机械快门/光圈驱动单元505按照整体控制算术运算单元509的控制命令进行驱动。第一存储器单元508在摄像之后临时存储图像信号。记录介质控制I/F单元510进行将图像信号记录在记录介质512中的处理。显示单元511在画面上显示所拍摄图像。

这里，将参考图8的比较例来说明由光圈驱动和曝光控制所引起的闪烁的发生。图8是示出比较例的曝光控制机制的时序图。使用摄像同步信号901来控制摄像元件506设置累积和读取等的定时、以及摄像信号处理电路507获取从摄像元件506传输来的图像信息的定时。例示了摄像元件506进行累积和读取的定时902、903和904，并且通过传感器设置来表示用于设置操作的定时905、906和907。

增益表示针对摄像元件506中的各帧所设置的增益。元件内算术运算单元118的增益控制信号对增益放大器110进行增益设置。增益908是“x1”,增益909是“x2”，并且增益910是“x4”。x2表示比x1高一级的增益。累积时间911是由摄像元件506针对各帧所设置的，并且这里，累积时间是“固定的”。该项的下侧表示帧号。在元件内处理中，针对在摄像元件506内进行的处理表示从整体控制算术运算单元509接收信息的定时912、913和914。在引擎内处理中，针对在整体控制算术运算单元509内进行的处理表示曝光算术处理的定时915、916和917。这里，假定整体控制算术运算单元509每两帧进行一次曝光算术处理，并且摄像元件506被表示为在下一帧中接收算术结果。关于光圈控制，用图线表示摄像设备中所安装的镜头装置的光圈控制变化918。该图示出光圈被驱动为每一帧具有一级、并且通过两个帧来将其光圈缩小两级。关于曝光，以如下的方式例示了曝光状态的变化：“合适”表示合适曝光状态，“-1”表示一级的曝光不足状态，以及“-2”表示两级的曝光不足状态。时间段919表示曝光状态从“合适”向“-1”改变、然后进一步向“-2”改变、然后返回“-1”的时间段。

接着，将说明控制的流程。整体控制算术运算单元509基于曝光设置、程序模式、测光模式或被摄体的状态等来决定目标亮度值，并且将该值保持在第二存储器单元514中。另外，基于刚刚从摄像元件506读取的图像信息来计算被摄体的亮度值。整体控制算术运算单元509在定时915处进行曝光算术运算，决定要设置的累积时间911和增益908，然后将设置数据传输至摄像元件506。摄像元件506在传感器设置的定时905设置在延迟了一帧的定时912接收到的信息。因此，该设置反映在下一帧的累积时间和读取(902)中。将所读取的图像信息作为帧号3的图像信息传输至摄像信号处理电路507。如上所述，在从曝光算术运算到图像信息读取的时间段内产生与至少多个帧相对应的延迟时间。在光圈控制中，整体控制算术运算单元509使用在由于该控制而改变曝光之后的图像信息，来进行曝光算术运算。由于为了追随光圈控制的变化而设置摄像元件506，因此需要花费时间在追随操作之后使曝光状态稳定。如静止图像拍摄透镜的情况那样，在光圈504在短时间段内显著移动的情况下，例如，如果曝光状态在图8的时间段919内急剧变化，则图像上有可能发生闪烁。特别地，整体控制算术运算单元509所进行的算术运算处理的负荷在要读取的像素数增加的情况下增加，并且在曝光算术结果反映在摄像元件的控制中之前发生时滞。此外，在帧频也增加的情况下，即使在相同的时间段内进行算术处理，当以帧为单位进行处理时，延迟的帧数也会增加。因此，在以高帧频获取的运动图像缓慢地再现等情况下，未充分实现曝光追随的时间段显著地增加。

以下将参考图5和图6来说明根据本实施例的用于使用光圈控制使曝光的变化最小化的控制。图5是用于示出根据本实施例的曝光控制机制的时序图。图6是用于说明根据本实施例的摄像系统的处理的流程图。

图5示出针对摄像元件506的摄像同步信号201、累积和读取定时202～204、设置定时205～207、以及增益控制定时208～210。此外，尽管示出累积时间设置211、帧号和光圈控制变化217，但它们与图8中相同，因此将省略其详细说明。与图8的差异在于摄像元件内所执行的元件内处理。在元件内处理中，示出曝光算术运算定时212、213和214以及信息接收定时215和216。在元件内处理中，针对各帧进行曝光算术运算。即，元件内处理如整体控制算术运算单元509那样不受由其它处理的执行所导致的CPU的负荷率或存储带宽等影响。摄像元件506在定时215从整体控制算术运算单元509接收摄像系统的设置信息以及目标亮度值。然后，摄像元件506在定时216从整体控制算术运算单元509接收机械快门/光圈驱动单元505所要使用的光圈控制信息。

在图6中启动摄像系统时，在S601中，整体控制算术运算单元509将摄像系统的照相机设置信息和目标亮度值发送至摄像元件506。照相机设置信息例如包括曝光设置信息、诸如驱动模式、程序模式或测光模式等的模式信息、以及被摄体信息等。摄像元件506的接收定时由图5的定时215表示。尽管照相机设置信息和目标亮度值被假定为每当通过用户操作改变摄像系统的设置时被发送至摄像元件506，但是这些信息可以以固定的间隔发送。

在S602中，整体控制算术运算单元509对帧号(将由N表示)进行初始化。在图5的示例中，将帧号N的值初始化为零。帧号N是用于使整体控制算术运算单元509与摄像元件506同步的信息。初始化定时不仅可以在启动摄像系统时设置一次，还可以在每当照相机设置信息或目标亮度值存在变化时设置多次。

在S603中进行光圈控制信息的传输处理。光圈控制信息是表示针对哪个帧区间应该控制多少级光圈的信息。在控制光圈504的情况下，整体控制算术运算单元509将镜头驱动单元502所使用的光圈控制信息传输至摄像元件506。摄像元件506的接收定时由图5的定时216表示。在图5的示例中，在帧号N＝4和N＝5中分别使光圈从当前光圈值缩小一级的控制信息(217)作为光圈控制信息被传输至摄像元件506。注意，代替在光圈控制信息中指定帧号，可以使用如下的方法，其中该方法使用指定了相对于预定基准定时的相对时间的光圈控制信息。在这种情况下，在摄像元件内进行将相对时间信息转换为帧号的处理。另外，与定时相关的信息可以不包括在光圈控制信息中。在这种情况下，控制可以以时间限制和预定延迟(在帧之后等)开始。

S604是用以判断帧是否为最终帧的判断处理，并且整体控制算术运算单元509判断是否要终止摄像处理。在用户使用操作单元515明确地断开摄像系统的电源的情况下、在停止拍摄的情况下、或者在通过菜单操作进行临时停止处理的情况下，摄像处理终止。在帧被判断为最终帧的情况下，处理结束，并且在帧被判断为不是最终帧的情况下，处理进入S605的处理。在摄像元件506的控制下进行以下的步骤S605～S610的处理。在除了照相机设置信息或目标亮度值存在变化的情况以外的情况下，针对各帧不将照相机设置信息从整体控制算术运算单元509传输至摄像元件506。因此，可以减少整体控制算术运算单元509和摄像元件506之间的通信量。

在S605中，摄像元件506基于从整体控制算术运算单元509接收到的光圈控制信息来判断是否是要对当前帧进行光圈操作的定时。在判断为是光圈操作的定时的情况下，处理进入S606的处理，以及在判断为不是该定时的情况下，处理转至S607。

在S606中，摄像元件506的元件内算术运算单元118基于光圈控制信息来获得由于光圈操作所引起的亮度变化量。在S607中，元件内算术运算单元118根据亮度变化量来对曝光进行算术运算，以决定累积时间和增益(参见图5的定时212)。在亮度变化量为零的情况下，继续先前帧的设置。在S608中，针对帧号1的区间，设置S607中所获得的累积时间和增益(参见图5的定时205)。元件内算术运算单元118使曝光控制单元120通过设置像素单元101的累积时间来进行曝光控制，并且使用增益控制信号Sg来设置增益放大器110的增益值。构成增益单元的增益放大器110是可以设置增益值的可变增益放大器。在S609中进行摄像元件506的摄像操作。例如，针对帧号2～3的区间中的各行而顺次执行累积处理和读取处理，并且在帧号3处将图像信息传输至帧存储器117(参见图5的定时202)。

在S610中，摄像元件506的元件内算术运算单元118使用帧存储器117的图像信息来计算被摄体的亮度值，使计算结果存储在第二存储器单元514中，并且将图像信息传输至摄像元件外部的图像处理单元。在S611中，整体控制算术运算单元509对帧号N执行递增处理。向帧号N的值加1，处理返回S604以继续，并且重复该处理直到摄像操作结束。注意，图5中的定时213、206和203的关系以及定时214、207和204的关系与定时212、205和202的关系相同。尽管如图5的光圈控制变化217所示那样进行两级的光圈操作，但是与图8的曝光状态不同、图5的曝光状态始终维持在合适的状态。

在利用严格的时间应用来处理具有高帧频(HRF)的运动图像等的驱动模式中，除了CPU的负荷或存储带宽的增加以外，还担心不在帧之间所设置的时间内进行曝光算术处理。在这种情况下，整体控制算术运算单元509可以根据本实施例对各帧进行曝光控制。另外，通过将光圈控制信息从整体控制算术运算单元509传输至摄像元件506，摄像元件506可以预先掌握光圈控制的定时。因此，可以通过摄像元件506根据光圈操作进行曝光控制，来使光圈操作可能导致的图像的闪烁最小化。另外，在镜头可更换摄像系统中，可以根据照相机主体中所安装的镜头装置的光圈的特性来进行曝光控制。

在本实施例中，说明了如下的处理示例，其中在该处理示例中，摄像元件506从整体控制算术运算单元509接收光圈控制信息、并且将该信息反映在下一帧的设置中。本发明不限于此，并且要发送至摄像元件506的光圈控制信息可以包括曝光追随速度。曝光追随速度是用于决定从接收到光圈控制信息时起应当追随曝光算术运算的速度的信息。在这种情况下，可以通过根据摄像元件506所接收到的曝光追随速度在例如图5的定时213或214而不是定时212的曝光算术运算中反映光圈控制信息，来调整曝光追随速度。另外，在本实施例中，即使在光圈控制期间也可以设置新的目标亮度值，并且元件内算术运算单元118基于所接收到的新的目标亮度值来进行曝光算术运算。本发明不限于此，并且摄像元件506在光圈控制期间可以不接收新的目标亮度值。即，元件内算术运算单元118在摄像单元进行曝光算术运算和控制的期间不接收新的目标亮度值。根据本实施例，可以减少施加在摄像设备的算术处理单元上的用以进行曝光控制的处理负荷，并且可以使由于可能作为图像闪烁的原因的光圈控制所产生的曝光变化最小化。注意，可以根据整体控制算术运算单元509对驱动模式的控制来适当切换图5和图8所示的操作。注意，除照相机设置信息和目标亮度值以外，还可以针对摄像元件506设置预定信息。例如，可以通过设置追随范围(最大增益或最小快门速度等)等，来适当地进行曝光控制。

第二实施例

接着，将说明本发明的第二实施例。尽管在第一实施例中说明了摄像元件506具有曝光算术运算的功能的结构，但是在本实施例中将说明用于切换摄像系统的算术处理单元的曝光算术运算的功能和摄像元件506的曝光算术运算的功能的处理。注意，将不说明与第一实施例的事项相同的事项，并且将主要说明差异。这种省略说明的方式同样适用于下述的实施例。

接着，将参考图7的流程图来说明根据本实施例的摄像系统的处理。在启动摄像系统时，在S701中，整体控制算术运算单元509获取摄像系统所保持的照相机设置信息。照相机设置信息包括用于静止图像/运动图像的驱动模式(4K/Full HD/HD/HFR)、曝光设置、程序模式、测光模式以及被摄体信息等。另外，将根据各种设置组合的CPU的负荷信息保持在第二存储器单元514中，并且获取该负荷信息。

在S702中，整体控制算术运算单元509判断是否需要精度更高的曝光算术运算。例如，假定如下的情况，其中在该情况下，根据测光模式的设置信息或者被摄体的面部或特定器官(眼睛等)的信息，需要摄像元件506中的一些测光算术运算。在这种情况下，存在如下的可能性：仅利用摄像元件506将难以进行曝光算术处理，或者将不能以必要的精度进行处理。在判断为需要精度更高的曝光算术运算的情况下，整体控制算术运算单元509进行S705的处理，以及在判断为不需要精度更高的曝光算术运算的情况下，处理进入S703的处理。

在S703中，整体控制算术运算单元509判断曝光算术运算时间是否具有余裕。基于每单位时间的处理负荷量来进行用于判断时间余裕的处理，并且具体地，判断帧中所包括的像素数以及针对各信号所进行的图像处理操作的数量。整体控制算术运算单元509例如基于设置参数(驱动模式或数据处理的内容)来判断下一帧的处理负荷量。数据处理的内容包括处理的目的，诸如数据是要被输出用于显示、还是用于显示和记录。基于所获取的驱动模式或CPU的负荷信息等来判断状态是否是可以针对各帧执行曝光算术处理的状态。作为算术处理不具有余裕的示例，例如，例示了如下的情况，其中在该情况下，整体控制算术运算单元509检测被摄体，并且需要具有使用检测结果在单位时间内不可能完成处理的负荷量的算术处理。在S703中在判断为可以针对各帧执行曝光算术处理的情况下，处理转至S705。另一方面，在处理状况不利、且判断为针对各帧不执行曝光算术处理的情况下，处理进入S704的处理。

在S704中，整体控制算术运算单元509设置摄像元件506的曝光控制模式、并且向该摄像元件506通知照相机设置信息。另一方面，在S705中，整体控制算术运算单元509设置整体控制算术运算单元509的曝光控制模式。在该模式下，将曝光时间和增益设置信息从整体控制算术运算单元509发送至摄像元件506。在S704或S705的处理之后，处理进入S706的处理。在S706中，整体控制算术运算单元509在S704或S705中所设置的曝光控制模式下开始摄像操作，并且针对各帧重复处理。

在S707中，整体控制算术运算单元509判断摄像系统(镜头单元和照相机主体)的状态是否发生改变。在判断为摄像系统的状态发生了改变的情况下，处理返回至S701以再次获取照相机设置信息，并且处理继续。另外，在S707中在判断为摄像系统的状态未发生改变的情况下，处理进入S708的处理。在S708中，整体控制算术运算单元509判断摄像处理是否应该终止。在判断为摄像处理应该终止的情况下，一系列处理结束。在摄像处理继续的情况下，处理返回至S706的处理以重复摄像处理。

在本实施例中，获取照相机设置信息，并且根据驱动模式和CPU的负荷状态来适当地切换两种类型的曝光控制。例如，在整体控制算术运算单元509的处理负荷量大于或等于阈值的情况下，模式被切换为摄像元件所进行的第一曝光控制，以及在处理负荷量小于阈值的情况下，模式被切换为整体控制算术运算单元509所进行的第二曝光控制。通过在必要时切换为第二曝光控制，可以进行精度更高的曝光控制。另外，通过在处理负荷量较大的情况下切换为第一曝光控制，可以减少整体控制算术运算单元509的处理负荷。注意，两个曝光控制模式仅是示例，并且本发明不限于切换第一曝光控制模式和第二曝光控制模式的结构。为了实现更复杂功能的处理，还可以组合使用两个曝光控制模式的结构。例如，在图7的S705中执行如下的处理，其中在该处理中，组合使用基于摄像元件所进行的算术运算的第一曝光控制模式、和由整体控制算术运算单元509所进行的第二曝光控制模式。可选地，使用附加判断条件下的判断结果，执行作为第三曝光控制模式的、组合使用第一曝光控制模式和第二曝光控制模式的控制。注意，整体控制算术运算单元509可以具有该单元能够从摄像元件506获取预定信息的结构。例如，还可以获取元件内算术运算单元118所获得的算术运算结果、或增益、或电子快门速度的设置值。此外，还可以获取表示摄像元件506已经达到该摄像元件可以追随的曝光极限等的状态的信息。

第三实施例

接着，将说明本发明的第三实施例。在第一实施例中，说明了如下的示例，其中在该示例中，在摄像元件506的具有曝光算术运算功能的结构中的画面内均匀地进行增益相乘处理。在本实施例中，在拍摄画面内的区域中使用不同的增益值来进行相乘处理。具体地，将说明如下的示例，其中在该示例中，元件内算术运算单元118控制增益放大器110，并且在画面的垂直方向上应用不同的增益值。

接着，将参考图5来说明根据本实施例的曝光控制。由于在运动图像拍摄中进行狭缝滚动读取(slit rolling reading)，因此拍摄画面的上部和下部中的累积定时是不同的。在图5中，在与帧号2的传感器设置相对应的定时209进行光圈开始变化的帧号4的增益设置。示出在画面上增益值被均匀地设置为“x2”的示例。在本实施例中，为了改变画面的上部和下部的增益值，摄像元件506改变各水平行的增益设置。由于在图5的示例中、增益值在“x1”和“x2”之间变化，因此针对画面的最上行设置“x1”，并且针对画面的最下行设置“x2”。针对位于最上行和最下行之间的行设置“x1”和“x2”之间的增益值(例如，大于默认值的1倍且小于默认值的2倍的增益值)，使得增益值均等地分配在这些行上。同样，在下一帧的增益设置中，针对从最上行到最下行的行设置“x2”和“x3”之间的增益值(例如，大于或等于默认值的2倍且小于或等于默认值的3倍的增益值)，使得增益值均等地分配在这些行上。此外，在下一帧的增益设置中，针对从最上行到最下行的行设置“x3”和“x4”之间的增益值，使得增益值均等地分配在这些行上。

在本实施例中，针对光圈操作期间所累积的帧图像，可以避免画面的垂直方向上的不均等曝光状态。尽管以上说明了本发明的典型实施例，但本发明不限于此并且可以在本发明的要旨的范围内以各种方式变形或更改。

第四实施例

接着，将说明本发明的第四实施例。在第二实施例中说明了切换摄像系统的算术处理单元的曝光算术运算的功能和摄像元件506的曝光算术运算的功能的处理。另一方面，在本实施例中，将说明组合使用摄像系统的算术处理单元的曝光算术运算的功能和摄像元件506的曝光算术运算的功能的处理。

接着，将参考图9的流程图来说明根据本实施例的摄像系统的处理。在启动摄像系统时，在S1101中，整体控制算术运算单元509获取摄像系统所保持的照相机设置信息。注意，照相机设置信息包括用于静止图像/运动图像的驱动模式(4K/Full HD/HD/HFR)、曝光设置、程序模式、测光模式以及被摄体信息等。

在S1102中，整体控制算术运算单元509判断是否需要精度更高的曝光算术运算。例如，假定如下的情况，其中在该情况下，根据测光模式的设置信息或者被摄体的面部或特定器官(眼睛等)的信息，需要摄像元件506中的一些测光算术运算。在这种情况下，存在如下的可能性：仅利用摄像元件506难以进行曝光算术处理，或者不能以必要的精度进行处理。在判断为需要精度更高的曝光算术运算的情况下，整体控制算术运算单元509进行S1104的处理，使得处理转至组合使用整体控制算术运算单元509和摄像元件506的曝光控制模式。另外，在判断为不需要精度更高的曝光算术运算的情况下，处理进入S1103的处理，使得处理转至摄像元件506的曝光控制模式。在S1103和S1104中，整体控制算术运算单元509向摄像元件506通知照相机设置信息。精度更高的曝光算术处理的示例例如包括整体控制算术运算单元509检测被摄体、并且使用检测结果来进行算术处理的情况。

在S1105中，整体控制算术运算单元509在S1103或S1104中所设置的曝光控制模式下开始摄像操作，并且针对各帧重复处理。在S1106中，整体控制算术运算单元509判断摄像系统(镜头单元和照相机主体)的状态是否发生改变。在判断为摄像系统的状态发生了改变的情况下，处理返回至S1101以再次获取照相机设置信息，并且处理继续。另外，在S1106中判断为摄像系统的状态未发生改变的情况下，处理进入S1107的处理。在S1107中，整体控制算术运算单元509判断摄像处理是否应该终止。在判断为摄像处理应该终止的情况下，一系列处理结束。在摄像处理继续的情况下，处理返回至S1105的处理以重复摄像处理。

在本实施例中，将参考图10和图11来说明组合使用摄像系统的算术处理单元的曝光算术运算的功能和摄像元件506的曝光算术运算的功能的摄像处理。图10是示出根据本实施例的曝光控制机制的时序图。图11是用于说明根据本实施例的摄像系统的处理的流程图。

图10示出针对摄像元件506的摄像同步信号1001、累积和读取定时1002～1004、设置定时1005～1007、以及增益控制定时1008～1010。此外，示出累积时间设置1011、帧号、以及光圈控制的变化1026。尽管在元件内处理中示出曝光算术定时1012、1013和1014、以及信息接收定时1015和1016，但这些定时与图5中的定时相同，因此将省略其详细说明。与图5的差异在于由整体控制算术运算单元509执行的引擎内处理。在引擎内处理中，示出曝光算术运算定时1017、设置定时1018和1019、以及增益控制定时1020～1022。此外，示出通过使传感器增益和引擎增益相乘所决定的总增益1023～1025。从帧号0开始的拍摄的引擎增益的设置值是使用引擎的曝光算术运算定时1017所决定的。另外，同时向摄像元件506发送照相机设置信息、目标亮度值和曝光控制信息。在元件内处理中针对各帧进行算术处理的情况下，在引擎内处理中，在第一定时或间歇性定时处进行算术处理，因此可以减少CPU的负荷率或存储带宽等的影响。

在图11中，在启动摄像系统时，在S1201中，整体控制算术运算单元509识别图9的S1101中所获取的摄像系统的照相机设置信息、并且进行引擎中的曝光算术运算。例如，一条照相机设置信息是程序图。整体控制算术运算单元509将控制范围划分为摄像元件509的控制范围和引擎内的控制范围。摄像元件509的控制范围处理诸如1008～1010等的整数倍的增益值以简化算术运算量，并且可以减小摄像元件509内的电路规模。另一方面，由于引擎包括可以进行更复杂的算术运算的电路，因此引擎内的控制范围处理针对摄像元件509而言难以进行算术运算的带小数点的增益值。作为示例，摄像元件509和引擎可以共享它们的角色。

在S1202中，整体控制算术运算单元509将与摄像系统相关的照相机设置信息和目标亮度值发送至摄像元件506。在本实施例中，照相机设置信息被假定为包括程序图。照相机设置信息可以具有包括曝光设置信息、诸如驱动模式、程序模式和测光模式等的模式信息、以及被摄体信息等的结构。摄像元件506的接收定时由图10的定时1015表示。尽管照相机设置信息和目标亮度值被假定为每当通过用户操作改变了摄像系统的设置时被发送至摄像元件506，但这些信息可以以固定的间隔发送。

在S1203中，整体控制算术运算单元509对帧号(在本实施例中将由N表示)进行初始化。在本实施例中，将帧号N的值初始化为零。注意，帧号N是用于使整体控制算术运算单元509与摄像元件506同步的信息。初始化定时不仅可以在启动摄像系统时设置一次，还可以在每当照相机设置信息或目标亮度值存在变化时设置多次。

在S1204中，进行光圈控制信息的传输处理。光圈控制信息是表示针对哪个帧区间应该控制多少级光圈的信息。在控制光圈504的情况下，整体控制算术运算单元509将镜头驱动单元502所使用的光圈控制信息传输至摄像元件506。摄像元件506的接收定时由图10的定时1016表示。在帧号N＝4和N＝5中分别使光圈从当前光圈值缩小一级的控制信息(变化1026)作为本实施例中的光圈控制信息被传输至摄像元件506。注意，代替在光圈控制信息中指定帧号，可以使用如下的方法，其中该方法使用指定了相对于预定基准定时的相对时间的光圈控制信息。在这种情况下，在摄像元件内进行将相对时间信息转换为帧号的处理。另外，与定时相关的信息可以不包括在光圈控制信息中。在这种情况下，控制可以以时间限制和预定延迟(在帧之后等)开始。

S1205是用以判断帧是否为最终帧的判断处理，并且整体控制算术运算单元509判断是否要终止摄像处理。在用户使用操作单元515明确地断开摄像系统的电源的情况下、在停止拍摄的情况下、或者在通过菜单操作进行临时停止处理的情况下，摄像处理终止。在帧被判断为最终帧的情况下，处理结束，并且在帧被判断为不是最终帧的情况下，处理进入S1206的处理。在摄像元件506的控制下进行以下的步骤S1206～S1209、S1211和S1212的处理。在除了照相机设置信息或目标亮度值存在变化的情况以外的情况下，针对各帧不将照相机设置信息从整体控制算术运算单元509传输至摄像元件506。因此，可以减少整体控制算术运算单元509和摄像元件506之间的通信量。

在S1206中，摄像元件506基于从整体控制算术运算单元509接收到的光圈控制信息来判断是否是要对当前帧进行光圈操作的定时。在镜头单元501安装至照相机主体的摄像系统中，光圈值根据焦距的变化而改变。因此，预先从整体控制算术运算单元509接收光圈控制信息，并且同样判断是否是要对各帧进行光圈操作的定时。在判断为是光圈操作的定时的情况下，处理进入S1207的处理，以及在判断为不是光圈操作的定时的情况下，处理转至S1208。

在S1207中，摄像元件506的元件内算术运算单元118基于光圈控制信息来获得由于光圈操作所引起的亮度变化量。在S1208中，元件内算术运算单元118根据亮度变化量来对曝光进行算术运算，以决定累积时间和增益(参见图10的定时1012)。在亮度变化量为零的情况下，继续先前帧的设置。在S1209中，针对帧号1的区间，设置S1207中所获得的累积时间和增益(参见图10的定时1005)。元件内算术运算单元118使曝光控制单元120通过设置像素单元101的累积时间来进行曝光控制，并且使用增益控制信号Sg来设置增益放大器110的增益值。构成增益单元的增益放大器110是可以设置增益值的可变增益放大器。

在S1210中，在摄像元件506设置累积时间和增益的情况下，整体控制算术运算单元509设置引擎的增益。通过在引擎中设置带小数点的增益，可以精细地控制曝光。在本实施例中，如图10所示，将增益“x3/4”设置为引擎增益1021，并且将增益“x3/4”设置为引擎增益1022。通过使摄像元件506和引擎相乘来决定摄像系统中所使用的总增益，并且将增益“x1”设置为总增益1023，将增益“x3/2”设置为总增益1024，并且将增益“x3”设置为总增益1025。

在S1211中，进行摄像元件506的摄像操作。例如，针对帧号2和3的区间中的各行顺次进行累积处理和读取处理，并且在帧号3处将图像信息传输至帧存储器117(图10的定时1002)。在S1212中，摄像元件506的元件内算术运算单元118根据帧存储器117的图像信息来计算被摄体的亮度值，使计算结果存储在第二存储器单元514中，并且将图像信息传输至摄像元件外部的图像处理单元。在S1213中，整体控制算术运算单元509对帧号N执行递增处理。向帧号N的值加1，处理返回至S1205以继续，并且重复该处理直到摄像操作结束。注意，图10中的定时1013、1006和1003的关系以及定时1014、1007和1004的关系与定时1012、1005和1002的关系相同。尽管如图10的光圈控制变化1026所示那样进行1/3级的光圈操作，但是始终维持合适的曝光状态。

存在如下的情况：诸如在期望根据被摄体的检测结果来控制曝光的情况下、在期望控制由闪烁引起的不均等的曝光的情况下、或者在期望根据测光模式来控制曝光的情况下，期望更精细地控制摄像系统的增益。在这种情况下，根据本实施例，通过将照相机设置信息发送至摄像元件506并且组合使用整体控制算术运算单元509的曝光算术运算和摄像元件506的曝光算术运算来进行曝光控制，可以在使CPU的处理负荷率和存储带宽的增加最小化的同时更精确地进行曝光控制。

虽然已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。以下权利要求书的范围应被给予最广泛的理解，以便包含所有这样的修改以及等同结构和功能。

本申请要求2017年2月10日提交的日本专利申请2017-022782以及2017年11月27日提交的日本专利申请2017-227175的权益，上述文献通过引用而整体包含于此。

Claims (15)

1.一种图像传感器，包括：

摄像单元，具有多个像素单元；

增益电路，用于设置针对所述摄像单元的输出信号的增益；

控制电路，用于控制所述摄像单元的累积时间；

接收接口，用于接收目标亮度值、外部曝光控制信息和曝光追随速度的信息；以及

算术运算电路，用于使用所述摄像单元的所述输出信号来检测亮度值，基于所述亮度值、所述目标亮度值和所述外部曝光控制信息来计算所述增益或所述累积时间，并且使所述增益电路或所述控制电路对所述摄像单元进行曝光控制，

其中，所述算术运算电路根据所述曝光追随速度的信息决定计算所述增益或所述累积时间的定时。

2.根据权利要求1所述的图像传感器，其中，所述算术运算电路使用所述外部曝光控制信息来进行所述亮度值的变化量的算术运算，并且计算与所述变化量相对应的增益或累积时间。

3.根据权利要求2所述的图像传感器，其中，所述外部曝光控制信息包括表示所述图像传感器外部的曝光控制的定时的信息，以及

其中，所述算术运算电路在判断为是进行所述图像传感器外部的曝光控制的定时的情况下，进行所述亮度值的变化量的算术运算。

4.根据权利要求1所述的图像传感器，其中，所述外部曝光控制信息包括光圈控制信息。

5.根据权利要求3所述的图像传感器，其中，即使当正在进行所述图像传感器外部的曝光控制时，在接收到新的目标亮度值的情况下，所述算术运算电路也使用该新的目标亮度值来进行算术运算。

6.根据权利要求1所述的图像传感器，其中，所述算术运算电路在所述增益电路或所述控制电路对所述摄像单元进行曝光控制的情况下，不接收新的目标亮度值。

7.根据权利要求1所述的图像传感器，其中，所述算术运算电路针对所述摄像单元的各行计算不同的增益值，以控制所述增益电路的设置。

8.根据权利要求1所述的图像传感器，其中，所述摄像单元布置在所述图像传感器的第一半导体基板上，并且所述算术运算电路、所述增益电路和所述控制电路布置在所述图像传感器的第二半导体基板上。

9.根据权利要求1所述的图像传感器，其中，多个半导体基板彼此堆叠，所述摄像单元布置在第一半导体基板上，并且所述算术运算电路布置在不同于所述第一半导体基板的第二半导体基板上。

10.一种摄像设备，包括：

根据权利要求1所述的图像传感器；以及

控制器，其具有用于执行存储器中所存储的指令的处理器或者具有电路，所述控制器被配置为用作：

算术处理单元，用于将所述目标亮度值、所述外部曝光控制信息和所述曝光追随速度的信息发送至所述图像传感器。

11.根据权利要求10所述的摄像设备，其中，所述算术处理单元获取摄像光学系统中所设置的光圈的控制信息，从所述图像传感器所获取到的图像信号中检测被摄体的亮度值，并且进行曝光算术运算。

12.根据权利要求11所述的摄像设备，其中，所述算术处理单元进行用于在用以在所述图像传感器内进行曝光算术运算的第一控制和用以使用所述算术处理单元所进行的算术运算的结果来对所述图像传感器进行曝光控制的第二控制之间进行切换的切换处理。

13.根据权利要求12所述的摄像设备，其中，所述算术处理单元进行在处理负荷量大于或等于阈值的情况下向所述第一控制切换、以及在所述处理负荷量小于所述阈值的情况下向所述第二控制切换的处理。

14.根据权利要求11所述的摄像设备，其中，所述算术处理单元组合使用用以在所述图像传感器内进行曝光算术运算的第一控制和用以使用所述算术处理单元所进行的算术运算的结果对所述图像传感器进行曝光控制的第二控制来进行控制。

15.一种摄像设备，包括：

根据权利要求1所述的图像传感器；以及

控制器，其被配置为将所述摄像设备在以下的控制模式之间进行切换：(i)第一控制模式，其中，在所述图像传感器内进行曝光算术运算；以及(ii)第二控制模式，其中，所述控制器进行算术运算，并且基于所述控制器所进行的算术运算来对所述图像传感器进行曝光控制。

Images