CN117296311A - 拍摄装置及其控制方法 - Google Patents

Abstract

一种拍摄装置(100)具备：数据获取部(20)，其获取基于第一像素组的第一部分合并数据(p1)，该第一像素组在由被分组的多个像素构成的单位像素组中，由至少一个像素通过合并构成；分析部(30)，其基于第一部分合并数据(p1)与基于由单位像素组中除第一像素组以外的像素构成的第二像素组的第二部分合并数据(p2)之间的互相关，分析由单位像素组构成的区域的影像信号的频率特性；以及莫尔条纹去除部(40)，其基于分析结果，去除由单位像素组构成的区域中产生的莫尔条纹。

Description

拍摄装置及其控制方法 技术领域

本公开涉及拍摄装置及其控制方法。

背景技术

一般而言，在摄像头等拍摄装置中，寻求高画质化、高功能化等的性能提升，已经以各种方式设计了在该拍摄装置中搭载的例如CMOS等图像传感器。

例如，公开了通过以组为单位处理图像传感器的多个像素来实现高动态范围(HDR)图像的技术(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2021/0385389号说明书。

发明内容

发明要解决的问题

然而，在专利文献1所述的图像传感器中，没有考虑在拍摄图像中产生的莫尔条纹，结果在拍摄图像中可能会产生莫尔条纹。

因此，本公开的目的在于，提供一种适当去除莫尔条纹的拍摄装置及其控制方法。

用于解决问题的方案

本公开的一个方面的拍摄装置具备：数据获取部，其获取基于第一像素组的第一部分合并数据，该第一像素组在由被分组的多个像素构成的单位像素组中，由至少一个像素通过合并构成；分析部，其基于第一部分合并数据与基于由单位像素组中除第一像素组以外的像素构成的第二像素组的第二部分合并数据之间的互相关，分析由单位像素组构成的区域的影像信号的频率特性；以及莫尔条纹去除部，其基于分析结果，去除由单位像素组构成的区域中产生的莫尔条纹。

在上述方面中，莫尔条纹去除部也可以通过低通滤波器去除影像信号的高频成分，从而去除莫尔条纹。

在上述方面中，莫尔条纹去除部也可以基于由单位像素组附近的单位像素组构成的区域的影像信号，去除莫尔条纹。

在上述方面中，数据获取部也可以获取基于构成单位像素组的全部像素的全部合并数据，从全部合并数据中减去第一部分合并数据，从而获取第二部分合并数据。

在上述方面中，对应多个像素构成的各光电二极管也可以连接到公共浮动扩散区。

在上述方面中，也可以是，浮动扩散区可以在多个电荷电压转换增益之间进行切换，数据获取部获取多个电荷电压转换增益中低转换增益下的第一部分合并数据，分析部基于低转换增益下的第一部分合并数据与第二部分合并数据之间的互相关，分析由单位像素组构成的区域的影像信号的频率特性，莫尔条纹去除部基于低转换增益下的分析结果，去除由单位像素组构成的区域中产生的莫尔条纹。

在上述方面中，也可以是，多个像素中的每一个进一步由两个以上的子像素构成，数据获取部获取在两个以上的子像素中，基于通过合并由至少一个以上的子像素构成的第一子像素组的第一子部分合并数据、以及基于由除了第一子像素组以外的子像素构成的第二子像素组的第二子部分合并数据，第一子部分合并数据以及第二子部分合并数据用于相位差自动对焦。

在上述方面中，也可以是，多个像素中的每一个进一步由两个以上的子像素构成，多个像素中的任意一个像素包含对两个以上的子像素中的至少一个以上的子像素进行遮蔽的遮蔽像素，数据获取部获取在包含遮蔽像素的像素中基于除遮蔽像素以外的子像素的子部分合并数据，子部分合并数据用于相位差自动对焦。

本公开的另一方面的拍摄装置：数据获取部，其获取基于第一像素组的第一部分合并数据，该第一像素组在由被分组的多个像素构成的单位像素组中，由至少一个像素通过合并构成；分析部，其基于第一部分合并数据与基于由单位像素组中除第一像素组以外的像素构成的第二像素组的第二部分合并数据之间的互相关，分析由单位像素组构成的区域的影像信号的频率特性；以及图像生成部，其基于分析结果，恢复由单位像素组构成的区域中的高频成分并生成图像。

本公开的一方面的控制方法由拍摄装置中包含的处理器执行，包含：数据获取步骤，获取基于第一像素组的第一部分合并数据，该第一像素组在由被分组的多个像素构成的单位像素组中，由至少一个像素通过合并构成；分析步骤，基于第一部分合并数据与基于由单位像素组中除第一像素组以外的像素构 成的第二像素组的第二部分合并数据之间的互相关，分析由单位像素组构成的区域的影像信号的频率特性；以及莫尔条纹去除步骤，基于分析结果，去除由单位像素组构成的区域中产生的莫尔条纹。

发明效果

根据本公开，能够提供一种适当去除莫尔条纹的拍摄装置及其控制方法。

附图说明

图1是用于说明本公开的第一实施方式的图像传感器10的构成的示意图。

图2是用于说明在本公开的第一实施方式的图像传感器10中使用的合并的图。

图3是用于说明在本公开的第一实施方式的图像传感器10中使用的部分合并的图。

图4是用于说明本公开的第一实施方式的拍摄装置100的各功能和数据流的框图。

图5是示意性地示出有关用于说明4(2×2)个像素中的合并的例子的信号流的电路构成的图。

图6是用于说明图5所示的4(2×2)个像素的电路构成的各要素的动作的图。

图7是示出本公开的第一实施方式的拍摄装置100执行的控制方法M100的处理的流程的流程图。

图8是示出在本公开的第一实施方式的图像传感器10中使用的另一部分合并(另一具体例1)的图。

图9是示出在本公开的第一实施方式的图像传感器10中使用的另一部分合并(另一具体例2)的图。

图10是示出在本公开的第一实施方式的图像传感器10中使用的另一部分合并(另一具体例3)的图。

图11是示意性地示出有关信号流的电路构成的图，上述信号流用于说明在4(2×2)个像素中组合双重转换增益和全部像素拍摄面相位差AF进行动作的例子。

图12是用于说明图11所示的4(2×2)个像素的电路构成的各要素的动作的图。

图13是表示为了获取相位差AF用的信号而设置了专用的像素的图像传感器的示意图。

具体实施方式

以下，参照附图具体说明本公开的优选实施方式。另外，以下说明的各实施方式说仅为举出用于实施本公开的具体的一例，而不是限制性地解释本公开。另外，为了便于理解说明，在各附图中对相同的构成要素尽可能地赋予相同的附图标记，有时省略重复的说明。

＜第一实施方式＞

[关于图像传感器]

图1是用于说明本公开的第一实施方式的图像传感器10的构成的示意图。如图1所示，图像传感器10典型地为CMOS图像传感器等，具备控制电路1、二维排列的多个像素组2、信号线3、读取电路4、以及数字信号处理部(DSP)5。

此外，在此，通过将4(2×2)个像素分组而使像素组2成为一个像素组(单位像素组)，但不限于此，例如，也可以将3(3×1)个像素、8(4×2)个像素、9(3×3)个像素、以及16(4×4)像素等作为一个单位像素组。

控制电路1驱动图像传感器10的多个像素组2，控制读取基于上述多个像素组2中积累的光信号的数据，并将其输出到图像传感器10的外部。

多个像素组2二维排列，基于来自控制电路1的控制信号以及该像素2组自身生成的控制信号，积累被带到图像传感器10的光信号，作为基于该光信号的数据(电信号)被读取。

从多个像素组2读取的电信号经由信号线3(典型地，与列方向平行的列信号线)传输到读取电路4，该电信号被模拟数字转换。

数字信号处理部(DSP)5处理由读取电路4模拟数字转换后的数字信号。接着，被处理后的数字信号经由数据总线传输到拍摄装置所具有的处理器或存储器等。

此外，DSP5不限于这种配置构成，例如，也可以是如下构成：图像传感器10不包含DSP5，后级的处理器具有DSP。而且，还可以是如下构成：分别由图像传感器10的DSP5以及后级的处理器等中包含的DSP来处理图像处理中的数字信号处理的一部分。换言之，本公开中的DSP的位置不限于指定位置。

[关于合并]

图2是用于说明在本公开的第一实施方式的图像传感器10中使用的合并的图。在图2中，作为一个例子，在单板式拜耳排列的颜色像素配置中，各个颜色由4(2×2)个像素构成。

如果将各像素分别作为独立像素并读入来自各像素的数据，则能够获取基于高采样频率的高分辨率 影像。另一方面，如图2所示，通过合并使4个像素成为一个像素组(单位像素组)并读入来自该4个像素的数据，则能够实现基于高信号电子数的高SNR、基于宽像素尺寸的高灵敏度、基于少量像素的高帧率、以及基于低读取的低功耗。

即，根据合并，分辨率和其他性质处于折中关系。具体地，在将各像素分别作为独立像素并读取来自全部像素的数据的情况下，将上述读取时的采样频率设为fs(全部像素读取模式：“full readout mode”)。相对于此，在通过合并将4个像素作为一个像素组(单位像素组)并读取来自该4个像素的数据的情况下，上述读取时的采样频率下降到fs/2(合并模式：“binning mode”)。

图3是用于说明在本公开的第一实施方式的图像传感器10中使用的部分合并的图。在图3中，作为一个例子，将由绿色(G)、红色(R)、蓝色(B)以及绿色(G)构成的拜耳排列作为一个拜耳单元(“one bayer unit”)，该拜耳单元配置成矩阵。

此外，在此，一个拜耳单元(“one bayer unit”)由G、R、B、G的4个(2×2)的单位像素组构成，但不限于此，例如，也可以由9(3×3)个的单位像素组、以及16(4×4)个的单位像素组等构成。

在偶数行组中，如数字“1”所示，例如，在由G构成的4(2×2)个像素的单位像素组中，将左半部分的两个像素(第一像素组)部分合并，并读取数据(第一部分合并数据)。接着，将由上述G构成的4(2×2)个像素全部合并，并读取数据(全部合并数据)。

在奇数行组中，如数字“1”所示，例如，由G构成的4(2×2)个像素的单位像素组中，将上半部分的两个像素(第一像素组)部分合并，并读取数据(第一部分合并数据)。接着，将由上述G构成的4(2×2)个像素全部合并，并读取数据(全部合并数据)。

另外，在由G构成的4(2×2)个像素的单位像素组中，右半部分以及下半部分的数据可以基于全部合并中读取的全部合并数据与部分合并中读取的部分合并数据的差值来生成(第二像素组、第二部分合并数据)。

此外，在此，以由G构成的4(2×2)个像素的单位像素组中的一部分为例进行了具体说明，但对其他由G构成的4(2×2)个像素的单位像素组、由R构成的4(2×2)个像素的单位像素组、以及由B构成的4(2×2)个像素的单位像素组也进行同样的处理。

[关于莫尔条纹去除]

以下，说明使用从图像传感器10输出的部分合并数据以及全部合并数据去除莫尔条纹(混叠)的处理。此外，莫尔条纹是在图像中产生的一种噪音，但本说明书中的莫尔条纹去除也包括同类的混叠(Aliasing)的去除，自然也可以进行处理。

图4是用于说明本公开的第一实施方式的拍摄装置100的各功能和数据流的框图。如图4所示，拍摄装置100具备图像传感器10、数据获取部20、分析部30、以及莫尔条纹去除部40。此外，在此，虽然未图示光学系统、存储器等，也省略了详细说明，但一般拍摄装置所具备的功能或构件在拍摄装置100中也具备。另外，本公开的拍摄装置适用于数码摄像头、以及搭载摄像功能的智能手机、平板、笔记本电脑等的终端。

图像传感器10是使用上述图1～图3说明的图像传感器，如图4所示，从图像传感器10读取第一部分合并数据p1以及全部合并数据a1。

在此，全部合并数据a1、第一部分合并数据p1以及第二部分合并数据p2例如可以通过上述使用图3说明的过程来读取和生成。

具体地，第一部分合并数据p1是基于由被分组的多个像素构成的单位像素组中的、通过合并由至少一个像素构成的第一像素组的数据。在图3中，第一部分合并数据p1相当于从单位像素组中由数字“1”表示的两个像素中读取的数据。

全部合并数据a1是基于由被分组的多个像素构成的单位像素组中的、全部像素的数据。在图3中，全部合并数据a1相当于从单位像素组中的4(2×2)个像素中读取的数据。

然后，从全部合并数据a1中减去第一部分合并数据p1，从而基于其差值生成第二部分合并数据p2。

分析部30基于第一部分合并数据p1与第二部分合并数据p2之间的互相关，分析由该单位像素组构成的区域的影像信号的频率特性。

例如，分析部30计算第一部分合并数据p1与第二部分合并数据p2之间的互相关，在互相关小的(规定阈值以下的)情况下，判定由该单位像素组构成的区域包含较多高频成分。

而且，莫尔条纹周期性产生的可能性很高，考虑到其特性，分析部30可以在图像传感器10中估计在由哪个单位像素组构成的区域中产生了莫尔条纹。

例如，在图3所示的例子中，在偶数行组中，分析部30计算基于单位像素组中左半部分的两个像素的第一部分合并数据与基于右半部分的两个像素的第二合并数据之间的互相关。另外，在奇数行组中，分析部30计算基于单位像素组中上半部分的两个像素的第一部分合并数据与基于下半部分的两个像素 的第二部分合并数据之间的互相关。即，分析部30虽然在单位像素组中分析影像信号在纵向和横向上的频率特性，但在纵向和横向上交替地对每一行设置合并分组。因此，根据莫尔条纹的产生情况，也考虑无法判定所有产生莫尔条纹的区域(单位像素组)，但如上所述，通过假设莫尔条纹周期性(规定的长度以及周期)以条纹图案产生，能够估计在哪个区域(单位像素组)产生了莫尔条纹。

此外，用于计算第一部分合并数据p1与第二部分合并数据p2之间的互相关并判定包含较多高频成分的阈值例如可以根据包含透镜或图像传感器等的拍摄装置的种类以及性能、被摄体或周边环境以及其他拍摄情况预先设定或变更。另外，也可以通过使用AI(Artificial Intelligence)学习来设定适当的阈值。而且，例如，也可以将第一部分合并数据p1、第二合并数据p2以及全部合并数据a1等作为监督数据，使用AI来判定是否产生了莫尔条纹。

这样，分析部30的分析方法不特别限定，可以使用各种分析方法来分析由单位像素组构成的区域的影像信号的频率特性，检测包含较多高频成分的区域和产生了莫尔条纹的区域等。

莫尔条纹去除部40基于分析部30的分析结果，去除由单位像素组构成的区域中产生的莫尔条纹。

例如，莫尔条纹去除部40可以通过低通滤波器去除包含较多高频成分的区域中的影像信号(例如，该单位像素组的全部合并数据a1)的高频成分。

另外，莫尔条纹去除部40也可以基于产生莫尔条纹区域附近的未产生莫尔条纹的区域中的影像信号(例如，另一单位像素组的全部合并数据a1)来去除莫尔条纹。在此，产生莫尔条纹区域附近的未产生莫尔条纹的区域是指：例如，是在位于产生莫尔条纹区域的相邻(上下左右、对角线的延长线上的倾斜位置)并包围产生该莫尔条纹区域中，未产生莫尔条纹的区域。即，莫尔条纹去除部40根据另一区域的影像信号对产生莫尔条纹的区域进行插值，从而生成没有莫尔条纹的图像。

另外，不限于莫尔条纹的产生，也可以针对通过分析部30判定为包含高频成分且需要对该高频成分进行处理的区域(单位像素组)，代替莫尔条纹去除部40而具备或额外具备适当恢复高频成分的图像生成部(未图示)。典型地，图像生成部可以根据其附近区域的影像信号对被判定为需要图像处理的区域(单位像素组)进行插值，从而适当地恢复高频成分，而且还可以使用AI适当地恢复高频成分。

此外，在图4所示的例子中，数据获取部20通过从全部合并数据a1中减去第一部分合并数据p1来获取第二部分合并数据p2，分析部30算出第一部分合并数据与第二部分合并数据p2之间的互相关，但不限于此。例如，分析部30也可以基于第一部分合并数据p1和全部合并数据a1，并基于第一部分合并数据p1与第二部分合并数据p2之间的互相关来分析由单位像素组构成的区域的影像信号的频率特性。

数据获取部20从图像传感器10读取第一部分合并数据p1和全部合并数据a1，但不限于此。例如，也可以读取第一部分合并数据p1和第二部分合并数据p2。在这种情况下，分析部30可以基于从图像传感器10读取的第一部分合并数据p1与第二部分合并数据p2之间的互相关分析由该单位像素组构成的区域的影像信号的频率特性。

另外，莫尔条纹去除部40和/或图像生成部基于分析部30的分析结果，针对包含较多高频成分的区域，典型地基于全部合并数据a1来生成适当的图像，包括去除莫尔条纹，但也可以基于第一部分合并数据p1以及第二部分合并数据p2来生成图像。

而且，莫尔条纹去除部40和/或图像生成部可以在对全部合并数据a1或第一部分合并数据p1以及第二部分合并数据p2进行去马赛克处理之后，生成适当的图像。

[关于图像传感器中的各像素的电路构成]

作为图像传感器，说明单位像素组的合并的具体方法。在此，对于图像传感器中的单位像素组，进一步详细地说明具体构成及动作。

图5是示意性地示出有关用于说明4(2×2)个像素中的合并的例子的信号流的电路构成的图。如图5所示，4(2×2)个像素对应于4个光电二极管(PD1～PD4)，由与其连接的浮动扩散区(FD)、源极跟随放大器(SF)、复位晶体管(RES)、传输晶体管(TX1～TX4)、以及选择晶体管(SEL)构成。

4个光电二极管(PD1～PD4)连接到公共浮动扩散区(FD)。源极跟随放大器(SF)的输出经由选择晶体管(SEL)在二维配置有多个像素组的列上连接到公共输出线(相当于图1的信号线3)，而且，连接作为源极跟随放大器(SF)的负载的恒流源(I)、电压增益转换单元(未图示)、以及模拟数字转换器(ADC)。

并且，由模拟数字转换器(ADC)转换的数字信号(数据)保持在行存储器1或行存储器2中。

图6是用于说明图5所示的4(2×2)个像素的电路构成的各要素的动作的图。

在时刻t1，复位晶体管(RES)以及传输晶体管(TX1～TX4)导通，光电二极管(PD1～PD4)被复位。

之后，在经过用于积累数据的规定积累期间后，开始从构成单位像素组的像素中读取数据的处理， 首先，在时刻t2，复位晶体管(RES)截止，选择晶体管(SEL)导通。接着，以规定的电压增益对其值进行模拟数字转换，并保持到行存储器1中(FD复位噪声)。

在时刻t3，为了部分合并，在传输晶体管(TX1～TX4)中，例如，导通传输晶体管(TX1～TX2)，从而将来自光电二极管(PD1～PD2)的信号传输到浮动扩散区(FD)。接着，以规定的电压增益对其值进行模拟数字转换，并保持到行存储器2中(部分合并数据)。

在时刻t4，从行存储器2保持的值中减去行存储器1保持的值，输出其结果，并传输到后级的图像信号处理器(ISP)或帧存储器中。由此，能够获取被称为相关二重采样的、去除浮动扩散区(FD)的复位噪声的数据(噪声去除/部分合并数据)。这相当于图4的第一部分合并数据p1。

在时刻t5，为了全部合并，通过导通传输晶体管(TX1～TX4)，将来自光电二极管(PD1～PD4)的信号传输到浮动扩散区(FD)。接着，以规定的电压增益对其值进行模拟数字转换，并保持到行存储器2中(全部合并数据)。

此外，在此，设为在全部合并数据的模拟数字转换结束之前完成行存储器2中保持的部分合并数据的输出，但如果在部分合并数据的输出还未结束的情况下，优选具备用于保持全部合并数据的另一行存储器等。

另外，由于全部合并的浮动扩散区(FD)的复位噪声可以使用行存储器1中保持的数据，因此，在时刻t6，从行存储器2保持的值中减去行存储器1保持的值，并输出其结果。由此，能够获取去除了浮动扩散区(FD)的复位噪声的全部合并数据(噪声去除·全部合并数据)。这相当于图4的全部合并数据a1。

这样，从图像传感器10的各单位像素组中取出第一部分合并数据p1以及全部合并数据a1。

[关于控制方法]

接着，详细说明使用合并数据去除莫尔条纹同时生成图像的控制方法。

图7是示出本公开的第一实施方式的拍摄装置100执行的控制方法M100的处理的流程的流程图。如图7所示，控制方法M100包含步骤S10～S50，各步骤由拍摄装置100中包含的处理器执行。

在步骤S10中，数据获取部20获取基于单位像素组中的第一像素组的第一部分合并数据(数据获取步骤)。作为具体例，如图3及图4所示，数据获取部20从图像传感器10，将4(2×2)个像素的在单位像素组中的由数字“1”表示的两个像素部分合并，并读取数据(第一部分合并数据p1)。

在步骤S20中，分析部30基于在步骤S10获取的第一部分合并数据与基于由单位像素组中除第一像素组以外的像素构成的第二像素组的第二部分合并数据之间的互相关，分析由该单位像素组构成的区域的影像信号的频率特性(分析步骤)。作为具体例，如图3以及图4所示，数据获取部20从图像传感器10，将4(2×2)个像素的单位像素组的全部像素进行全部合并，并读取数据(全部合并数据a1)，并通过减去第一部分合并数据p1，从而获取第二部分合并数据p2。接着，分析部30计算第一部分合并数据p1与第二部分合并数据p2之间的互相关，分析由该单位像素组构成的区域的影像信号的频率特性。

在步骤S30中，分析部30判断由单位像素组构成的区域是否是包含较多高频成分且需要对高频成分进行处理的处理对象区域。作为具体例，分析部30基于在步骤S20中计算出的第一部分合并数据p1与第二部分合并数据p2之间的互相关，判断由该单位像素组构成的区域是否是高频成分的处理对象区域。在互相关小的情况下，该区域由于包含较多高频成分而被判定为高频成分的处理对象区域(步骤S30的是)，在互相关大的情况下，判定该区域不是高频成分的处理对象区域(步骤S30的否)。

在步骤S40(步骤S30的是)中，莫尔条纹去除部40去除由单位像素组构成的区域中产生的莫尔条纹，同时生成图像(莫尔条纹去除步骤)。作为具体例，莫尔条纹去除部40针对由该单位像素组构成的区域，通过使用低通滤波器来去除高频成分，或根据另一区域的影像信号进行插值，从而去除莫尔条纹同时生成图像。

在步骤S50(步骤S30的否)中，图像生成部针对由该单位像素组构成的区域，基于全部合并数据a1生成适当的图像。

如以上所述，根据本公开的第一实施方式的拍摄装置100以及控制方法M100，数据获取部20获取基于单位像素组中的第一像素组的第一部分合并数据p1，分析部30基于第一部分合并数据p1与第二部分合并数据p2之间的互相关，分析由单位像素组构成的区域的影像信号的频率特性，莫尔条纹去除部40基于分析结果，去除由单位像素组构成的区域中产生的莫尔条纹。其结果是，能够在适当去除莫尔条纹的同时生成图像。

[单位像素组的分组(部分合并)的另一具体例]

在本实施方式中，如图3所示，将4(2×2)个像素分组为单位像素组，将左半部分的两个像素或上半部分的两个像素部分合并，并读取数据作为第一部分合并数据，但部分合并不限于此。以下，说明部分合并的另一具体例。

(另一具体例1)

图8是示出在本公开的第一实施方式的图像传感器10中使用的另一部分合并(另一具体例1)的图。如图8所示，与图3同样地，由绿色(G)、红色(R)、蓝色(B)以及绿色(G)构成的拜耳单元配置成矩阵。

在偶数行组中，如数字“1”所示，在单位像素组中，将左上以及右下的两个像素(第一像素组)进行部分合并，并读取数据(第一部分合并数据)。

在奇数行组中，如数字“1”所示，在单位像素组中，将右上以及左下的两个像素(第一像素组)进行部分合并，并读取数据(第一部分合并数据)。

这样，在单位像素组中，配置在对角线上的像素被部分合并。其他与使用图3说明的处理相同。

(另一具体例2)

图9是示出在本公开的第一实施方式的图像传感器10中使用的另一部分合并(另一具体例2)的图。如图9所示，与图3同样地，由绿色(G)、红色(R)、蓝色(B)以及绿色(G)构成的拜耳单元配置成矩阵。

在偶数行组以及奇数行组中，如数字“1”所示，在单位像素组中，右上，右下以及左下的3像素(第一像素组)部分合并，并读取数据(第一部分合并数据)。

这样，在单位像素组(4个像素)中，三个像素被部分合并。其他与使用图3说明的处理相同。

在图9的例子中，在单位像素组中，以非对称的方式将多个像素分组，并进行部分合并。由此，分析部30基于第一部分合并数据(由数字“1”表示的第一像素组)与第二部分合并数据(单位像素组中除第一像素组以外的第二像素组)之间的互相关，能够更适当地在该单位像素组中分析影像信号在纵向和横向上的频率。即，分析部30能够更适当地分析由该单位像素组构成的区域中包含较多高频成分、以及产生了莫尔条纹。

(另一具体例3)

图10是示出在本公开的第一实施方式的图像传感器10中使用的另一部分合并(另一具体例3)的图。如图10所示，与图3同样地，由绿色(G)、红色(R)、蓝色(B)以及绿色(G)构成的拜耳单元配置成矩阵。

在偶数行组中，如数字“1”所示，在单位像素组中，将左半部分的两个像素(第一像素组)进行部分合并，并读取数据(第一部分合并数据)，并且将右上的像素添加到第一像素组中，或单独进行部分合并，并读取数据(追加部分合并数据)。

在奇数行组中，如数字“1”所示，在单位像素组中，将上半部分的两个像素(第一像素组)进行部分合并，并读取数据(第一部分合并数据)，并且将左下的像素添加到第一像素组中，或单独进行部分合并，并读取数据(追加部分合并数据)。

这样，在单位像素组中，将第一像素组进行部分合并，进而将不同的像素组(第一像素组+另一像素或单独另一像素)进行部分合并。接着，将单位像素组全部合并，并读取全部合并数据。

在图10的例子中，由于获取多个由重心不同的像素组构成的区域中的部分合并数据，因此，如果从全部合并数据中减去上述部分合并数据，则也能够获取多个第二部分合并数据。分析部30基于这样获取到的各种组合获得的第一部分合并数据和第二部分合并数据，能够更适当地分析在由该单位像素组构成的区域中包含了较多高频成分、以及产生了莫尔条纹。

如本文所示，部分合并中存在各种方式，但不限于此。单位像素组中所部分合并的像素可以有规律地设定，也可以被随机地设定。分析部30例如可以根据包含透镜、图像传感器等的拍摄装置的种类及性能、被摄体、周边环境及其他拍摄状况来设定单位像素组中被部分合并的像素，以能够适当地分析包含较多高频成分且产生莫尔条纹的单位像素组(区域)。

另外，如上所述，一个单位像素组不限于由4(2×2)个像素构成，例如，也可以由3(3×1)个像素、8(4×2)个像素、9(3×3)个像素、以及16(4×4)个像素等构成，一个拜耳单元(“one bayer unit”)也不限于由4个(2×2)个单位像素组构成，例如，也可以由9(3×3)个单位像素组、以及16(4×4)个单位像素组等构成。其中，关于如何设定被部分合并的像素，适当确定即可，也可以使用AI来确定。

＜第二实施方式＞

接着，作为本公开的第二实施方式的图像传感器，对组合双重转换增益(DCG)和全部像素拍摄面相位差AF(自动对焦)进行动作的具体方法进行说明。本实施方式的图像传感器的基本构成与第一实施方式的图像传感器10的构成相同，像素中的合并也利用与第一实施方式同样的方式。在此，关于图像传感器中的像素，对组合双重转换增益和全部像素拍摄面相位差AF进行动作的具体构成以及动作进行详细说明。

图11是示意性地示出有关信号流的电路构成的图，上述信号流用于说明在4(2×2)个像素中组合双重转换增益和全部像素拍摄面相位差AF进行动作的例子。如图11所示，在此，图5所示的4个光电二极管(PD1～PD4)中的每一个为了用于全部像素拍摄面相位差AF而被分割为两个，分别成为副光电二极管(PD1L/PD1R～PD4L/PD4R)，传输晶体管(TX1～TX4)与该副光电二极管对应地成为传输晶体管(TX1L/TX1R～TX4L/TX4R)(L：左，R：右)。

并且，在该电路中配置有浮动扩散区(FD)、源极跟随放大器(SF)、复位晶体管(RES)、切换晶体管(X)、以及选择晶体管(SEL)。

而且，为了双重转换增益，像素中添加了可以通过切换晶体管(X)进行电切换的附加负载电容。通过增大浮动扩散区(FD)的负载电容，能够将电荷电压转换增益设定得较小，通过减小负载电容，能够将电荷电压转换增益设定得较大。

图12是用于说明图11所示的4(2×2)个像素的电路构成的各要素的动作的图。此外，4(2×2)个像素中的每一个像素由被分割为两个的子像素(L：左，R：右)构成。此外，在此，虽然各像素由两个子像素构成，但不限于此，例如，也可以由三个以上的子像素构成。

在时刻t1，复位晶体管(RES)、切换晶体管(X)、以及传输晶体管(TX1L/TX1R～TX4L/TX4R)导通，副光电二极管(PD1L/PD1R～PD4L/PD4R)被复位。

之后，在经过用于积累数据的规定积累期间后，开始从构成单位像素组的像素中读取数据的处理，首先，在时刻t2，复位晶体管(RES)截止，切换晶体管(X)以及选择晶体管(SEL)导通。接着，在浮动扩散区(FD)的电荷电压转换增益变小的状态(LCG)下，对FD复位噪声进行模拟数字转换，并保存到行存储器1中(LCG/FD复位噪声)。

在时刻t3，切换晶体管(X)截止，在浮动扩散区(FD)的电荷电压转换增益变大的状态(HCG)下，对FD复位噪声进行AD转换，并保存到行存储器2中(HCG/FD复位噪声)。

在时刻t4，传输晶体管(TX1L)以及传输晶体管(TX2L)导通，获取HCG状态下的拍摄面相位差AF用的左侧部分合并数据，进行AD转换，并保存到行存储器3中(HCG/相位差AF用L部分合并数据)。

并且，通过从行存储器3中保存的HCG·相位差AF用L部分合并数据中减去行存储器2中保存的HCG·FD复位噪声，能够获取去除了复位噪声的HCG状态下的相位差AF用L部分合并数据(噪声去除·HCG·相位差AF用L部分合并数据)。

在时刻t5，传输晶体管(TX1L·TX1R)、传输晶体管(TX2L·TX2R)导通，获取HCG状态下的部分合并数据，进行AD转换，并保存到行存储器3中(HCG·部分合并数据)。

通过从行存储器3中保存的HCG/部分合并数据中减去行存储器2中保存的HCG/FD复位噪声，能够获取去除了复位噪声的HCG状态下的部分合并数据(噪声去除/HCG/部分合并数据)。

另外，通过从噪声去除·HCG·部分合并数据中减去噪声去除·HCG·相位差AF用L部分合并数据，能够获取噪声去除·HCG·相位差AF用R部分合并数据。

在时刻t6，切换晶体管(X)导通，在浮动扩散区(FD)的电荷电压转换增益变小的状态(LCG)下，传输晶体管(TX1L·TX1R)以及传输晶体管(TX2L·TX2R)导通，获取LCG状态下的部分合并数据，进行AD转换，并保存到行存储器3中(LCG·部分合并数据)。

接着，通过从行存储器3中保存的LCG·部分合并数据中减去行存储器1中保存的LCG·FD复位噪声，能够获取去除了复位噪声的LCG状态下的部分合并数据(噪声去除·LCG·部分合并数据)。

在时刻t7，传输晶体管(TX1L·TX1R～TX4L·TX4R)导通，获取LCG状态下的全部合并数据，进行AD转换，并保存到行存储器3中(LCG·全部合并数据)。

在时刻t8，通过从行存储器3中保存的LCG·全部合并数据中减去行存储器1中保存的LCG·FD复位噪声，能够获取去除了复位噪声的LCG状态下的全部合并数据(噪声去除·LCG·全部合并数据)。

这样，在HCG状态下，从图像传感器10取出相位差AF用L部分合并数据以及部分合并数据(相当于第一部分合并数据p1)，在LCG状态下，取出部分合并数据(相当于第一部分合并数据p1)以及全部合并数据(相当于全部合并数据a1)。此外，如上所述，在HCG状态下，能够通过计算获取相位差AF用R部分合并数据。

如上所述，根据搭载本公开第二实施方式的图像传感器的拍摄装置以及控制方法，在LCG状态下，取出部分合并数据(相当于第一部分合并数据p1)以及全部合并数据(相当于全部合并数据a1)，因此，与本公开的第一实施方式同样地，能够在适当去除莫尔条纹的同时生成图像。通过对LCG状态下的高SNR的数据适当地去除莫尔条纹，能够抑制精细图像中产生莫尔条纹。

另外，在本实施方式中，在HCG状态下，未读取全部合并数据，但如果在HCG状态下将传输晶体管(TX1L·TX1R～TX4L·TX4R)导通，获取HCG状态下的全部合并数据并进行AD转换，则也可 以获取HCG·全部合并数据。由于晶体管的切换或AD转换处理对搭载于拍摄装置100的处理器施加负荷，因此，这里通过降低晶体管的切换或AD转换的次数，能够抑制施加到搭载于拍摄装置100上的处理器的负荷和功耗的增加。

另外，在本实施方式中，能够获取HCG状态下的相位差AF用部分合并数据。相位差AF用数据需要高SNR，由于能够获取抗噪声的HCG状态下的数据，因此对其非常有效。

此外，在本实施方式中，在LCG状态下，无法获取相位差AF用合并数据，但通过在图像传感器中设定专用像素，对该像素的一部分进行遮蔽，或使用(2×1)片上微透镜结构，也可以获取相位差AF用的信号。

图13是表示为了获取相位差AF用的信号而设置了专用像素的图像传感器的示意图。如图13所示，在图像传感器中排列的多个像素中设定了专用像素，该专用像素例如左半部分(L区域)或右半部分(R区域)被遮蔽。此外，在此，专用像素被分割为左右两个，但不限于此，例如，可以上下分割为两个或三个以上进行遮蔽，以能够适当获取用于相位差AF的相位信号。

在专用像素中，在LCG状态下，如果在未被遮蔽的区域以光学方式获取相位差信号，则能够获取LCG·相位差AF用数据。

以上说明的各实施方式是为了便于理解本公开，并不是为了对本公开进行限定解释。实施方式所具备的各要素及其配置、材料、条件、形状及尺寸等不限于例示的要素，可以适当地变更。另外，可以部分地替换或组合在不同实施方式中示出的构成。

附图标记说明：

1…控制电路，2…像素组，3…信号线，4…读取电路，5…数字信号处理部(DSP)，10…图像传感器，20…数据获取部，30…分析部，40…莫尔条纹去除部，100…拍摄装置，M100…控制方法，S10～S50…控制方法M100的各步骤

Claims (11)

1. 一种拍摄装置，其特征在于，具备：

   数据获取部，其获取基于第一像素组的第一部分合并数据，所述第一像素组在由被分组的多个像素构成的单位像素组中，由至少一个像素通过合并构成；

   分析部，其基于所述第一部分合并数据与基于由所述单位像素组中除所述第一像素组以外的像素构成的第二像素组的第二部分合并数据之间的互相关，分析由所述单位像素组构成的区域的影像信号的频率特性；以及

   莫尔条纹去除部，其基于所述分析结果，去除在图像上产生的莫尔条纹，所述图像是基于所述单位像素组构成的区域的影像信号生成。
2. 根据权利要求1所述的拍摄装置，其中，

   所述莫尔条纹去除部通过低通滤波器去除所述影像信号的高频成分，从而去除所述莫尔条纹。
3. 根据权利要求1所述的拍摄装置，其中，

   所述莫尔条纹去除部基于由所述单位像素组附近的单位像素组构成的区域的影像信号，去除所述莫尔条纹。
4. 根据权利要求1所述的拍摄装置，其中，

   所述数据获取部获取基于构成所述单位像素组的全部像素的全部合并数据，

   通过从所述全部合并数据中减去所述第一部分合并数据，从而获取所述第二部分合并数据。
5. 根据权利要求1所述的拍摄装置，其中，

   对应所述多个像素构成的各光电二极管连接到公共浮动扩散区。
6. 根据权利要求5所述的拍摄装置，其中，

   所述浮动扩散区能够在多个电荷电压转换增益之间进行切换，

   所述数据获取部获取所述多个电荷电压转换增益中低转换增益下的所述第一部分合并数据，

   所述分析部基于所述低转换增益下的所述第一部分合并数据与所述第二部分合并数据之间的互相关，分析由所述单位像素组构成的区域的影像信号的频率特性，

   所述莫尔条纹去除部基于所述低转换增益下的所述分析结果，去除由所述单位像素组构成的区域中产生的莫尔条纹。
7. 根据权利要求1所述的拍摄装置，其中，

   所述多个像素中的每一个进一步由两个以上的子像素构成，

   所述数据获取部获取在所述两个以上的子像素中，基于通过合并由至少一个以上的子像素构成的第一子像素组的第一子部分合并数据、以及基于由除了所述第一子像素组以外的子像素构成的第二子像素组的第二子部分合并数据，

   所述第一子部分合并数据以及所述第二子部分合并数据用于相位差自动对焦。
8. 根据权利要求1所述的拍摄装置，其中，

   所述多个像素中的每一个进一步由两个以上的子像素构成，

   所述多个像素中的任意一个像素包含对两个以上的子像素中的至少一个以上的子像素进行遮蔽的遮蔽像素，

   所述数据获取部获取在包含所述遮蔽像素的像素中基于除所述遮蔽像素以外的子像素的子部分合并数据，

   所述子部分合并数据用于相位差自动对焦。
9. 一种拍摄装置，其特征在于，具备：

   数据获取部，其获取基于第一像素组的第一部分合并数据，所述第一像素组在由被分组的多个像素构成的单位像素组中，由至少一个像素通过合并构成；

   分析部，其基于所述第一部分合并数据与基于由所述单位像素组中除所述第一像素组以外的像素构成的第二像素组的第二部分合并数据之间的互相关，分析由所述单位像素组构成的区域的影像信号的频 率特性；以及

   图像生成部，其基于所述分析结果，恢复由所述单位像素组构成的区域中的高频成分并生成图像。
10. 一种控制方法，由拍摄装置中包含的处理器执行，其特征在于，包括：

    数据获取步骤，其获取基于第一像素组的第一部分合并数据，所述第一像素组在由被分组的多个像素构成的单位像素组中，由至少一个像素通过合并构成；

    分析步骤，其基于所述第一部分合并数据与基于由所述单位像素组中除所述第一像素组以外的像素构成的第二像素组的第二部分合并数据之间的互相关，分析由所述单位像素组构成的区域的影像信号的频率特性；以及

    莫尔条纹去除步骤，其基于所述分析结果，去除由所述单位像素组构成的区域中产生的莫尔条纹。
11. 一种终端，其特征在于，

    搭载根据权利要求1～9中任一项所述的拍摄装置。