CN108886592A - 图像传感器、芯片、图像处理设备及相关方法 - Google Patents

图像传感器、芯片、图像处理设备及相关方法 Download PDF

Info

Publication number
CN108886592A
CN108886592A CN201780013489.8A CN201780013489A CN108886592A CN 108886592 A CN108886592 A CN 108886592A CN 201780013489 A CN201780013489 A CN 201780013489A CN 108886592 A CN108886592 A CN 108886592A
Authority
CN
China
Prior art keywords
pixel
pixels
image data
imaging sensor
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780013489.8A
Other languages
English (en)
Inventor
曹子晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108886592A publication Critical patent/CN108886592A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

提供了一种图像传感器、芯片、图像处理设备及相关方法,该图像传感器包括:像素阵列,包括以二维矩阵排列的多个像素;第一控制电路,与该像素阵列中的部分像素连接,该第一控制电路用于,在马达镜头移动过程中对该部分像素中的至少一部分像素进行多次曝光;第一读出电路,与该部分像素连接,该第一读出电路用于,在该部分像素中的至少一部分像素每次曝光后读出第一图像数据;处理电路,与该第一读出电路连接,该处理电路用于,对该第一读出电路读出的多个第一图像数据进行对比度分析,确定合焦位置。相对于基于整个像素阵列曝光后所读出的图像数据,该第一图像数据的读出速度较快,相应使得后续数据处理也越快,从而可以提高对焦速度。

Description

图像传感器、芯片、图像处理设备及相关方法
技术领域
本申请涉及数据处理领域,并且更为具体地,涉及一种图像传感器、芯片、图像处理设备及相关方法。
背景技术
当前,自动对焦技术主要分为对比检测(反差式)自动对焦技术和相位检测自动对焦(phase detection auto focus,PDAF)技术。
对比检测自动对焦技术是通过对比度的检测来实现自动对焦的。具体过程为:通过驱动马达镜头沿着镜头的轴线改变焦距,从而检测出拍摄画面对比度最大时的马达镜头位置,即准确的对焦位置,也称为合焦位置。对比检测自动对焦技术的具体对焦过程如下:随着马达镜头开始移动,每帧拍摄画面逐渐清晰,即对比度开始上升,当拍摄画面达到最清晰,即对比度达到最大值时,相机并不知道此时已达到最佳,还会继续驱动马达镜头,拍摄画面开始逐渐模糊,即对比度开始下降,当相机发现对比度开始进一步下降时,知道已经错过对焦点(即合焦点),开始反向驱动马达镜头,这样不断循环逐渐接近合焦位置,找到合焦位置后,对焦过程完成。对焦过程完成后,在接收到快门信号时,完成拍摄,并最终输出至相机的显示屏上。在对比检测自动对焦技术的对焦过程中,需要多次移动镜头来寻找正确的对焦位置(即合焦位置),这样会需要花费多帧曝光时间来实现对焦,导致对焦速度较慢,影响用户体验。
PDAF技术的对焦过程大致如下:在图像传感器的像素部分预留一些像素遮蔽点,利用部分遮蔽点像素接受到的左右不同的光波信息产生的相位差,在不同的对焦位置进行判断,从而可以根据当前相位差计算出合焦位置,然后快速移动镜头到达合焦位置。PDAF技术相对于对比检测自动对焦技术,可以提高对焦速度。但是,PDAF技术相比于对比检测自动对焦技术,降低了对焦的精准度。由此可见,现有的自动对焦技术无法兼顾对焦速度与对焦精准度。
随着智能终端的发展,用户在使用智能终端的拍照功能或摄像功能时,对对焦速度与对焦精准度的要求越来越高,因此,亟需提供一种可以更加能够满足用户需求的自动对焦技术。
发明内容
本申请提供一种图像传感器、芯片、图像处理设备及相关方法,使得兼顾对焦速度与对焦精准度成为可能。
第一方面,提供一种图像传感器,所述图像传感器包括:像素阵列,包括以二维矩阵排列的多个像素,所述像素为光感应像素;第一控制电路,与所述像素阵列中的部分像素连接,所述第一控制电路用于,在马达镜头移动过程中对所述部分像素中的至少一部分像素进行多次曝光;第一读出电路,与所述部分像素连接,所述第一读出电路用于,在所述部分像素中的至少一部分像素每次曝光后读出第一图像数据;处理电路,与所述第一读出电路连接,所述处理电路用于,对所述第一读出电路读出的多个第一图像数据进行对比度分析,确定合焦位置。
本申请提供的图像传感器在对焦过程中,仅利用像素阵列中部分像素曝光后所读出的第一图像数据进行对焦。应理解,数据越小,数据读出速度越快。因此,相对于基于整个像素阵列曝光后所读出的图像数据,该第一图像数据的读出速度较快,相应使得后续数据处理也越快,从而可以提高对焦速度。此外,本申请提供的图像传感器与现有的对比检测自动对焦技术一样,是通过拍摄画面的对比度的检测来实现自动对焦的,可以在一定程度上保证对焦的精准度。因此,本申请提供的图像传感器使得兼顾对焦速度与对焦精准度成为可能。
结合第一方面,在第一方面的一种可能的实现方式中,所述图像传感器还包括:第二控制电路,与所述像素阵列中所有像素连接,所述第二控制电路用于,对所述所有像素进行至少一次曝光,其中,所述对所述所有像素进行至少一次曝光包括,在所述合焦位置对所述所有像素进行曝光;第二读出电路,与所述所有像素连接,所述第一读出电路用于,在所述所有像素每次曝光后读出第二图像数据;所述处理电路,还与所述第二读出电路连接,所述处理电路还用于,根据所述第二读出电路在所述所有像素在所述合焦位置进行曝光后所读出的第二图像数据,获得输出图像。
本申请提供的图像传感器通过利用像素阵列中的部分像素实现对焦,而非像现有的对比检测自动对焦技术中利用整个像素阵列实现对焦,从而可以提高对焦速度。此外,本申请提供的图像传感器与现有的对比检测自动对焦技术一样,是通过拍摄画面的对比度的检测来实现自动对焦的,可以在一定程度上保证对焦的精准度。因此,本申请提供的图像传感器使得兼顾对焦速度与对焦精准度成为可能。
需要说明的是,第一控制电路与第二控制电路彼此独立设计,第一读出电路与第二读出电路彼此独立设计。本申请提供的图像传感器中的整个像素阵列与第二控制电路以及第二读出电路的连接关系,与现有的图像传感器中像素阵列与控制电路以及读出电路的连接关系,可以是类似的,甚至可以是相同的。因此,本申请提供的图像传感器相对于现有的图像传感器,并没有增加较大的设计复杂度。
结合第一方面,在第一方面的一种可能的实现方式中,所述第一控制电路具体用于,按照第一帧率对所述部分像素中的至少一部分像素进行曝光,所述第二控制电路具体用于,按照第二帧率对所述所有像素进行曝光,其中,所述第一帧率高于所述第二帧率。
结合第一方面,在第一方面的一种可能的实现方式中,所述第一帧率为所述第二帧率的n倍,n为大于1的整数。
在本申请提供的图像传感器中,用于对焦的图像数据的帧率高于用于呈现拍摄图像的图像数据的帧率。在现有的对比检测自动对焦技术中,用于对焦的图像数据的帧率与用于呈现拍摄图像的图像数据的帧率相同。因此,相对于现有技术,本申请提供的图像传感器可以有效提高对焦速度。由于本申请依然是基于整个像素阵列来呈现拍摄画面,因此,并不会降低拍摄画面的画质。
第二方面,提供一种芯片,所述芯片包括第一方面提供的图像传感器。
第三方面,提供一种图像处理设备,所述图像处理设备包括第一方面提供的图像传感器。
第四方面,提供一种用于控制图像传感器的方法,所述图像传感器包括像素阵列,所述像素阵列包括以二维矩阵排列的多个像素,所述像素为光感应像素,所述方法包括:在马达镜头移动过程中,对所述像素阵列中的部分像素中的至少一部分像素进行多次曝光;在所述部分像素中的至少一部分像素每次曝光后读出第一图像数据;对所述读出的多个第一图像数据进行对比度分析,确定所述图像传感器的合焦位置。
结合第四方面,在第四方面的一种可能的实现方式中,所述方法还包括:对所述像素阵列中的所有像素进行多次曝光,其中,所述对所述所有像素进行多次曝光包括,在所述合焦位置对所述所有像素进行曝光;在所述所有像素每次曝光后读出第二图像数据;根据在所述所有像素在所述合焦位置进行曝光后所读出的第二图像数据,获得输出图像。
结合第四方面,在第四方面的一种可能的实现方式中,所述对所述像素阵列中的部分像素中的至少一部分像素进行多次曝光,包括:按照第一帧率,对所述部分像素中的至少一部分像素进行多次曝光;所述对所述像素阵列中的所有像素进行多次曝光,包括:按照第二帧率,对所述像素阵列中的所有像素进行多次曝光,其中,所述第一帧率高于所述第二帧率。
结合第四方面,在第四方面的一种可能的实现方式中,所述第一帧率为所述第二帧率的n倍,n为大于1的整数。
本实施例提供的图像传感器在对焦过程中,仅利用像素阵列中部分像素曝光后所读出的第一图像数据进行对焦。应理解,数据越小,数据读出速度越快。因此,相对于基于整个像素阵列曝光后所读出的图像数据,该第一图像数据的读出速度较快,相应使得后续数据处理也越快,从而可以提高对焦速度。此外,本申请提供的图像传感器与现有的对比检测自动对焦技术一样,是通过拍摄画面的对比度的检测来实现自动对焦的,可以在一定程度上保证对焦的精准度。因此,本申请提供的图像传感器使得兼顾对焦速度与对焦精准度成为可能。
附图说明
图1为本申请实施例提供的图像传感器的示意性框图。
图2为本申请实施例提供的图像传感器的另一示意性框图。
图3为本申请实施例中图像传感器进行像素曝光的示意图。
图4为本申请实施例提供的图像传感器的示例图。
图5为本申请实施例提供的芯片的示意性框图。
图6为本申请实施例提供的图像处理设备的示意性框图。
图7为本申请实施例提供的用于控制图像传感器的方法的示意性流程图。
图8为本申请实施例提供的用于控制图像传感器的方法的另一示意性流程图。
具体实施方式
为了便于理解,先对照相机或摄像机拍摄成像的原理进行简单介绍。
从摄像头采集图像到显示屏上呈现用户可见的拍摄画面的过程如下:摄像头拍摄画面;摄像头拍摄的画面通过其镜头生成光学图像;光学图像被投射到图像传感器上,光学图像通过图像传感器被转换成电信号;电信号通过读出电路被转换为数字信号输出;数字信号经过数字信号处理(digital signal processing,DSP)最终输出至终端的显示屏上,成为用户能够看见的拍摄画面。
在上述过程中,通过图像传感器将光学图像从光信号转换成电信号。图像传感器中包括由光感应像素组成的像素阵列。这些光感应像素可以将光信号转换成电信号。图像传感器将光学图像从光信号转换成电信号的基本转换过程如下:对图像传感器中的像素阵列进行曝光,在一定的曝光时间内,像素阵列中的像素会随不同光强度产生电压,后续的读出电路将此电压转换成数字信号输出。其中,曝光时间主要是指底片的感光时间,曝光时间越长底片上生成的相片越亮,相反越暗。
图1为本申请实施例提供的图像传感器100的示意性框图,图像传感器100包括像素阵列110、第一控制电路120、第一读出电路130与处理电路140。
像素阵列110,包括以二维矩阵排列的多个像素,该像素为光感应像素。
具体地,如图3所示的像素阵列。
第一控制电路120,与该像素阵列110中的部分像素连接,该第一控制电路120用于,在马达镜头移动过程中对该部分像素中的至少一部分像素进行多次曝光,其中,所述马达镜头可以为通过步径马达控制的镜头中至少一个可以移动的镜片的镜头。
具体地,第一控制电路120与该部分像素中的每个像素连接。
需要说明的是,虽然第一控制电路120与该部分像素中的每个像素连接,但是,并不一定控制该部分像素中的每个像素都曝光,实际应用中,可以进行灵活控制。
可选地,第一控制电路120用于,在马达镜头移动过程中对该部分像素中的每个像素进行多次曝光。
可选地,第一控制电路120用于,在马达镜头移动过程中对该部分像素中的一部分像素进行多次曝光。
应理解,在对焦过程中,马达镜头会被驱动着一直在沿着镜头的轴线上移动。
应理解,第一控制电路120和第一读出电路130为除本身与全部像素连接的电路,其与部分像素相连,其可以是两个电路,也可以是一个电路,也可以分别为多个电路组成,这里只是使用功能进行了分类。
第一读出电路130,与该部分像素连接,该第一读出电路130用于,在该部分像素中的至少一部分像素每次曝光后读出第一图像数据。
具体地,第一读出电路130与该部分像素中的每个像素连接。
可选地,在第一控制电路120对该部分像素中的每个像素进行多次曝光的情况下,第一图像数据是第一读出电路130在该部分像素中的全部像素曝光后所读出的图像数据。
可选地,在第一控制电路120对该部分像素中的一部分像素进行多次曝光的情况下,第一图像数据是第一读出电路130在该部分像素中的一部分像素曝光后所读出的图像数据。
处理电路140,与该第一读出电路130连接,该处理电路140用于,对该第一读出电路130读出的多个第一图像数据进行对比度分析,确定合焦位置。
应理解,处理电路140还与用于驱动马达镜头的驱动电路连接。
具体地,处理电路140确定合焦位置的过程如下:随着马达镜头开始移动,处理电路140检测到第一读出电路130读出的每帧拍摄画面的对比度开始上升,即拍摄画面逐渐清晰,在这个过程中,处理电路140可以指示该驱动电路继续沿着原方向驱动马达镜头移动;当处理电路140检测到第一读出电路130读出的每帧拍摄画面的对比度开始下降,即拍摄画面逐渐模糊时,处理电路140可以指示该驱动电路开始反方向(相对于马达镜头上一时刻的移动方向而言)驱动马达镜头移动,然后继续检测第一读出电路130读出的每帧拍摄画面的对比度,只要检测到对比度开始下降,就反方向驱动马达镜头,这样不断循环可以使得马达镜头逐渐接近合焦位置。当然,可以在对比度开始下降的时候设置时间阈值或者镜头位移阈值。例如,若是在一个时间阈值或者镜头位移阈值内,对比度一直下降,则处理电路140可以指示该驱动电路开始反方向驱动马达镜头移动,若是对比度先下降后上升,则处理电路140可以驱动马达镜头按照原方向继续移动,以寻找更好的合焦位置,这里对此不作限定。
该合焦位置为该多个第一图像数据中对比度最优的一个第一图像数据所对应的该马达镜头所在的位置。
本实施例提供的图像传感器在对焦过程中,仅利用像素阵列中部分像素曝光后所读出的第一图像数据进行对焦。应理解,第一读出电路130读出的像素点越少,数据就越少,数据读出速度一定的情况下,消耗的时间就越少。因此,相对于基于整个像素阵列曝光后所读出的图像数据,该第一图像数据的读出速度较快,相应使得后续数据处理也越快,从而可以提高对焦速度。此外,本申请提供的图像传感器与现有的对比检测自动对焦技术一样,是通过拍摄画面的对比度的检测来实现自动对焦的,可以在一定程度上保证对焦的精准度。因此,本申请提供的图像传感器使得兼顾对焦速度与对焦精准度成为可能。
需要说明的是,在部分像素在第一控制电路120的控制下进行曝光以用于自动对焦的同时,整个像素阵列也在正常曝光运行,其曝光后读出的图像数据用于向用户呈现拍摄图像。
如图2所示,该图像传感器100还包括第二控制电路150与第二读出电路160。
第二控制电路150,与该像素阵列110中所有像素连接,该第二控制电路150用于,对该所有像素进行至少一次曝光,其中,该对该所有像素进行至少一次曝光包括,在该合焦位置对该所有像素进行曝光。
具体地,第二控制电路150与像素阵列110中的每个像素连接。
可选地,第二控制电路150对像素阵列110中的所有像素进行至少一次曝光,指的是,第二控制电路150在马达镜头位于合焦位置时对像素阵列110进行曝光。
可选地,第二控制电路150对像素阵列110中的所有像素进行至少一次曝光,指的是,第二控制电路150在马达镜头移动过程中对像素阵列110进行多次曝光,且这多次曝光过程包括第二控制电路150在马达镜头位于合焦位置时对像素阵列110的曝光。
第二读出电路160,与该所有像素连接,该第一读出电路160用于,在该所有像素每次曝光后读出第二图像数据。
具体地,第二读出电路160与像素阵列110中的每个像素连接。
像素阵列110每曝光一次,第二读出电路160对应读出一次第二图像数据。
例如,第二读出电路160每次读出的第二图像数据,可以通过DSP后最终呈现在终端设备的显示屏上供用户预览或者最终的照片。
该处理电路140,还与该第二读出电路160连接,该处理电路140还用于,根据该第二读出电路在该所有像素在该合焦位置进行曝光后所读出的第二图像数据,获得输出图像。
具体地,处理电路140用于将第二读出电路160读出的多个第二图像数据中的在合焦位置处曝光所读出的图像数据输出,例如,呈现在显示屏上供用户浏览,或者将包含合焦位置处的曝光所读出的图像数据输出,形成最终的图像。
应理解,用户在使用照相机或其他摄像设备时,当按下快门时会得到最终的拍摄画面。通常用户在对焦完成后,例如摄像预览窗口内看到画面清晰的时候会按下快门,即在对焦结束后按下快门。
具体地,在本实施例中,该第二控制电路160用于,在接收到快门信号时,在该合焦位置对该所有像素进行曝光。
该处理电路140具体还用于,在接收到该快门信号时,根据该第二读出电路160在该所有像素基于该快门信号进行曝光后所读出的第二图像数据,获得该输出图像。
应理解,第二控制电路150和第二读出电路160为与全部像素连接的电路,其可以是两个电路,也可以是一个电路,也可以分别为多个电路组成,这里只是使用功能进行了分类。
本申请提供的图像传感器通过利用像素阵列中的部分像素实现对焦,从而可以提高对焦速度。此外,通过拍摄画面的对比度的检测来实现自动对焦,可以在一定程度上保证对焦的精准度。因此,本申请提供的图像传感器使得兼顾对焦速度与对焦精准度成为可能。
需要说明的是,第一控制电路与第二控制电路彼此独立设计,第一读出电路与第二读出电路彼此独立设计。本申请提供的图像传感器中的整个像素阵列与第二控制电路以及第二读出电路的连接关系,与现有的图像传感器中像素阵列与控制电路以及读出电路的连接关系,可以是类似的,甚至可以是相同的。因此,本申请提供的图像传感器相对于现有的图像传感器,并没有增加较大的设计复杂度。
可选地,在某些实施例中,该第一控制电路120具体用于,按照第一帧率对该部分像素中的至少一部分像素进行曝光,该第二控制电路150具体用于,按照第二帧率对该所有像素进行曝光,其中,该第一帧率高于该第二帧率。
具体地,第一读出电路读出的第一图像数据的帧率高于第二读出电路读出的第二图像数据的帧率。换句话说,用于对焦的图像数据的帧率高于用于呈现拍摄图像的图像数据的帧率。在现有的对比检测自动对焦技术中,用于对焦的图像数据的帧率与用于呈现拍摄图像的图像数据的帧率相同。因此,相对于现有技术,本申请提供的图像传感器可以有效提高对焦速度。由于本申请依然是基于整个像素阵列来呈现拍摄画面,因此,并不会降低拍摄画面的画质。
可选地,作为一个示例,该第一帧率为该第二帧率的n倍,n为大于1的整数。
将第一图像数据对应的帧数据记为自动对焦(automatic focus,AF)帧,将第二图像数据对应的帧数据记为正常帧。AF帧与正常帧的读取速度如图3所示。一个AF帧的读取时间是T1,T1=1/M’秒,一个正常帧的读取时间为T2,T2=1/M,M=M’/n,n为正整数。即AF帧相对于正常帧,以n倍的速度进行读取。
在本实施例中,处理电路140通过对AF帧进行对比度分析,确定合焦位置。AF帧的读取速度为正常帧的读取速度的n倍,从而使得对焦速度相比于传统的对比检测自动对焦技术可以提升n倍。此外,从图3可知,正常帧的曝光节点和AF帧重合,提高了像素阵列的利用率。
在本实施例中,由于AF帧的帧率为正常帧的帧率的n倍,因此,其对应像素的曝光时间相对较短,但是后期可以利用周边像素数值与帧率进行补偿计算,以达到最小的画质影响。
图4示出本申请实施例提供的图像传感器的示例图。该图像传感器包括像素阵列(Pixel Array),像素阵列包括按照矩形阵列排布的像素。像素阵列中的部分像素作为自动对焦像素。这些自动对焦像素与自动对焦行控制电路连接,还与自动对焦列读出电路连接。在马达镜头移动的过程中,自动对焦行控制电路用于控制这些自动对焦像素进行多次曝光;自动对焦列读出电路用于在这些自动对焦像素曝光后读出相应的第一图像数据。整个像素阵列中的每个像素与正常曝光行控制电路连接,还与正常曝光列读出电路连接。正常曝光行控制电路用于,在马达镜头移动的过程中控制像素阵列进行多次曝光,以及在接收到快门信号时,控制像素阵列进行曝光;正常曝光列读出电路用于在像素阵列曝光后读出相应的第二图像数据。
需要说明的是,自动对焦行控制电路与正常曝光行控制电路彼此独立设计,自动对焦列读出电路与正常曝光列读出电路彼此独立设计。
应理解,图4所示实施例中的像素阵列对应于上述实施例中的像素阵列110,图4所示实施例中的自动对焦像素对应于上述实施例中的部分像素,图4所示实施例中的自动对焦行控制电路对应于上述实施例中的第一控制电路,图4所示实施例中的自动对焦列读出电路对应于上述实施例中的第一读出电路,图4所示实施例中的正常曝光行控制电路对应于上述实施例中的第二控制电路,图4所示实施例中的正常曝光列读出电路对应于上述实施例中的第二读出电路。
图4所示的图像传感器还包括处理电路(图4中未示出),该处理电路与自动对焦列读出电路以及正常曝光列读出电路连接。具体地,该处理电路用于,根据自动对焦列读出电路读出的第一图像数据进行对焦,确定合焦位置,使得马达镜头到达合焦位置。该处理电路还用于,在接收到快门信号时,根据正常曝光列读出电路读出的第二图像数据,获得输出图像。例如,在设备的显示屏上呈现拍摄画面。
从图4可知,本申请提供的图像传感器相对于传统的图像传感器,只需从像素阵列中挑选部分像素,并将该部分像素与独立的控制电路与读出电路连接,对于该部分像素本身并没有做任何改动。因此,本申请提供的图像传感器的设计复杂度较低。
应理解,图4仅为示例而非限定。本申请中用于自动对焦的部分像素的布局方式包括但不限定于图4中所示的AF像素的布局方式。实际应用中,用于自动对焦的部分像素可以随机分布,本申请实施例对此不作限定。
可选地,在某些实施例中,该部分像素中包括分布于该像素阵列的不同行或不同列的像素。
具体地,以该部分像素为图4中所示的自动对焦像素为例,在这些自动对焦像素中,有些像素不同行,有些像素不同列。
可选地,在某些实施例中,在该像素阵列中该部分像素的位置是预设的。
具体地,在该像素阵列成型之前,该部分像素已经从像素阵列中被挑选出来。相应地,该部分像素与第一控制电路以及第一读出电路的连接关系也已经确定。
上文已述,虽然第一控制电路以及第一读出电路与该部分像素中的每个像素都连接,但并非该部分像素中的每个像素都要进行曝光。
可选地,在某些实施例中,该第一控制电路120具体用于,在马达镜头移动过程中对该部分像素中的每个像素进行多次曝光。
可选地,在某些实施例中,该第一控制电路120具体用于,根据预设信息,在马达镜头移动过程中对该部分像素中的至少一部分像素进行多次曝光,该预设信息指示在该部分像素中该至少一部分像素的分布位置。
具体地,该预设信息可以是预先配置到图像传感器中的信息。例如,针对于应用场景1,该预设信息指示该部分像素中呈第一布局分布的一部分像素,针对应用场景2,该预设信息指示该部分像素中呈第二布局分布的一部分像素。
本实施例提供的图像传感器,可以进一步地提高对焦速度。
可选地,在某些实施例中,在不同合焦场景下,在该部分像素中该至少一部分像素的分布位置不同。
可选地,在某些实施例中,同一合焦场景下的不同次曝光过程所对应的在该部分像素中该至少一部分像素的分布位置不完全相同。
具体地,在一次对焦任务中,随着马达镜头的移动,第一控制电路在控制该部分像素进行曝光的过程中,可以适当地更改要进行曝光的像素。
例如,在不同的对焦时刻,当对比度的变化速率较大时,选取部分像素中较少的像素点进行曝光,当对比度的变化速率较小时,选取部分像素中较多的像素点进行曝光。再例如,当用户在拍摄照片时选取了拍摄焦点(区别于对焦过程中的焦点)的位置,则在该拍摄焦点对应到像素阵列上的位置附近选取部分像素进行曝光。
本实施例提供的图像传感器,在可以提高对焦速度的同时,还可以提高对焦的灵活性。
可选地,本申请实施例提供的该图像传感器可以为互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)图像传感器。
如图5所示,本申请实施例还提供一种芯片500,该芯片包括图像传感器510,该图像传感器510对应于上述装置实施例提供的图像传感器。
具体地,上述装置实施例提供的图像传感器可以继承在芯片上。
可选地,该芯片500还可以包括处理器520,该处理器520用于将该图像传感器510输出的图像数据处理为可以呈现在显示屏上的拍摄画面。
如图6所示,本申请实施例还提供一种图像处理设备600,图像处理设备600包括处理器610、显示屏620与图像传感器630,该图像传感器630对应于上述装置实施例提供的图像传感器。处理器610用于将图像传感器630输出的图像数据处理为可以呈现在显示屏630上的拍摄画面。
可选地,该图像处理设备600可以为终端。该终端可以是集成了摄像头和显示屏的终端设备,包括但不限于智能手机,平板,掌上电脑,照相机等。该终端中的摄像头用于实现拍照、摄像功能,而显示屏用于实现对拍摄画面的预览功能,即,通过对摄像头当前收入的画面进行实时显示,以供用于预览,从而达到取景器的效果。
下面对本发明的方法实施例进行描述,由于方法实施例可以由上文装置实施描述的图像传感器执行,因此未详细描述的部分可以参见前面各装置实施例。
如图7所示,本申请实施例还提供一种用于控制图像传感器的方法,该图像传感器包括像素阵列,该像素阵列包括以二维矩阵排列的多个像素,该方法包括:
S710,在马达镜头移动过程中,对该像素阵列中的部分像素中的至少一部分像素进行多次曝光;
S720,在该部分像素中的至少一部分像素每次曝光后读出第一图像数据;
S730,对该读出的多个第一图像数据进行对比度分析,确定该图像传感器的合焦位置。
可选地,在一些实施例中,该方法还包括:
对该像素阵列中的所有像素进行多次曝光,其中,该对该所有像素进行多次曝光包括,在该合焦位置对该所有像素进行曝光;
在该所有像素每次曝光后读出第二图像数据;
根据在该所有像素在该合焦位置进行曝光后所读出的第二图像数据,获得输出图像。
可选地,在一些实施例中,该对该像素阵列中的所有像素进行多次曝光,包括:在接收到快门信号时,在该合焦位置对该所有像素进行曝光;
该根据在该所有像素在该合焦位置进行曝光后所读出的第二图像数据,获得输出图像,包括:在接收到该快门信号时,根据在该所有像素基于该快门信号进行曝光后所读出的第二图像数据,获得该输出图像。
可选地,在一些实施例中,如图8所示,该方法具体包括:
S711,在马达镜头移动过程中,按照第一帧率,对该部分像素中的至少一部分像素进行多次曝光;
S720,在该部分像素中的至少一部分像素每次曝光后读出第一图像数据;
S730,对该读出的多个第一图像数据进行对比度分析,确定该图像传感器的合焦位置;
S741,按照第二帧率,对该像素阵列中的所有像素进行多次曝光,其中,该第一帧率高于该第二帧率,对该所有像素进行多次曝光包括,在该合焦位置对该所有像素进行曝光;
S750,在该所有像素每次曝光后读出第二图像数据;
S760,根据在该所有像素在该合焦位置进行曝光后所读出的第二图像数据,获得输出图像。
可选地,在一些实施例中,该第一帧率为该第二帧率的n倍,n为大于1的整数。
可选地,在一些实施例中,该部分像素中包括分布于该像素阵列的不同行或不同列的像素。
可选地,在一些实施例中,在该像素阵列中该部分像素的位置是预设的。
可选地,在一些实施例中,该对该部分像素中的至少一部分像素进行多次曝光,包括:对该部分像素进行多次曝光。
可选地,在一些实施例中,该对该部分像素中的至少一部分像素进行多次曝光,包括:根据预设信息,对该部分像素中的至少一部分像素进行多次曝光,该预设信息指示在该部分像素中该至少一部分像素的分布位置。
可选地,在一些实施例中,在不同合焦场景下,在该部分像素中该至少一部分像素的分布位置不同。
可选地,在一些实施例中,同一合焦场景下的不同次曝光过程所对应的在该部分像素中该至少一部分像素的分布位置不完全相同。
可选地,在一些实施例中,该合焦位置为该多个第一图像数据中对比度最优的一个第一图像数据所对应的该马达镜头所在的位置。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (27)

1.一种图像传感器,其特征在于,包括:
像素阵列,包括以二维矩阵排列的多个像素,所述像素为光感应像素;
第一控制电路,与所述像素阵列中的部分像素连接,所述第一控制电路用于,在马达镜头移动过程中对所述部分像素中的至少一部分像素进行多次曝光;
第一读出电路,与所述部分像素连接,所述第一读出电路用于,在所述部分像素中的至少一部分像素每次曝光后读出第一图像数据;
处理电路,与所述第一读出电路连接,所述处理电路用于,对所述第一读出电路读出的多个第一图像数据进行对比度分析,确定合焦位置。
2.根据权利要求1所述的图像传感器,其特征在于,所述图像传感器还包括:
第二控制电路,与所述像素阵列中所有像素连接,所述第二控制电路用于,对所述所有像素进行至少一次曝光,其中,所述对所述所有像素进行至少一次曝光包括,在所述合焦位置对所述所有像素进行曝光;
第二读出电路,与所述所有像素连接,所述第一读出电路用于,在所述所有像素每次曝光后读出第二图像数据;
所述处理电路,还与所述第二读出电路连接,所述处理电路还用于,根据所述第二读出电路在所述所有像素在所述合焦位置进行曝光后所读出的第二图像数据,获得输出图像。
3.根据权利要求2所述的图像传感器,其特征在于,所述第二控制电路用于,对所述所有像素进行多次曝光,包括:
所述第二控制电路用于,在接收到快门信号时,在所述合焦位置对所述所有像素进行曝光;
所述处理电路还用于,根据所述第二读出电路在所述所有像素在所述合焦位置进行曝光后所读出的第二图像数据,获得输出图像,包括:
所述处理电路用于,在接收到所述快门信号时,根据所述第二读出电路在所述所有像素基于所述快门信号进行曝光后所读出的第二图像数据,获得所述输出图像。
4.根据权利要求2或3所述的图像传感器,其特征在于,所述第一控制电路具体用于,按照第一帧率对所述部分像素中的至少一部分像素进行曝光,所述第二控制电路具体用于,按照第二帧率对所述所有像素进行曝光,其中,所述第一帧率高于所述第二帧率。
5.根据权利要求4所述的图像传感器,其特征在于,所述第一帧率为所述第二帧率的n倍,n为大于1的整数。
6.根据权利要求1至5中任一项所述的图像传感器,其特征在于,所述部分像素中包括分布于所述像素阵列的不同行或不同列的像素。
7.根据权利要求1至6中任一项所述的图像传感器,其特征在于,所述部分像素在所述像素阵列中的位置是预设的。
8.根据权利要求1至7中任一项所述的图像传感器,其特征在于,所述第一控制电路用于,在马达镜头移动过程中对所述部分像素中的至少一部分像素进行多次曝光,包括:
所述第一控制电路具体用于,在马达镜头移动过程中对所述部分像素进行多次曝光。
9.根据权利要求1至7中任一项所述的图像传感器,其特征在于,所述第一控制电路用于,在马达镜头移动过程中对所述部分像素中的至少一部分像素进行多次曝光,包括:
所述第一控制电路具体用于,根据预设信息,在马达镜头移动过程中对所述部分像素中的至少一部分像素进行多次曝光,所述预设信息指示在所述部分像素中所述至少一部分像素的分布位置。
10.根据权利要求9所述的图像传感器,其特征在于,在不同合焦场景下,在所述部分像素中所述至少一部分像素的分布位置不同。
11.根据权利要求9所述的图像传感器,其特征在于,同一合焦场景下的不同次曝光过程所对应的在所述部分像素中所述至少一部分像素的分布位置不完全相同。
12.根据权利要求1至11中任一项所述的图像传感器,其特征在于,所述合焦位置为所述多个第一图像数据中对比度最优的一个第一图像数据所对应的所述马达镜头所在的位置。
13.根据权利要求1至12中任一项所述的图像传感器,其特征在于,所述图像传感器为互补金属氧化物半导体CMOS图像传感器。
14.一种芯片,其特征在于,包括:如权利要求1至13中任一项所述的图像传感器。
15.一种图像处理设备,其特征在于,包括如权利要求1至13中任一项所述的图像传感器。
16.一种用于控制图像传感器的方法,其特征在于,所述图像传感器包括像素阵列,所述像素阵列包括以二维矩阵排列的多个像素,所述像素为光感应像素,所述方法包括:
在马达镜头移动过程中,对所述像素阵列中的部分像素中的至少一部分像素进行多次曝光;
在所述部分像素中的至少一部分像素每次曝光后读出第一图像数据;
对所述读出的多个第一图像数据进行对比度分析,确定所述图像传感器的合焦位置。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
对所述像素阵列中的所有像素进行至少一次曝光,其中,所述对所述所有像素进行至少一次曝光包括,在所述合焦位置对所述所有像素进行曝光;
在所述所有像素每次曝光后读出第二图像数据;
根据在所述所有像素在所述合焦位置进行曝光后所读出的第二图像数据,获得输出图像。
18.根据权利要求17所述的方法,其特征在于,所述对所述像素阵列中的所有像素进行多次曝光,包括:
在接收到快门信号时,在所述合焦位置对所述所有像素进行曝光;
所述根据在所述所有像素在所述合焦位置进行曝光后所读出的第二图像数据,获得输出图像,包括:
在接收到所述快门信号时,根据在所述所有像素基于所述快门信号进行曝光后所读出的第二图像数据,获得所述输出图像。
19.根据权利要求17或18所述的方法,其特征在于,所述对所述像素阵列中的部分像素中的至少一部分像素进行多次曝光,包括:
按照第一帧率,对所述部分像素中的至少一部分像素进行多次曝光;
所述对所述像素阵列中的所有像素进行多次曝光,包括:
按照第二帧率,对所述像素阵列中的所有像素进行多次曝光,其中,所述第一帧率高于所述第二帧率。
20.根据权利要求19所述的方法,其特征在于,所述第一帧率为所述第二帧率的n倍,n为大于1的整数。
21.根据权利要求16至20中任一项所述的方法,其特征在于,所述部分像素中包括分布于所述像素阵列的不同行或不同列的像素。
22.根据权利要求16至21中任一项所述的方法,其特征在于,所述部分像素在所述像素阵列中的位置是预设的。
23.根据权利要求16至22中任一项所述的方法,其特征在于,所述对所述部分像素中的至少一部分像素进行多次曝光,包括:
对所述部分像素进行多次曝光。
24.根据权利要求16至22中任一项所述的方法,其特征在于,所述对所述部分像素中的至少一部分像素进行多次曝光,包括:
根据预设信息,对所述部分像素中的至少一部分像素进行多次曝光,所述预设信息指示在所述部分像素中所述至少一部分像素的分布位置。
25.根据权利要求24所述的方法,其特征在于,在不同合焦场景下,在所述部分像素中所述至少一部分像素的分布位置不同。
26.根据权利要求24所述的方法,其特征在于,同一合焦场景下的不同次曝光过程所对应的在所述部分像素中所述至少一部分像素的分布位置不完全相同。
27.根据权利要求16至26中任一项所述的方法,其特征在于,所述合焦位置为所述多个第一图像数据中对比度最优的一个第一图像数据所对应的所述马达镜头所在的位置。
CN201780013489.8A 2017-11-29 2017-11-29 图像传感器、芯片、图像处理设备及相关方法 Pending CN108886592A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113488 WO2019104508A1 (zh) 2017-11-29 2017-11-29 图像传感器、芯片、图像处理设备及相关方法

Publications (1)

Publication Number Publication Date
CN108886592A true CN108886592A (zh) 2018-11-23

Family

ID=64325920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780013489.8A Pending CN108886592A (zh) 2017-11-29 2017-11-29 图像传感器、芯片、图像处理设备及相关方法

Country Status (2)

Country Link
CN (1) CN108886592A (zh)
WO (1) WO2019104508A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290328A (zh) * 2019-07-04 2019-09-27 Oppo广东移动通信有限公司 一种对焦方法、装置、终端和计算机存储介质
US11943551B2 (en) 2020-06-12 2024-03-26 Shenzhen GOODIX Technology Co., Ltd. Depth-sensing device and related electronic device and method for operating depth-sensing device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976387A (zh) * 2005-11-28 2007-06-06 索尼株式会社 固体摄像元件、固体摄像元件的驱动方法以及摄像装置
CN101662588A (zh) * 2008-08-25 2010-03-03 佳能株式会社 摄像设备、摄像系统和焦点检测方法
CN102135659A (zh) * 2010-01-21 2011-07-27 佳能株式会社 焦点检测设备和焦点检测方法
CN102318335A (zh) * 2009-02-06 2012-01-11 佳能株式会社 摄像设备
CN102932590A (zh) * 2011-08-08 2013-02-13 奥林巴斯映像株式会社 摄像装置
CN103843317A (zh) * 2011-10-18 2014-06-04 惠普发展公司,有限责任合伙企业 成像设备
CN104184940A (zh) * 2013-05-27 2014-12-03 佳能株式会社 控制设备、摄像系统和控制方法
US20150055001A1 (en) * 2013-08-23 2015-02-26 Aptina Imaging Corporation Floating point image sensors with tile-based memory
CN104580940A (zh) * 2013-10-24 2015-04-29 松下知识产权经营株式会社 摄像系统、摄像装置、编码装置以及摄像方法
CN105259729A (zh) * 2014-07-17 2016-01-20 宁波舜宇光电信息有限公司 一种af快速对焦方法
CN107181922A (zh) * 2016-03-10 2017-09-19 佳能株式会社 摄像设备及其控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2001296470A (ja) * 2000-04-14 2001-10-26 Hitachi Ltd 電子スチルカメラ
JP2004023747A (ja) * 2002-06-20 2004-01-22 Minolta Co Ltd 電子カメラ
JP2008036220A (ja) * 2006-08-08 2008-02-21 Matsushita Electric Ind Co Ltd 撮像装置及びそれを用いた内視鏡装置
JP6476065B2 (ja) * 2015-05-14 2019-02-27 オリンパス株式会社 撮像装置及び撮像装置の制御方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976387A (zh) * 2005-11-28 2007-06-06 索尼株式会社 固体摄像元件、固体摄像元件的驱动方法以及摄像装置
CN101662588A (zh) * 2008-08-25 2010-03-03 佳能株式会社 摄像设备、摄像系统和焦点检测方法
CN102318335A (zh) * 2009-02-06 2012-01-11 佳能株式会社 摄像设备
CN102135659A (zh) * 2010-01-21 2011-07-27 佳能株式会社 焦点检测设备和焦点检测方法
CN102932590A (zh) * 2011-08-08 2013-02-13 奥林巴斯映像株式会社 摄像装置
CN103843317A (zh) * 2011-10-18 2014-06-04 惠普发展公司,有限责任合伙企业 成像设备
CN104184940A (zh) * 2013-05-27 2014-12-03 佳能株式会社 控制设备、摄像系统和控制方法
US20150055001A1 (en) * 2013-08-23 2015-02-26 Aptina Imaging Corporation Floating point image sensors with tile-based memory
CN104580940A (zh) * 2013-10-24 2015-04-29 松下知识产权经营株式会社 摄像系统、摄像装置、编码装置以及摄像方法
CN105259729A (zh) * 2014-07-17 2016-01-20 宁波舜宇光电信息有限公司 一种af快速对焦方法
CN107181922A (zh) * 2016-03-10 2017-09-19 佳能株式会社 摄像设备及其控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290328A (zh) * 2019-07-04 2019-09-27 Oppo广东移动通信有限公司 一种对焦方法、装置、终端和计算机存储介质
US11943551B2 (en) 2020-06-12 2024-03-26 Shenzhen GOODIX Technology Co., Ltd. Depth-sensing device and related electronic device and method for operating depth-sensing device

Also Published As

Publication number Publication date
WO2019104508A1 (zh) 2019-06-06

Similar Documents

Publication Publication Date Title
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
US10257502B2 (en) Methods and apparatus for controlling light field capture
CN101540843B (zh) 成像设备和信号处理方法
WO2019011174A1 (en) METHOD AND DEVICE FOR SWITCHING BETWEEN CAMERAS AND TERMINAL
CN106657805A (zh) 运动中的拍摄方法及移动终端
KR20170135855A (ko) 패닝 샷들의 자동 생성
CN109194882A (zh) 图像处理方法、装置、电子设备及存储介质
KR20140004592A (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
CN104010128A (zh) 摄像设备及其控制方法
CN104902182B (zh) 一种实现连续自动对焦的方法和装置
KR20170042226A (ko) 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스
CN105227857A (zh) 一种自动曝光的方法和装置
CN104702824A (zh) 摄像装置及摄像装置的控制方法
CN108141525A (zh) 具有集成存储器和处理器的智能图像传感器
KR20150086091A (ko) 다수의 초점거리를 이용한 이미지 합성 방법 및 장치
JP2019086775A (ja) 画像処理装置、その制御方法、プログラム及び記憶媒体
CN102263895A (zh) 成像系统、成像设备、可换镜头、控制方法和程序
CN110213491B (zh) 一种对焦方法、装置及存储介质
KR20200117562A (ko) 비디오 내에서 보케 효과를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN109714539B (zh) 基于姿态识别的图像采集方法、装置及电子设备
CN109361853A (zh) 图像处理方法、装置、电子设备及存储介质
CN108886592A (zh) 图像传感器、芯片、图像处理设备及相关方法
US8717491B2 (en) Auto focusing method, recording medium for recording the method, and auto focusing apparatus
US20130120629A1 (en) Photographing apparatus and photographing method
CN105467741A (zh) 一种全景拍照方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication