CN117479029A - 图像传感器及其输出控制方法及装置 - Google Patents

Abstract

一种图像传感器及其输出控制方法及装置，其中，所述方法包括：当在第N帧图像收到帧长增加的指令时，确定第一行操作时间；按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作；按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于所述第二行操作时间。由此，能够保证图像传感器中模拟电路的稳定，改善输出的图像效果。

Description

图像传感器及其输出控制方法及装置

技术领域

本发明涉及图像采集和图像处理领域，具体地涉及一种图像传感器及其输出控制方法及装置。

背景技术

在使用图像传感器进行图像采集时，每一帧图像的输出时间越小，帧率越高。在采集的场景的亮度较低时，需要增加图像中各个像素的曝光时间，在曝光时间增加到一定程度时，会影响相机采集图像的帧率，造成帧率降低。对应的，造成操作每一帧图像的客观时间长度(也即帧长(frame length))增加。

然而，随着图像采集时输出图像的分辨率的提升，对图像传感器操作每一行数据的时间要求越来越短，时间缩短意味着图像传感器中的模拟电路需要在更短的时间内稳定，增加设计难度。

故，亟需一种图像传感器的输出控制方法，能够在一些使用情况下增加行数据的操作时间(简称行操作时间)，使得图像传感器中模拟电路更容易稳定，提高输出的图像效果。

发明内容

本发明解决的技术问题是如何能够保证模拟电路的稳定，提高输出的图像效果。

为解决上述技术问题，本发明实施例提供一种图像传感器的输出控制方法，包括：当在第N帧图像收到帧长增加的指令时，确定第一行操作时间；按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作；按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于所述第二行操作时间。

可选的，按照所述第一行操作时间执行所述第N+2帧图像中全部的行读取操作和行重置操作。

可选的，所述在执行所述第N+1帧图像的行重置操作时，插入空闲操作，包括：将所述第N+1帧图像的全部行重置操作按照时序顺序划分为多组，在每组中至少插入一个空闲操作，单个所述空闲操作占用的时长等于所述第二行操作时间。

可选的，所述第N+2帧图像中有效行的行读取操作次数等于所述第N+1帧图像中有效行的行读取操作次数。

可选的，所述第N+2帧图像中有效行的行重置操作次数等于所述第N+1帧图像中有效行的行重置操作次数。

本发明实施例还提供一种图像传感器的输出控制装置，包括：帧长增加触发模块，用于当在第N帧图像收到帧长增加的指令时，确定第一行操作时间；读取控制模块，用于执行以下步骤：按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作；按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于第二行操作时间。

本发明实施例还提供一种图像传感器的输出控制方法，包括：当在第M帧图像收到帧长减小的指令时，确定第三行操作时间；按照第四行操作时间执行所述第M帧图像中至少一部分行读取操作和行重置操作；按照第三行操作时间执行第M+1帧图像中至少一部分行读取操作和/或行重置操作，并且，在执行所述第M+1帧图像的行读取操作时，插入空闲操作；按照第三行操作时间执行第M+2帧图像中至少一部分行读取操作和行重置操作，其中，所述第三行操作时间小于所述第四行操作时间。

可选的，按照所述第三行操作时间执行所述第M+1帧图像中全部的行读取操作和行重置操作。

可选的，所述在执行所述第M+1帧图像的行读取操作时，插入空闲操作，包括：将所述第M+1帧图像的全部行读取操作按照时序顺序划分为多组，在每组中至少插入一个空闲操作，单个所述空闲操作占用的时长等于所述第三行操作时间。

本发明实施例还提供一种图像传感器的输出控制装置，包括：帧长减小触发模块，用于当在第M帧图像收到帧长减小的指令时，确定第三行操作时间；读取控制模块，用于执行以下步骤：按照第四行操作时间执行所述第M帧图像中至少一部分行读取操作和行重置操作；按照第三行操作时间执行第M+1帧图像中至少一部分行读取操作和/或行重置操作，并且，在执行所述第M+1帧图像的行读取操作时，插入空闲操作；按照第三行操作时间执行第M+2帧图像中至少一部分行读取操作和行重置操作，其中，所述第三行操作时间小于所述第四行操作时间。

本发明实施例还提供一种图像传感器，包括：图像传感阵列；输出控制模块，与所述图像传感阵列耦接，执行以上任一项所述图像传感器的输出控制方法的步骤，以输出多帧图像。

与现有技术相比，本申请实施例的技术方案具有以下有益效果：

本发明实施例提供一种图像传感器的输出控制方法，包括：当在第N帧图像收到帧长增加的指令时，确定第一行操作时间；按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作；按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于所述第二行操作时间。较之现有技术，本发明实施例的方案，在帧长改变时，可以动态调整行操作时间。在一些使用场景下随着帧长的增大时，增大行操作时间，使得图像传感器中模拟电路更容易稳定，提高输出的图像效果。

进一步，在一些使用场景下随着帧长的减小，可以减小行操作时间，使得行操作时间能够动态调整。

进一步，帧长增大并维持一帧或多帧之后，如果帧长恢复，行操作时间也相应地恢复(也即减小至原先的行操作时间)，也即行读取时间由第一行操作时间变回第二行操作时间。

附图说明

图1为现有技术中的一种帧长增加前后的帧结构示意图；

图2为现有技术中的一种帧长增加前后的行操作示意图；

图3为本发明实施例的第一种图像传感器的输出控制方法的流程示意图；

图4为本发明实施例的一种帧长增加前后的帧结构示意图；

图5为本发明实施例的一种帧长增加前后的行操作示意图；

图6为本发明实施例的第一种图像传感器的输出控制装置的结构示意图；

图7为本发明实施例的第二种图像传感器的输出控制方法的流程示意图；

图8为本发明实施例的一种帧长增大后恢复时的行操作示意图；

图9为本发明实施例的第二种图像传感器的输出控制装置的结构示意图。

具体实施方式

每一帧长内各个操作占用的时间间隔的结构被称为帧结构。当相机的帧率降低、帧长增加时，帧结构发生改变。如图1所示，图1现有技术中的一种帧长增加前后的帧结构示意图。帧长增加在图1中表现为由帧长1变为帧长2，在每一帧长中，在换页信号(Vsync)由处于高电平期间，通过控制换行信号(Hsync)来控制执行每一行的行操作，每一行的行操作时间记作t1。其中，每一行的行操作可以指对读取这一行数据的操作(简称行读取操作)，或者，每一行的行操作可以指重置这一行数据的操作(简称行重置操作)，无论是行读取操作还是行重置操作，相应的操作时间都是相同的，也就是都按照相同的行操作时间执行行读取操作或者行重置操作。在帧长1中，所有行的行操作完成后还包括时间段t2；在帧长2中，所有行的行操作完成后还包括时间段t3，t3>t2。也即，现有技术中，随着帧长增加，每一行的操作时间保持不变，但是单个帧长内的执行所有行的行操作的时间占比减小。一般而言，时间段t3较时间段t2增加的时间内用于等待下一帧曝光的曝光，通常可以在t3时间段内可以插入若干空闲(dummy)行的行操作。

请参见图2，图2为现有技术中的一种帧长增加前后的行操作示意图，每一空格对应单个行操作时间t1。前一帧图像的帧长记作帧长1，在帧长1内执行80行的行操作，这80行的行操作时间分别对应帧长1内的0～79个空格。其中，第5行至第64行(对应图中的空格“4”至空格“63”)为有效行。当前帧图像的帧长记作帧长2，在帧长2内执行90行的行操作，这90行的行操作时间分别对应帧长2内的0～89个空格。相比帧长1，在帧长2中，增加了10行空闲行的行操作。另外，图2中每一帧的行重置操作比这一帧的行读取操作晚3个行操作时间t1(也即晚3个空格)。

在完成前一帧图像中某一行的行重置操作后，可以开始对当前帧图像中对应的行进行曝光。在完成前一帧图像中第一行的行重置操作后，可以开始对当前帧图像的第一行进行曝光；在完成前一帧图像中第二行的行重置操作后，可以开始对当前帧图像的第二行进行曝光，以此类推。前一帧图像的第一行的曝光时间以图2中的“曝光时间EXP1”表示，当前帧图像的第一行的曝光时间以图2中的“曝光时间EXP2”表示。曝光时间EXP2>曝光时间EXP1，也即在采集图像时的曝光时间由EXP1增大为EXP2时，帧长增加，由帧长1变为帧长2。

然而，发明人经过研究发现，随着进行图像采集时输出图像分辨率的提升，要求图像传感器执行每行的行操作的时间越来越短，时间缩短意味着模拟电路需要在更短的时间内稳定，增加设计难度。

为解决该问题，本发明实施例提供一种图像传感器的输出控制方法，包括：当在第N帧图像收到帧长增加的指令时，确定第一行操作时间；按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作；按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于所述第二行操作时间。通过这一方法，在帧长改变时，可以动态调整行操作时间。在一些使用场景下随着帧长的增大时，增大行操作时间，使得图像传感器中模拟电路更容易稳定，提高输出的图像效果。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

请参见图3和图4，图3为本发明实施例的第一种图像传感器的输出控制方法(以下简称第一种输出控制方法)的流程示意图，图4为本发明实施例的一种帧长增加前后的帧结构示意图。所述输出控制方法可以由图像传感器执行，也可以由手机、相机、电脑等具备图像采集功能的终端执行，以下实施例以图像传感器为例进行说明。

本发明实施例的第一种输出控制方法用于帧长增加的情形，以下以第N帧图像、第N+1帧图像和第N+2帧图像为例进行说明。

其中，第N帧图像、第N+1帧图像和第N+2帧图像为终端执行曝光读出的连续三帧图像。各帧图像(第N帧图像、第N+1帧图像和第N+2帧图像)中均包含多行，在图像传感器对第N帧图像的一行或多行完成行重置操作之后，可以对该一行或多行进行第N帧图像的曝光，曝光结束后，对该一行或多行进行行读取操作，以读出这一行或多行曝光后的数据。在对该一行或多行进行行读取操作之后，对这一行或多行可以进行行重置操作，在完成行重置操作之后，可以对该一行或多行进行第N+1图像的曝光，依此类推。

各帧图像的多行均包括有效行，有效行被执行行读取操作时，该行的数据被输出，输出的数据组成各帧图像被操作后最终显示的图像；各帧图像的多行还可以包括空闲(dummy)行，空闲行被执行行读取操作时，该行的数据不会被作为图像数据。

第一种输出控制方法可以包括以下步骤S301至步骤S303，各个步骤的详细描述参见下文。

步骤S301，当在第N帧图像收到帧长增加的指令时，确定第一行操作时间。

帧长(frame length)是指操作每一帧图像的时间长度。帧长增加的指令时指要增大曝光读出的图像的帧长，所述帧长增加的指令可以由自动曝光控制(AutomaticExposure Control)平台向图像传感器发送。可选的，帧长增加(例如图1中由帧长1变为帧长2的示例)的原因可以是需要增加图像的曝光时间。

如果在第N帧图像收到帧长增加的指令，第N+1帧图像的帧长大于第N帧图像的帧长。例如，第N帧图像的帧长参见图4中的帧长1，第N+1帧图像的帧长记作帧长2，帧长2>帧长1。此时，图像传感器确定新的操作时间，也即第一行操作时间，记作t1’(t1’对应的时间间隔如图4所示)，t1’>第二行操作时间t1。

步骤S302，按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作。

可选的，按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，包括：第N帧图像和第N+1帧图像的部分或者全部行操作按照第二行操作时间t1执行，所述行操作包括读取这一行数据的操作(简称行读取操作)或者重置这一行数据的操作(简称行重置操作)。

在一个具体实施例中，第N帧图像和第N+1帧图像的全部行操作按照第二行操作时间t1执行，以完成第N帧图像的曝光读出。第N+1帧图像的全部行读取操作按照第二行操作时间t1执行，第N+1帧图像的全部行重置操作按照第二行操作时间t1执行，另外，在执行第N+1帧图像的行重置操作时，在这些行重置操作中插入空闲操作，以使得执行第N+1帧图像的行重置操作的总时间增加，这一总时间和第N+2帧帧长相同。

步骤S303，按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于所述第二行操作时间。

步骤S302中执行第N+1帧图像的行重置操作的总时间增加的部分，可以分配给第N+2帧图像中的部分或者全部行进行行操作，这些被分配的行按照第一行操作时间t1’进行行操作。

步骤S303中，按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，可以包括如下四个具体实施例。

在第一个具体实施例中，按照所述第一行操作时间t1’执行所述第N+2帧图像中全部的行读取操作和行重置操作。也即，第N+2帧图像中的有效行和空闲行执行单个行读取操作或者行重置操作的时间均为第一行操作时间t1’。由此，第N+2帧图像中的单个行操作的时间相同，方便控制。

在第二个具体实施例中，第N+2帧图像中的全部有效行均按照第一行操作时间t1’进行行读取操作和行重置操作。第N+2帧图像中的空闲行可以按照第一行操作时间t1’进行行操作，也可以不按照第一行操作时间t1’进行行操作，比如，第N+2帧图像中的空闲行可以按照第二行操作时间t1进行行操作。

在第三个具体实施例中，将N+2帧图像的有效行中的一行或多行作为关键行，其他有效行作为普通行。仅对有效行均按照第一行操作时间t1’进行行读取操作和行重置操作。

在第四个具体实施例中，第N+2帧图像中的全部有效行均按照第一行操作时间t1’进行行读取操作或行重置操作中的其中一种行操作，另一个行操作按照其他行操作时间(比如第二行操作时间t1)执行。

需要说明的是，步骤S303的具体实施方式包括但不限于上述具体实施例，第N+1帧图像中的部分或者全部行操作按照第一行操作时间t1’执行的其他方案也属于本发明的保护范围。另外，步骤S302中按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作可以参考步骤S303的具体实施方式，这里不再展开说明。

对比图1和图4的方案可以看出，在帧长增加时，也即由帧长1变为帧长2后，如果按照第一行操作时间执行所有行的行操作，在行操作完成后还包括时间段t4，t4<t3。

通过图3所述的输出控制方法，在帧长改变时，可以动态调整行操作时间。在一些使用场景下随着帧长的增大时，增大行操作时间，使得图像传感器中模拟电路更容易稳定，提高输出的图像效果。较之图1的现有技术，图3的方案可以将由于帧长增加而增加的等待图像帧曝光结束的时间分给部分或者全部行的行操作时间，以增加模拟电路稳定时间，改善输出图像的效果。

在一个实施例中，所述在执行所述第N+1帧图像的行重置操作时，插入空闲操作，包括：将所述第N+1帧图像的全部行重置操作按照时序顺序划分为多组，在每组中至少插入一个空闲操作，单个所述空闲操作占用的时长等于所述第二行操作时间。

可选的，在每个空闲操作期间不执行行重置操作，或执行对空闲行的行重置操作。

可选的，将第N+1帧图像的所有行(包括有效行和空闲行)分为多组，每组包括的行数可以相同也可以不同，每对一组的行数执行行重置操作时，其中插入至少一个空闲操作。

第N+1帧图像的行重置操作由于插入了空闲操作，且第N+2帧图像的曝光时间EXP2是从每一行完成第N+1帧图像的行重置操作之后开始、至这一行开始执行第N+2帧图像的行读取操作之间的时间段。所以第N+2帧图像中各行的曝光时间会有差异，后续可以通过数据增益(gain)对曝光时间小的行的数据进行补偿。

其中，如果第N+2帧图像中各行的曝光时间的差异很小，在高分辨的图像传感器里，此差异基本可以忽略，可以不通过数据增益(gain)对曝光时间小的行的数据进行补偿。

在一个实施例中，所述第N+2帧图像中有效行的行读取操作次数等于所述第N+1帧图像中有效行的行读取操作次数。

在一个实施例中，所述第N+2帧图像中有效行的行重置操作次数等于所述第N+1帧图像中有效行的行重置操作次数。

也即，在帧长增加时，第N+2帧图像与第N+1帧图像中的有效行的行数保持不变。

在一个具体实施例中，在具体应用场景1中，假设第N帧图像的帧率为30帧每秒(frame per second，简称fps)，第N+2帧图像的帧率降低到26.6fps。则帧长2/帧长1约等于9/8。可以设置第一行操作时间t1’＝t1×(1+1/8)。第N+2帧图像中的每一行的行读取操作均按照第一行操作时间t1’执行。由此，既可以满足第N+2帧的帧率需求，并且在第N+2帧图像中不需要执行比第N帧图像(或者第N+1图像)更多的行读取操作，比如读去更多的空闲行。

请参见图5，图5为本发明实施例的第一种帧长增加前后的行操作示意图。以每一空格表示单个第二行操作时间t1。以具体应用场景1为例，第N+2帧图像的帧长与第N帧图像的帧长之比为9/8，也即n＝8，m＝1。设置第一操作时间t1’＝t1×(1+1/8)，第N帧像中包含80行，其中，第5行(对应空格“4”)至第64行(对应空格“63”)为有效行。在完成第N帧图像的曝光之后，需要对第N帧图像执行80次行读取操作，以及80次行重置操作，对第N帧图像的行读取操作和行重置操作均按照第二操作时间t1执行。当帧长增加(即由帧长1变为帧长2)时，第N+1帧和第N+2帧图像仍然包含80行。按照第二操作时间t1对第N+1帧图像执行行重置操作，每执行8次行重置操作，中间插入一个空闲操作。例如，图5中在执行完第N+1帧图像的第7次行重置操作(对应图5中帧长2中的空格“6”)之后、在执行完第N+1帧图像的第8次行重置操作(对应图5中帧长2中的空格“7”)之前插入一个空闲操作；…在执行完第N+1帧图像的第63次行重置操作(对应图5中帧长2中的空格“62”)之后、在执行完第N+1帧图像的第64次行重置操作(对应图5中帧长2中的空格“63”)之前，插入一个空闲操作，以此类推。由此，在第N+1帧图像的80次行重置操作中，共插入10个空闲操作，每一行重置操作占用的时长等于第二行操作时间t1，每一空闲操作占用的时长也等于第二行操作时间t1。在第N+2帧图像执行单个行读取操作和行重置操作的时间为第一行操作时间t1’，如图5中，可以看出第N+2帧图像中单个空格的长度较第N帧图像和第N+1帧图像中单个空格的长度变长了，也即执行单个行操作时间变长了(由第二行操作时间t1变为第一行操作时间t1’)。

关于图5中的其他描述请参见图2中的相应内容。需要说明的是，插入的空闲操作在每组行重置操作中的位置可以是任意的，包括但不限于图5中的示例。

在一个实施例中，请参见图6，本发明实施例还提供第一种图像传感器的输出控制装置60，包括：

帧长增加触发模块601，用于当在第N帧图像收到帧长增加的指令时，确定第一行操作时间；

读取控制模块602，用于执行以下步骤：按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作；按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于第二行操作时间。

可选的，读取控制模块602按照所述第一行操作时间执行所述第N+2帧图像中全部的行读取操作和行重置操作。

可选的，读取控制模块602，还用于将所述第N+1帧图像的全部行重置操作按照时序顺序划分为多组，在每组中至少插入一个空闲操作，单个所述空闲操作占用的时长等于所述第二行操作时间。

可选的，所述第N+2帧图像中有效行的行读取操作次数等于所述第N+1帧图像中有效行的行读取操作次数。

可选的，所述第N+2帧图像中有效行的行重置操作次数等于所述第N+1帧图像中有效行的行重置操作次数。

关于第一种图像传感器的输出控制装置60的详细说明，可以参见图3至图5中对于第一种图像传感器的输出控制方法的相关描述，这里不再赘述。

在一个实施例中，请参见图7，图7为本发明实施例的第二种图像传感器的输出控制方法的流程示意图。所述方法可以包括如下步骤S701至步骤S704。

步骤S701，当在第M帧图像收到帧长减小的指令时，确定第三行操作时间。

其中，帧长减小的指令时指要减小曝光读出的图像的帧长，所述帧长减小的指令可以由自动曝光控制平台向图像传感器发送。可选的，帧长减小可以由图1中的帧长2变为帧长1，帧长减小的原因可以是需要减小图像的曝光时间。

第M帧图像、第M+1帧图像和第M+2帧图像为终端执行曝光读出的连续三帧图像，其描述可以参见前述的第N帧图像、第N+1帧图像和第N+2帧图像的相关说明。

步骤S702，按照第四行操作时间执行所述第M帧图像中至少一部分行读取操作和行重置操作。

步骤S703，按照第三行操作时间执行第M+1帧图像中至少一部分行读取操作和/或行重置操作，并且，在执行所述第M+1帧图像的行读取操作时，插入空闲操作。

可选的，所述第M+1帧图像的全部行读取操作按照时序顺序划分为多组，每组包含至少一个空闲操作，单个所述空闲操作占用的时长等于所述第三行操作时间。

可选的，步骤S703中在行读取操作中插入空闲操作的具体实施方式可以参见图步骤S203中在行重置操作中插入空闲操作的相关说明，这里不再赘述。

步骤S704，按照第三行操作时间执行第M+2帧图像中至少一部分行读取操作和行重置操作，其中，所述第三行操作时间小于所述第四行操作时间。

可选的，按照所述第三行操作时间执行所述第M+1帧图像中全部的行读取操作和行重置操作。

可选的，步骤S704中执行第M+2帧图像中的行读取操作时，不执行步骤S703中插入的空闲操作，由此，执行第M+2帧图像行读取操作的总时间小于执行第M+1帧图像行读取操作的总时间，第M+2帧图像的帧长较第M+1帧图像的帧长减小。

通过图7所述的输出控制方法，在一些使用场景下随着帧长的减小，可以减小行操作时间，使得行操作时间能够动态调整。图7中帧长增大的过程可以看作图3中帧长减小的逆过程，其他描述可以参见图3中第一种输出控制方法的相关说明。

在一个实施例中，所述第M帧图像为所述第N+2帧图像，或者第N+2帧图像之后的一帧图像，可以结合图3和图7中的方法实现帧长先增大后恢复的方案，此时第一行操作时间等于第四行操作时间，第二行操作时间等于第三行操作时间。也即，帧长增大并维持一帧或多帧之后，如果帧长恢复，行操作时间也相应地恢复(也即减小至原先的行操作时间)，也即行读取时间由第一行操作时间变回第二行操作时间。

在一个具体实施例中，请参见图8，图8为本发明实施例的一种帧长增大后恢复时的行操作示意图，以第N+2帧图像作为第M帧图像。在第M帧图像中，以每一空格表示单个第四行操作时间(即第一行操作时间t1’)。在第M+1帧图像中，以每一空格表示单个第三行操作时间(即第二行操作时间t1)。对于第M帧图像的行读取操作和行重置操作参见图5中第N+2帧图像的相关描述，这里不再赘述。

按照第二操作时间t1对第M+1帧图像执行行读取操作，每执行8次行读取操作，中间插入一个空闲操作。例如，图8中在执行完第M+1帧图像的第7次行读取操作(对应图8中第M+1帧图像帧长2中的空格“6”)之后、在执行完第M+1帧图像的第8次行读取操作(对应图8中第M+1帧图像帧长2中的空格“7”)之前插入一个空闲操作；…在执行完第M+1帧图像的第63次行读取操作(对应图8中第M+1帧图像帧长2中的空格“62”)之后、在执行完第M+1帧图像的第64次行读取操作(对应图8中第M+1帧图像帧长2中的空格“63”)之前，插入一个空闲操作，以此类推。由此，如果第M+1有80次行读取操作，共插入10个空闲操作，每一行读取操作占用的时长等于第二行操作时间t1，每一空闲操作占用的时长也等于第二行操作时间t1。在第M+2图像中，删除所述第M+1帧图像中插入的空闲操作，由此，在第M+2图像的帧长恢复至第N帧图像的帧长(也即帧长1)。需要说明的是，插入的空闲操作在每组行读取操作中的位置可以是任意的，包括但不限于图8中的示例。

请参见图9，本发明实施例还提供第二种图像传感器的输出控制装置90，包括：帧长减小触发模块901，用于当在第M帧图像收到帧长减小的指令时，确定第三行操作时间；

读取控制模块902，用于执行以下步骤：按照第四行操作时间执行所述第M帧图像中至少一部分行读取操作和行重置操作；按照第三行操作时间执行第M+1帧图像中至少一部分行读取操作和/或行重置操作，并且，在执行所述第M+1帧图像的行读取操作时，插入空闲操作；按照第三行操作时间执行第M+2帧图像中至少一部分行读取操作和行重置操作，其中，所述第三行操作时间小于所述第四行操作时间。

可选的，读取控制模块902，还用于按照所述第三行操作时间执行所述第M+1帧图像中全部的行读取操作和行重置操作。

可选的，读取控制模块902，还用于将所述第M+1帧图像的全部行读取操作按照时序顺序划分为多组，在每组中至少插入一个空闲操作，单个所述空闲操作占用的时长等于所述第三行操作时间。

关于第二种图像传感器的输出控制装置90的详细说明，可以参见图7和图8中对于第二种图像传感器的输出控制方法的相关描述，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图3或图7所述图像传感器的输出控制方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。

本发明实施例还提供一种图像传感器，包括：图像传感阵列；输出控制模块，与所述图像传感阵列耦接，执行上述第一种或第二种所述图像传感器的输出控制方法的步骤，以输出多帧图像。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，任意多个实施例可以结合使用，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

在本申请实施例中，上述装置的处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种图像传感器的输出控制方法，其特征在于，包括：

当在第N帧图像收到帧长增加的指令时，确定第一行操作时间；

按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作；

按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于所述第二行操作时间。

2.根据权利要求1所述的方法，其特征在于，按照所述第一行操作时间执行所述第N+2帧图像中全部的行读取操作和行重置操作。

3.根据权利要求1所述的方法，其特征在于，所述在执行所述第N+1帧图像的行重置操作时，插入空闲操作，包括：

将所述第N+1帧图像的全部行重置操作按照时序顺序划分为多组，在每组中至少插入一个空闲操作，单个所述空闲操作占用的时长等于所述第二行操作时间。

4.根据权利要求1至3任一所述的方法，其特征在于，所述第N+2帧图像中有效行的行读取操作次数等于所述第N+1帧图像中有效行的行读取操作次数。

5.根据权利要求1至3任一所述的方法，其特征在于，所述第N+2帧图像中有效行的行重置操作次数等于所述第N+1帧图像中有效行的行重置操作次数。

6.一种图像传感器的输出控制装置，其特征在于，包括：

帧长增加触发模块，用于当在第N帧图像收到帧长增加的指令时，确定第一行操作时间；

读取控制模块，用于执行以下步骤：

按照第二行操作时间执行所述第N帧图像和第N+1帧图像中至少一部分行读取操作和行重置操作，并且，在执行所述第N+1帧图像的行重置操作时，插入空闲操作；

按照所述第一行操作时间执行所述第N+2帧图像中至少一部分行读取操作和/或行重置操作，其中，所述第一行操作时间大于第二行操作时间。

7.一种图像传感器的输出控制方法，其特征在于，包括：

当在第M帧图像收到帧长减小的指令时，确定第三行操作时间；

按照第四行操作时间执行所述第M帧图像中至少一部分行读取操作和行重置操作；

按照第三行操作时间执行第M+1帧图像中至少一部分行读取操作和/或行重置操作，并且，在执行所述第M+1帧图像的行读取操作时，插入空闲操作；

按照第三行操作时间执行第M+2帧图像中至少一部分行读取操作和行重置操作；

其中，所述第三行操作时间小于所述第四行操作时间。

8.根据权利要求7所述的方法，其特征在于，按照所述第三行操作时间执行所述第M+1帧图像中全部的行读取操作和行重置操作。

9.根据权利要求8所述的方法，其特征在于，所述在执行所述第M+1帧图像的行读取操作时，插入空闲操作，包括：

将所述第M+1帧图像的全部行读取操作按照时序顺序划分为多组，在每组中至少插入一个空闲操作，单个所述空闲操作占用的时长等于所述第三行操作时间。

10.一种图像传感器的输出控制装置，其特征在于，包括：

帧长减小触发模块，用于当在第M帧图像收到帧长减小的指令时，确定第三行操作时间；

读取控制模块，用于执行以下步骤：

按照第四行操作时间执行所述第M帧图像中至少一部分行读取操作和行重置操作；

按照第三行操作时间执行第M+1帧图像中至少一部分行读取操作和/或行重置操作，并且，在执行所述第M+1帧图像的行读取操作时，插入空闲操作；

按照第三行操作时间执行第M+2帧图像中至少一部分行读取操作和行重置操作，其中，所述第三行操作时间小于所述第四行操作时间。

11.一种图像传感器，其特征在于，包括：

图像传感阵列；

输出控制模块，与所述图像传感阵列耦接，执行权利要求1至5任一项，或权利要求7至9任一项所述方法的步骤，以输出多帧图像。