CN113949784A - 同步成像控制方法、装置及存储介质 - Google Patents

Abstract

本公开是关于一种同步成像控制方法、同步成像控制装置及存储介质。其中同步成像控制方法包括：同步配置第一图像采集传感器的帧输出寄存器,以及第二图像采集传感器的帧输出寄存器，以同步启动第一图像采集传感器和第二图像采集传感器，并控制第一图像采集传感器拍摄并输出第一图像帧，以及控制第二图像采集传感器拍摄并输出第二图像帧。通过本公开控制图像帧的同步输出，进而实现第一图像采集传感器和第二图像采集传感器较好同步出帧的目的。

Description

同步成像控制方法、装置及存储介质

技术领域

本公开涉及图像处理领域，具体涉及一种同步成像控制方法、同步成像控制装置及存储介质。

背景技术

随着用户对拍照效果以及算法识别准确率提出的高要求，利用双目摄像头采集图像变得越来越普遍。相关技术中双目摄像头包括一个用于获取彩色图像的彩色(red greenblue，RGB)图像采集传感器(sensor)，以及一个用于获取黑白图像的红外(InfraredRadiation，IR)sensor。在应用上述双目摄像头的面板机中，片上系统(System-on-a-Chip，SOC)芯片采用双路图像信号处理器(Image Signal Processing，ISP)，其中RGB sensor拍摄并输出彩色图像至双路ISP中对应RGB sensor的ISP通道，IR sensor拍摄并输出黑白图像至双路ISP中对应IR sensor的ISP通道，通过各ISP通道进行图像处理后输出YUV图像数据。输出的YUV图像数据可用于进行人脸检测、活体检测、人脸识别算法通道PIPELINE，以实现更多场景下的高精度算法识别。

为保证两路ISP输出的YUV图像数据一致，就需要双目摄像头中的RGB sensor和IRsensor同步成像，但RGB sensor和IR sensor工作是相互独立的，导致双目摄像头成像时并不是完全同步。因此，亟需解决双目摄像头在成像时不完全同步的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种同步成像控制方法、同步成像控制装置及存储介质。

根据本公开实施例的第一方面，提供一种同步成像控制方法，应用于双目摄像头，所述双目摄像头包括第一图像采集传感器和第二图像采集传感器，所述同步成像控制方法包括：

同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器，以同步启动所述第一图像采集传感器和所述第二图像采集传感器，所述帧输出寄存器用于控制图像帧的输出；控制所述第一图像采集传感器拍摄并输出第一图像帧，并控制所述第二图像采集传感器拍摄并输出第二图像帧。

在一种实施方式中，所述同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器，包括：

配置第一图像采集传感器中除帧输出寄存器之外的其他寄存器，并配置第二图像采集传感器中除帧输出寄存器之外的其他寄存器；响应于完成所述其他寄存器的配置，同步配置所述第一图像采集传感器的帧输出寄存器，以及所述第二图像采集传感器的帧输出寄存器。

在一种实施方式中，所述同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器，包括：

按预先设定第一图像采集传感器和第二图像采集传感器的配置优先级，依次配置所述第一图像采集传感器的帧输出寄存器，以及所述第二图像采集传感器的帧输出寄存器；或并行配置所述第一图像采集传感器的帧输出寄存器以及所述第二图像采集传感器的帧输出寄存器。

在一种实施方式中，所述同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器之前，所述同步成像控制方法还包括：

为所述第一图像采集传感器和所述第二图像采集传感器配置相同的图像帧参数。

在一种实施方式中，所述双目摄像头还包括双路图像信号处理器，所述同步成像控制方法，还包括：

获取所述双路图像信号处理器采集所述第一图像采集传感器拍摄并输出的第一图像帧的第一时间戳，以及所述双路图像信号处理器采集所述第二图像采集传感器拍摄并输出的第二图像帧的第二时间戳；响应于所述第一时间戳和所述第二时间戳之间的差值绝对值大于预设阈值，基于所述第一时间戳和所述第二时间戳，调整所述第一图像采集传感器下一次输出第一图像帧的帧长，或调整所述第二图像采集传感器下一次输出第二图像帧的帧长。

在一种实施方式中，所述基于所述第一时间戳和所述第二时间戳，调整所述第一图像采集传感器下一次输出第一图像帧的帧长，或调整所述第二图像采集传感器下一次输出第二图像帧的帧长，包括：

若所述第一时间戳小于所述第二时间戳，则在当前所述第一图像采集传感器输出第一图像帧的帧长上增加所述预设的调整幅值后，作为所述第一图像采集传感器下一次输出第一图像帧的帧长，或者在当前所述第二图像采集传感器输出第二图像帧的帧长上减少所述预设的调整幅值后，作为所述第二图像采集传感器下一次输出第二图像帧的帧长；若所述第一时间戳大于所述第二时间戳，则在当前所述第一图像采集传感器输出第一图像帧的帧长上减少所述预设的调整幅值后，作为所述第一图像采集传感器下一次输出第一图像帧的帧长，或者在当前所述第二图像采集传感器输出第二图像帧的帧长上增加所述预设的调整幅值后，作为所述第二图像采集传感器下一次输出第二图像帧的帧长。

在一种实施方式中，所述同步成像控制方法，还包括：

响应于所述第一时间戳和所述第二时间戳之间的差值绝对值小于或等于所述预设阈值，调整所述第一图像采集传感器和/或所述第二图像采集传感器输出图像帧的帧长为默认帧长。

根据本公开实施例的第二方面，提供一种同步成像控制装置，应用于双目摄像头，所述双目摄像头包括第一图像采集传感器和第二图像采集传感器，所述同步成像控制装置包括：

同步配置单元，用于同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器，以同步启动所述第一图像采集传感器和所述第二图像采集传感器，所述帧输出寄存器用于控制图像帧的输出；控制单元，用于控制所述第一图像采集传感器拍摄并输出第一图像帧，并控制所述第二图像采集传感器拍摄并输出第二图像帧。

在一种实施方式中，所述同步配置单元，用于：

配置第一图像采集传感器中除帧输出寄存器之外的其他寄存器，并配置第二图像采集传感器中除帧输出寄存器之外的其他寄存器；响应于完成所述其他寄存器的配置，同步配置所述第一图像采集传感器的帧输出寄存器，以及所述第二图像采集传感器的帧输出寄存器。

在一种实施方式中，所述同步配置单元，用于：

按预先设定第一图像采集传感器和第二图像采集传感器的配置优先级，依次配置所述第一图像采集传感器的帧输出寄存器，以及所述第二图像采集传感器的帧输出寄存器；或并行配置所述第一图像采集传感器的帧输出寄存器以及所述第二图像采集传感器的帧输出寄存器。

在一种实施方式中，所述同步配置单元，用于：

在同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器之前，为所述第一图像采集传感器和所述第二图像采集传感器配置相同的图像帧参数。

在一种实施方式中，所述双目摄像头还包括双路图像信号处理器，所述同步成像控制装置还包括：

获取单元，用于获取所述双路图像信号处理器采集所述第一图像采集传感器拍摄并输出的第一图像帧的第一时间戳，以及所述双路图像信号处理器采集所述第二图像采集传感器拍摄并输出的第二图像帧的第二时间戳；调整单元，用于响应于所述第一时间戳和所述第二时间戳之间的差值绝对值大于预设阈值，基于所述第一时间戳和所述第二时间戳，调整所述第一图像采集传感器下一次输出第一图像帧的帧长，或调整所述第二图像采集传感器下一次输出第二图像帧的帧长，使所述第一时间戳和所述第二时间戳之间的差值绝对值小于或等于所述预设阈值。

在一种实施方式中，所述调整单元，用于：

若所述第一时间戳小于所述第二时间戳，则在当前所述第一图像采集传感器输出第一图像帧的帧长上增加所述预设的调整幅值后，作为所述第一图像采集传感器下一次输出第一图像帧的帧长，或者在当前所述第二图像采集传感器输出第二图像帧的帧长上减少所述预设的调整幅值后，作为所述第二图像采集传感器下一次输出第二图像帧的帧长；若所述第一时间戳大于所述第二时间戳，则在当前所述第一图像采集传感器输出第一图像帧的帧长上减少所述预设的调整幅值后，作为所述第一图像采集传感器下一次输出第一图像帧的帧长，所述第一图像采集传感器的帧长，或者在当前所述第二图像采集传感器输出第二图像帧的帧长上增加所述预设的调整幅值后，作为所述第二图像采集传感器下一次输出第二图像帧的帧长。

在一种实施方式中，所述调整单元，用于：响应于所述第一时间戳和所述第二时间戳之间的差值绝对值小于或等于所述预设阈值，调整所述第一图像采集传感器和/或所述第二图像采集传感器输出图像帧的帧长为默认帧长。

根据本公开实施例的第三方面，提供一种同步成像控制装置，包括：

处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行第一方面或第二方面中任意一种实施方式中所述的同步成像控制方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行第一方面或第二方面中任意一种实施方式中所述的同步成像控制方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，当所述计算机程序由处理器执行时，使得处理器能够执行第一方面或第二方面中任意一种实施方式中所述的同步成像控制方法。

本公开的实施例提供的技术方案可以包括以下有益效果：同步配置第一图像采集传感器的帧输出寄存器,以及第二图像采集传感器的帧输出寄存器，以同步启动第一图像采集传感器和第二图像采集传感器，进而控制第一图像采集传感器拍摄并输出第一图像帧，并控制第二图像采集传感器拍摄并输出第二图像帧。通过同步启动第一图像采集传感器和第二图像采集传感器，确保第一图像采集传感器和第二图像采集传感器同步输出第一图像帧和第二图像帧，这样能够使得双目摄像输出的图像帧具有较好的同步效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种同步成像控制方法的流程图。

图2是根据一示例性实施例示出的一种同步配置RGB sensor的帧输出寄存器和IRsensor的帧输出寄存器的实施方法流程图。

图3是根据一示例性实施例示出的一种基于第一PTS和第二PTS，调整RGB sensor或IR sensor下一次输出预览RAW图像帧的VTS的实施过程流程图。

图4是根据一示例性实施例示出的应用双目摄像头同步成像控制方法的流程图。

图5是根据一示例性实施例示出的一种同步成像控制装置框图。

图6是根据本发明的实施方式的电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

双目摄像头中包括两个图像采集传感器(sensor)和双路ISP，每个sensor在ISP中对应设置有ISP通道(PIPELINE)，每个sensor都采用互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)。在相关技术中双目摄像头应用于很多场景，例如用于提升低照度图像效果、人脸检测、识别以及防止活体攻击，或采用两个型号完全相同且工作模式完成一致的sensor进行全景拼接。本公开实施例中为了便于描述将两个sensor中的其中一个sensor称为第一sensor，并将两个sensor中的另一个sensor称为第二sensor，例如第一sensor为RGB sensor，第二sensor为IR sensor，或者第一sensor为IR sensor，第二sensor为RGB sensor。

应用双目摄像头的面板机获取RGB sensor采集的预览原始(RAW)图像帧以及IRsensor采集的预览RAW图像帧。其中，RGB sensor采集的预览RAW图像帧也称为RGB图像，后续有时也称为第一预览RAW图像帧。IR sensor采集的预览RAW图像帧，也称为IR图像，后续有时也称为第二预览RAW图像帧。其中，第一预览RAW图像帧和第二预览RAW图像帧分别进入双路ISP中各自对应的ISP PIPELINE，经过ISP PIPELINE中的预处理，得到各自的YUV图像数据，并利用YUV图像数据进行人脸检测、活体检测以及人脸识别算法PIPELINE。其中，预处理可以包括坏点矫正(Defect Point Correction，DPC)、黑电平矫正(Black LevelCorrection，BLC)、白平衡(White Balance，WB)、动态范围压缩(Dynamic Range Control，DRC)、去马赛克(DEMOSAIC)、颜色矫正(Color Correction Matrix，CCM)、亮度空间转换(GAMMA)、CSC(色彩空间转换)、3D降噪(Digital Noise Reduction，DNR)以及锐度增强(SHARPEN)等。通过两路ISP分别采集RGB sensor拍摄并输出的第一预览RAW图像帧的时间戳(Performance Testing Service，PTS)(以下称为第一PTS)，以及IR sensor拍摄并输出的第二预览RAW图像帧的PTS(以下称为第二PTS)，能够确定出RGB sensor和IR sensor的成像时刻。若第一PTS和第二PTS之间的差值越大，则说明两路ISP对应输出的YUV图像数据间的取景差异就会越大，尤其在利用双目摄像头拍摄快速运动物体时该取景差异非常明显。此时将存在取景差异的YUV图像数据通过算法PIPELINE进行处理，导致活体检测以及人脸识别效果比较差。为了保证输入到算法PIPELINE中的两路图像帧内容一致，则需要两路ISP输出的YUV图像数据的PTS一致，也就是说需要保证两个sensor输出第一预览RAW图像帧和第二预览RAW图像帧的PTS一致，即需要RGB sensor和IR sensor更好的同步出帧。

鉴于此，本公开实施例提供了一种同步成像控制方法，同步配置第一sensor的帧输出寄存器,以及第二sensor的帧输出寄存器，控制第一sensor拍摄并输出第一图像帧，并控制第二sensor拍摄并输出第二图像帧，以实现第一sensor和第二sensor输出图像帧时达到较好的同步效果。

为了进一步确保第一sensor和第二sensor同步输出图像帧，本方案获取双路ISP采集第一sensor拍摄并输出的第一图像帧的第一PTS，以及采集第二sensor拍摄并输出的第二图像帧的第二PTS，并判断第一PTS和第二PTS之间的差值绝对值是否满足预设的阈值要求。若第一PTS和第二PTS之间的差值绝对值大于预设阈值，则基于第一PTS和第二PTS，调整第一sensor输出第一图像帧的帧长，也可以调整第二sensor输出第二图像帧的帧长，使第一PTS和第二PTS之间的差值绝对值小于或等于预设阈值，以进一步确保双目摄像头在成像时实现较好的同步效果。

其中，第一图像帧包括第一sensor输出的预览RAW图像帧。第二图像帧包括第二sensor输出的预览RAW图像帧。

在下述实施例中，以第一sensor为RGB sensor，第二sensor为IR sensor对同步成像控制方法进行说明，但不限于第一sensor为RGB sensor，第二sensor为IR sensor，下述实施例说明的同步成像控制方法同样适用于第一sensor和第二sensor为其他组合的情况。

图1是根据一示例性实施例示出的一种同步成像控制方法的流程图。如图1所示，该同步成像控制方法应用于双目摄像头，包括以下步骤。

在步骤S11中，同步配置RGB sensor的帧输出寄存器，以及IR sensor的帧输出寄存器。

在本公开实施例中，通过同步配置RGB sensor的帧输出寄存器,以及IR sensor的帧输出寄存器，以同步启动RGB sensor拍摄第一预览RAW图像帧，IR sensor拍摄第二预览RAW图像帧。并通过RGB sensor的帧输出寄存器输出第一预览RAW图像帧，IR sensor的帧输出寄存器第二预览RAW图像帧。在该实施例中，同步配置RGB sensor的帧输出寄存器，以及IR sensor的帧输出寄存器是为了保证RGB sensor的帧输出寄存器输出第一预览RAW图像帧的PTS，与IR sensor的帧输出寄存器输出第二预览RAW图像帧的PTS相同，即保证双路ISP同步采集第一预览RAW图像帧和第二预览RAW图像帧。需要说明的是，RGB sensor和IRsensor与双路ISP相连，RGB sensor输出的第一预览RAW图像帧会被双路ISP采集，因此双路ISP采集完成第一预览RAW图像帧的PTS与双路ISP采集完成第二预览RAW图像帧的PTS之间若相差较小，则可认为RGB sensor的帧输出寄存器输出第一预览RAW图像帧与IR sensor的帧输出寄存器输出第二预览RAW图像帧同步。

在步骤S12中，控制RGB sensor拍摄并输出第一预览RAW图像帧，并控制IR sensor拍摄并输出的第二预览RAW图像帧。

在本公开实施例中，控制RGB sensor拍摄并输出第一预览RAW图像帧至双路ISP中RGB sensor对应的ISP PIPELINE进行处理，并控制IR sensor拍摄并输出第二预览RAW图像帧至双路ISP中IR sensor对应的ISP PIPELINE进行处理。由于RGB sensor和IR sensor同步启动，因此第一预览RAW图像帧和第二预览RAW图像帧同步输入两路ISP，且两路ISP同步输出第一预览RAW图像帧对应的YUV图像帧，以及第二预览RAW图像帧对应的YUV图像帧。通过同步控制RGB sensor拍摄并输出第一预览RAW图像帧，以及IR sensor拍摄并输出的第二预览RAW图像帧，进而减小了两路ISP输出的YUV图像帧间的取景差异，提高了算法通道识别的准确率。

以下结合实例对上述实施例涉及的内容进行说明。

其中，首先对同步配置RGB sensor的帧输出寄存器，以及IR sensor的帧输出寄存器的实施过程进行说明。

图2是根据一示例性实施例示出的一种同步配置RGB sensor的帧输出寄存器和IRsensor的帧输出寄存器的实施方法流程图。如图2所示，同步配置RGB sensor的帧输出寄存器，以及IR sensor的帧输出寄存器，具体包括以下步骤。

在步骤S111中，配置RGB sensor中除帧输出寄存器之外的其他寄存器，并配置IRsensor中除帧输出寄存器之外的其他寄存器。

在步骤S112中，响应于完成其他寄存器的配置，同步配置RGB sensor的帧输出寄存器，以及IR sensor的帧输出寄存器。

在本公开实施例中，每个sensor对应多个寄存器，初始化完成sensor的序列寄存器后，该sensor就开始正常工作。但是配置启动多个寄存器花费的时间较长，例如需要几十毫秒，若先启动完一个sensor的寄存器再启动另一sensor的寄存器将导致二者输出的预览RAW图像帧的时间戳差值较大。所以，本公开实施例仅先配置启动sensor中除帧输出寄存器外的其他寄存器，配置完成除帧输出寄存器外的其他寄存器后sensor开始工作，最后同步配置两个sensor的帧输出寄存器，用于同步输出拍摄的预览RAW图像帧。其中帧输出寄存器也被称为写流寄存器。该实施例采用同步配置RGB sensor的写流寄存器以及IR sensor的写流寄存器之后两个sensor输出预览RAW图像帧PTS的差值很小，例如1ms，能够更好的达到同步的状态。

在该实施例中通过同步配置RGB sensor和IR sensor的寄存器，尤其是同步配置RGB sensor寄存器中的写流寄存器和IR sensor寄存器中的写流寄存器，能保证RGBsensor和IR sensor同步成像。避免RGB sensor和IR sensor中因含有多个不同类型的寄存器，先配置其中任意一个sensor的所有寄存器需要花费t时长，而相关技术中先配置其中一个sensor的寄存器再配置另一个sensor的寄存器，导致两个sensor成像的时间间隔相差t时长，造成RGB sensor和IR sensor并没有完全同步出帧的问题。本公开实施例相比于相关技术缩短了RGB sensor和IR sensor之间预览RAW图像帧的时间差。

在一种实施方式中，由于配置单个寄存器所需的时间很短，可以忽略，因此可以按预先设定RGB sensor和IR sensor的配置优先级，依次配置RGB sensor的帧输出寄存器，以及IR sensor的帧输出寄存器。

在又一种实施方式中，可以并行配置RGB sensor的帧输出寄存器以及IR sensor的帧输出寄存器。

在本公开实施例同步配置RGB sensor的帧输出寄存器，以及IR sensor的帧输出寄存器之前，为RGB sensor和IR sensor配置相同的图像帧参数，以进一步保证RGB sensor和IR sensor之间的差异最小。其中，图像帧参数包括：工作模式、输出图像帧的分辨率、输出图像帧的帧率(Frames Per Second，FPS)，以及输出图像帧的帧长(Vertical TimingSize，VTS)。其中，此处的图像帧包括预览RAW图像帧。

示例性的，为RGB sensor和IR sensor配置相同的图像帧参数可以理解为：将RGBsensor的工作模式和IR sensor的工作模式配置为主模式，将RGB sensor输出预览RAW图像帧的分辨率和IR sensor输出预览RAW图像帧的分辨率都配置为1920*1080，将RGB sensor输出预览RAW图像帧的FPS和IR sensor输出预览RAW图像帧的FPS都配置为25帧/秒，并将RGB sensor输出预览RAW图像帧的VTS和IR sensor输出预览RAW图像帧的VTS都配置为1350。

每个sensor有两种工作模式，即主模式和从模式。在主模式下，sensor作为主导设备，当sensor采集到图像帧后，基于时钟信号主动向外部设备输出图像帧。而在从模式下，sensor作为从属设备，接受外部设备发送的时钟信号，并在此信号的控制下发送图像帧。本公开实施例中，将RGB sensor和IR sensor的工作模式都配置为主模式，且配置RGB sensor和IR sensor的输出时序一样，保证采用本申请提供的技术方案时，不用配合修改sensor的硬件电路，即该实施例通过软件同步配置两路sensor的寄存器以解决两路sensor捕获的图像帧不同步的问题，其应用不依赖于两个sensor的硬件电路实现，提高了本方案的通用性，降低了用户的选择成本。

VTS是指sensor输出图像帧的帧长。图像帧包括像素区+消隐区，其中消隐区的大小是根据实际情况进行配置的，不同厂家不同sensor的消隐区的大小配置不同。VTS也可以理解为是输出图像帧对应的像素区的像素行数。在本实施例中为RGB sensor和IR sensor的VTS配置相同的值。

通过上述同步配置RGB sensor的帧输出寄存器，以及IR sensor的帧输出寄存器，以保证RGB sensor和IR sensor输出的图像帧能够达到更好的同步效果。

进一步的，本公开实施例为进一步提高RGB sensor和IR sensor输出图像帧的同步效果，可以通过双路ISP采集RGB sensor拍摄并输出的第一预览RAW图像帧的PTS(以下称为第一PTS)，以及双路ISP采集IR sensor拍摄并输出的第二预览RAW图像帧的PS(以下称为第二PTS)，验证RGB sensor的帧输出寄存器输出第一预览RAW图像帧，与IR sensor的帧输出寄存器输出第二预览RAW图像帧之间是否同步，以确保同步效果。

通过判断第一PTS和第二PTS之间的关系是否满足设定预设要求(该预设要求可以为符合预设阈值)，确定RGB sensor的帧输出寄存器输出第一预览RAW图像帧，与IR sensor的帧输出寄存器输出第二预览RAW图像帧之间是否同步。即，若第一PTS和第二PTS之间的差值绝对值大于预设阈值，则说明RGB sensor输出第一预览RAW图像帧，与IR sensor输出第二预览RAW图像帧之间的同步效果不太理想，为了更好达到同步效果需要基于第一PTS和第二PTS，调整RGB sensor下一次输出第一预览RAW图像帧的VTS，或调整IR sensor下一次输出第二预览RAW图像帧的VTS。若第一PTS和之间的差值绝对值小于或等于预设阈值，说明RGB sensor输出第一预览RAW图像帧，与IR sensor输出第二预览RAW图像帧之间的同步效果满足预设要求，为了保证后续RGB sensor输出第一预览RAW图像帧，与IR sensor输出第二预览RAW图像帧之间的同步效果依然满足预设要求，则可以调整RGB sensor和/或IRsensor输出图像帧的帧长为默认VTS。

进一步的，下述实施例对第一PTS和第二PTS之间的差值绝对值大于预设阈值时，基于第一PTS和第二PTS，调整RGB sensor或IR sensor下一次输出预览RAW图像帧的VTS的实施过程进行说明。

图3是根据一示例性实施例示出的一种基于第一PTS和第二PTS，调整RGB sensor或IR sensor下一次输出预览RAW图像帧的VTS的实施过程流程图。如图3所示，基于第一PTS和第二PTS，调整RGB sensor或IR sensor下一次输出预览RAW图像帧的VTS的实施过程，包括以下步骤。

在步骤S211中，获取双路ISP采集RGB sensor拍摄并输出的第一预览RAW图像帧的第一PTS，以及采集IR sensor拍摄并输出的第二预览RAW图像帧的第二PTS。

在步骤S212中，响应于第一PTS和第二PTS之间的差值绝对值大于预设阈值，基于第一PTS和第二PTS，调整RGB sensor输出第一预览RAW图像帧的VTS，或调整IR sensor输出第二预览RAW图像帧的VTS，使第一PTS和第二PTS之间的差值绝对值小于或等于预设阈值。

其中，预设阈值可以根据实际模型设置，例如可以设置为1ms。预设的同步成像要求为使RGB sensor的帧输出寄存器输出第一预览RAW图像帧的PTS，与IR sensor的帧输出寄存器输出第二预览RAW图像帧的PTS之间的差值绝对值等于预设阈值。本公开实施例中动态实时的检测第一PTS和第二PTS，并通过微调任意一个sensor的VTS，让两路PTS差值始终保持在预设阈值(1ms)范围内，进而保证两路ISP尽可能的在同一时刻输出YUV图像帧。

由于sensor与SOC间采用传输数据(mipi)的频率是固定的，根据频率与VTS和FPS间的换算关系可知，VTS与FPS呈反比，而FPS与输出每帧图像帧的时间也呈反比，故，VTS与输出每帧图像帧的时间呈正比。即通过调整sensor的VTS可以调整sensor输出图像帧的PTS，且调大sensor的VTS可以增加sensor输出每帧图像帧的时间，也就是增加了sensor输出图像帧的PTS。若减小sensor的VTS可以减小sensor输出每帧图像帧的时间，相当于减小了sensor输出图像帧的PTS。换言之，可以通过调整sensor的VTS进而控制sensor输出图像帧的PTS，以实现两个sensor同步输出预览RAW图像帧。

在该实施例中，若第一PTS和第二PTS之间的差值绝对值大于预设阈值，则根据第一PTS与第二PTS，调整RGB sensor下一次输出第一预览RAW图像帧的VTS。也可以根据第一PTS与第二PTS，调整IR sensor下一次输出第二预览RAW图像帧的VTS。

其中，调整幅值的大小可以根据第一PTS与第二PTS之间的大小关系进行设置。调整幅值的大小不仅能够影响RGB sensor与IR sensor同步的精度，还能影响调整RGBsensor与IR sensor同步所需的时间。当RGB sensor与IR sensor之间的第一PTS和第二PTS差值较小时，可以设置调整幅度为1，提高调整过程中RGB sensor与IR sensor的同步精度。当RGB sensor与IR sensor之间的第一PTS和第二PTS差值较大时，可以选择2或3等，缩短调整RGB sensor和IR sensor同步过程中所需的时间，即能够更快的使RGB sensor与IRsensor同步。

在本实施例中，通过建立线程实时监测第一PTS和第二PTS，并实时统计第一PTS和第二PTS之间差值的绝对值，为了缩小第一PTS与第二PTS的差值，不断循环的调整RGBsensor下一次输出第一预览RAW图像帧的VTS或IR sensor下一次输出第二预览RAW图像帧的VTS，以确保第一PTS和第二PTS的同步。

进一步的，在第一PTS和第二PTS之间的差值绝对值大于预设阈值的情况下，需要判断第一PTS与第二PTS之间的大小关系：

若第一PTS小于第二PTS，则在当前RGB sensor输出第一预览RAW图像帧的VTS上增加预设的调整幅值后，作为RGB sensor下一次输出第一预览RAW图像帧的VTS，或者在当前IR sensor输出第二预览RAW图像帧的VTS上减少预设的调整幅值后，作为IR sensor下一次输出第二预览RAW图像帧的VTS。

若第一PTS大于第二PTS，则在当前RGB sensor输出第一预览RAW图像帧的VTS上减少预设的调整幅值后，作为RGB sensor下一次输出第一预览RAW图像帧的VTS，RGB sensor的VTS，或者在当前IR sensor输出第二预览RAW图像帧的VTS上增加预设的调整幅值后，作为IR sensor下一次输出第二预览RAW图像帧的VTS。

在该实施例中，在当前RGB sensor输出第一预览RAW图像帧的VTS上增加预设的调整幅值后，作为RGB sensor下一次输出第一预览RAW图像帧的VTS是因为，增加RGB sensor输出第一预览RAW图像帧的VTS，可以增加RGB sensor输出第一预览RAW图像帧的时间。基于此，通过不断的监测第一PTS和第二PTS，逐渐缩小第一PTS与第二PTS之间的差值，以实现第一PTS等于第二PTS。同理，也可以在当前IR sensor输出第二预览RAW图像帧的VTS上增加预设的调整幅值后，作为IR sensor下一次输出第二预览RAW图像帧的VTS，同样能够达到逐渐缩小第一PTS与第二PTS之间的差值，实现第一PTS和第二PTS同步的目的。

进一步的，当第一PTS和第二PTS之间的差值绝对值小于或等于预设阈值虽然实现了更好的同步成像，但为了后续能维持同步成像效果下述实施例对调整RGB sensor和/或IR sensor输出图像帧的帧长为默认VTS的实施过程进行说明。

在一种实施方式中，若第一PTS和第二PTS之间的差值绝对值小于或等于预设阈值，判断RGB sensor当前输出第一RAW图像帧的VTS是否等于默认帧长，在RGB sensor当前输出第一RAW图像帧的VTS不等于默认帧长的情况下调整RGB sensor下一次输出第一RAW图像帧的VTS为默认帧长，其中默认帧长为初始配置RGB sensor输出第一RAW图像帧的VTS。步骤S212也可以包括：若第一PTS和第二PTS之间的差值绝对值小于或等于预设阈值，判断IRsensor当前输出第二RAW图像帧的VTS是否等于默认帧长，在IR sensor当前输出第二RAW图像帧的VTS不等于默认帧长的情况下调整IR sensor下一次输出第二RAW图像帧的VTS为默认帧长，其中默认帧长为初始配置IR sensor输出第二RAW图像帧的VTS。步骤S212还可以包括：若第一PTS和第二PTS之间的差值绝对值小于或等于预设阈值，同时判断RGB sensor和IR sensor当前输出RAW图像帧的VTS是否等于默认帧长，判断后的调整过程与RGB sensor或IR sensor的调整过程相同，此处不再赘述。

在本公开实施例中，导致第一PTS和第二PTS之间的差值绝对值小于预设阈值的情况发生的原因可能为，当前RGB sensor输出第一RAW图像帧的VTS，或当前IR sensor输出第二RAW图像帧的帧长，不是RGB sensor或IR sensor初始配置输出RAW图像帧的VTS。因此调整方式包括：调整RGB sensor下一次输出第一预览RAW图像帧的VTS等于RGB sensor初始配置输出RAW图像帧的VTS，或调整IR sensor下一次输出第二预览RAW图像帧的VTS等于IRsensor初始配置输出RAW图像帧的帧长。

进一步的，为了更清楚的说明本实施例示出的同步成像控制方法，下面以任意型号的双目摄像头为例，说明本实施例示出的同步成像控制方法。图4是根据一示例性实施例示出的应用双目摄像头同步成像控制方法的流程图。如图4所示，该同步成像控制方法包括以下步骤。

在步骤S31中，配置RGB sensor的工作模式为主模式，以及IR sensor的工作模式为主模式，并为RGB sensor和IR sensor配置相同输出预览RAW图像帧的分辨率、输出预览RAW图像帧的FPS和输出预览RAW图像帧的VTS。

该实施例中，配置RGB sensor和IR sensor输出预览RAW图像帧的分辨率均为1920*1080，输出预览RAW图像帧的FPS为25Hz，输出预览RAW图像帧的VTS为1350。

按上述参数值配置RGB sensor和IR sensor的图像帧参数后，表明在FPS＝25Hz时，根据帧率和时间的换算关系，可知RGB sensor和IR sensor每40ms输出一帧图像帧。

在步骤S32中，启动两路视频接收接口(MIPI_RX)和视频采集模块(VI)，并同步启动两路ISP PIPELINE，以及RGB sensor和IR sensor。

在该步骤中，配置RGB sensor中除帧输出寄存器之外的其他寄存器，并配置IRsensor中除帧输出寄存器之外的其他寄存器，当完成其他寄存器的配置后，同步配置RGBsensor的帧输出寄存器，以及IR sensor的帧输出寄存器。

在步骤S33中，获取双路ISP采集RGB sensor拍摄并输出的第一预览RAW图像帧的第一PTS，以及采集IR sensor拍摄并输出的第二预览RAW图像帧的第二PTS。

在步骤S34中，设定双路ISP的阈值为1毫秒，新创建一个线程，实时统计第一PTS和第二PTS的差值绝对值。

在步骤S35中，若该差值绝对值大于预设阈值，调整RGB sensor下一次输出第一预览RAW图像帧的VTS，或调整IR sensor下一次输出第二预览RAW图像帧的VTS，返回步骤S33中，直到第一PTS和第二PTS之间的差值绝对值小于或等于预设阈值。

在该步骤中，以调整RGB sensor下一次输出第一预览RAW图像帧的VTS为例，进行说明，若第一PTS和第二PTS之间的差值绝对值小于或等于预设阈值，读取当前RGB sensor输出RAW图像帧的VTS，进行如下处理：

如果当前RGB sensor输出第一预览RAW图像帧的VTS值等于1350，不做任何处理。

如果当前RGB sensor输出第一预览RAW图像帧的VTS值不等于1350，则配置RGBsensor下一次输出第一预览RAW图像帧的VTS值为1350。

其中，1350为RGB sensor初始配置输出第一预览RAW图像帧的VTS值。

若第一PTS和第二PTS之间的差值绝对值大于预设阈值，则判断第一PTS与第二PTS的大小，此处第一PTS和第二PTS都是对应唯一的时间点。本步骤中设置调整幅值为1。

如果第一PTS小于第二PTS(即RGB sensor的输出第一预览RAW图像帧早于IPsensor的输出第二预览RAW图像帧)，则在RGB sensor的VTS值为1350的基础上增加调整幅值，得到新的VTS值1351，并配置RGB sensor的VTS为1351。将RGB sensor的VTS调整为1351，是为了能40.0296ms输出一帧，相当于减小了RGB sensor的FPS，以加快RGB sensor在下一次输出第一预览RAW图像帧的PTS，进而达到逐渐缩小第一PTS与第二PTS的时间差，实现两个sensor更好同步出帧的目的。

如果第一PTS大于第二PTS(即RGB sensor的输出第一预览RAW图像帧晚于IPsensor的输出第二预览RAW图像帧)，则配置RGB sensor的VTS为1349。同理，将RGB sensor的VTS调整为1349，是为了能39.970ms输出一帧，相当于增加了RGB sensor的FPS，以放慢RGB sensor在下一次输出第一预览RAW图像帧的PTS，逐步达到与IR sensor同步出帧。

在上述实施例中，调整RGB sensor中VTS的原理与调整IR sensor中VTS的原理相同，此处不再赘述。

使用本公开实施例提供的同步成像控制方法进行活体攻击算法测试，下表展示了使用本申请提供的同步成像控制方法前进行活体攻击算法的测试结果和使用本申请提供的同步成像控制方法后进行活体攻击算法的测试结果。

基于相同的构思，本公开实施例还提供一种同步成像控制装置。

可以理解的是，本公开实施例提供的同步成像控制装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

参照图5，图5是根据一示例性实施例示出的一种同步成像控制装置100的框图。该装置100应用于双目摄像头，双目摄像头包括第一图像采集传感器和第二图像采集传感器，同步成像控制装置包括同步配置单元101和控制单元102。

同步配置单元101，用于同步配置第一图像采集传感器的帧输出寄存器,以及第二图像采集传感器的帧输出寄存器，以同步启动第一图像采集传感器和第二图像采集传感器，帧输出寄存器用于控制图像帧的输出。

控制单元102，用于控制第一图像采集传感器拍摄并输出第一图像帧，并控制第二图像采集传感器拍摄并输出第二图像帧。

在一种实施方式中，同步配置单元101，具体用于：

配置第一图像采集传感器中除帧输出寄存器之外的其他寄存器，并配置第二图像采集传感器中除帧输出寄存器之外的其他寄存器；响应于完成其他寄存器的配置，同步配置第一图像采集传感器的帧输出寄存器，以及第二图像采集传感器的帧输出寄存器。

在一种实施方式中，同步配置单元101，具体用于：

按预先设定第一图像采集传感器和第二图像采集传感器的配置优先级，依次配置第一图像采集传感器的帧输出寄存器，以及第二图像采集传感器的帧输出寄存器；或并行配置第一图像采集传感器的帧输出寄存器以及第二图像采集传感器的帧输出寄存器。

在一种实施方式中，同步配置单元101，还用于：

在同步配置第一图像采集传感器的帧输出寄存器,以及第二图像采集传感器的帧输出寄存器之前，为第一图像采集传感器和第二图像采集传感器配置相同的图像帧参数。

在一种实施方式中，双目摄像头还包括双路图像信号处理器，同步成像控制装置100还包括：

获取单元103，用于获取双路图像信号处理器采集第一图像采集传感器拍摄并输出的第一图像帧的第一时间戳，以及双路图像信号处理器采集第二图像采集传感器拍摄并输出的第二图像帧的第二时间戳；调整单元104，用于响应于第一时间戳和第二时间戳之间的差值绝对值大于预设阈值，基于第一时间戳和第二时间戳，调整第一图像采集传感器下一次输出第一图像帧的帧长，或调整第二图像采集传感器下一次输出第二图像帧的帧长，使第一时间戳和第二时间戳之间的差值绝对值小于或等于预设阈值。

在一种实施方式中，调整单元104，具体用于：

若第一时间戳小于第二时间戳，则在当前第一图像采集传感器输出第一图像帧的帧长上增加预设的调整幅值后，作为第一图像采集传感器下一次输出第一图像帧的帧长，或者在当前第二图像采集传感器输出第二图像帧的帧长上减少预设的调整幅值后，作为第二图像采集传感器下一次输出第二图像帧的帧长；若第一时间戳大于第二时间戳，则在当前第一图像采集传感器输出第一图像帧的帧长上减少预设的调整幅值后，作为第一图像采集传感器下一次输出第一图像帧的帧长，第一图像采集传感器的帧长，或者在当前第二图像采集传感器输出第二图像帧的帧长上增加预设的调整幅值后，作为第二图像采集传感器下一次输出第二图像帧的帧长。

在一种实施方式中，调整单元104，还用于：

响应于第一时间戳和第二时间戳之间的差值绝对值小于或等于预设阈值，调整第一图像采集传感器和/或第二图像采集传感器输出图像帧的帧长为默认帧长。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

如图6所示，本公开的一个实施方式提供了一种电子设备200。其中，该电子设备200包括存储器201、处理器202、输入/输出(Input/Output，I/O)接口203。其中，存储器201，用于存储指令。处理器202，用于调用存储器201存储的指令执行上文描述的本公开实施例的同步成像控制方法。其中，处理器202分别与存储器201、I/O接口203连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器201可用于存储程序和数据，包括本公开实施例中涉及的图像数据清洗方法或的图像处理方法的程序，处理器202通过运行存储在存储器201的程序从而执行电子设备200的各种功能应用以及数据处理。

本公开实施例中处理器202可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器202可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本公开实施例中的存储器201可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本公开实施例中，I/O接口203可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备200的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口203可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

本公开的另一个实施方式还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，当该计算机程序由处理器执行时，使得处理器能够执行上文描述的同步成像控制方法。

可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本公开实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (10)

1.一种同步成像控制方法，其特征在于，应用于双目摄像头，所述双目摄像头包括第一图像采集传感器和第二图像采集传感器，所述同步成像控制方法包括：

同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器，以同步启动所述第一图像采集传感器和所述第二图像采集传感器，所述帧输出寄存器用于控制图像帧的输出；

控制所述第一图像采集传感器拍摄并输出第一图像帧，并控制所述第二图像采集传感器拍摄并输出第二图像帧。

2.根据权利要求1所述的同步成像控制方法，其特征在于，所述同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器，包括：

配置第一图像采集传感器中除帧输出寄存器之外的其他寄存器，并配置第二图像采集传感器中除帧输出寄存器之外的其他寄存器；

响应于完成所述其他寄存器的配置，同步配置所述第一图像采集传感器的帧输出寄存器，以及所述第二图像采集传感器的帧输出寄存器。

3.根据权利要求1或2所述的同步成像控制方法，其特征在于，所述同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器，包括：

按预先设定第一图像采集传感器和第二图像采集传感器的配置优先级，依次配置所述第一图像采集传感器的帧输出寄存器，以及所述第二图像采集传感器的帧输出寄存器；或

并行配置所述第一图像采集传感器的帧输出寄存器以及所述第二图像采集传感器的帧输出寄存器。

4.根据权利要求1或2所述的同步成像控制方法，其特征在于，所述同步配置所述第一图像采集传感器的帧输出寄存器,以及所述第二图像采集传感器的帧输出寄存器之前，所述同步成像控制方法还包括：

为所述第一图像采集传感器和所述第二图像采集传感器配置相同的图像帧参数。

5.根据权利要求1至4中任一项所述的同步成像控制方法，其特征在于，所述双目摄像头还包括双路图像信号处理器，所述同步成像控制方法，还包括：

获取所述双路图像信号处理器采集所述第一图像采集传感器拍摄并输出的第一图像帧的第一时间戳，以及所述双路图像信号处理器采集所述第二图像采集传感器拍摄并输出的第二图像帧的第二时间戳；

响应于所述第一时间戳和所述第二时间戳之间的差值绝对值大于预设阈值，基于所述第一时间戳和所述第二时间戳，调整所述第一图像采集传感器下一次输出第一图像帧的帧长，或调整所述第二图像采集传感器下一次输出第二图像帧的帧长。

6.根据权利要求5所述的同步成像控制方法，其特征在于，所述基于所述第一时间戳和所述第二时间戳，调整所述第一图像采集传感器下一次输出第一图像帧的帧长，或调整所述第二图像采集传感器下一次输出第二图像帧的帧长，包括：

若所述第一时间戳小于所述第二时间戳，则在当前所述第一图像采集传感器输出第一图像帧的帧长上增加预设的调整幅值后，作为所述第一图像采集传感器下一次输出第一图像帧的帧长，或者在当前所述第二图像采集传感器输出第二图像帧的帧长上减少所述预设的调整幅值后，作为所述第二图像采集传感器下一次输出第二图像帧的帧长；

若所述第一时间戳大于所述第二时间戳，则在当前所述第一图像采集传感器输出第一图像帧的帧长上减少所述预设的调整幅值后，作为所述第一图像采集传感器下一次输出第一图像帧的帧长，或者在当前所述第二图像采集传感器输出第二图像帧的帧长上增加所述预设的调整幅值后，作为所述第二图像采集传感器下一次输出第二图像帧的帧长。

7.根据权利要求5或6所述的同步成像控制方法，其特征在于，所述同步成像控制方法，还包括：

响应于所述第一时间戳和所述第二时间戳之间的差值绝对值小于或等于所述预设阈值，调整所述第一图像采集传感器和/或所述第二图像采集传感器输出图像帧的帧长为默认帧长。

8.一种同步成像控制装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至7中任意一项所述的同步成像控制方法。

9.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得处理器能够执行权利要求1至7中任意一项所述的同步成像控制方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序由处理器执行时，使得处理器能够执行权利要求1至7中任意一项所述的同步成像控制方法。

Images