CN117201766A - 用于检测多摄像头帧同步的方法和装置、电子设备和介质 - Google Patents

Abstract

本发明公开了用于检测多摄像头帧同步的方法和装置、电子设备和介质。该方法包括：获取由至少两个摄像头同时对频闪光源拍摄得到的图像；从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧；计算所述帧的所述明暗分界线之间的距离差值；以及根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间。以此方式，结合明暗分界线量化出摄像头的差异时间，解决多摄像头的帧同步检测没有量化测量方法的问题，实现准确地进行帧同步检测的技术效果。

Description

用于检测多摄像头帧同步的方法和装置、电子设备和介质

技术领域

本发明涉及摄像头技术领域，特别涉及用于检测多摄像头帧同步的方法和装置、电子设备和介质。

背景技术

目前，帧同步检测的方法通常是描述硬件及软件如何去实现多摄像头进行帧同步。然而，对于多摄像头是否确实帧同步、同步的情况、是图像同步到毫秒级还是微秒级，没有一个量化的测量判定手段。

发明内容

本发明提供用于检测多摄像头帧同步的方法和装置、电子设备和介质，其能够解决多摄像头的帧同步检测没有量化测量方法的问题。

在本发明的一个方面，提供一种用于检测多摄像头帧同步的方法。该方法包括：获取由至少两个摄像头同时对频闪光源拍摄得到的图像；从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧；计算所述帧的所述明暗分界线之间的距离差值，以及根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间。

在本发明的另一方面，提供一种用于检测多摄像头帧同步的装置。该装置包括：控制器，被电耦合到至少两个摄像头，并且被配置为：获取由所述至少两个摄像头同时对频闪光源拍摄得到的图像；从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧；计算所述帧的所述明暗分界线之间的距离差值；以及根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间。

在本发明的又一方面，提供一种电子设备。该电子设备包括存储器，被配置为存储处理器可执行程序；以及处理器，被配置为执行所述计算机程序以执行上述的用于检测多摄像头帧同步的方法。

在本发明的再一方面，提供一种计算机可读存储介质。该介质上存储有计算机程序，所述计算机程序被处理器执行以实现上述的用于检测多摄像头帧同步的方法。

根据本发明，使用多个摄像头同时对频闪光源进行图像拍摄，并从图像中获取具有明暗分界线的与至少两个摄像头相对应的帧，计算该帧的明暗分界线之间的距离差值，并根据该距离差值计算出至少两个摄像头的帧同步的的差异时间。以此方式，结合明暗分界线量化出摄像头的差异时间，解决多摄像头的帧同步检测没有量化测量方法的问题，实现准确地进行帧同步检测的技术效果。

附图说明

图1为本发明实施例的用于检测多摄像头帧同步的方法的流程图；

图2为本发明实施例的多摄像头的帧同步检测的具体步骤流程图；

图3为本发明实施例的摄像头拍摄闪光灯得到的图像；

图4为本发明实施例的电子设备的结构图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

在已有技术中，对于多摄像头是否确实帧同步、同步的情况、是图像同步到毫秒级还是微秒级，没有一个量化的测量判定手段。

为了解决至少上述技术问题，本公开提供了一种用于检测多摄像头帧同步的方法。根据本公开，使用多个摄像头同时对频闪光源进行图像拍摄，并从图像中获取具有明暗分界线的与至少两个摄像头相对应的帧，计算该帧的明暗分界线之间的距离差值，并根据该距离差值计算出至少两个摄像头的帧同步的的差异时间。以此方式，结合明暗分界线量化出摄像头的差异时间，解决多摄像头的帧同步检测没有量化测量方法的问题，实现准确地进行帧同步检测的技术效果。

下文中，将参考具体实施例并且结合附图描述根据本公开的技术方案。

图1是示出根据本公开的实施例的用于检测多摄像头帧同步的方法100的流程图。参照图1，该方法100包括以下步骤102至步骤108。

在步骤102中，获取由至少两个摄像头同时对频闪光源拍摄得到的图像。

在一些实施例中，获取与所述至少两个摄像头相对应的帧序列，所述帧序列包括预定数量的帧，所述帧序列中的至少一个帧具有所述明暗分界线。以此方式，保证拍摄到的帧序列中存在有明暗分界线的图像，以便于后续进行帧同步检测。

在一些实施例中，设置用于所述至少两个摄像头的分辨率和帧率，使得所述至少两个摄像头根据所述分辨率和所述帧率进行拍摄。在一些实施例中，根据所述距离差值、所述分辨率和所述帧率来计算所述差异时间。以此方式，便于对摄像头帧同步的差异进行量化。

在一些实施例中，通过内核中的摄像头驱动来设置所述分辨率和所述帧率，或者通过使用摄像头应用来设置所述分辨率和所述帧率。以此方式，能够灵活地进行摄像头参数的配置。

在步骤104中，从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧。在一些实施例中，对所述图像进行锐化处理，以生成锐化图像，从所述锐化图像中获取所述帧。在一些实施例中，计算所述图像的帧的梯度值，得到梯度值的变化值超过阈值的行号或者列号，根据所述行号或者所述列号得到所述明暗分界线。以此方式，通过锐化和梯度值计算，快速准确地确定出图像明暗分界线所在的行号或者列号，从而直观地显示出帧同步的差异情况。

在步骤106中，计算所述帧的所述明暗分界线之间的距离差值。

在一些实施例中，计算与所述至少两个摄像头相对应的所述明暗分界线在所述帧中所对应的行号或列号之间的差值。

在一些实施例中，将所述明暗分界线的行数或者列数换算为同一分辨率的行数或者列数，并计算换算后的行数差值或者列数差值。以此方式，通过统一分辨率再计算距离差值，以便于后续量化出帧同步的差异时间。

在步骤108中，根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间。在一些实施例中，若所述差异时间超过阈值，则判定所述至少两个摄像头帧不同步，若所述差异时间不超过所述阈值，则判定所述至少两个摄像头帧同步。

在一些实施例中，通过下式计算所述差异时间：t＝1/FPS/h×d，其中t表示所述差异时间，FPS表示所述帧率，h表示与所述分辨率相关联的纵向像素点数量，d表示所述距离差值。以此方式，将多摄像头帧同步差异量化出来，摄像头帧率及分辨率越高，可得到的帧同步差异越精细。

下文中，将通过示例描述根据本发明实施例的用于检测多摄像头帧同步的方法的应用场景。

图2是示出根据本发明实施例的多摄像头的帧同步检测的具体步骤流程图。参照图2，该方法包括以下步骤202至步骤216。

在步骤202中，准备暗房，配置频闪光源，该频闪光源可以为高频闪光灯，高频闪光灯的频率为5-10HZ。具体地，准备需要检测的多摄像头设备放于暗房，暗房中配置高频闪光灯，用于多摄像头抓拍图像使用。参照图3，在暗房中抓拍的图像有明显的亮暗分割线。频闪光源除了设置为高频闪光灯以外，还可以设置具有高频变化的跑马灯进行拍摄。

在步骤204中，多摄像头通过USB或者网络同暗房外的电脑连接。该电脑用于控制暗房内被检测的多摄像头抓取图像使用。

在步骤206中，设置多摄像头的拍照分辨率和帧率参数。具体地，通过电脑配置好需要抓取的图像分辨率及帧率参数。

在一些实施例中，配置摄像头的参数的方法为：只要能通过adb(Android调试桥)和用于控制多摄像头的设备进行通信连接的设备，可通过adb shell命令进入设备后，配置摄像头的参数：一种是用Video for linux2框架对应工具v4l2-ctl设置图像分辨率和帧率；另一种是使用Android摄像头应用设置摄像头的参数。

在步骤208中，控制闪光灯工作，使用多摄像头抓取并保存多张图像。具体地，控制暗房高频闪光灯开始工作，同时使用电脑控制设备启动多摄像头图像抓取，保存获取一定数量的亮暗变化图像文件。图像文件特征为具有明显亮暗分割线。

在步骤210中，将抓取图像锐化处理，计算亮暗变化最明显的行号。本实施例中锐化处理的主要目的是计算图像的梯度值，可以计算亮暗变化最明显的行号，也可以计算出亮暗变化超过阈值的行号。计算图像各行梯度的步骤为：第一行减去第二行绝对差值为第一行梯度，第二行减第一行绝对差值为第二行梯度；后面就第N行减去第N-1行值为第N行的梯度；然后比较各行梯度，得到梯度值最大的行或者计算出亮暗变化超过阈值的行号。

在步骤212中，根据配置图像分辨率帧率以及最明显的行号计算帧同步的差异时间。

具体地，根据步骤206配置的图像分辨率及帧率及步骤210中计算的行号就可以计算出多摄帧同步的差异。例如，3840×2160@30FPS的摄像头输出，通过计算得到的行号，将各个摄像头根据分辨率都按比例换算成同一分辨率的行数。

例如，640×480梯度最大行数在5行，1280×720梯度最大行数在10行，取480和720的最大公倍数1440，从而换算成对应行数。640×480的就在5×1440/480＝15行处，1280×720分辨率行数在，10×1440/720＝20行数，差异为5行。抓取的图像行号差异为5，则多摄像头帧同步的差异时间为1/30/2160×5＝0.07ms左右，这样就将多摄像头帧同步差异量化出来了。所以摄像头帧率及分辨率越高，可得到的帧同步差异越精细。

差异时间的计算方式原理基础是用的CMOS sensor是卷帘门曝光模式才行，全局曝光的CMOS sensor不适用。逻辑是卷帘门的CMOS sensor是一行行曝光的，按照摄像头的帧率是1s出30FPS，帧率固定，所以一帧的时间就为1/30＝33.33ms左右。一帧示例的行数为2160行，所以估算扫描一行的时间为1/30/2160，其乘以差异行数即为多摄像头同步差异时间。

在步骤214中，用户根据自身需求设置阈值，以判断多摄像头是否满足同步需求。用户端可根据需求，设置一个合适的同步差异阈值，制作一个自动化脚本或者工具，这样就可以将多摄像头是否帧同步的结果自动检测后输出呈现出来。设置一个合适同步差异阈值后，根据图像计算结果，就可以判断该多摄像头同步规格是否满足用户的需求。

半自动化脚本或者工具功能：1)支持用户设置差异阈值；2)支持步骤3中分辨率及帧率设置；3)设置后控制高频闪光灯开关；4)自动打开摄像头，抓取摄像头图像文件；5)抓取一定数据的文件后，自动计算多个文件中行号差异，得到量化差异值；6)自动和用户设置的阈值对比，输出判断结果。

在步骤216中，输出是否同步的检测结果。

本实施例中的同步检测方法可应用到的场景和产品包括：车机环视多路摄像头同步测试，视频会议一体机的同步摄像头测试等。适用于市面上各种接口的摄像头，例如usb/dvp/mipi等接口多摄像头设备同步检测。

根据本发明的另一方面，提供了一种用于检测多摄像头帧同步的装置。该装置包括控制器，控制器被电耦合到至少两个摄像头。该装置能抓取多摄像头同一时刻预览的画面，例如使用Android调试桥截屏获取多摄像头同一时刻预览图像，或者支持对被检测多摄像头同时拍照抓取图像。

控制器被配置为获取由所述至少两个摄像头同时对频闪光源拍摄得到的图像，从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧。控制器被配置为计算所述帧的所述明暗分界线之间的距离差值，以及根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间。

在一些实施例中，该装置还可以包括频闪光源。频闪光源与所述至少两个摄像头一起被设置在暗房中，并且被配置为具有设定工作频率。

根据本发明的又一方面，图4是示出根据本发明实施例的电子设备400的示意图。参照图4，该设备400包括存储器402、处理器404以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上面描述的用于检测多摄像头帧同步的方法的各个步骤。

根据本发明的再一方面，提供了一种计算机可读存储介质。该介质上存储有计算机程序，该计算机程序被处理器执行以实现如上面描述的用于检测多摄像头帧同步的方法。

综上所述，本发明提供的用于检测多摄像头帧同步的方法和装置、电子设备和介质，使用多个摄像头同时对频闪光源进行图像拍摄，并从图像中获取具有明暗分界线的与至少两个摄像头相对应的帧，计算该帧的明暗分界线之间的距离差值，并根据该距离差值计算出至少两个摄像头的帧同步的的差异时间，当该时间超过阈值时即可判定为至少两个摄像头帧不同步，否则判定为至少两个摄像头帧同步。以此方式，结合明暗分界线量化出摄像头的差异时间，解决多摄像头的帧同步检测没有量化测量方法的问题，将需要检测的设备放入后，配置分辨率及帧率和阈值信息，就可根据用户需求检测多摄像头帧同步是否符合要求，实现准确地进行帧同步检测的技术效果。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (15)

1.一种用于检测多摄像头帧同步的方法，其特征在于，包括：

获取由至少两个摄像头同时对频闪光源拍摄得到的图像；

从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧；

计算所述帧的所述明暗分界线之间的距离差值；以及

根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述差异时间超过阈值，则判定所述至少两个摄像头帧不同步；以及

若所述差异时间不超过所述阈值，则判定所述至少两个摄像头帧同步。

3.根据权利要求1所述的方法，其特征在于，获取由至少两个摄像头同时对频闪光源拍摄得到的图像包括：

获取与所述至少两个摄像头相对应的帧序列，所述帧序列包括预定数量的帧，所述帧序列中的至少一个帧具有所述明暗分界线。

4.根据权利要求1所述的方法，其特征在于，计算所述帧的所述明暗分界线之间的距离差值包括：

计算与所述至少两个摄像头相对应的所述明暗分界线在所述帧中所对应的行号或列号之间的差值。

5.根据权利要求1所述的方法，其特征在于，还包括：

设置用于所述至少两个摄像头的分辨率和帧率，使得所述至少两个摄像头根据所述分辨率和所述帧率进行拍摄。

6.根据权利要求5所述的方法，其特征在于，根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间包括：

根据所述距离差值、所述分辨率和所述帧率来计算所述差异时间。

7.根据权利要求5所述的方法，其特征在于，设置用于所述至少两个摄像头的分辨率和帧率包括：

通过内核中的摄像头驱动来设置所述分辨率和所述帧率；或者

通过使用摄像头应用来设置所述分辨率和所述帧率。

8.根据权利要求1所述的方法，其特征在于，从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧包括：

对所述图像进行锐化处理，以生成锐化图像；以及

从所述锐化图像中获取所述帧。

9.根据权利要求1所述的方法，其特征在于，从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧包括：

计算所述图像的帧的梯度值，得到梯度值的变化值超过阈值的行号或者列号；以及

根据所述行号或者所述列号得到所述明暗分界线。

10.根据权利要求9所述的方法，其特征在于，计算所述帧的所述明暗分界线之间的距离差值包括：

将所述明暗分界线的行数或者列数换算为同一分辨率的行数或者列数，并计算换算后的行数差值或者列数差值。

11.根据权利要求5所述的方法，其特征在于，根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间包括：

通过以下式计算所述差异时间：t＝1/FPS/h×d，

其中，t表示所述差异时间，FPS表示所述帧率，h表示与所述分辨率相关联的纵向像素点数量，d表示所述距离差值。

12.一种用于检测多摄像头帧同步的装置，其特征在于，包括：

控制器，被电耦合到至少两个摄像头，并且被配置为：

获取由所述至少两个摄像头同时对频闪光源拍摄得到的图像；

从所述图像中获取具有明暗分界线的与所述至少两个摄像头相对应的帧；

计算所述帧的所述明暗分界线之间的距离差值；以及

根据所述距离差值计算所述至少两个摄像头的帧同步的差异时间。

13.根据权利要求12所述的装置，其特征在于，还包括：

所述频闪光源，与所述至少两个摄像头一起被设置在暗房中，并且被配置为具有设定工作频率。

14.一种电子设备，其特征在于，包括：

存储器，被配置为存储处理器可执行程序；以及

处理器，被配置为执行所述程序以执行根据权利要求1至11中任意一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行以实现根据权利要求1至11中任意一项所述的方法。