CN107809560B - 对多目相机进行同步的方法和fpga芯片 - Google Patents

Abstract

对多目相机进行同步的方法和FPGA芯片。本发明的目的是提供一种自动驾驶模式下确定路线的方法和装置。根据本发明的方案包括以下步骤：在自动驾驶模式下，在当前的道路图像信息对应多个路线选择项时，检测是否有用户选择信息；当检测到用户选择信息时，基于所述用户选择信息来确定所述自动驾驶模式下的驾驶路线。本发明具有以下优点：无需将自动驾驶模式切换为人工驾驶模式，即可在自动驾驶模式下获得用户对驾驶路线的选择信息，从而能够获得更加符合用户习惯的驾驶方案，满足用户的个性化需求。

Description

对多目相机进行同步的方法和FPGA芯片

技术领域

本发明涉及相机同步领域，尤其涉及一种用于对多目相机进行同步的方法和FPGA芯片。

背景技术

现有技术中，通常采用arm芯片来采集视频数据，arm数据会将所采集到的数据整体存储为一个文件。但是，由于arm芯片存在固有的缓存延时问题，当处理多个相机的像素时，在接收像素值和存储像素值时都会有较大的延迟，从而导致图像与其时间无法精确对齐。

发明内容

本发明的目的是提供一种用于对多目相机进行同步的方法和FPGA芯片。

根据本发明的方案，提供了一种对多目相机进行同步的方法，其中，所述方法包括以下步骤：

-基于n倍频时钟，并行地获取来自所述多目相机中n个相机的像素值，其中，所述n个相机均采用1倍频的像素时钟，所述n为大于1的正整数；

-基于所述n倍频时钟，并行存储所获得的各个相机的像素值；

-当所述FPGA芯片以n倍频时钟工作时，在一个所述像素时钟内，即可同时获得所述多目相机中各个相机在所述像素时钟内的所述像素值；

-基于1倍频时钟，校准所述多个相机的启动信号以及曝光时长，以使得所述多个相机输出图像的时序同步。

可选的，所述方法还包括以下步骤：

-在一行内存中按照所述各个相机的顺序逐个存储与各个相机分别对应的像素值。

可选的，所述方法还包括以下步骤：

-基于所述各个相机的标识信息，读取与各个相机分别对应的像素值，以获得与所述各个相机分别对应的图像信息。

根据本发明的方案，提供了一种用于对多目相机进行同步的FPGA芯片，其中，

所述FPGA芯片包括：一图像合并模块，一相机控制模块，以及一锁相环，该FPGA芯片与n个相机相连，所述n为大于1的正整数，其中；

所述锁相环用于向所述相机控制模块发送1倍频时钟，以及向所述图像合并模块发送与n个相机对应的n倍频时钟；

所述相机控制模块，用于基于所述1倍频时钟来校准所述n个相机的时序；

所述图像合并模块，用于基于所述n倍频时钟，并行地接收来自n个相机的像素值；以及，基于所述n倍频时钟，将接收到的n个像素值并行地进行存储；

当所述图像合并模块以n倍频时钟工作时，在一个所述像素时钟内，即可同时获得所述多目相机中各个相机在所述像素时钟内的所述像素值；

所述相机控制模块包括与所述锁相环相连的信号控制模块，以及n个分别与n个相机对应的子控制模块，所述信号控制模块接收来自锁相环的1倍频时钟，以基于该1倍频时钟，控制该n个子控制模块同时向各自对应的相机输出PWO信号和RRC信号，以对该n个相机的时序进行校准。

可选的，所述FPGA芯片还包括时间合成模块，所述时间合成模块包括一时间寄存器，以及与n个相机分别对应的合成模块，所述合成模块用于将来自时间寄存器的时间信息整合至相应相机的像素帧内。

可选的，其中，所述FPGA芯片还包括用于存储所述像素值的内存。

根据本发明的一个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述的方法。

根据本发明的一个方面，提供一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述的方法。

与现有技术相比，本发明具有以下优点：通过利用FPGA的并行操作特性，能够在一个像素时钟内获得来自多目相机中各个相机的像素值，并在一个像素时钟内进行编码存储，从而极大的缩小了由于缓存延迟造成的各个相机之间的时差，进而能够实现多目相机的时序的精确对齐。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示意出了根据本发明的一个实施例的用于对多目相机进行同步的FPGA芯片100的结构示意图；

图2示意出了根据本发明的又一个实施例的用于对多目相机进行同步的FPGA芯片100的结构示意图；

图3示意出了根据本发明的一个优选实施例的对多目相机进行同步的方法流程图；

图4示意出了根据本发明的一个示例的由FPGA芯片对多个相机的像素值进行存储的示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

其中，执行本发明方法的同步装置采用可编程门阵列(FPGA)芯片来实现，其中，该FPGA芯片可进一步包含于电子设备中，所述电子设备包括能够按照事先设定或存储的指令，诸如该FPGA芯片中的指令，自动进行数值计算和/或信息处理的设备。

参考图1，根据本发明的一种用于对多目相机进行同步的FPGA芯片100。该FPGA芯片100包括：一图像合并模块101，一相机控制模块103，以及一锁相环102，该FPGA芯片100与n个相机相连。

其中，所述锁相环102用于向所述相机控制模块103发送1倍频时钟，以及向所述图像合并模块101发送与n个相机对应的n倍频时钟。

相机控制模块103用于基于所述1倍频时钟来校准所述n个相机的时序。其中，所述相机控制模块103包括与所述锁相环102相连的信号控制模块1031，以及n个分别与n个相机对应的子控制模块1032。

根据本发明的方法，参考图3，图3示意出了根据本发明的一种优选实施例的对多目相机进行同步的方法流程图。

根据本发明的方法包括步骤S1和步骤S2。

在步骤S1中，图像合并模块101用于基于所述n倍频时钟，并行地接收来自n个相机的像素值。其中，该n个相机均采用1倍频的像素时钟。

具体地，由FPGA实现的图像合并模块101能够实现多任务并行操作，其可并行接收对多目相机中的n个相机的像素值，并且，当其以n倍频时钟工作时，在一个像素时钟内，即可同时获得各个相机在该像素时钟内的像素值。

接着，在步骤S2中，图像合并模块101基于所述n倍频时钟，将接收到的n个像素值并行地进行存储。

具体地，

采用多任务并行操作，将每个任务中获得的像素值分别存储在内存中。

具体地，当图像合并模块101以n倍频时钟工作时，在一个像素时钟内，即可同时将所获得的n个像素值并行地进行存储于内存中。

其中，所述内存可以为FPGA芯片内所包含的内存，也可以为FPGA芯片外且可由该FPGA芯片来存取的内存。

优选地，根据当前多目相机所对应的像素值位数，在内存中为多目相机中的各个相机分别规划相应的存储位置，以分别存储该相机对应的像素值。

更优选地，图像合并模块101在一行内存中按照所述各个相机的顺序逐个存储与各个相机分别对应的像素值。

优选地，根据本发明的方法，还包括步骤S3(图未示)。

在步骤S3中，相机控制模块103基于1倍频时钟，校准所述多个相机的启动信号以及曝光时长，以使得所述多个相机输出图像的时序同步。

具体地，所述信号控制模块1031接收来自锁相环102的1倍频时钟，以基于该1倍频时钟，控制该n个子控制模块1032同时向各自对应的相机输出校准信号，以对该n个相机的时序进行校准。

优选地，校准信号包括用于校准启动(Power On)的信号PWO和用于校准曝光时间的RRC信号。

优选地，根据本发明的方法，还包括步骤S4(图未示)。

在步骤S4中，图像合并模块101在一行内存中按照所述各个相机的顺序逐个存储与各个相机分别对应的像素值。

根据本发明的第一示例，参考图4，FPGA芯片对应一多目相机，其中每个相机分别编号为相机1、相机2、相机3，…至相机n，各个相机的像素值采用10个比特位编码，则FPGA的内存预先被规划为按照10比特位为一个存储单元进行分割；当同步装置接收到来自多目相机的视频信号时，第一个像素时钟内，同步装置从四个相机处分别获得一个像素pixel_11，将来自该n个相机的像素pixel_11按照相机1至相机n的顺序依次存储于一行内存的1至n个单元中；接着，在第二个像素时钟内，同步装置从四个相机处分别获得一个像素pixel_2，将来自该四个相机的像素pixel_2按照相机1至相机4的顺序依次存储于次行内存的1至4个单元中；如此重复，直至获得一个相机对应的完整的像素帧所需的第m个像素。

其中，本领域技术人员应能理解，根据所采用的相机的参数属性的不同，其对应的像素值所需的存储位数而已不同，例如可以采用8位、10位、12位比特位等。故而FPGA的内存可基于不同的像素值所需存储位置，来规划存储单元的大小。

优选地，FPGA内存的存储单元也可为一固定的位数，且该位数大于当前常用的各类相机所采用的像素值。

根据本发明的一个优选实施例，参考图2，根据本发明的FPGA芯片100还包括时间合成模块104，所述时间合成模块包括一时间寄存器1041，以及与n个相机分别对应的合成模块1042，所述合成模块1042用于将来自时间寄存器的时间信息整合至相应相机的像素帧内。

其中，所述事件寄存器内的时间信息，可以来自任一可提供相应的时间信息的装置，例如，当该FPGA芯片与GPS芯片相关联时，该时间寄存器内可存储来自该GPS芯片的时间信息，或者，当该FPGA芯片可接受来自其他设备的时间信息并存储于时间寄存器中，以在需要的时候将该时间寄存器内的时间信息与相机的像素帧整合。

继续对前述第一示例进行说明，存储完各个相机对应的像素帧后，合成模块1042分别在最后一行存储于与相机对应的时间信息。

根据本发明的一个优选方案，FPGA芯片还用于基于所述各个相机的标识信息，读取与各个相机分别对应的像素值，以获得与所述各个相机分别对应的图像信息。

继续对前述第一示例进行说明，其中，FPGA芯片的内存中被规划为第一列存储单元对应相机1，第二列单元对应相机2，第三列存储单元对应相机3，…，第n列存储单元对应相机n。则在读取时，同步装置读取第一列单元中的第1至m个像素值，以输出与相机1对应的图像帧，读取第二列存储单元中的1至n个像素值，以输出与相机2对应的图像帧，…，直至读取完所有n个相机的像素帧并输出。

根据本发明的方案，通过利用FPGA的并行操作特性，能够在一个像素时钟内获得来自多目相机中各个相机的像素值，并在一个像素时钟内进行编码存储，从而极大的缩小了由于缓存延迟造成的各个相机之间的时差，进而能够实现多目相机的时序的精确对齐。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (6)

1.一种用于对多目相机进行同步的方法，由FPGA芯片来控制执行，其中，所述方法包括以下步骤：

-基于n倍频时钟，并行地获取来自所述多目相机中n个相机的像素值，其中，所述n个相机均采用1倍频的像素时钟，所述n为大于1的正整数；

-基于所述n倍频时钟，并行存储所获得的各个相机的像素值；

-当所述FPGA芯片以n倍频时钟工作时，在一个所述像素时钟内，即可同时获得所述多目相机中各个相机在所述像素时钟内的所述像素值；

-基于1倍频时钟，校准所述多个相机的启动信号以及曝光时长，以使得所述多个相机输出图像的时序同步。

2.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：

-在一行内存中按照所述各个相机的顺序逐个存储与各个相机分别对应的像素值。

3.根据权利要求1或2所述的方法，其中，所述方法还包括以下步骤：

-基于所述各个相机的标识信息，读取与各个相机分别对应的像素值，以获得与所述各个相机分别对应的图像信息。

4.一种用于对多目相机进行同步的FPGA芯片，其特征在于，所述FPGA芯片包括：一图像合并模块，一相机控制模块，以及一锁相环，该FPGA芯片与n个相机相连，所述n为大于1的正整数，其中；

所述锁相环用于向所述相机控制模块发送1倍频时钟，以及向所述图像合并模块发送与n个相机对应的n倍频时钟；

所述相机控制模块，用于基于所述1倍频时钟来校准所述n个相机的时序；

所述图像合并模块，用于基于所述n倍频时钟，并行地接收来自n个相机的像素值；以及，基于所述n倍频时钟，将接收到的n个像素值并行地进行存储；

当所述图像合并模块以n倍频时钟工作时，在一个所述像素时钟内，即可同时获得所述多目相机中各个相机在所述像素时钟内的所述像素值；

所述相机控制模块包括与所述锁相环相连的信号控制模块，以及n个分别与n个相机对应的子控制模块，所述信号控制模块接收来自锁相环的1倍频时钟，以基于该1倍频时钟，控制该n个子控制模块同时向各自对应的相机输出PWO信号和RRC信号，以对该n个相机的时序进行校准。

5.根据权利要求4所述的FPGA芯片，其特征在于，所述FPGA芯片还包括时间合成模块，所述时间合成模块包括一时间寄存器，以及与n个相机分别对应的合成模块，所述合成模块用于将来自时间寄存器的时间信息整合至相应相机的像素帧内。

6.根据权利要求4或5中任一项所述的FPGA芯片，其中，所述FPGA芯片还包括用于存储所述像素值的内存。

Images