CN113301220A - 一种车载摄像头与车灯的同步方法及fpga芯片 - Google Patents

Abstract

本发明实施例公开了一种车载摄像头与车灯的同步方法及FPGA芯片，该方法包括：获取一个外部参考时钟信号；调整外部参考时钟信号的频率，获得高频工作时钟信号，该高频工作时钟信号的频率是外部参考时钟信号的频率的整数倍；根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，其中，帧同步信号之间、PWM信号之间、及帧同步信号与PWM信号之间始终同步且相位关系保持不变；能够实现摄像头的曝光时间与车灯的闪烁时间同步，避免摄像头画面出现明暗相间的波浪状纹理，以提高摄像头画面质量。

Description

一种车载摄像头与车灯的同步方法及FPGA芯片

技术领域

本发明涉及车辆技术领域，具体涉及一种车载摄像头与车灯的同步方法及现场可编程门阵列(Field-Programmable Gate Array，FPGA)芯片。

背景技术

智能驾驶功能在汽车上的应用越来越广泛，摄像头作为智能驾驶感知层的重要组成部分，在环境细节感知方面有着不可替代的作用，比如在先进驾驶辅助系统(AdvancedDriver Assistance System，ADAS)中能够利用摄像头采集的图像进行车道线识别，行人识别，3D物体检测等，在驾驶员监控系统 (Driver Monitoring System，DMS)中可通过摄像头实时监测驾驶员头部、面部等表情及动作，在舱内监控系统中可以通过摄像头监测车内的情况。

在夜间或者光线昏暗时车辆通常会采用发光二极管(Light-Emitting Diode，LED)灯照明，但是LED灯发光通常采用脉冲宽度调制(Pulse Width Modulation，PWM)闪烁形式。如果LED灯的闪烁时间与摄像头上图像传感器的曝光时间不同步，摄像头画面极大可能出现波浪状的明暗相间的纹理，导致摄像头拍摄的图像画面质量不稳定，影响ADAS系统、DMS系统及舱内监控系统等识别算法的准确度。

发明内容

本发明实施例公开了一种车载摄像头与车灯的同步方法及装置，用于提高拍摄图像质量。

本发明实施例第一方面公开了一种车载摄像头与车灯的同步方法，可包括：

获取一个外部参考时钟信号；

调整所述外部参考时钟信号的频率，获得高频工作时钟信号，所述高频工作时钟信号的频率是所述外部参考时钟信号的频率的整数倍；

根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，其中，所述帧同步信号之间、所述PWM信号之间、及所述帧同步信号与所述PWM信号之间始终同步且相位关系保持不变。

作为一种可选的实施方式，在本发明实施例第一方面中，所述帧同步信号之间、所述PWM信号之间、及所述帧同步信号与所述PWM信号之间的频率为整数倍关系；

其中，若所述摄像头的曝光模式为全局曝光模式，所述PWM信号的频率为所述帧同步信号的频率的整数倍；若所述摄像头的曝光模式为卷帘模式，所述PWM信号的频率为所述帧同步信号的频率的N倍，N为正整数且小于特定值。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，所述方法还包括：

采集每颗摄像头的输出信号，所述输出信号包括闪光灯信号、或者场同步信号及行同步信号；

所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，包括：

根据所述高频工作时钟信号，生成提供给所述车辆上每颗摄像头的帧同步信号；

根据所述高频工作时钟信号与所有所述输出信号，生成提供给所述车辆上每颗车灯的PWM信号。

该实施方式适用于智能座舱应用场景，能够消除或者减弱车内氛围灯及阅读灯引起的摄像头画面闪烁，也能够避免不同位置的红外补光灯和摄像头相互干扰。例如，能避免DMS系统摄像头红外补光灯干扰舱内监控系统摄像头，还能够避免前排红外补光灯干扰后排监控摄像头，从而提高摄像头画面质量。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，所述方法还包括：

获取外部环境的视频流对应的序列图像；

根据所述序列图像分析波浪状纹理的前进速度；

根据所述前进速度获得所述外围车辆车灯的闪烁频率；

所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，包括：

根据所述高频工作时钟信号与所述外围车辆车灯的闪烁频率，生成提供给所述车辆上每颗摄像头的帧同步信号，所述帧同步信号与所述外围车辆车灯闪烁同步；

根据所述高频工作时钟信号及所述外围车辆车灯的闪烁频率，生成提供给所述车辆上每颗车灯的PWM信号，每一个所述PWM信号与所述外围车辆车灯的闪烁同步。

该实施方式适用于舱外摄像头，可以消除本车辆车灯及外围车辆车灯闪烁在摄像头画面中造成的波浪状明暗交替纹理或者将动态前进的波浪状纹理变为静态纹理，还能通过提高车灯闪烁频率的方式，弱化静态纹理，提高摄像头画面质量。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之后，所述方法还包括：

将所述帧同步信号通过解串器后经同轴线缆输出给对应摄像头。

作为一种可选的实施方式，在本发明实施例第一方面中，所述调整所述外部参考时钟信号的频率，获得高频工作时钟信号之前，所述方法还包括：

对所述外部参考时钟信号进行缓冲处理；

所述调整所述外部参考时钟信号的频率，获得高频工作时钟信号，包括：

对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

通过上述实施方式，能够稳定接收到的外部参考时钟信号，确保频率调整的准确性，以及保证内部所有时钟同源，从而减小驱动摄像头及车灯的各电路的时延。

本发明实施例第二方面公开了一种FPGA芯片，可包括：

输入模块，用于获取一个外部参考时钟信号；

频率调整模块，用于调整所述外部参考时钟信号的频率，获得高频工作时钟信号，所述高频工作时钟信号的频率是所述外部参考时钟信号的频率的整数倍；

信号处理模块，用于根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，其中，所述帧同步信号之间、所述PWM信号之间、及所述帧同步信号与所述PWM信号之间始终同步且相位关系保持不变。

作为一种可选的实施方式，在本发明实施例第一方面中，所述FPGA芯片还包括：

采样模块，用于在所述信号处理模块根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，采集每颗摄像头的输出信号，所述输出信号包括闪光灯信号、或者场同步信号及行同步信号；

所述信号处理模块用于根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号的方式具体为：

根据所述高频工作时钟信号，生成提供给所述车辆上每颗摄像头的帧同步信号；以及，根据所述高频工作时钟信号与所有所述输出信号，生成提供给所述车辆上每颗车灯的PWM信号。

作为一种可选的实施方式，在本发明实施例第一方面中，所述FPGA芯片还包括：

图像处理模块，用于在所述信号处理模块根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制 PWM信号之前，获取外部环境的视频流对应的序列图像；以及，根据所述序列图像分析波浪状纹理的前进速度；以及，根据所述前进速度获得所述外围车辆车灯的闪烁频率；

所述信号处理模块用于根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号的方式具体为：

根据所述高频工作时钟信号与所述外围车辆车灯的闪烁频率，生成提供给所述车辆上每颗摄像头的帧同步信号，所述帧同步信号与所述外围车辆车灯闪烁同步；以及，根据所述高频工作时钟信号及所述外围车辆车灯的闪烁频率，生成提供给所述车辆上每颗车灯的PWM信号，每一个所述PWM信号与所述外围车辆车灯的闪烁同步。

作为一种可选的实施方式，在本发明实施例第一方面中，所述FPGA芯片还包括：

输出模块，用于在所述信号处理模块根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之后，将所述帧同步信号通过解串器后经同轴线缆输出给对应摄像头；以及，将所述PWM信号输出给相应的车灯。

作为一种可选的实施方式，在本发明实施例第一方面中，所述FPGA芯片还包括：

缓冲处理模块，用于在所述频率调整模块调整所述外部参考时钟信号的频率，获得高频工作时钟信号之前，对所述外部参考时钟信号进行缓冲处理；

所述频率调整模块用于调整所述外部参考时钟信号的频率，获得高频工作时钟信号的方式具体为：

对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

本发明实施例第三方面公开了一种电子设备，可包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种车载摄像头与车灯的同步方法及FPGA芯片。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种车载摄像头与车灯的同步方法及FPGA芯片。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

在本发明实施例中，车辆中的FPGA芯片通过获取一个外部参考时钟信号，调整外部参考时钟信号的频率，获得高频工作时钟信号，使得高频工作时钟信号的频率是外部参考时钟信号的频率的整数倍，之后，根据该高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，帧同步信号之间、PWM信号之间、帧同步信号与PWM 信号之间始终同步且相位关系保持不变；可以看出，通过实施本发明实施例，FPGA芯片利用一个外部参考时钟信号作为生成同步信号的基础，保证驱动摄像头和车灯的各个电路时延尽可能小，进而生成的每颗摄像头的帧同步信号和每颗车灯的PWM信号中，帧同步信号之间、PWM信号之间、帧同步信号与 PWM信号之间同步且相位关系保持不变，以实现摄像头的曝光时间与车灯的闪烁时间同步，避免摄像头画面出现明暗相间的波浪状纹理，以提高摄像头画面质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一公开的车载摄像头与车灯的同步方法的流程示意图；

图2为本发明实施例一公开的车载摄像头与车灯的同步方法的应用示意图；

图3为本发明实施例公开的经同步方法处理后的图像画面上的明暗交替的静态纹理的示意图；

图4为本发明实施例二公开的车载摄像头与车灯的同步方法的流程示意图；

图5为本发明实施例二公开的车载摄像头与车灯的同步方法的应用示意图；

图6为本发明实施例一公开的FPGA芯片的内部框架图；

图7为本发明实施例公开的输出信号与PWM信号的示意图；

图8为本发明实施例三公开的车载摄像头与车灯的同步方法的流程示意图；

图9为本发明实施例三公开的车载摄像头与车灯的同步方法的应用示意图；

图10为本发明实施例二公开的FPGA芯片的内部框架图；

图11为本发明实施例四公开的车载摄像头与车灯的同步方法的应用示意图；

图12为本发明实施例一公开的FPGA芯片的结构示意图；

图13为本发明实施例二公开的FPGA芯片的结构示意图；

图14为本发明实施例三公开的FPGA芯片的结构示意图；

图15为本发明实施例三公开的FPGA芯片的结构示意图；

图16为本发明实施例公开的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”及“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种车载摄像头与车灯的同步方法及FPGA芯片，用于实现摄像头的曝光时间与LED灯的闪烁时间同步，提高摄像头画面质量。

本发明实施例涉及的FPGA芯片是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物，接下来将在FPGA芯片基础上，结合具体实施例对本发明技术方案进行详细介绍。

请参阅图1，图1为本发明实施例一公开的车载摄像头与车灯的同步方法的流程示意图；如图1所示，该车载摄像头与车灯的同步方法可包括：

101、获取一个外部参考时钟信号。

本发明实施例的执行主体为FPGA芯片，通过FPGA芯片为车辆上所有的摄像头和车灯提供同步控制信号，其中，车灯可以为LED灯。

其中，外部参考时钟信号为一定频率的时钟信号，可以从外部晶振或其它有源器件获取得到，能够通过唯一的外部参考时钟信号，保证内部所有时钟同源，驱动摄像头和车灯的各个电路时延能够尽可能小，作为生成同步信号的基础。

如图2所示，图2为本发明实施例一公开的车载摄像头与车灯的同步方法的应用示意图；在图2中，以n颗摄像头和n颗LED灯为例，n颗摄像头为CAM1-CAMn，n颗LED灯为LED1-LEDn，FPGA芯片与外部晶振或其它有源器件链接，用于获取外部参考时钟信号，FPGA芯片分别与每颗摄像头连接，将帧同步信号传输给每颗摄像头，以及FPGA芯片分别与每颗LED 灯连接，将PWM信号传输给每颗LED灯。

102、调整上述外部参考时钟信号的频率，获得高频工作时钟信号，该高频工作时钟信号的频率是外部参考时钟信号的频率的整数倍。

可选的，FPGA芯片设置有锁相环，也称为锁相回路(Phase Locked Loop， PLL)，通过PLL对外部参考时钟信号进行频率调整，使得获得的高频工作时钟信号的频率是外部参考时钟信号的频率的整数倍。

进一步可选的，通过PLL对外部参考时钟信号进行倍频处理，获得高频工作时钟信号，以保证内部所有时钟同源，从而减小驱动摄像头及车灯的各电路的时延。

作为一种可选的实施方式，在步骤102之前，对接收的外部参考时钟信号进行缓冲处理；具体的，可以通过FPGA芯片内部的时钟缓冲器(clock buffer)对接收到的外部参考时钟信号进行缓冲处理，以稳定接收到的外部参考时钟信号，确保频率调整的准确性。

进一步的，FPGA芯片对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号；具体的，FPGA芯片利用PLL对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

103、根据上述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，其中，该帧同步信号之间、PWM 信号之间、及帧同步信号与PWM信号之间始终同步且相位关系保持不变。

在本发明实施例中，上述同步是指时间上同步及频率上同步。

其中，FPGA芯片按照高频工作时钟信号的频率驱动内部不同的逻辑电路，生成给每颗摄像头的帧同步信号(FSYNC)以及给每颗车灯的PWM信号。帧同步信号之间、PWM信号之间、及帧同步信号与PWM信号之间的周期为整数倍关系，帧同步信号之间、PWM信号之间、及帧同步信号与PWM信号之间的频率为整数倍关系，帧同步信号之间、PWM信号之间、及帧同步信号与PWM 信号之间始终同步且相位关系保持不变。可见，各摄像头的帧同步信号之间，各车灯的PWM信号之间，帧同步信号与PWM信号之间的周期、频率可能不同 (整数倍关系)，占空比也可能不一样，但是相位关系保持不变(相位差不变)，并始终处于同步状态，进而能让摄像头的曝光时间与车灯的闪烁时间同步。可以理解，在上述整数倍关系中，若倍数为1，则帧同步信号与PWM 信号之间的周期、频率完全相同。

其中，若摄像头的曝光模式为全局曝光模式(Global Shutter)，PWM信号的周期与帧同步信号的周期为整数倍关系(帧同步信号的周期为PWM信号的周期的整数倍)，PWM信号的频率为帧同步信号的频率的整数倍；可见，对于全局曝光模式的摄像头，FPGA芯片能够控制车灯的PWM信号的频率为摄像头的帧同步信号频率的整数倍，即保证车灯的闪烁时间与摄像头的曝光时间同步，使得车灯的闪烁不会在摄像头画面中造成任何波浪状的明暗相间的纹理，从而提高摄像头画面质量。

若摄像头的曝光模式为卷帘模式(Rolling Shutter)，帧同步信号的周期为PWM信号的周期的N倍，PWM信号的频率为帧同步信号的频率的N倍，N 为正整数且小于特定值，其中，特定值取决于车灯工艺以及车灯控制电路的散热能力，即N不会无限大，只能根据实际应用条件，尽量增大，以尽可能减小明暗纹理的相邻行间距，以在肉眼上看不出明显的明暗纹理分界线。

可见，对于卷帘模式的摄像头，FPGA芯片能够控制车灯的PWM信号频率为摄像头的帧同步信号频率的N倍，此时，车灯的闪烁会在摄像头画面中形成背景明暗相间的纹理，但是，此时的纹理是静态的，不会呈波浪状往前移动，进而不会在摄像头画面上出现明暗相间的波浪状纹理。如图3所示，图3 为本发明实施例公开的经同步方法处理后的图像画面上的明暗交替的静态纹理的示意图；如图3中的上图，在N取值较小时，明暗交替的纹理间距比较大，第1-10行背景暗，第11-20行背景亮，第21-30行背景暗，第31-40行背景亮，呈现出背景明暗相间的纹理，但是属于静态纹理，不会波浪状往前移动；在将N 调大时能削弱明暗相间的纹理，如经过将N调大，出现如图3下图的纹理(由于行间距太小，未在图中如上图一样用数字标示出相应行)，第1行暗，第2 行亮，第3行暗，第4行亮，如此循环，此时明暗纹理行间距很近，人眼很难看出明显的明暗分界线，使得整张图像背景趋于均匀亮度，提高图像画面质量。

因此，通过实施本发明实施例，车辆中的FPGA芯片通过获取一个外部参考时钟信号，调整外部参考时钟信号的频率，获得高频工作时钟信号，使得高频工作时钟信号的频率是外部参考时钟信号的频率的整数倍，之后，根据该高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，帧同步信号之间、PWM信号之间、帧同步信号与PWM信号之间始终同步且相位关系保持不变；可以看出，通过实施本发明实施例，FPGA芯片利用一个外部参考时钟信号作为生成同步信号的基础，保证驱动摄像头和车灯的各个电路时延尽可能小，进而生成的每颗摄像头的帧同步信号和每颗车灯的PWM信号中，帧同步信号之间、PWM信号之间、帧同步信号与PWM信号之间同步且相位关系保持不变，以实现摄像头的曝光时间与车灯的闪烁时间同步，避免摄像头画面出现明暗相间的波浪状纹理，以提高摄像头画面质量。

请参阅图4，图4为本发明实施例二公开的车载摄像头与车灯的同步方法的流程示意图；图4所示，该车载摄像头与车灯的同步方法可包括：

401、获取一个外部参考时钟信号。

本发明实施例的执行主体为FPGA芯片，通过FPGA芯片为车辆上所有的摄像头和车灯提供同步控制信号。

402、对接收到的上述外部参考时钟信号进行缓冲处理。

FPGA芯片通过时钟缓冲器(clock buffer)对接收到的外部参考时钟信号进行缓冲处理。

403、对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

其中，FPGA芯片利用PLL对缓冲稳定后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

404、采集每颗摄像头的输出信号，该输出信号包括闪光灯信号、或者场同步信号及行同步信号。

在本发明实施例中，对于全局曝光的摄像头往往能对外输出一个闪烁灯信号，用于PWM信号同步；对于卷帘曝光的摄像头能对外输出场同步信号 (VS)以及行同步信号(HS)，用于PWM信号同步，因此，采集的每颗摄像头的输出信号，包括闪光灯信号，或者包括场同步信号及行同步信号。

可以理解，各个输出信号为异步信号，不同的输出信号的脉冲宽度可能相同，也可能不同，而不同输出信号的高电平时间可能重叠，也可能完全错开。

405、根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号。

其中，可以理解，帧同步信号用于控制各个摄像头的帧输出。

406、根据高频工作时钟信号与所有输出信号，生成提供给车辆上每颗车灯的PWM信号。

能够基于高频工作时钟信号，对输出信号进行处理，以获得适用于车灯的PWM信号，以通过PWM信号控制相应的车灯给对应的摄像头补光，实现车灯与摄像头同步。

在图4基础上，请参阅图5，图5为本发明实施例二公开的车载摄像头与车灯的同步方法的应用示意图；在图5中，以n颗摄像头和n颗LED灯为例，n颗摄像头为CAM1-CAMn，n颗LED灯为LED1-LEDn，FPGA芯片与外部晶振或其它有源器件链接，用于获取外部参考时钟信号，FPGA芯片分别与每颗摄像头连接，用于从摄像头处获取输出信号，为Strobe1-Stroben，以及将帧同步信号输出给每颗摄像头，以及FPGA芯片分别与每颗LED灯连接，根据输出信号获得PWM信号后将输出给每颗LED灯。

进一步请参阅图6和图7，图6为本发明实施例一公开的FPGA芯片的内部框架图；在图6中，RefClock为外部输入的外部参考时钟信号，经PLL 对RefClock进行倍频后，得到高频工作时钟信号SysClock，为内部电路(各个模块)提供参考时钟。采样模块完成对摄像头的输出信号Strobe的采集，其中，输出信号为异步信号，且在图6中可以设置多个采样模块，一个采样模块用于采集一个摄像头的输出信号，经采样模块采集到输出信号 Strobe1～StrobeN，输入给多路复用器，多路复用器根据实际需求，将 Strobe1～StrobeN进行组合叠加，例如Strobe1+Strobe2，获得同步信号 PWM1～PWMn，用来控制不同的车灯。

在图7中，以3颗摄像头举例，Strobe1/2/3分别代表3颗摄像头(分别为CAM1、CAM2和CAM3)的输出信号，分别为Strobe1，Strobe2和Strobe3，三个输出信号的脉宽不同，而且脉冲出现的时间也相互错开，PWM1/2/3分别代表给3颗LED灯的PWM信号，其中，叠加Strobe1，Strobe2和Strobe3 获得PWM1，即PWM1是3个Strobe信号的合集，所以PWM1对应的LED1 可以给3颗摄像头同时补光，能实现LED1的闪烁时间与3颗摄像头的曝光时间同步；叠加Strobe1和Strobe3获得PWM2，PWM2是Strobe1和Strobe3 的合集，所以PWM2对应的LED2可以给CAM1和CAM3补光，LED2的闪烁时间与CAM1、CAM3的曝光时间同步；PWM3与Strobe2脉宽和脉冲相同，PWM3对应的LED3只给CAM2补光，LED3的闪烁时间与CAM2的曝光时间同步。

结合上述介绍，举例来说，智能座舱的应用场景中，可能前排有摄像头和红外补光灯，后排也有摄像头和红外补光灯，为了让前排的红外灯不干扰后排摄像头，后排的红外灯不干扰前排摄像头，通过本发明实施例的同步方法，实现前排红外灯只给前排摄像头补光，后排红外灯只给后排摄像头补光。

因此，本发明实施例适用于智能座舱应用场景，能够消除或者减弱车内氛围灯及阅读灯引起的摄像头画面闪烁，也能够避免不同位置的红外补光灯和摄像头相互干扰。例如，能避免DMS系统摄像头红外补光灯干扰舱内监控系统摄像头，还能够避免前排红外补光灯干扰后排监控摄像头，从而提高摄像头画面质量。

请参阅图8，图8为本发明实施例三公开的车载摄像头与车灯的同步方法的流程示意图；如图8所示，该车载摄像头与车灯的同步方法可包括：

801、获取一个外部参考时钟信号。

本发明实施例的执行主体为FPGA芯片，通过FPGA芯片为车辆上所有的摄像头和车灯提供同步控制信号。

802、对接收到的上述外部参考时钟信号进行缓冲处理。

FPGA芯片通过时钟缓冲器(clock buffer)对接收到的外部参考时钟信号进行缓冲处理。

803、对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

FPGA芯片利用PLL对缓冲稳定后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

804、获取外部环境的视频流对应的序列图像。

可以理解，除了本车辆的车灯闪烁会对摄像头画面造成干扰外，位于本车辆前面的车辆和后面的车辆的车灯闪烁，也会对摄像头画面造成干扰。本车辆是无法控制其它车辆的车灯闪烁频率的，因此只能通过调整自身摄像头帧率的方式，来适应其它车辆的车灯，以此来避免摄像头画面出现波浪状纹理。

805、根据序列图像分析波浪状纹理的前进速度。

其中，该波浪状纹理可能为外围车辆车灯闪烁时间与摄像头曝光时间不同步造成的。

806、根据前进速度获得外围车辆车灯的闪烁频率。

其中，通过FPGA内部算法，实时分析视频流中的波浪状纹理的前进速度，以获得外围车辆车灯的闪烁频率。

807、根据高频工作时钟信号与外围车辆车灯的闪烁频率，生成提供给车辆上每颗摄像头的帧同步信号，该帧同步信号与外围车辆车灯闪烁同步。

808、根据高频工作时钟信号及外围车辆车灯的闪烁频率，生成提供给车辆上每颗车灯的PWM信号，每一个PWM信号与外围车辆车灯的闪烁同步。

通过步骤807及808，通过缓慢增大或者减小摄像头帧率，让波浪状纹理的前进速度逐渐降为0，将摄像头上的纹理从动态纹理变为静态纹理，同时让输出的各路PWM信号与外围车辆车灯同步。

在图8基础上，请进一步参阅图9，图9为本发明实施例三公开的车载摄像头与车灯的同步方法的应用示意图；以n颗摄像头和n颗LED灯为例，n颗摄像头为CAM1-CAMn，n颗LED灯为LED1-LEDn，FPGA芯片与外部晶振或其它有源器件链接，用于获取外部参考时钟信号，FPGA芯片分别与每颗摄像头连接，用于从摄像头处获取输出信号，为Strobe1-Stroben，以及将帧同步信号输出给每颗摄像头，并从摄像头中获取视频流，摄像头在外围车辆车灯干扰下获得的视频流，以及FPGA芯片分别与每颗LED灯连接，获得PWM信号后将输出给每颗LED灯。

进一步请参阅图10，图10为本发明实施例二公开的FPGA芯片的内部框架图；在图10中，RefClock为外部输入的外部参考时钟信号，经PLL对RefClock 进行倍频后，得到高频工作时钟信号SysClock，为内部电路(各个模块)提供参考时钟。采样模块完成对摄像头的输出信号Strobe的采集，其中，输出信号为异步信号，且在图6中可以设置多个采样模块，一个采样模块用于采集一个摄像头的输出信号，经采样模块采集到输出信号Strobe1～StrobeN，输入给多路复用器，图像处理模块完成视频流的采样，输入给多路复用器，多路复用器根据实际需求，获得同步信号PWM1～PWMn，用来控制不同的车灯，及获得帧同步信号，用于控制本车辆摄像头。

可见，本发明实施例适用于舱外摄像头，可以消除本车辆车灯及外围车辆车灯闪烁在摄像头画面中造成的波浪状明暗交替纹理或者将动态前进的波浪状纹理变为静态纹理，还能通过提高车灯闪烁频率的方式，弱化静态纹理，提高摄像头画面质量。

请参阅图11，图11为本发明实施例四公开的车载摄像头与车灯的同步方法的应用示意图；在图11中，大多数车载摄像头都内置串行器，通过同轴线缆对外输出视频图像。此时FPGA前端需要接解串器(下图中DeS1～DeSn)。 Strobe(闪烁灯/VS/HS)信号和FSYNC(帧同步)信号都经过同轴线缆透传。 Strobe信号由解串器解析出来后，传递给FPGA。FSYNC信号由FPGA发出，经过解串器后，经过同轴线缆发送给摄像头，可提高传输效率，PWM由普通线束输出至车灯处。

请参阅图12，图12为本发明实施例一公开的FPGA芯片的结构示意图；如图12所示，该FPGA芯片可包括：

输入模块1201，用于获取一个外部参考时钟信号；

频率调整模块1202，用于调整外部参考时钟信号的频率，获得高频工作时钟信号，该高频工作时钟信号的频率是外部参考时钟信号的频率的整数倍；

信号处理模块1203，用于根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，其中，帧同步信号之间、PWM信号之间、及帧同步信号与PWM信号之间始终同步且相位关系保持不变。

其中，帧同步信号之间、PWM信号之间、及帧同步信号与PWM信号之间的周期为整数倍关系，帧同步信号之间、PWM信号之间、及帧同步信号与PWM信号之间的频率为整数倍关系。

其中，其中，若摄像头的曝光模式为全局曝光模式，PWM信号的频率为帧同步信号的频率的整数倍；若摄像头的曝光模式为卷帘模式，PWM信号的频率为帧同步信号的频率的N倍，N为正整数且小于特定值。

请参阅图13，图13为本发明实施例二公开的FPGA芯片的结构示意图；图13是在图12基础上进行优化得到的，在图13中，FPGA芯片还包括采样模块1301。

其中，采样模块1301，用于在信号处理模块1203根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制 PWM信号之前，采集每颗摄像头的输出信号，该输出信号包括闪光灯信号、或者场同步信号及行同步信号；

上述信号处理模块1203用于根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号的方式具体为：

根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号；以及，根据高频工作时钟信号与所有输出信号，生成提供给车辆上每颗车灯的PWM信号。

请参阅图14，图14为本发明实施例三公开的FPGA芯片的结构示意图；图14是在图13基础上进行优化得到的，在图14中，FPGA芯片还包括图像处理模块1401。

其中，图像处理模块1401，用于在信号处理模块1203根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，获取外部环境的视频流对应的序列图像；以及，根据序列图像分析波浪状纹理的前进速度；以及，根据前进速度获得外围车辆车灯的闪烁频率；；

信号处理模块1203用于根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号的方式具体为：

根据高频工作时钟信号与外围车辆车灯的闪烁频率，生成提供给车辆上每颗摄像头的帧同步信号，帧同步信号与外围车辆车灯闪烁同步；以及，根据高频工作时钟信号及外围车辆车灯的闪烁频率，生成提供给车辆上每颗车灯的PWM信号，每一个PWM信号与外围车辆车灯的闪烁同步。

请参阅图15，图15为本发明实施例三公开的FPGA芯片的结构示意图；图15是在图14基础上进行优化得到的，在图15中，FPGA芯片还包括：

输出模块1501，用于在信号处理模块1203根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM 信号之后，将帧同步信号通过解串器后经同轴线缆输出给对应摄像头；以及，将PWM信号输出给相应的车灯。

缓冲处理模块1502，用于在频率调整模块1202调整外部参考时钟信号的频率，获得高频工作时钟信号之前，对外部参考时钟信号进行缓冲处理；

频率调整模块1202用于调整外部参考时钟信号的频率，获得高频工作时钟信号的方式具体为：

对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

请参阅图16，图16为本发明实施例公开的电子设备的结构示意图；图16 所示的电子设备可包括：至少一个处理器1610，例如CPU，通信总线1630用于实现这些组件之间的通信连接。存储器1620可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1620可选的还可以是至少一个位于远离前述处理器1610的存储装置。其中，处理器1610可以结合图12至图15所描述的FPGA芯片，存储器1610中存储一组程序代码，且处理器1610调用存储器1620中存储的程序代码，用于执行以下操作：

获取一个外部参考时钟信号；

调整外部参考时钟信号的频率，获得高频工作时钟信号，该高频工作时钟信号的频率是外部参考时钟信号的频率的整数倍；

根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，其中，帧同步信号之间、PWM信号之间、及帧同步信号与PWM信号之间始终同步且相位关系保持不变。

帧同步信号之间、PWM信号之间、及帧同步信号与PWM信号之间的频率为整数倍关系；

其中，若摄像头的曝光模式为全局曝光模式，PWM信号的频率为帧同步信号的频率的整数倍；若摄像头的曝光模式为卷帘模式，PWM信号的频率为帧同步信号的频率的N倍，N为正整数且小于特定值。

可选的，上述处理器还用于执行以下操作：

根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，采集每颗摄像头的输出信号，输出信号包括闪光灯信号、或者场同步信号及行同步信号；

以及，根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号；根据高频工作时钟信号与所有输出信号，生成提供给车辆上每颗车灯的PWM信号。

可选的，上述处理器还用于执行以下操作：

根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，获取外部环境的视频流对应的序列图像；根据序列图像分析波浪状纹理的前进速度，该波浪状纹理为外围车辆车灯闪烁时间与摄像头曝光时间不同步造成的；根据前进速度获得外围车辆车灯的闪烁频率

以及，根据高频工作时钟信号与外围车辆车灯的闪烁频率，生成提供给车辆上每颗摄像头的帧同步信号，该帧同步信号与外围车辆车灯闪烁同步；根据高频工作时钟信号及外围车辆车灯的闪烁频率，生成提供给车辆上每颗车灯的PWM信号，每一个PWM信号与外围车辆车灯的闪烁同步。

可选的，上述处理器还用于执行以下操作：

根据高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之后，将帧同步信号通过解串器后经同轴线缆输出给对应摄像头。

可选的，上述处理器还用于执行以下操作：

调整外部参考时钟信号的频率，获得高频工作时钟信号之前，对外部参考时钟信号进行缓冲处理；

以及，对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行图1至图3公开的一种基于知识图谱的配乐推荐方法。

本发明实施例还公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行图1、图4和图8公开的任意一种方法的部分或全部步骤。

本发明实施例还公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行图1、图4和图8公开的任意一种方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器 (One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory， EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种车载摄像头与车灯的同步方法及FPGA 芯片进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种车载摄像头与车灯的同步方法，其特征在于，包括：

获取一个外部参考时钟信号；

调整所述外部参考时钟信号的频率，获得高频工作时钟信号，所述高频工作时钟信号的频率是所述外部参考时钟信号的频率的整数倍；

根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，其中，所述帧同步信号之间、所述PWM信号之间、及所述帧同步信号与所述PWM信号之间始终同步且相位关系保持不变。

2.根据权利要求1所述的方法，其特征在于，所述帧同步信号之间、所述PWM信号之间、及所述帧同步信号与所述PWM信号之间的频率为整数倍关系；

其中，若所述摄像头的曝光模式为全局曝光模式，所述PWM信号的频率为所述帧同步信号的频率的整数倍；若所述摄像头的曝光模式为卷帘模式，所述PWM信号的频率为所述帧同步信号的频率的N倍，N为正整数且小于特定值。

3.根据权利要求2所述的方法，其特征在于，所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，所述方法还包括：

采集每颗摄像头的输出信号，所述输出信号包括闪光灯信号、或者场同步信号及行同步信号；

所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，包括：

根据所述高频工作时钟信号，生成提供给所述车辆上每颗摄像头的帧同步信号；

根据所述高频工作时钟信号与所有所述输出信号，生成提供给所述车辆上每颗车灯的PWM信号。

4.根据权利要求2所述的方法，其特征在于，所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，所述方法还包括：

获取外部环境的视频流对应的序列图像；

根据所述序列图像分析波浪状纹理的前进速度；

根据所述前进速度获得所述外围车辆车灯的闪烁频率；

所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，包括：

根据所述高频工作时钟信号与所述外围车辆车灯的闪烁频率，生成提供给所述车辆上每颗摄像头的帧同步信号，所述帧同步信号与所述外围车辆车灯闪烁同步；

根据所述高频工作时钟信号及所述外围车辆车灯的闪烁频率，生成提供给所述车辆上每颗车灯的PWM信号，每一个所述PWM信号与所述外围车辆车灯的闪烁同步。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之后，所述方法还包括：

将所述帧同步信号通过解串器后经同轴线缆输出给对应摄像头。

6.根据权利要求1所述的方法，其特征在于，所述调整所述外部参考时钟信号的频率，获得高频工作时钟信号之前，所述方法还包括：

对所述外部参考时钟信号进行缓冲处理；

所述调整所述外部参考时钟信号的频率，获得高频工作时钟信号，包括：

对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

7.一种FPGA芯片，其特征在于，包括：

输入模块，用于获取一个外部参考时钟信号；

频率调整模块，用于调整所述外部参考时钟信号的频率，获得高频工作时钟信号，所述高频工作时钟信号的频率是所述外部参考时钟信号的频率的整数倍；

信号处理模块，用于根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号，其中，所述帧同步信号之间、所述PWM信号之间、及所述帧同步信号与所述PWM信号之间始终同步且相位关系保持不变。

8.根据权利要求7所述的FPGA芯片，其特征在于，所述帧同步信号之间、所述PWM信号之间、及所述帧同步信号与所述PWM信号之间的频率为整数倍关系；

其中，若所述摄像头的曝光模式为全局曝光模式，所述PWM信号的频率为所述帧同步信号的频率的整数倍；若所述摄像头的曝光模式为卷帘模式，所述PWM信号的频率为所述帧同步信号的频率的N倍，N为正整数且小于特定值。

9.根据权利要求8所述的FPGA芯片，其特征在于，所述FPGA芯片还包括：

采样模块，用于在所述信号处理模块根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，采集每颗摄像头的输出信号，所述输出信号包括闪光灯信号、或者场同步信号及行同步信号；

所述信号处理模块用于根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号的方式具体为：

根据所述高频工作时钟信号，生成提供给所述车辆上每颗摄像头的帧同步信号；以及，根据所述高频工作时钟信号与所有所述输出信号，生成提供给所述车辆上每颗车灯的PWM信号。

10.根据权利要求8所述的FPGA芯片，其特征在于，所述FPGA芯片还包括：

图像处理模块，用于在所述信号处理模块根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之前，获取外部环境的视频流对应的序列图像；以及，根据所述序列图像分析波浪状纹理的前进速度；以及，根据所述前进速度获得所述外围车辆车灯的闪烁频率；

所述信号处理模块用于根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号的方式具体为：

根据所述高频工作时钟信号与所述外围车辆车灯的闪烁频率，生成提供给所述车辆上每颗摄像头的帧同步信号，所述帧同步信号与所述外围车辆车灯闪烁同步；以及，根据所述高频工作时钟信号及所述外围车辆车灯的闪烁频率，生成提供给所述车辆上每颗车灯的PWM信号，每一个所述PWM信号与所述外围车辆车灯的闪烁同步。

11.根据权利要求7至10任一项所述的FPGA芯片，其特征在于，所述FPGA芯片还包括：

输出模块，用于在所述信号处理模块根据所述高频工作时钟信号，生成提供给车辆上每颗摄像头的帧同步信号及每颗车灯的脉冲宽度调制PWM信号之后，将所述帧同步信号通过解串器后经同轴线缆输出给对应摄像头；以及，将所述PWM信号输出给相应的车灯。

12.根据权利要求7至10任一项所述的FPGA芯片，其特征在于，所述FPGA芯片还包括：

缓冲处理模块，用于在所述频率调整模块调整所述外部参考时钟信号的频率，获得高频工作时钟信号之前，对所述外部参考时钟信号进行缓冲处理；

所述频率调整模块用于调整所述外部参考时钟信号的频率，获得高频工作时钟信号的方式具体为：

对缓冲后的外部参考时钟信号进行倍频处理，获得高频工作时钟信号。

Images