CN115499637A - 一种具有雷达功能的摄像装置 - Google Patents

Abstract

本发明涉及无人驾驶环境感知技术领域，公开了一种具有雷达功能的摄像装置，其包括激光光源、光调制器、扩束修整器、成像镜头、数字感光单元、协调器和3D图像处理器；成像镜头与扩束修整器同步视场，成像镜头一方面用于拍摄视频，另一方面用于拍摄激光照射目标物后的反射光，而数字感光单元一方面用于记录视频信息，另一方面用于记录反射光信息，相当于在原有的摄像头上增加了雷达功能，或者说将摄像头与雷达在硬件层面上合二为一，并通过协调器使摄像和雷达能够同步协调工作，因此解决了现有技术中摄像信息和雷达信息融合时的校准参数会随时间变化而“飘移”等问题。

Description

一种具有雷达功能的摄像装置

技术领域

本发明涉及无人驾驶环境感知技术领域，特别是涉及一种具有雷达功能的摄像装置。

背景技术

未来包括汽车在内的自动驾驶应用，涉及到很多自动化方面的技术，在众多技术当中，实现机车对环境的感知当属最为关键的技术之一，这涉及对环境3D位置信息的感知和彩色图像信息的感知。目前，存在用激光雷达和摄像头两条路线实现对环境3D感知的分歧，且在业内争论多年。因为，目前主流的激光雷达(如机械式雷达)与摄像头各有所长，就定位而言，激光雷达能估计3D空间中物体相对于激光雷达的精确位置和移动速度，但测量速度慢、设备昂贵，而用单目摄像头进行定位并不准确，因为它需要从2D到3D进行转换，因此使用摄像头进行3D精确定位非常困难。双目摄像头虽然较单目摄像头定位较为准确，但增加了较大的计算资源开销，而且暂时无法达到激光雷达的定位精度。

单目摄像头和双目摄像测距还有一个共同的弱点，即对大片或大面积的均色色块区域无法准确定位，特斯拉汽车自动驾驶时，径直撞向横卧道路中间的大货柜汽车就是一个很好的例子，因为当事的货柜侧面远看是一片白色，而特斯拉是靠视频定位的，这个问题特斯公司还没有很好的解决办法。于是，现有技术条件下，产生了摄像头视频与雷达环境3D位置信息的融合感知的技术，精准输出具有3D信息的RGB＿D视频信息。目前的摄像头视频与雷达环境3D位置信息的融合技术，属于“后融合技术”，即先由摄像头和雷达分别取得视频信息和3D信息(即雷达点云)，再通过各种计算方法将这两种信息进行融合，合并生成RGB＿D信息，但是，现有的融合感知技术还存在以下不足：

摄像头和雷达的融合需要摄像头和雷达之间的精确参数校准，其中包括各自的内部参数校准和摄像头与雷达之间的外部互动参数校准，但在实际上很难做到保证参数的校准一直准确，即使事先对摄像头和雷达进行了完美的校准，在实际使用中，在机车机械振动、热量等因素的影响下，其校准参数也会随时间变化而“飘移”，由于大多数“后融合技术”的融合方法对校准误差极为敏感，因此参数“飘移”会严重削弱这种融合的性能和可靠性。

即使使用flash 3D相机技术取得视野3D信息后，再与摄像头视频进行后融合，也存在有精度不一致、视野不一致、时序不同步、参数飘移等问题。

发明内容

本发明的目的是：提供一种具有雷达功能的摄像装置，以解决上述现有技术中的融合感知技术存在的不足。

为了实现上述目的，本发明提供了一种具有雷达功能的摄像装置，其包括激光光源、光调制器、扩束修整器、成像镜头、数字感光单元、协调器和3D图像处理器；

所述光调制器用于将激光光源发出的光调制为相应的调制光；

所述扩束修整器用于对所述调制光进行扩束、修整后照射到视场范围内；

所述成像镜头用于汇聚目标物的影像，成像镜头与扩束修整器同步视场，所述目标物位于所述视场范围内；

所述数字感光单元用于记录目标物上的激光反射光信息及自然光反射光信息；

所述协调器分别与光调制器、数字感光单元、扩束修整器及成像镜头电连接；

所述3D图像处理器用于接收数字感光单元发送的视频信息及激光反射光信息，并根据激光反射光信息计算目标物的位置信息，将位置信息与视频信息融合为3D彩色视频信息。

进一步的，上述摄像装置还包括设于所述光调制器与扩束修整器之间的前滤波器、以及设于所述成像镜头与数字感光单元之间的后滤波器。

进一步的，所述数字感光单元上设有像素感光点和雷达感光点。

进一步的，所述视频信息与激光反射光信息的时序为同步或倍频关系。

进一步的，上述摄像装置还包括分光器，所述分光器用于将经光调制器调制后的调制光分为传输至扩束修整器的发射主光束和传输至数字感光单元的本振光；

该装置具有激光全息工作模式，在该装置处于激光全息工作模式工作时，反射光与本振光在数字感光单元的感光面汇聚形成干涉条纹，该干涉条纹与来自成像镜头的RGB图像信息叠加；所述数字感光单元隔帧记录纯RGB图像信息和RGB+干涉条纹信息；所述3D图像处理器隔帧获取数字感光单元的图像信息和RGB+干涉条纹信息，并对其进行差值计算提取干涉条纹信息；所述3D图像处理器通过干涉条纹信息计算得出全息图像，再依全息图像信息计算出位置信息，并与RGB视频信息合并为3D视频信息RGB＿D。

进一步的，上述摄像装置具有间接TOF雷达工作模式，在该装置处于间接TOF雷达工作模式时，脉冲激光反射光周期性地、交替地在数字感光单元(9)曝光，所述数字感光单元(9)也周期性地交替记录脉冲激光反射光信息及视频信息，所述3D图像处理器(11)根据像素的前后帧曝光量进行差值计算间接得到激光脉冲的延迟时间，进而求得各像素点与其对应的目标物之间的距离位置信息，并与RGB视频信息合并为3D视频信息RGB＿D。

进一步的，上述摄像装置具有直接TOF雷达工作模式，在该装置处于直接TOF雷达工作模式时，与各个像素对应的雷达感光点及其相应的预处理电路用于处理脉冲激光反射光信息，计算出激光脉冲的延迟时间，进而求得目标物各点的距离信息，并与RGB视频信息合并为3D视频信息RGB＿D。

进一步的，上述摄像装置还包括分光器，所述分光器用于将经光调制器调制后的调制光分为传输至扩束修整器的探测光和传输至数字感光单元上的单独参考光感光点的参考光；所述单独的参考光感光点用于感应参考光并将其转化为参考电信号；

该装置具有FMCW雷达工作模式，在该装置处于FMCW雷达工作模式时，所述雷达感光点及其相应的预处理电路用于处理激光反射光信息，所述3D图像处理器根据参考电信号及反射光信息计算目标物的位置信息及速度信息，并与RGB视频信息合并为3D视频信息RGB＿D。

进一步的，所述3D彩色视频信息包括具有多个字段的格式化的附加信息，该附加信息用于记录与3D视频摄录相关的信息，该附加信息包括：

所述摄像装置所处位置的卫星定位信息、卫星系统名称、摄像装置的移动速度、主光轴方向、视频相对于主光轴的视域上下及左右角度、焦距、感光值ISO、光圈、脉冲信息、天气信息、摄像装置的硬件信息、软件版本号、生产商、所有者、拍摄日期时间。

进一步的，上述摄像装置还包括控制器，该控制器用于根据所检测到的周围干扰激光的时序而重新规划出避开干扰的最佳方案，实时改变自己的激光脉冲和视频曝光时序。

上述技术方案所提供的一种具有雷达功能的摄像装置，与现有技术相比，其有益效果在于：

1.专利装置能做到视频与雷达功能之间，不飘移、同视野、同时序协同工作：专利装置相当于在原有的摄像头上增加了雷达功能，并通过协调器使摄像和雷达能够同步协调工作，因此解决了现有技术中摄像头和雷达的校准参数会随时间变化而“飘移”的问题。2.成本低，制作工艺并不复杂：该装置就是一相改进开的摄像装置，它使摄像与雷达在硬件层面上合二为一，体积小、成本低、功能强、适应性强。

3.雷达信息的获取达到视频的速度，并完美同步：因为摄像与雷达在硬件层面上合二为一，数字感光单元发送的2D的视频信息和雷达的反射光信息在时序、空间上能够高度重叠、高度融合，3D图像处理器能够输出高精度的3D彩色视频信息，克服了现有关于高分辨率的摄像视频与低分辨率的雷达点云信息融合时的深度补全及时间同步问题。

4.雷达测距优点突出：该装置可以看作在普通摄像头的基础上增加了闪光雷达技术，因此装置具有闪光雷达的优点，又具有摄像头的优点，如探测距离远、距离探测精度高、测量速度快、雷达云点密度与视频像素高度一致，能记录彩色图像等。

5.通过协调器统一了装置的时间控制，协调了摄像与雷达的工作，使数字感光单元能以隔帧的形式分别获取视频信息及反射光信息，数字感光单元既用于摄像感光又用于雷达感光。

6.数字感光单元能够以帧的方式一次接收一个面的雷达的反射光信息，且速度快，克服了目前主流激光雷达检测速度上的延迟问题，方便与视频融合，方便输出3D彩色视频RGB＿D。

7.该装置可以实现变焦：特别是在应用于汽车自动驾驶时，可以实现自动高速长焦远视、低速广角近视的匹配和切换，更加满足自动驾驶的场景需求。

附图说明

图1是本发明实施例一的具有雷达功能的摄像装置的结构示意图；

图2是本发明实施例一的数字感光单元的工作原理图；

图3是本发明实施例二的具有雷达功能的摄像装置的结构示意图；

图4是本发明实施例二的数字感光单元的工作原理图；

图5是本发明实施例三的具有雷达功能的摄像装置的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例一

如图1和图2所示，本发明实施例一所提供的是一种具有雷达功能的摄像装置，以其工作在间接TOF雷达工作模式时为例，其包括激光光源1、光调制器2、前滤波器4、扩束修整器5、成像镜头7、后滤波器8、数字感光单元9、协调器10、3D图像处理器11；

所述光源1可以是可见光、紫外红外等不可见光、相干光或非相干光；

所述脉冲调制器2由数字脉冲电路和光学调制器组成，目的在于让输入的连续光源变成可控的脉冲光源，用于雷达的探射照明；

所述激光光源１与光调制器２可以由可调脉冲激光光源代替，该光源直接输出调制脉冲光；

所述扩束修正器5主要是依据视频/雷达视场要求，对已经调制的脉冲平行光进行扩束、修整，使脉冲光正好均匀地照射到视场范围，提高光源利用率，它的原理和作用与闪光灯的镜头类似。所述扩束修正器5通过协调器10与成像镜头7进行同步。

所述成像镜头7类似于摄像机中由镜片组成的镜头，目的在于将视场内的目标物6在数字感光单元9的感光面上成像；所述成像镜头7可以通过协调器10与扩束修整器5同步。

所述数字感光单元9为CCD传感器或CMOS传感器，其像素对应于目标物6上的点，其作用：一是记录视频，二是将激光反射光的脉冲延迟信号间接转成(以曝光量为表征的)电信号，数字感光单元9将获取的信息传输至计算机3D图像处理器11，并由其计算出该目标物上的点与感光面的距离；

所述3D图像处理器11，用于将收集到的反射光脉冲信号(即反射光信息)相应的(曝光量)电信号进行计算，得出目标物6各个点的距离3D和速度信息，并且可以与普通视频信息融合成3D彩色视频信息RGB_D。所述协调器10，其作用是协调脉冲调制器2、数字感光单元9、扩束修整器5和成像镜头7，让各单元协调工作；

所述数字感光单元9在本装置中的接收原理见下图2所示。

如图2所示，摄像头的线表示接收视频信息，它以一帧为单位，线在高位表示曝光时间，线在低位表示为非曝光时间，同时也是读取像素并使CCD或CMOS清零的时间；反射脉冲的线为激光反射脉冲光曲线，表示从目标物6反射回来的脉冲光，线在高位表示有反射脉冲光，线在低位表示无反射脉冲光；摄像头与脉冲光的配合是以4个视频帧为一个融合周期，如虚线所示范围，一个融合周期对应2个光脉冲信号；反射脉冲光无延迟时，一个融合周期内摄像头的第2帧曝光开始时间和第3帧曝光结束时间分别与该融合周期内的第1个光脉冲的开始时间和第2个脉冲的结束时间对应；假设某像素上的激光反射光脉冲因为其对应目标物6上该点与感光面的距离(即激光的飞行距离)原因而造成有Δt时间延迟，由于激光脉冲宽度远小于摄像头每帧曝光时间，所以不影响激光脉冲1在第2帧视频曝光时间段内的曝光，但会影响激光脉冲2在第3帧视频曝光时间段内的有效曝光时间。一个融合周期内，摄像头只传送前3帧数据，放弃第4帧数据。

本发明装置在工作时，摄像头接收到的光有被动的自然光，也有主动的激光脉冲反射光，自然光对上述融合周期内的第一帧视频曝光为摄像照明光，对第二、三帧视频曝光为雷达背景噪声光(需要在后续降噪计算中过滤掉)。

因为摄像头的视频各帧曝光时间很短(1/120秒或以下)，可以认为在一个融合周期内，雷达背景噪声光照强度Ko和反射光脉冲强度Kf为均值。为保证雷达的激光反射脉冲1始终在第2帧的曝光时间内，激光脉冲宽度Tm一般小于(每帧视频曝光时间Tz)/2，设激光反射延迟时间为Δt，则：

CCD或CMOS上第1帧曝光量：M1＝Ko×Tz (1)

第2帧曝光量：M2＝Ko×Tz+Kf×Tm (2)

第3帧曝光量：M3＝Ko×Tz+Kf×(Tm－Δt) (3)

以上3式可以求出Δt为：Δt＝Tm×(M2－M3)/(M2－M1)

因为光速C是固定的，由该像素点对应的目标物点的距离为：L＝C×Δt/2

由于彩色摄像头的CCD或CMOS是RGB三通道，可以分别求出三通道的计算距离(Lr、Lg、Lb)后再求均值距离Lo：

Lo＝(Lr+Lg+Lb)/3

由两个相邻融合周期的距离Lo1、Lo2和融合周期的时间To可以求出目标物(点)相对于摄像头的速度Vo：

Vo＝(Lo2－Lo1)/To

由于融合周期内第一帧视频不受反射脉冲的影响，它代表了摄像头原始图像的RGB值。

另外，本实施例具有雷达功能的摄像装置，当其工作在直接TOF雷达模式时，其CCD或CMOS的每个像素点，相比于普通的摄像头，对应的雷达接收由单独的雷达感光点及相应预处理电路承担，单独处理该像素的直接TOF雷达信息。其单独的雷达感光及相应预处理电路，在单独处理该像素的直接TOF雷达信息时，可以采用光电雪崩二极管(APD)，采用积分电路计算脉冲延迟时间并以帧的方式读取，采用帧间差值降低背景噪声以提高敏感度，其工作原理与普通TOF雷达激光测距的工作原理相同，不同点是：(1)雷达感光点总量多(与像素相同)且集成到一个芯片里面；(2)以帧读取TOF数据。

实施例二

如图3所示，本发明实施例二所提供的是另一种具有雷达功能的摄像装置，以其工作在间接TOF雷达工作模式时为例，它比实施例一更为实用。其包括3个数字感光单元9，分别为CCD1、CCD2和CCD3，还包括激光光源1、光调制器2、前滤波器4、光源扩束修整器5、主光路成像镜头7、参考光路成像镜头14、45度滤光片13、协调器10、计算机3D图像处理器11、主光路的0度滤光片12、参考光路的0度滤光片12；

为方便45度滤光片13分光，所述光源1可以采用红光激光或红外激光；

所述脉冲调制器2由数字脉冲电路和光学调制器组成，目的在于让输入的连续光源变成可控的脉冲光源，用于雷达探射照明；

所述光源1和所述脉冲调制器2在本例由调Q激光光源代替，它可以控制激光脉冲的宽度及占空比，改变脉冲峰值功率。

所述扩束修正器5主要是依据视频/雷达视场要求，对已经调制的平行脉冲光进行扩束、修整，使脉冲光正好均匀地照射到视场范围，提高光源利用率，它的原理和作用与闪光灯的镜头一样。所述扩束修整器5还可以通过协调器10与成像镜头7、14进行同步。

所述主光路成像镜头7和参考光路成像镜头14，是类似于摄像机由镜片组成的镜头，目的在于将视场内的目标物6在数字感光单元9的感光面上成像；所述成像镜头7可以通过协调器10与扩束修整器5同步。

所述数字感光单元CCD1和数字感光单元CCD2的像素对应于目标物6上的点，其关系和作用是：(1)两者像素数量及其空间排列相同；(2)后者只记录视频；(3)前者可以将反射光的脉冲延迟信号间接转成(曝光量)电信号，并由后续的计算电路计算出该目标物点与感光面的距离；

所述数字感光单元CCD3，主要用于检测视域内是否有其他干扰的雷达激光存在，如果存在，则没法透过计算机3D图像处理器11进行计算，相应移动本装置激光脉冲和曝光周期在时间轴上的位置，从而避开其干扰。

所述计算机3D图像处理器11，其作用：一是用于将收集到的来自数字感光单元CCD1的反射光脉冲信号相应的(曝光量)电信号进行计算，得出目标物6各个点的距离3D和速度信息，并且可以与来自数字感光单元CCD2的普通视频信息融合成3D彩色视频信息RGB＿D。二是将来自数字感光单元CCD3检测信号进行计算，得出：如果存在其他雷达干扰激光存在，则计算出不与视域内其他激光光源冲突的脉冲(时序)位置，并反馈给协调器10。

所述协调器10，其作用是协调脉冲调制器2、CCD1、CCD2、CCD3、扩束修整器5、主光路成像镜头7和参考光路成像镜头14，让各单元协调工作；

所述数字感光单元CCD1在本装置中的接收原理如图3所示。

如图4所示，上实线为摄像头CCD或CMOS曝光曲线，它以一帧为单位，线在高位表示曝光时间，线在低位表示为非曝光时间，也是读取像素并使CCD或CMOS清零的时间；下实线为反射脉冲光曲线，表示从目标物6反射回来的脉冲光，线在高位表示有反射脉冲光，线在低位表示无反射脉冲光；摄像头CCD1与脉冲光的配合是以3个视频帧为一个融合周期，如虚线所示范围，一个融合周期对应3个光脉冲信号；反射脉冲光无延迟时，一个融合周期内摄像头的第2、3帧曝光开始时间分别与该融合周期内的第2个光脉冲的结束时间和第3个脉冲的开始时间对应；假设某像素上的激光反射光脉冲因为其对应目标物6上该点与感光面的距离(即激光的飞行距离)原因而造成有Δt时间延迟，由于激光脉冲宽度小于摄像头每帧曝光时间，所以不影响激光脉冲3在第3帧视频曝光时间内的曝光，但会影响激光脉冲2在第2帧视频曝光时间内的有效曝光时间。一个融合周期内，摄像头CCD1记录3帧数据。

本发明实施例装置在工作时，经由主光路成像镜头7来的反射光包括被动的自然光和主动的激光脉冲光，反射光经45度滤光片13后分成两路，一路是激光脉冲，直接透射，再经过0度滤光片12进一步过滤后，到达数字感光单元CCD1，读取雷达脉冲信息。另一路是自然光，经45度滤光片13反射后进入数字感光单元CCD2，读取RGB视频信息。经由参考光路成像镜头14来的反射光，经另一0度滤光片12过滤掉自然光后，进入数字感光单元CCD3，读取干涉激光信息。

设计上保证CCD1与CCD2光程相同、成像相同、尺寸相同、像素(数量和位置)相同。不同的地方是：(1)CCD2是读取视频信息，性能上没有特别要求，只要求其工作在特定的帧率上，如60fps(此时曝光时间大约为1/60秒，约为16ms)。(2)CCD1需要在普通CCD基础上进行特别改造设计，以保证：一是能够在与CCD2的三倍帧率(如180fps)下工作，且曝光时间小至1us～2us，曝光开始时间可调节，以保证符合图4的要求。二是每个像素不需要有三RGB感光点，只需要保留一个。三是用原来对色彩的丰富表达能力的电路(如24位RGB有16777216个表达)来表达距离(一般用16位也够了)。

其中，CCD3像素可以很低(黑白16像素足够)，但必须能工作在1Mfps帧率上。

如图4所示，激光脉冲被设计为具有恒定频率和宽度(以便输出的脉冲有相同的能量密度)，因为CCD1的视频各帧曝光时间相隔很短(约1/180秒)，可以认为在一个融合周期内，CCD1背景噪声光照强度Ko和反射光脉冲强度Kf为均值。

为保证CCD1的激光反射脉冲3始终在第3帧的曝光时间内，激光脉冲宽度Tm一般小于(每帧视频曝光时间Tz)/2：

为保证雷达的有效探测距离，激光脉冲宽度有一定要求。如探测距离为250m，则脉冲宽度Tm＞250m/(300000000m/s)＝833ns

CCD1上第1帧曝光量：M1＝Ko×Tz (1)

第2帧曝光量：M2＝Ko×Tz+Kf×Δt (2)

第3帧曝光量：M3＝Ko×Tz+Kf×Tm (3)

以上3式可以求出Δt为：Δt＝Tm×(M2－M1)/(M3－M1)

因为光速C是固定的，由该像素点对应的目标物点的距离L为：

L＝C×Δt/2

由两个相邻融合周期的距离L1、L2和融合周期的时间To可以求出目标物(点)相对于摄像头的速度Vo：

Vo＝(L2－L1)/To

由于融合周期内第一帧视频不受反射脉冲的影响，它代表了CCD1上因“杂光”引起的噪声，上面的计算已经将噪声剔除。从而提高了雷达的灵敏度。

CCD1一个融合周期输出一个位置“帧”信息，刚好与CCD2的视频帧匹配。

CCD3是以脉冲宽度Tm为帧曝光时间的低像素单色普通摄像头，工作帧率很高，达到1Mfps，但是，它只需要检测干涉脉冲激光(单色)的存在。

为了便于CCD3的检测，CCD1的实际工作帧率要多三个[即(180+3)fps]，多出来的三个帧用于给CCD3检测(此时CCD1不曝光)，这三个帧就是CCD3的检测周期。在该周期内，本机的激光从脉冲改为稳定均值的激光(0或某一常数)。此时，如果没有其他干涉激光的存在，则CCD3在该周期内每帧各像素收到的是一个均值的曝光量；如果视域内存在其他干涉脉冲激光，则CCD3检测到的不是一个均值，此时计算机3D图像处理器11便可以求出是否有其他干涉激光对本机的干扰，以及如何(通过错位激光脉冲及曝光位置)避开其他干涉光的干扰。

本例CCD1中，设脉冲宽度为1us，曝光时间2us，183fps的“正常”帧周期为1/183s≈5000us，则CCD1的帧曝光“占空比”为2us：5000us≈1：2500，即理论上有2500种起曝光位置的选择，可以利用此选择空间来避开其它雷达的干涉激光。

受激光脉冲极限占空比的影响，CCD1中的曝光“占空比”往往达不到1：2500。

本实施例的具有雷达功能的摄像装置具有以下优点：

一是采用3个CCD组合，图像功能的CCD2与雷达功能的CCD1共用一个成像镜头，保证其相同视域；

二是用普通的表达色彩的电路来表达距离，理论上可以达到探测距离的1/16777216精度(如探测距离250米，则理论精度为0.015mm：)；

三是采用CCD3单独检测干扰光(单独镜头)，并用计算机进行计算，从而达到智能避免与其他(车载激光设备)激光的干涉。

四是采用现有的制造技术制造，易于推广。

五是制造成本可期，比如现零售调Q激光器约5000元，us级2K高清工业摄像机约6000元，加上雷达感光芯片CCD1及CCD3，整套成本预计在1.5万元以内，量产后批发价可望在7000元以内。

实施例三

如图5所示，本发明实施例三所提供的是另一种具有雷达功能的摄像装置，该装置具有激光全息雷达工作模式，其包括激光光源1、光调制器2、分光器3、前滤波器4、光源扩束修整器5、目标物6、成像镜头7、后滤波器8、数字感光单元9、协调器10、计算机3D图像处理器11。光源经分光器3分为发射主光束和本振光，本振光直接进入数字感光单元9，发射主光束经目标物6反射回到数字感光单元9与本振光形成相干条纹。

来自目标物6通过成像镜头7的反射激光与来自分光器3的本振光参考脉冲在数字感光单元9的感光面汇聚形成干涉条纹，此条纹叠加在普通彩色图像信息中，获取时需要利用隔帧的图像进行差值计算来提取干涉条纹信息；数字感光单元9分单双帧记录不同图像，如：单帧记录普通彩色图像(无反射激光和本振光，只有普通照明光或自然照明光)，双帧记录普通彩色图像加全息图像(黑白干涉条纹)，反之亦然。

在计算机3D图像处理器11中，对帧差值出来的干涉条纹信息，采用一定的算法(包括但不限于AI算法)进行计算得出全息图像，再从全息图像中恢复出视场的全息3D信息。

具有激光全息雷达工作模式的装置还可以采用图3的光路。采用脉冲光，CCD1比CCD2工作帧率多一个，多出来的帧用于CCD3检测干涉脉冲光的存在，并作相应的规避(原理可参照应用实例二)。此时，CCD1负责全息照相，CCD2负责视频拍摄。

综上，本发明实施例提供一种具有雷达功能的摄像装置，将摄像头与光雷达在硬件层面上结合到一起，故雷达的分辨率与视频的分辨率相同、时间同步、数据都同为以帧读取，摄像和雷达信息能做到无缝完美融合，克服了上述“后融合技术”的摄像信息和雷达信息在软件层面融合的缺点，可以在获取2D彩色视频的同时，获取3D立体信息，并输出3D彩色视频RGB＿D，供应用场景(如飞机、汽车自动驾驶)使用，且检测速度快，设备成本低、体积小，检测质量高度可靠。该装置结合了数字感光单元9、可变视场的扩束修整器5和成像镜头7、起统一指挥协调的协调器10等，使本带雷达功能的摄像头使用了统一一套时间控制系统进行协调工作，使得摄像与雷达功能在统一时间、统一视场、统一帧读取模式下工作。且其雷达可工作在不同频段的激光光源模式场合，输出3D彩色视频RGB＿D。

为便于利用所录制的3D彩色视频RGB＿D进行后期AI训练，特别在3D彩色视频RGB＿D信息中加入格式化的附加信息，记录视频摄录时的环境参数。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (10)

1.一种具有雷达功能的摄像装置，其特征在于，包括激光光源(1)、光调制器(2)、扩束修整器(5)、成像镜头(7)、数字感光单元(9)、协调器(10)和3D图像处理器(11)；

所述光调制器(2)用于将激光光源(1)发出的光调制为相应的调制光；

所述扩束修整器(5)用于对所述调制光进行扩束、修整后照射到视场范围内；

所述成像镜头(7)用于汇聚目标物(6)的影像，成像镜头(7)与扩束修整器(5)同步视场，所述目标物(6)位于所述视场范围内；

所述数字感光单元(9)用于记录目标物(6)上的激光反射光信息及自然光反射光信息；

所述协调器(10)分别与光调制器(2)、数字感光单元(9)、扩束修整器(5)及成像镜头(7)电连接；

所述3D图像处理器(11)用于接收数字感光单元(9)发送的视频信息及激光反射光信息，据此激光反射光信息计算目标物(6)的位置信息，将位置信息与视频信息融合为3D彩色视频信息。

2.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，还包括设于所述光调制器(2)与扩束修整器(5)之间的前滤波器(4)、以及设于所述成像镜头(7)与数字感光单元(9)之间的后滤波器(8)。

3.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，所述数字感光单元(9)上设有像素感光点和雷达感光点。

4.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，所述视频信息与激光反射光信息的时序为同步或倍频关系。

5.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，还包括分光器(3)，所述分光器(3)用于将经光调制器(2)调制后的调制光分为传输至扩束修整器(5)的发射主光束和传输至数字感光单元(9)的本振光；

该装置具有激光全息工作模式，在该装置处于激光全息工作模式工作时，反射光与本振光在数字感光单元(9)的感光面汇聚形成干涉条纹，该干涉条纹与来自成像镜头(7)的RGB图像信息叠加；所述数字感光单元(9)隔帧记录纯RGB图像信息和RGB+干涉条纹信息；所述3D图像处理器(11)隔帧获取数字感光单元(9)的图像信息和RGB+干涉条纹信息，并对其进行差值计算提取干涉条纹信息；所述3D图像处理器(11)通过干涉条纹信息计算得出全息图像，再依全息图像信息计算出位置信息，并与RGB视频信息合并为3D视频信息RGB＿D。

6.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，该装置具有间接TOF雷达工作模式，在该装置处于间接TOF雷达工作模式时，脉冲激光反射光周期性地、交替地在数字感光单元(9)曝光，所述数字感光单元(9)也周期性地交替记录脉冲激光反射光信息及视频信息，所述3D图像处理器(11)根据像素的前后帧曝光量进行差值计算间接得到激光脉冲的延迟时间，进而求得各像素点与其对应的目标物之间的距离位置信息，并与RGB视频信息合并为3D视频信息RGB＿D。

7.根据权利要求3所述的具有雷达功能的摄像装置，其特征在于，该装置具有直接TOF雷达工作模式，在该装置处于直接TOF雷达工作模式时，与各个像素对应的雷达感光点及其相应的预处理电路用于处理脉冲激光反射光信息，计算出激光脉冲的延迟时间，进而求得目标物各点的距离信息，并与RGB视频信息合并为3D视频信息RGB＿D。

8.根据权利要求3所述的具有雷达功能的摄像装置，其特征在于，还包括分光器(3)，所述分光器(3)用于将经光调制器(2)调制后的调制光分为传输至扩束修整器(5)的探测光和传输至数字感光单元(9)上的单独参考光感光点的参考光；所述单独的参考光感光点用于感应参考光并将其转化为参考电信号；

该装置具有FMCW雷达工作模式，在该装置处于FMCW雷达工作模式时，所述雷达感光点及其相应的预处理电路用于处理激光反射光信息，所述3D图像处理器(11)根据参考电信号及反射光信息计算目标物(6)的位置信息及速度信息，并与RGB视频信息合并为3D视频信息RGB_D。

9.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，所述3D彩色视频信息包括具有多个字段的格式化的附加信息，该附加信息用于记录与3D视频摄录相关的信息，该附加信息包括：

所述摄像装置所处位置的卫星定位信息、卫星系统名称、摄像装置的移动速度、主光轴方向、视频相对于主光轴的视域上下及左右角度、焦距、感光值ISO、光圈、脉冲信息、天气信息、摄像装置的硬件信息、软件版本号、生产商、所有者、拍摄日期时间。

10.根据权利要求1所述的具有雷达功能的摄像装置，其特征在于，还包括控制器，该控制器用于根据所检测到的周围干扰激光的时序而重新规划出避开干扰的最佳方案，实时改变自己的激光脉冲和视频曝光时序。

Images