CN108833797B - 一种提高车载双目视觉系统性能的装置及其使用方法 - Google Patents

Abstract

一种提高车载双目视觉系统性能的装置及其使用方法，所述装置连接在摄像头模块与ADAS主机之间，所述摄像头模块包括两个摄像头单元，所述装置包括：数据接收模块、灰度处理模块、曝光控制模块、数码变焦模块和数据发送模块。能够对摄像头模块进行有效的曝光控制，而无需使用ISP芯片，进而避免了由其带来的冗余与成本升高，同时，在ADAS主机进行数据处理之前，依照车速对数据图像进行数码变焦，有效地减小视角，放大关注区域，减轻了ADAS主机计算负担，提高了响应速度，进一步提高了ADAS整体性能。

Description

一种提高车载双目视觉系统性能的装置及其使用方法

技术领域

本发明涉及高级驾驶辅助系统(Advanced Driver Assistance Systems，以下简称ADAS)的前方碰撞预警(Forward Collision Warning，以下简称FCW)领域，并且更具体地，涉及一种通过双目摄像头来对前向物体进行测距感知从而实现FCW功能的系统。

背景技术

FCW作为ADAS的重要功能之一，通过识别前向障碍物，协助驾驶员避免或减缓高速、低速追尾及与前向障碍物碰撞等事故。在FCW中通常使用雷达、摄像头等传感器来对前方障碍物进行感知，以完成预警功能。现有技术中，双目视觉系统测距就是利用两个摄像头同时拍摄的左右图像对进行立体匹配，根据立体匹配得出的视差图算出目标物体的距离。对于一个双目视觉系统来说，两个摄像头所拍摄的图像亮度是否一致很大程度上影响了测距的准确性。而同时，对于ADAS来说，当车辆高速行驶时，FCW的响应速度要足够快并且要有较高的准确性。

现有技术中存在的缺陷在于，为使两个摄像头拍摄的图像亮度一致，通常采用的技术手段是在系统中加入ISP芯片。但是对于双目视觉系统测距来说，只需要对相机引入曝光控制，而不需要ISP中其他图像处理效果，造成了系统不必要的冗余，进而推高了整个系统的成本。与此同时，现有技术中对于高速行驶的汽车，为保证FCW的功能通常采用的技术手段是提高算法精度，准确计算图像中细小的纹理。该技术手段增加了计算量和计算复杂度，增大了ADAS主机负担，影响了响应速度。

发明内容

1.要解决的技术问题

针对现有技术中使用ISP芯片推高成本以及ADAS主机计算负担过重导致响应速度受限的缺陷，本发明要解决的技术问题是，提出一种放置在摄像头模块与ADAS主机间的装置，该装置可以提高车载双目视觉系统性能，减少系统冗余，并可以根据车速调整装置的输出图像，以便更加适合ADAS主机计算，减轻ADAS主机的负担，提高响应速度。

2.技术方案

本发明提出了一种提高车载双目视觉系统性能的装置，所述装置连接在摄像头模块与ADAS主机之间，所述摄像头模块包括两个摄像头单元，所述装置包括：数据接收模块、灰度处理模块、曝光控制模块、数码变焦模块和数据发送模块；所述数据接收模块与摄像头单元相连接，用于接收来自摄像头的图像数据，生成待处理图像帧；所述灰度处理模块与数据模块相连接，用于对接收到的待处理图像帧进行处理，生成灰度处理后图像帧；所述曝光控制模块与灰度处理模块相连接，用于对接收到的灰度处理后图像帧进行处理，计算生成当前的灰度处理后图像帧的亮度信息，并且所述曝光控制模块与摄像头单元相连接，用于反馈调节摄像头曝光时间；所述数码变焦模块分别与灰度处理模块和车速信息单元相连接，用于根据车速信息对接收到的灰度处理后图像帧进行数码变焦处理，生成变焦后图像帧；所述数据发送模块与数码变焦模块相连接，用于将变焦后图像帧发送至ADAS主机。

同时，本发明提出一种如前所述的提高车载双目视觉系统性能的装置的使用方法，该方法包括以下的步骤：

1)数据接收模块检测帧同步信号，从摄像头单元获取待处理图像帧；

2)灰度处理模块对待处理图像帧进行灰度处理，去掉待处理图像帧中的彩色信息，只保留亮度信息，生成灰度处理后图像帧；

3)曝光控制模块计算灰度处理后图像帧的平均亮度，并计算平均亮度与期望亮度的差值，并根据差值计算需要增加的曝光时间增量；

4)数码变焦模块根据车速信息计算生成数码变焦倍数，使用变焦倍数对灰度处理后图像帧进行数码变焦，并生成变焦后图像帧；

5)数据发送模块将变焦后图像帧发送至ADAS主机进行后续计算；

6)根据步骤3)计算出的曝光时间增量，曝光控制模块计算生成下一帧图像的曝光时间En，并对摄像头进行自动曝光控制；

7)准备处理下一帧图像，返回步骤1)。

优选地，步骤1)当中的数据接收模块检测帧同步信号包括：根据帧同步信号判断一个图像帧的开始，检测到帧同步信号后开始接收图像帧，否则继续检测帧同步信号。

进一步优选地，步骤1)当中的待处理图像帧是以MIPI-CSI协议方式进行传输的RAW格式图像。

优选地，步骤2)当中的灰度处理包括使用如下公式1，加权平均每个像素对待处理图像帧进行灰度处理，去掉待处理图像帧中的彩色信息，只保留亮度信息，Grey＝R×0.299+G×0.587+B×0.114(公式1)，其中，Gray代表该像素的灰度值，R代表该像素的红色分量，G代表该像素的绿色分量，B代表该像素的蓝色分量。

优选地，步骤3)当中的计算灰度处理后图像帧的平均亮度是计算全部像素灰度值的平均值，将其记为Y，计算平均亮度与期望亮度的差值包括使用如下的公式2，delta＝|Y-Y₀|(公式2)，其中，delta代表平均亮度与期望亮度的差值，Y代表平均亮度，Y0代表期望亮度。

进一步优选地，步骤3)当中的计算需要增加的曝光时间增量Ei包括使用如下的函数1，

其中，当前曝光时间为Ec。

优选地，步骤4)当中的计算生成数码变焦倍数包括：当车速小于50公里/小时，变焦倍数为1倍；当车速大于50公里/小时且小于80公里/小时，变焦倍数为1.5倍；当车速大于80公里/小时时，变焦倍数为2倍。

进一步优选地，步骤6)当中的曝光控制模块计算生成下一帧图像的曝光时间En包括：使用如下的公式3计算曝光时间En，

3.有益效果

本发明的有益效果在于，通过在摄像头模块与ADAS主机之间放置该提高车载双目视觉系统性能的装置，能够对摄像头模块进行有效的曝光控制，而无需使用ISP芯片，进而避免了由其带来的冗余与成本升高，同时，在ADAS主机进行数据处理之前，依照车速对数据图像进行数码变焦，有效地减小视角，放大关注区域，减轻了ADAS主机计算负担，提高了响应速度，进一步提高了ADAS整体性能。

附图说明

图1是依照本发明优选实施例构造的一种提高车载双目视觉系统性能的装置的框图；

图2是依照本发明优选实施例使用提高车载双目视觉系统性能的装置实现前方碰撞预警的方法的流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，其示出了依照本发明优选实施例构造的一种提高车载双目视觉系统性能的装置，所述装置连接在摄像头模块与ADAS主机之间，所述摄像头模块包括两个摄像头单元，所述装置的特征在于，包括：数据接收模块，灰度处理模块，曝光控制模块，数码变焦模块，数据发送模块；

所述数据接收模块与摄像头单元相连接，用于接收来自摄像头的图像数据，生成待处理图像帧；

所述灰度处理模块与数据模块相连接，用于对接收到的待处理图像帧进行处理，生成灰度处理后图像帧；

所述曝光控制模块与灰度处理模块相连接，用于对接收到的灰度处理后图像帧进行处理，计算生成当前的灰度处理后图像帧的亮度信息，并且所述曝光控制模块与摄像头单元相连接，用于反馈调节摄像头曝光时间；

所述数码变焦模块分别与灰度处理模块和车速信息单元相连接，用于根据车速信息对接收到的灰度处理后图像帧进行数码变焦处理，生成变焦后图像帧；

所述数据发送模块与数码变焦模块相连接，用于将变焦后图像帧发送至ADAS主机。

如图2所示，其示出了依照本发明优选实施例使用提高车载双目视觉系统性能的装置实现前方碰撞预警的方法，该方法包括以下的步骤：

1)数据接收模块检测帧同步信号，从摄像头单元获取待处理图像帧；

2)灰度处理模块对待处理图像帧进行灰度处理，去掉待处理图像帧中的彩色信息，只保留亮度信息，生成灰度处理后图像帧；

3)曝光控制模块计算灰度处理后图像帧的平均亮度，并计算平均亮度与期望亮度的差值，并根据差值计算需要增加的曝光时间增量；

4)数码变焦模块根据车速信息计算生成数码变焦倍数，使用变焦倍数对灰度处理后图像帧进行数码变焦，减小视角，放大关注区域，并生成变焦后图像帧；

5)数据发送模块将变焦后图像帧发送至ADAS主机进行后续计算；

6)根据步骤3)计算出的曝光时间增量，曝光控制模块计算生成下一帧图像的曝光时间En，并对摄像头进行自动曝光控制；

7)准备处理下一帧图像，返回步骤1。

在进一步优选的实施例中，步骤1)当中的数据接收模块检测帧同步信号包括：根据帧同步信号判断一个图像帧的开始，检测到帧同步信号后开始接收图像帧，否则继续检测帧同步信号。

在进一步优选的实施例中，步骤1)当中的待处理图像帧是以MIPI-CSI协议方式进行传输的RAW格式图像。

在进一步优选的实施例中，步骤2)当中的灰度处理包括使用如下公式1，加权平均每个像素对待处理图像帧进行灰度处理，去掉待处理图像帧中的彩色信息，只保留亮度信息。

Grey＝R×0.299+G×0.587+B×0.114(公式1)，

其中，Gray代表该像素的灰度值，R代表该像素的红色分量，G代表该像素的绿色分量，B代表该像素的蓝色分量。

在进一步优选的实施例中，步骤3)当中的计算灰度处理后图像帧的平均亮度是计算全部像素灰度值的平均值，将其记为Y。计算平均亮度与期望亮度的差值包括使用如下的公式2：

delta＝|Y-Y₀|(公式2)

其中，delta代表平均亮度与期望亮度的差值，Y代表平均亮度，Y0代表期望亮度。

计算需要增加的曝光时间增量Ei包括使用如下的函数1，

其中，当前曝光时间为Ec。

在进一步优选的实施例中，步骤4)当中的计算生成数码变焦倍数包括：当车速小于50公里/小时，变焦倍数为1倍；当车速大于50公里/小时且小于80公里/小时，变焦倍数为1.5倍；当车速大于80公里/小时时，变焦倍数为2倍。

在进一步优选的实施例中，步骤6)当中的曝光控制模块计算生成下一帧图像的曝光时间En包括：使用如下的公式3计算曝光时间En，

本发明的有益效果在于，通过在摄像头模块与ADAS主机之间放置该提高车载双目视觉系统性能的装置，能够对摄像头模块进行有效的曝光控制，而无需使用ISP芯片，进而避免了由其带来的冗余与成本升高，同时，在ADAS主机进行数据处理之前，依照车速对数据图像进行数码变焦，有效地减小视角，放大关注区域，减轻了ADAS主机计算负担，提高了ADAS整体性能。

Claims (8)

1.一种提高车载双目视觉系统性能的装置，所述装置连接在摄像头模块与ADAS主机之间，所述摄像头模块包括两个摄像头单元，所述装置的特征在于，包括：数据接收模块、灰度处理模块、曝光控制模块、数码变焦模块和数据发送模块；

数据接收模块为两个，第一数据接收模块与第一摄像头单元相连接，第二数据接收模块与第二摄像头单元相连接，用于接收来自摄像头的图像数据，分别生成待处理图像帧；

所述灰度处理模块与数据模块相连接，用于对接收到的待处理图像帧进行处理，使用如下公式生成灰度处理后图像帧

Grey＝R×0.299+G×0.587+B×0.114；

所述曝光控制模块与灰度处理模块相连接，用于对接收到的灰度处理后图像帧进行处理，计算生成当前的灰度处理后图像帧的亮度信息，并且所述曝光控制模块与摄像头单元相连接，用于反馈调节摄像头曝光时间；

所述数码变焦模块分别与灰度处理模块和车速信息单元相连接，用于根据车速信息对接收到的灰度处理后图像帧进行数码变焦处理，生成变焦后图像帧；

所述数据发送模块与数码变焦模块相连接，用于将变焦后图像帧发送至ADAS主机。

2.一种如权利要求1所述的提高车载双目视觉系统性能的装置的使用方法，其特征在于，该方法包括以下的步骤：

1)数据接收模块检测帧同步信号，从摄像头单元获取待处理图像帧；

2)灰度处理模块对待处理图像帧进行灰度处理，去掉待处理图像帧中的彩色信息，只保留亮度信息，生成灰度处理后图像帧；

3)曝光控制模块计算灰度处理后图像帧的平均亮度，并计算平均亮度与期望亮度的差值，并根据差值计算需要增加的曝光时间增量；

4)数码变焦模块根据车速信息计算生成数码变焦倍数，使用变焦倍数对灰度处理后图像帧进行数码变焦，并生成变焦后图像帧；

5)数据发送模块将变焦后图像帧发送至ADAS主机进行后续计算；

6)根据步骤3)计算出的曝光时间增量，曝光控制模块计算生成下一帧图像的曝光时间En，并对摄像头进行自动曝光控制；

7)准备处理下一帧图像，返回步骤1)。

3.如权利要求2所述的使用方法，其特征在于，步骤1)当中的数据接收模块检测帧同步信号包括：根据帧同步信号判断一个图像帧的开始，检测到帧同步信号后开始接收图像帧，否则继续检测帧同步信号。

4.如权利要求3所述的使用方法，其特征在于，步骤1)当中的待处理图像帧是以MIPI-CSI协议方式进行传输的RAW格式图像。

5.如权利要求2所述的使用方法，其特征在于，步骤2)当中的灰度处理包括使用如下公式1，加权平均每个像素对待处理图像帧进行灰度处理，去掉待处理图像帧中的彩色信息，只保留亮度信息，

Grey＝R×0.299+G×0.587+B×0.114 (公式1)

其中，Gray代表该像素的灰度值，R代表该像素的红色分量，G代表该像素的绿色分量，B代表该像素的蓝色分量。

6.如权利要求2所述的使用方法，其特征在于，步骤3)当中的计算灰度处理后图像帧的平均亮度是计算全部像素灰度值的平均值，将其记为Y，计算平均亮度与期望亮度的差值包括使用如下的公式2，

delta＝|Y-Y₀| (公式2)

其中，delta代表平均亮度与期望亮度的差值，Y代表平均亮度，Y₀代表期望亮度。

7.如权利要求6所述的使用方法，其特征在于，步骤3)当中的计算需要增加的曝光时间增量Ei包括使用如下的函数1，

其中，当前曝光时间为Ec。

8.如权利要求2所述的使用方法，其特征在于，步骤4)当中的计算生成数码变焦倍数包括：当车速小于50公里/小时，变焦倍数为1倍；当车速大于50公里/小时且小于80公里/小时，变焦倍数为1.5倍；当车速大于80公里/小时时，变焦倍数为2倍。

在进一步优选的实施例中，步骤6)当中的曝光控制模块计算生成下一帧图像的曝光时间En包括：使用如下的公式3计算曝光时间En，

Images