CN113096062A

CN113096062A - 高斯图像质量分析工具和操作方法

Info

Publication number: CN113096062A
Application number: CN202110008572.4A
Authority: CN
Inventors: K·王; S·亚达夫
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-01-07
Filing date: 2021-01-05
Publication date: 2021-07-09
Anticipated expiration: 2041-01-05
Also published as: DE102020132106A1; US20210209742A1; CN113096062B; US11276156B2

Abstract

一种汽车车辆相机图像清洁系统，包括生成车辆环境的相机图像的相机。具有存储器的处理器执行控制逻辑，以将相机图像转换成具有多个图像像素的灰度图像。从存储器中取出卷积方程，并进行求解以找到定义灰度图像的多个图像像素中的连续像素或相邻像素之间的像素强度变化的灰度图像的导数。处理器计算多个像素的量值和方向，并用于区分图像像素中的弱像素和图像像素中的强像素。

Description

高斯图像质量分析工具和操作方法

技术领域

本公开涉及汽车车辆相机系统和清洁相机图像的系统。

背景技术

汽车，特别是自动驾驶车辆利用一个或多个相机来获得车辆环境的图像。图像质量是维护完全运行的自主操作系统的首要问题。如果相机镜头或观察口由于环境条件(包括雨、雪、灰尘等)而劣化，图像质量可能会受到影响。因此，开发了自动清洁(一个或多个)相机镜头的相机清洁系统。通常使用峰值信噪比分析来进行图像比较，但是常用的图像分析方法高度依赖于所使用的测试程序并受其限制。全参考图像分析方法依赖于相机视频的渐进式逐图像分析，因此当视频图像由于例如目标、相机或相机视频中的环境的微小运动变化而发生轻微振动时是有缺陷的，因为较早图像中的振动误差会影响每个连续图像。

因此，虽然当前用于分析车辆相机系统的图像分析方法实现了它们的预期目的，但是仍需要一种新的和改进的系统和方法来操作高斯图像质量分析系统。

发明内容

根据几个方面，一种汽车车辆的相机图像清洁系统包括生成车辆环境的相机图像的相机。具有存储器的处理器执行控制逻辑，以将相机图像转换成具有多个图像像素的灰度图像。从存储器中取出卷积方程，并求解该方程以找到定义灰度图像的多个图像像素中的连续像素或相邻像素之间的像素强度变化的灰度图像的导数。处理器计算多个像素的量值和方向，并用于区分图像像素中的弱像素和图像像素中的强像素。

在本公开的另一方面，从存储器中检索欧几里德距离方程，并由处理器应用该方程来计算灰度图像的图像像素的量值和方向；并且由处理器使用针对迭代分析和设计过程而调整的程序的函数来计算方差，该程序使用直接表达矩阵和数组数学的编程语言。

在本公开的另一方面，应用预定阈值量值，其中将图像像素中的弱像素与图像像素中的强像素相区分，其中图像像素中的弱像素的量值低于预定阈值量值。

在本公开的另一方面，应用阈值上限和阈值下限来进一步区分图像像素中的强像素和图像像素中的弱像素，其中保留图像像素中的量值大于阈值上限的各个图像像素。

在本公开的另一方面，滤除量值小于阈值下限的图像像素。

在本公开的另一方面，对于量值在阈值上限和阈值下限之间的图像像素，将其与八个相邻像素进行比较。

在本公开的另一方面，如果在阈值上限和阈值下限之间的图像像素的量值大于与图像像素相邻的其他图像像素，则保留这些图像像素。

在本公开的另一方面，如果与阈值上限和阈值下限之间的图像像素相邻的任何其他图像像素的量值大于阈值上限和阈值下限之间的图像像素的量值，则过滤掉阈值上限和阈值下限之间的图像像素。

在本公开的另一方面，其中灰度图像的图像像素包括白色像素和黑色像素，处理器在计算方差期间识别灰度图像的黑色像素是否多于白色像素。

在本公开的另一方面，使用8连接方法来区分图像像素中的弱像素和图像像素中的强像素。

在本公开的另一方面，具有基本上零个模糊图像像素的清晰图像被分配模糊数1，并且具有至少一个被视觉干扰项至少部分阻挡的模糊图像像素的模糊图像被分配模糊数[0，1]。

根据几个方面，一种汽车车辆的高斯图像质量分析系统的操作方法包括：使用包括以下步骤的步骤来分析相机清洁系统：从相机系统导入相机图像；将相机图像转换成灰度图像；使用卷积方程分析灰度图像以找到导数；使用欧几里德距离方程计算灰度图像的图像像素的量值和方向；将像素中定义为被确定为低于预定阈值量值和方向的弱像素与像素中的强像素区分开来；计算方差；以及归一化方差，使得最清晰的图像被分配模糊数1，模糊图像被分配模糊数[0，1]。

在本公开的另一方面，该方法还包括对第二相机清洁系统重复分析步骤。

在本公开的另一方面，该方法还包括将第一相机清洁系统和第二相机清洁系统的分析步骤的结果进行比较，并且识别从初始模糊数改变到最终模糊数的最短时间。

在本公开的另一方面，该方法还包括在第一清洁系统启动和第二清洁系统启动之后选择固定的时间间隔。

在本公开的另一方面，该方法还包括测量第一清洁系统和第二清洁系统在固定时间间隔内的模糊数增加。

在本公开的另一方面，该方法还包括：定义像素的阈值上限和阈值下限；过滤掉量值小于阈值下限的像素；并且保留量值大于阈值上限的像素。

根据几个方面，一种汽车车辆的高斯图像质量分析系统的操作方法包括：使用包括以下步骤的步骤来分析相机清洁系统：从相机系统导入多个相机图像；将相机图像转换成灰度图像；将灰度图像分析为连续帧，以使用卷积方程来找到导数；使用欧几里德距离方程计算灰度图像的像素的量值和方向；将像素中定义为低于预定阈值量值和方向的弱像素与连续帧的强像素区分开；以及计算各个连续帧的方差；对第二相机清洁系统重复分析步骤；以及将第一相机清洁系统的分析步骤的结果与第二相机清洁系统的分析步骤的结果进行比较。

在本公开的另一方面，该方法还包括过滤掉像素中的弱像素，并保留像素中定义为高于预定阈值量值的强像素。

从这里提供的描述中，进一步的应用领域将变得显而易见。应该理解的是，该描述和具体示例仅仅是为了说明的目的，而不是为了限制本公开的范围。

附图说明

本文描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。

图1是在一示例性方面上的具有高斯图像质量分析工具和系统的汽车车辆的侧视图；

图2是由相机系统采集的示例性劣化图像的前视图；

图3是干净图像的前视图；以及

图4是由本公开的高斯图像质量分析工具和系统使用的算法步骤的流程图。

具体实施方式

以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或使用。

参考图1，高斯图像质量分析工具系统和操作方法10用于汽车车辆12，例如自主操作的车辆。汽车车辆12包括例如设置在汽车车辆12的外表面上的相机系统14，用于在操作期间收集汽车车辆12的操作环境16的图像。相机系统14可以位于汽车车辆12上的任何位置，包括所示的窗框外侧、前格栅区域、车顶表面、发动机罩表面等。根据进一步的方面，相机系统14也可以位于汽车车辆12的内部车厢内。

相机系统14收集汽车车辆12的操作环境16的图像，该图像参照图2更详细地示出和描述，这些图像定义了视频的帧。在汽车车辆12的操作过程中，图像可能由于视觉干扰项而至少部分劣化，所述视觉干扰项可能包括湿气、灰尘和可能接触数据接收端口18(例如相机系统14的相机镜头)的外来物质。视觉干扰项也可能聚集在汽车车辆12的挡风玻璃20上，从而干扰通过数据接收端口18收集的数据。理想的是最大程度体提高由相机系统14收集的数据和图像质量，因此相机系统14包括清洁系统21以减轻视觉干扰项。高斯图像质量分析工具系统和操作方法10提供了区分多个不同清洁系统21的系统和方法，以最大程度地提高由相机系统14提供的图像质量。

参考图2，再次参考图1，由相机系统14收集的示例性劣化相机图像22可以包括特征 24，例如文本和对象26，其可以包括人、标志、道路环境项等。可以将每个相机图像22的特征24和对象26与保存在高斯图像质量分析工具系统和操作方法10的存储器中的相似特征和对象进行比较，用于进行识别和区分。如上所述，视觉干扰项28的存在可能会对区分每个相机图像22的特征24和对象26的能力产生不利影响，视觉干扰项28可能产生一个或多个视觉模糊项30，视觉模糊项30定义为被存在于诸如相机的相机镜头之类的数据接收端口18 上的物项(诸如水、灰尘等)视觉阻挡或至少部分地视觉阻挡的图像，这些物项可能无法被相机系统14识别。视觉干扰项28可能出现在挡风玻璃20处的数据接收端口18上或阻挡通过该端口的光。

在使用相机清洁系统21分析劣化的相机图像22之后，高斯图像质量分析工具系统和操作方法10提供模糊程度指示32，根据几个方面，模糊程度指示32定义了范围在0.000到1.000 内的数字，指示劣化相机图像22与参考图3所示和所述的参考或干净图像可以清晰区分的近似百分比。在所提供的示例中，模糊程度指示32示为大约0.537，其中模糊程度指示32是通过确定劣化相机图像22的方差并将劣化相机图像22的方差除以参考或“干净”相机图像的方差来计算的。

参考图3，并再次参考图2，在使用相机清洁系统21清洁之后，将示例性清洁图像34与劣化相机图像22区分开来。在这个实例中，模糊程度指示32大约为0.999。视觉干扰项28已被基本移除，从而消除了图2所示的一个或多个视觉模糊项30。

参考图4，并再次参考图1至图3，高斯图像质量分析工具系统和操作方法10应用了定义算法36的控制逻辑，该算法可以使用以下示例性步骤来区分不同相机清洁系统21的输出。每一步骤的高阶机制化如下。在第一步骤中，将诸如劣化相机图像22的图像导入处理器38。在第二步骤中，利用包括编程语言的控制逻辑或算法36的功能，使用处理器38将诸如劣化相机图像22的图像转换成灰度图像40，然而，算法36不限于特定功能。诸如劣化相机图像 22的图像的每个像素由一个单一的数字表示。这是通过灰度缩放实现的，三个红绿蓝(RGB) 数字将变成一个。RGB图像可以通过以下示例性操作转换成灰度：灰度＝[0.2989*R+ 0.5870*G+0.114*B]，其中，R＝像素的红色分量，G＝绿色分量，B＝蓝色分量。

在第三步骤中，处理器38分析第二步骤的灰度图像40，以使用从处理器38的存储器46 中检索的以下卷积运算44中找到导数42。在本文中，找到导数42定义为寻找多个像素中的连续像素或相邻像素之间的像素强度的快速变化。下面的方程是从存储器46中检索的卷积运算，并用于找到导数。

图示如下：

使用的“内核矩阵”如下所示。K_GX用于在x方向上找到导数42，K_GY用于在y方向上找到导数42。

处理器38对具有上述“内核矩阵”的每个像素进行卷积运算44。结果是图像大小的两个量度(x和y方向)。

在第四步骤中，处理器38使用同样从存储器46中检索的欧几里德距离方程50来计算图像像素的量值和方向48。像素的量值和方向48将在下面描述的第五步骤中作为工具，通过仅聚焦于具有高强度(高量值)的像素来过滤掉低强度像素。量值是表示像素强度的无量纲数。方向(角度)标识真实边缘如何映射到图像(方向)。

方程48：

为了找到量值：对x和y方向上的两个值求和的数学方法，使用处理器38通过从存储器 46检索的以下方程组合两个度量(来自第三步骤)：

在第五步骤中，保存在存储器46中的预定阈值量值52被检索并应用于区分像素中的“弱” 像素和像素中的“强”像素。弱像素定义为确定为低于预定阈值量值52和方向的像素，并且使用保存在存储器46中并由处理器38应用的8连接方法54来识别。“阈值”是用于找到强像素并区分强像素和弱像素的滤波过程。作为阈值量值的实例，阈值上限＝400，阈值下限＝80。这些示例性阈值界限针对不同的测试设置有所调整，以获得最准确和一致的结果。例如：不同的背景图像；例如，棋盘、清水墙等具有不同的阈值上限和下限集合。

在8连接方法54中，像素与接触像素边缘或角落之一的每隔一个像素相邻。像素水平、垂直和对角相连。在第六步骤中，从存储器46中检索由上述阈值上限58和阈值下限60区分的阈值量值56，并由处理器38应用该阈值量值56以识别像素中的“强”像素，并将定义为量值高于预定阈值量值56的像素的“强”像素与“弱”像素分类，同样是使用8连接方法54来区分强像素和弱像素。注意，仅找到高和低量值像素不足以确定像素是否是强边缘的一部分。当像素在阈值上限58和阈值下限60之间时，如果该像素被量值低于中心像素量值的其他像素包围，则该像素被认为是图像的真实或强边缘的一部分。

在识别出阈值上限58和阈值下限60之后，量值小于阈值下限60的像素被过滤掉，因为认为其不是真实边缘。量值大于阈值上限58的像素被保留并被认为是真实边缘的一部分。量值在这些界限之间的像素分别与它们的八个相邻像素进行比较。如果阈值上限58和阈值下限 60之间的像素的量值大于其所有相邻像素，则该像素将被保留并被视为真实边缘的一部分。如果其一个相邻像素的量值更大，则该像素被过滤掉，并被认为不是真实边缘。与仅具有单个阈值相比，应用阈值上限58和阈值下限60提供了更精细的方式来区分强像素。使用阈值上限58和阈值下限60确保仅对真实边缘像素进行计数，这样消除了高频噪声。第六步骤的输出是黑白图像，所有强像素都设置为1，其他都设置为零(0)。

在第七步骤中，由处理器38使用针对迭代分析和设计过程而调整的程序的函数来计算方差58，该程序使用直接表达矩阵和数组数学的编程语言，该编程语言可以例如创建组合代码、输出和格式化文本的脚本。可以使用从存储器46取回的以下示例性方程：

其中μ是A的平均值，

方差58是图像清晰度的表示。

根据几个方面，灰度图像40具有白色像素和黑色像素。如果图像具有更多的白色像素，这意味着边缘更多，则该帧或图像的方差58较高。类似地，如果图像具有较少的白色像素和较多的黑色像素，这意味着边缘较少，则方差58较低。然后，对方差58进行归一化，使得最清晰的图像具有模糊数1，模糊图像具有模糊数[0，1]。注意，方差58不是表示图像模糊程度的唯一方式。例如，处理器38可以计算标准偏差，或者平均值可以用作定义图像质量的度量。

根据几个方面，高斯图像质量分析工具系统和操作方法10可以用于在不同相机清洁系统之间进行比较。将不同清洁系统的相机设置为采集大致相同的视图，从而定义相同的目标和相同的方向。为了最大限度地提高比较精度，用户将两个不同视频之间的差异限制为仅代表录制期间使用的清洁系统。为了比较清洁效率，例如模糊程度的增加与时间的变化，用户选择了固定的时间间隔，例如，清洁系统启动并测量模糊度增加后的前0.5秒。为了比较清洁系统，例如，如果以系统A需要0.5秒(sec)从0.56(0.3/0.5sec)的初始模糊程度到0.86 的模糊程度，而系统B从0.65(0.24/0.5sec)的初始模糊程度到0.89的模糊程度需要的时间为例，那么系统A比系统B的清洁效率更高，尽管其模糊程度较低(0.86比0.89)。

高斯图像质量分析工具系统和操作方法10使得不需要为待分析的相机清洁系统22采集视频所需的复杂照明设置。高斯图像质量分析工具系统和操作方法10使用任何通用视频格式运行，并且不需要任何额外的工具/设置。可以针对不同环境下的视频采集调整参数。相机、车辆或平台的振动或运动不会影响分析。当从相机系统导入相机图像时，省略先前的相机图像，以消除在先前的相机图像中出现的振动输入。例如，高斯图像质量分析工具系统和操作方法10在闲置操作条件下不受发动机和车辆振动的影响，例如最大振幅为0.3m/sec²；均方根＝0.07米/sec²；频率为28Hz的振动，其中大多数车辆发动机振动的频率为28Hz。

本公开的高斯图像质量分析工具系统和系统提供了几个优点。这些优点包括例如从0到 1.0量化视频中每一帧的图像质量的能力。本公开的高斯方法通过计数在每个帧中识别的清晰边缘来单独分析该帧。使用示例性处理器，已经发现本公开的系统能够在不到45秒的处理时间内以每秒30帧的速度分析30秒的视频。本公开的系统还减少了对先前帧数据的依赖，并且其分析不受相机或环境的微小运动/变化的影响。通过脚本导入视频也减少了处理时间。输出提供了显示每帧质量的图或带注释的视频。

本公开的描述本质上仅仅是示例性的，并且不脱离本公开要点的变型旨在属于本公开的范围内。这种变化不应被视为脱离本公开的精神和范围。

Claims

1.一种汽车车辆相机图像清洁系统，包括：

相机，生成车辆环境的相机图像；

处理器，具有存储器并执行控制逻辑以所述将相机图像转换成具有多个图像像素的灰度图像；

卷积方程，从所述存储器中取出并求解以找到定义所述灰度图像的多个图像像素中的连续像素或相邻像素之间的像素强度变化的灰度图像的导数；以及

由所述处理器计算出的所述多个像素的量值和方向，用于区分所述图像像素中的弱图像像素和所述图像像素中的强图像像素。

2.根据权利要求1所述的汽车车辆相机图像清洁系统，还包括：

欧几里得距离方程，从所述存储器中取出并由所述处理器应用以计算所述灰度图像的图像像素的量值和方向；以及

方差，由所述处理器使用针对迭代分析而经过调整的程序的函数计算，使用直接表达矩阵和数组数学的编程语言。

3.根据权利要求2所述的汽车车辆相机图像清洁系统，还包括预定的阈值量值，其中，所述图像像素中的弱像素与所述图像像素中的强像素被区分开来，其中所述图像像素中的弱像素的量值低于所述预定的阈值量值。

4.根据权利要求3所述的汽车车辆相机图像清洁系统，还包括阈值上限和阈值下限，所述阈值上限和阈值下限被用于进一步将所述图像像素中的强像素与所述图像像素中的弱像素区分开来，其中保留了所述图像像素中的量值大于所述阈值上限的各个图像像素。

5.根据权利要求4所述的汽车车辆相机图像清洁系统，还包括过滤掉量值小于所述阈值下限的图像像素。

6.根据权利要求4所述的汽车车辆相机图像清洁系统，其中，对于量值在所述阈值上限和所述阈值下限之间的图像像素，将其与八个相邻像素进行比较。

7.根据权利要求6所述的汽车车辆相机图像清洁系统，其中，如果在所述阈值上限和所述阈值下限之间的图像像素的量值大于与所述图像像素相邻的其他图像像素，则保留所述图像像素。

8.根据权利要求7所述的汽车车辆相机图像清洁系统，其中，如果与在所述阈值上限和所述阈值下限之间的图像像素相邻的任何其他图像像素的量值大于在所述阈值上限和所述阈值下限之间的所述图像像素的量值，则过滤掉在所述阈值上限和所述阈值下限之间的所述图像像素。

9.根据权利要求2所述的汽车车辆相机图像清洁系统，其中，所述灰度图像的图像像素包括白色像素和黑色像素，所述处理器在计算方差期间识别所述灰度图像的白色像素是否多于黑色像素。

10.根据权利要求2所述的汽车车辆相机图像清洁系统，还包括用于区分所述图像像素中的弱像素和所述图像像素中的强像素的8连接方法。