CN114549936A - 增强车辆的摄像头拍摄的影像的方法、系统和计算设备 - Google Patents

Abstract

本发明公开了一增强车辆的摄像头拍摄的影像的方法、系统和计算设备，其中所述影像增强方法包括步骤：获取一采样车辆的摄像头拍摄的一第一原始影像；在一GAN模型中的一判别模型判别一生成模型输出的一输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到一影像增强模型；利用所述影像增强模型，增强一行驶车辆的摄像头拍摄的一第二原始影像，以得到一增强影像，如此有利于实现所述行驶车辆的自动驾驶和保证所述行驶车辆的行车安全。

Description

增强车辆的摄像头拍摄的影像的方法、系统和计算设备

技术领域

本发明涉及影像处理领域，特别涉及一增强车辆的摄像头拍摄的影像的方法、系统和计算设备。

背景技术

现在，很多车辆被配置有环视摄像系统，其硬件由前方摄像头、后方摄像头以及两个侧方摄像头组成，前方摄像头、后方摄像头和两个侧方摄像头分别拍摄车辆的相应方向的影像，后续，由软件融合不同方向的影像而得到环视影像，通过环视影像，车辆的周围环境可以被获取。

环视摄像系统是实现车辆的自动驾驶的基础，例如，仅通过环视摄像系统拍摄的影像可以实现自动驾驶，或者通过环视摄像系统拍摄的影像和激光雷达的探测结果的组合可以实现自动驾驶。换言之，车辆的自动驾驶的实现需要基于环视摄像系统的各个摄像头拍摄的影像来实现，因此，自动驾驶的可靠性、安全性对环视摄像头的各个摄像头拍摄的影像质量提出了苛刻的要求。然而，车辆的摄像头拍摄的影像质量不仅与摄像头自身参数相关，而且与车辆所处的行驶环境密切相关。例如，当车辆在夜间、雨雾天等光线条件较差的环境中行驶时，会导致摄像头拍摄的影像质量下降而影响自动驾驶的可靠性、安全性。如何增强车辆的摄像头拍摄的影像质量，以满足车辆的自动驾驶的可靠性、安全性是本发明的发明人致力于解决的技术问题。

发明内容

本发明的一个目的在于提供一增强车辆的摄像头拍摄的影像的方法、系统和计算设备，其中所述影像增强方法能够改善一行驶车辆的摄像头拍摄的影像的质量，如此有利于实现所述行驶车辆的自动驾驶和保证所述行驶车辆的行车安全。

本发明的一个目的在于提供一增强车辆的摄像头拍摄的影像的方法、系统和计算设备，其中所述影像增强方法基于GAN模型得到一影像增强模型，并利用所述影像增强模型增强所述行驶车辆的摄像头拍摄的影像，以改善所述行驶车辆的摄像头拍摄的影像的质量。

本发明的一个目的在于提供一增强车辆的摄像头拍摄的影像的方法、系统和计算设备，其中所述影像增强方法利用车辆的摄像头拍摄的多个影像训练所述GAN模型中的生成模型来得到所述影像增强模型，通过这样的方式，所述行驶车辆的摄像头拍摄的影像在被所述影像增强模型增强后能够得到高质量的影像来支持实现自动驾驶。例如，在本发明的一个实施例中，所述影像增强方法能够利用多个车辆的摄像头拍摄的多个影像训练所述GAN模型中的生成模型，如此被所述影像增强模型增强后的影像可以具有更高的质量。

本发明的一个目的在于提供一增强车辆的摄像头拍摄的影像的方法、系统和计算设备，其中所述影像增强方法能够通过清洁所述行驶车辆的摄像头的镜头表面的方式提高摄像头拍摄的影像质量。例如，所述影像增强方法能够清洁附着于所述行驶车辆的摄像头的镜头表面的灰尘、雾气、水珠等来提高摄像头拍摄的影像质量。

本发明的一个目的在于提供一增强车辆的摄像头拍摄的影像的方法、系统和计算设备，其中所述行驶车辆的摄像头是集成化摄像头，其包括一摄像装置和一清洁装置，一方面，所述清洁装置不仅能够清洁所述摄像装置的镜头表面附着物的灰尘、雾气、水珠，另一方面，通过集成所述清洁装置和所述摄像装置的方式能够提高所述清洁装置的响应速度，以及时地清洁所述摄像装置的镜头表面附着物的灰尘、雾气、水珠，这对于高速行驶的所述行驶车辆的自动驾驶或行车安全来说特别的有效。

依本发明的一个方面，本发明提供一增强车辆的摄像头拍摄的影像的方法，其中所述影像增强方法包括如下步骤：

(a)获取一采样车辆的摄像头拍摄的一第一原始影像；

(b)在一GAN模型中的一判别模型判别一生成模型输出的一输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到一影像增强模型；以及

(c)利用所述影像增强模型，增强一行驶车辆的摄像头拍摄的一第二原始影像，以得到一增强影像。

根据本发明的一个实施例，在所述步骤(b)中，在所述判别模型判别所述输出影像相对于所述第一原始影像的失真度大于阈值时，使用多个所述第一原始影像训练所述生成模型。

根据本发明的一个实施例，所述步骤(b)进一步包括如下步骤：

(b.1)通过反卷积的方式复原所述输出影像为一复原影像；

(b.2)比较所述复原影像和所述第一原始影像的语义相似度；以及

(b.3)根据所述复原影像和所述第一原始影像的语义相似度，判别所述输出影像相对于所述第一原始影像的失真度。

根据本发明的一个实施例，所述步骤(c)中的所述行驶车辆是所述步骤(a)中的所述采样车辆。

根据本发明的一个实施例，所述步骤(c)中的所述行驶车辆不是所述步骤(a)中的所述采样车辆。

根据本发明的一个实施例，在所述步骤(a)中，在所述行驶车辆邻近所述采样车辆时，创建所述行驶车辆和所述邻近车辆之间的通信链路，以允许所述行驶车辆自所述采样车辆获取所述第一原始影像。

根据本发明的一个实施例，所述第一原始影像是在所述采样车辆处于光线条件较差的环境中拍摄的影像，其中所述第二原始影像是所述行驶车辆在行驶过程中拍摄的影像。

根据本发明的一个实施例，在所述步骤(c)中，判别所述第二原始影像的质量，在所述第二原始影像的质量低于预设质量时，清洁所述行驶车辆的摄像头的表面。

根据本发明的一个实施例，在所述步骤(c)中，通过自上而下地向所述行驶车辆的摄像头的表面吹风的方式，清洁所述车辆的摄像头的表面。

依本发明的另一个方面，本发明进一步提供一增强车辆的摄像头拍摄的影像的系统，其中所述影像增强系统包括：

一获取单元，其中所述获取单元被配置为获取一采样车辆的摄像头拍摄的一第一原始影像和一行驶车辆的摄像头拍摄的一第二原始影像；

一训练单元，其中所述训练单元被配置为利用多个所述第一原始影像训练一GAN模型而得到一影像增强模型，其中所述GAN模型包括一生成模型和一判别模型，在所述判别模型判别所述生成模型输出的一输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到一影像增强模型；以及

一增强单元，其中所述增强单元被配置为向所述影像增强模型输入所述第二原始影像，以由所述影像增强模型增强所述第二原始影像而得到一增强影像。

根据本发明的一个实施例，在所述判别模型判别所述输出影像相对于所述第一原始影像的失真度大于阈值时，使用多个所述第一原始影像训练所述生成模型。

根据本发明的一个实施例，所述判别模型被配置为：

通过反卷积的方式复原所述输出影像为一复原影像；

比较所述复原影像和所述第一原始影像的语义相似度；以及

根据所述复原影像和所述第一原始影像的语义相似度，判别所述输出影像相对于所述第一原始影像的失真度。

根据本发明的一个实施例，所述影像增强系统进一步包括一判断单元和一清洁单元，其中在所述判断单元判断所述第二原始影像的质量低于预设质量时，所述清洁单元被配置为清洁所述行驶车辆的摄像头的表面。

根据本发明的一个实施例，所述影像增强系统进一步包括一通信单元，其中所述通信单元被配置为创建所述行驶车辆和所述采样车辆之间的通信链路，以允许所述行驶车辆自所述采样车辆获取所述第一原始影像。

依本发明的另一个方面，本发明进一步提供一计算设备，其包括一存储器和一处理器，所述存储器存储被配置为由所述处理器执行的一个或多个程序，所述程序包括用于执行以下操作的指令：

获取一采样车辆的摄像头拍摄的一第一原始影像；

在一GAN模型中的一判别模型判别一生成模型输出的一输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到一影像增强模型；以及

利用所述影像增强模型，增强一行驶车辆的摄像头拍摄的一第二原始影像，以得到一增强影像。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本发明的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明一起用于解释本发发明的内容，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是依本发明的一较佳实施例的一车辆的俯视示意图。

图2是依本发明的一较佳实施例的一影像增强方法的流程图。

图3是依本发明的一较佳实施例的一影像增强系统的框图示意图。

图4是依本发明的一较佳实施例的一计算设备的框图示意图。

图5是依本发明的所述车辆的一摄像头的一个视角的立体示意图。

图6是依本发明的所述车辆的所述摄像头的另一个视角的立体示意图。

图7是依本发明的所述车辆的所述摄像头的剖视示意图。

图8是图7的局部位置放大示意图。

图9是依本发明的所述车辆的所述摄像头的一个视角的分解示意图。

图10是依本发明的所述车辆的所述摄像头的另一个视角的分解示意图。

具体实施方式

在详细说明本发明的任何实施方式之前，应理解的是，本发明在其应用中并不限于以下描述阐述或以下附图图示的部件的构造和布置细节。本发明能够具有其他实施方式并且能够以各种方式实践或进行。另外，应理解的是，这里使用的措辞和术语出于描述的目的并且不应该被认为是限制性的。本文中使用“包括”、“包括”或“具有”及其变型意在涵盖下文中陈列的条目及其等同物以及附加条目。除非另有指定或限制，否则术语“安装”、“连接”、“支撑”和“联接”及其变型被广泛地使用并且涵盖直接安装和间接的安装、连接、支撑和联接。此外，“连接”和“联接”不限于物理或机械的连接或联接。

并且，第一方面，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制；第二方面，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

图1示出了依本发明的一较佳实施例的一车辆的俯视状态，其中所述车辆包括一车辆主体10和多个摄像头20，其中至少一个所述摄像头20被设置于所述车辆本体10的前方而形成一前方摄像头20a，所述前方摄像头20a被设置用于拍摄所述车辆的前方的影像，其中至少一个所述摄像头20被设置于所述车辆本体10的后方而形成一后方摄像头20b，所述后方摄像头20b被设置用于拍摄所述车辆的后方的影像，其中至少一个所述摄像头20被设置于所述车辆本体10的左方而形成一左方摄像头20c，所述左方摄像头20c被设置用于拍摄所述车辆的左方的影像，其中至少一个所述摄像头20被设置于所述车辆本体10的右方而形成一右方摄像头20d，所述右方摄像头20d被设置用于拍摄所述车辆的右方的影像。

后续，所述前方摄像头20a、所述后方摄像头20b、所述左方摄像头20c和所述右方摄像头20d拍摄的影像能够被融合而形成一环视影像，如此所述车辆的周围环境的状态能够被获取。可以理解的是，基于所述车辆的这些所述摄像头20拍摄的影像，自动驾驶能够被实现。为了可靠和安全地实现所述车辆的自动驾驶和保证所述车辆的行车安全，本发明的所述车辆的这些所述摄像头20拍摄的影像能够被增强，以改善所述摄像头20拍摄的影像质量。

处于行驶状态的所述车辆被定义为本发明的一行驶车辆。所述车辆的所述前方摄像头20a、所述后方摄像头20b、所述左方摄像头20c和所述右方摄像头20d中的至少一个能够拍摄影像，以使所述车辆形成本发明的一采样车辆。在本发明的一些实施例中，所述行驶车辆和所述采样车辆可以是同一个所述车辆。在本发明的另一些实施例中，所述行驶车辆和所述采样车辆可以是不同的所述车辆。

附图2示出了依本发明的一较佳实施例的一影像增强方法，用于增强所述行驶车辆的所述摄像头20拍摄的影像，以改善所述行驶车辆的所述摄像头20的影像质量，如此基于增强后的影像实现的自动驾驶的可靠性和安全性能够被保证。

具体地，所述影像增强方法包括如下步骤：S1、获取所述采样车辆的所述摄像头20拍摄的一第一原始影像，其中所述第一原始影像是由所述摄像头20拍摄的且未经处理的影像；S2、在一GAN模型中的一判别模型判别一生成模型输出的一输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到一影像增强模型；S3、利用所述影像增强模型，增强所述行驶车辆的所述摄像头20拍摄的一第二原始影像，以得到一增强影像，其中所述第二原始影像是由所述摄像头20拍摄的且未经处理的影像，所述增强影像是所述影像增强模型增强所述第二原始影像后的影像。

需要说明的是，当所述行驶车辆在光线充足的光线条件下行驶时，所述行驶车辆的所述摄像头20拍摄的所述第二原始影像具有较高的质量，在将所述第二原始影像输入所述影像增强模型后，所述影像增强模型可以不需要对所述第二原始影像进行增强。当所述行驶车辆在光线不足的光线条件下行驶时，所述行驶车辆的所述摄像头20拍摄的所述第二原始影像具有较低的质量，在将所述第二原始影像输入所述影像增强模型后，所述影像增强模型对所述第二原始影像进行增强而得到所述增强影像，如此在所述增强影像的内容和所述第二原始影像的内容一致的基础上，所述增强影像的质量高于所述第二原始影像，例如在亮度、对比度、饱和度、清晰度、平滑度等方面，所述增强影像优于所述第二原始影像从而保证基于所述增强影像的自动驾驶的可靠性和安全性和保证所述行驶车辆的行车安全。

在本发明的一些实施例中，不同的所述采样车辆在不同的光线条件下会路过同一路段，因此，不同的所述采样车辆的所述摄像头20可以分别拍摄该路段在不同的光线条件下的所述第一原始影像。例如，一些所述采样车辆可能在晴朗的白天路过该路段，因此，这些所述采样车辆的所述摄像头20可以拍摄该路段的高质量的所述第一原始影像；另一些所述采样车辆可能在夜晚或雨雾天路过该路段，因此，这些所述采样车辆的所述摄像头20可以拍摄该路段的低质量的所述第一原始影像。

在本发明的另一些实施例中，一个所述采样车辆在不同的光线条件下会路过同一路段，因此，这个所述采样车辆的所述摄像头20可以分别拍摄该路段在不同的光线条件下的所述第一原始影像。例如，这个所述采样车辆可能在晴朗的白天路过该路段，因此，这个所述采样车辆的所述摄像头20可以拍摄该路段的高质量的所述第一原始影像；这个所述采样车辆可能在夜晚或雨雾天路过该路段，因此，这个所述采样车辆的所述摄像头20可以拍摄该路段的低质量的所述第一原始影像。

可以理解的是，由于高质量的所述第一原始影像是由所述采样车辆的所述摄像头20在晴朗的白天拍摄的，低质量的所述第一原始影像是由所述采样车辆在夜晚或雨雾天拍摄的，故，在亮度、对比度、饱和度、清晰度、平滑度等方面，高质量的所述第一原始影像优于低质量的所述第一原始影像。

本发明的所述影像强方法的所述步骤S2进一步包括步骤：S21，对所述GAN模型中的所述判别模型进行训练；S22，利用训练好的所述判别模型对所述GAN模型中的所述生成模型进行训练，以得到所述影像增强模型。

具体地，在所述步骤S21中，通过高质量的所述第一原始影像和低质量的所述第一原始影像训练所述GAN模型中的所述判别模型，以减小所述判别模型的损失函数。更具体地，将高质量的所述第一原始影像和低质量的所述第一原始影像代入所述GAN模型中的所述判别模型的损失函数，通过调整损失函数中的参数的方式对所述判别模型进行训练，以减少所述判别模型的损失函数值而使所述判别模型更准确。

可以理解的是，对于训练好的所述GAN模型中的所述判别模型，当高质量的所述第一原始影像输入所述判别模型时，所述判别模型输出被输入的所述第一原始影像是高质量的所述第一原始影像的概率趋近100％，相应地，当低质量的所述第一原始影像输入所述判别模型时，所述判别模型输出被输入的所述第一原始影像是高质量的所述第一原始影像的概率趋近0％。

值得一提的是，在高质量的所述第一原始影像输入判别模型、所述判别模型输出被输入的所述第一原始影像是高质量的所述第一原始影像的概率越接近100％，以及低质量的所述第一原始影像输入判别模型、所述判别模型输出被输入的所述第一原始影像是高质量的所述第一原始影像的概率越接近0％时，所述GAN模型中的所述判别模型越准确。

在所述步骤S22中，利用训练好的所述判别模型，使用低质量的所述第一原始影像训练所述GAN模型中的所述生成模型。具体地，首先，将低质量的所述第一原始影像输入所述GAN模型中的所述生成模型，以允许所述生成模型输出的一输出影像；其次，将所述输出影像输入所述GAN模型中的所述判别模型，以允许所述判别模型通过对所述输出影像的判别获取所述生成模型的损失函数，若所述判别模型获取的所述生成模型的损失函数越小，则表明所述生成模型输出的所述输出影像的质量越高，相应地，若所述判别模型获取的所述生成模型的损失函数越大，则表明所述生成模型输出的所述输出影像的质量越差。

进一步地，在所述步骤S2中，在所述GAN模型中的所述判别模型判别所述生成模型输出的所述输出影像相对于所述第一原始影像的失真度大于阈值时，使用多个所述第一原始影像训练所述生成模型，以减小所述模型的损失函数。值得一提的是，失真度的阈值是根据需要被预设的。

具体地，首先，通过反卷积的方式复原所述生成模型输出的所述输出影像为一复原影像；其次，比较所述复原影像和所述第一原始影像的语义相似度；再次，根据所述复原影像和所述第一原始影像的语义相似度，判别所述输出影像相对于所述第一原始影像的失真度。

参考附图4，本发明的所述车辆配置有一计算设备30，其被设置于所述车辆本体10，所述计算设备30可以是但不限于所述车辆的行车电脑。所述计算设备30进一步包括一存储器31和一处理器32，所述存储器31可以是但不限于硬盘、U盘等，并且所述存储器31被配置为存储指令，所述处理器32可以是但不限于中央处理器，并且所述处理器32被配置为执行所述存储器31存储的指令，以进行如下操作：S1、获取所述采样车辆的所述摄像头20拍摄的所述第一原始影像，其中所述第一原始影像是由所述摄像头20拍摄的且未经处理的影像；S2、在所述GAN模型中的所述判别模型判别所述生成模型输出的所述输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到所述影像增强模型；S3、利用所述影像增强模型，增强所述行驶车辆的所述摄像头20拍摄的所述第二原始影像，以得到所述增强影像。

具体地，在本发明的一个示例中，这些所述第一原始影像由不同的所述采样车辆采样，并且所述采样车辆和所述行驶车辆是不同的所述车辆。为了便于描述，定义高质量的所述第一原始影像由一第一采样车辆的所述摄像头20拍摄获取，其中所述第一采样车辆的所述摄像头20在拍摄到高质量的所述第一原始影像后，高质量的所述第一原始影像和匹配的位置信息可以被上传至云端，可以理解的是，匹配高质量的所述第一原始影像的位置信息由所述第一采样车辆的定位模块(例如GPS)或所述第一采样车辆的司乘人员携带的电子设备的定位模块生成；定义低质量的所述第一原始影像由一第二采样车辆的所述摄像头20拍摄获取，其中所述第二采样车辆的所述摄像头20在拍摄到高质量的所述第一原始影像后，低质量的所述第一原始影像和匹配的位置信息可以被上传至云端，可以理解的是，匹配低质量的所述第一原始影像的位置信息由所述第二采样车辆的定位模块(例如GPS)或所述第二采样车辆的司乘人员携带的电子设备的定位模块生成。当所述行驶车辆在光线较差的光线条件下行驶至与所述第一采样车辆和所述第二采样车辆相同的路段时，创建所述行驶车辆和所述第一采样车辆、所述第二采样车辆之间的通信链路，以允许所述行驶车辆获取所述第一采样车辆的所述摄像头20拍摄的高质量的所述第一原始影像和所述第二采样车辆20拍摄的低质量的所述第一原始影像。例如，所述行驶车辆可以通过云端分别和所述第一采样车辆、所述第二采样车辆通信。当然，所述行驶车辆通过云端和所述第一采样车辆、所述第二采样车辆之间的通信可以是实时的，也可以是非实时的，本发明在这方面不受限制。所述行驶车辆的所述计算设备30的所述处理器32在执行所述存储器31存储的指令时，通过高质量的所述第一原始影像和低质量的所述第一原始影像训练所述GAN模型中的所述判别模型，利用训练好的所述判别模型，使用低质量的所述第一原始影像训练所述GAN模型中的所述生成模型，以得到所述影像增强模型。在所述行驶车辆的所述摄像头20拍摄的低质量的所述第二原始影像被输入所述影像增强模型后，所述影像增强模型能够对所述第二原始影像进行增强而输出所述增强影像。所述增强影像是所述影像增强模型增强所述第二原始影像后的影像。

在本发明的另一个示例中，所述GAN模型是在云端被训练的。具体地，在所述第一采样车辆的所述摄像头20拍摄的高质量的所述第一原始影像和匹配的位置信息被上传至云端以及所述第二采样车辆的所述摄像头20拍摄的低质量的所述第一原始影像和匹配的位置信息被上传至云端后，在云端使用高质量的所述第一原始影像和低质量的所述第一原始影像训练所述GAN模型。当所述行驶车辆在光线较差的光线条件下行驶至与所述第一采样车辆和所述第二采样车辆相同的路段时，所述行驶车辆的所述摄像头20拍摄的所述第二原始影像可以被上传至云端，并在云端使用所述影像增强模型增强所述第二原始影像而输出所述增强影像，所述增强影像可以在后续被下载到所述行驶车辆。

在本发明的另一个示例中，当所述行驶车辆在光线较好的光线条件下行驶时，所述行驶车辆的所述摄像头20能够拍摄高质量的所述第一原始影像，高质量的所述第一原始影像和匹配的位置信息可以被上传至云端或存储至所述行驶车辆的所述计算设备30的所述存储器31。当所述行驶车辆在光线较差的光线条件下行驶时，所述行驶车辆的所述摄像头20能够拍摄低质量的所述第一原始影像，低质量的所述第一原始影像和匹配的位置信息可以被上传至云端或存储至所述行驶车辆的所述计算设备30的所述存储器31。所述行驶车辆的所述计算设备30的所述处理器32在执行所述存储器31存储的指令时，通过高质量的所述第一原始影像和低质量的所述第一原始影像训练所述GAN模型中的所述判别模型，利用训练好的所述判别模型，使用低质量的所述第一原始影像训练所述GAN模型中的所述生成模型，以得到所述影像增强模型。在所述行驶车辆的所述摄像头20拍摄的低质量的所述第二原始影像被输入所述影像增强模型后，所述影像增强模型能够对所述第二原始影像进行增强而输出所述增强影像。所述增强影像是所述影像增强模型增强所述第二原始影像后的影像。

附图3示出了依本发明的一较佳实施例的一影像增强系统，用于增强所述行驶车辆的所述摄像头20拍摄的影像，以改善所述行驶车辆的所述摄像头20的影像质量，如此基于增强后的影像实现的自动驾驶的可靠性和安全性能够被保证。具体地，所述影像增强系统包括一获取单元100、一训练单元200以及一增强单元300。

所述获取单元100被配置为获取所述采样车辆的所述摄像头20拍摄的所述第一原始影像和所述行驶车辆的所述摄像头20拍摄的所述第二原始影像。例如，在本发明的一些实施例中，所述第一采样车辆的所述摄像头20拍摄的高质量的所述第一原始影像能够被所述获取单元100获取，所述第二采样车辆的所述摄像头20拍摄的低质量的所述第一原始影像能够被所述获取单元100获取，所述行驶车辆的所述摄像头20拍摄的所述第二原始影像能够被所述获取单元10获取。在本发明的另一些实施例中，所述第一采样车辆的所述摄像头20拍摄的高质量的所述第一原始影像和匹配的位置信息能够被所述获取单元10获取，所述得人采样车辆的所述摄像头20拍摄的低质量的所述第一原始影像和匹配的位置信息能够被所述获取单元10获取，所述行驶车辆的所述摄像头20拍摄的所述第二原始影像能够被所述获取单元10获取。

所述训练单元200被配置为利用多个所述第一原始影像训练所述GAN模型而得到所述影像增强模型。具体地，首先，所述训练单元200通过高质量的所述第一原始影像和低质量的所述第一原始影像训练所述GAN模型中的所述判别模型，以减小所述判别模型的所述损失函数，从而使所述判别模型更精准；其次，所述训练单元200利用训练好的所述判别模型，使用低质量的所述第一原始影像训练所述GAN模型中的所述生成模型，以得到所述影像增强模型。

优选地，所述GAN模型中的所述判别模型被配置为判别所述生成模型的所述输出影像相对于所述第一原始影像的失真度大于阈值时，使用多个低质量的所述第一原始影像训练所述生成模型，通过这样的方式，得到的所述生成模型更精准，如此提高所述影像增强模型的影像增强效果。

更优选地，所述判别模型被配置为：首先，通过反卷积的方式复原所述输出影像为所述复原影像；其次，比较所述复原影像和所述第一原始影像的语义相似度；再次，根据所述复原影像和所述第一原始影像的语义相似度，判别所述输出影像相对于所述第一原始影像的失真度，若所述判别模型判别所述生成模型的所述输出影像相对于所述第一原始影像的失真度大于阈值，则使用低质量的所述第一原始影像训练所述GAN模型中的所述生成模型，若所述判别模型判别所述生成模型的所述输出影像相对于所述第一原始影像的失真度小于阈值，则所述生成模型训练完成。可以理解的时，通过控制失真度阈值的方式，能够控制所述影像增强模型的增强效果。

所述增强单元300被配置为向所述影像增强模型输入所述第二原始影像，以由所述影像增强模型增强所述第二原始影像而得到所述增强影像，如此改善所述行驶车辆的影像，以有利于实现所述行驶车辆的自动驾驶。

继续参考附图3，所述影像增强系统进一步包括一判断单元400和一清洁单元500，其中所述判断单元400被配置为判断所述第二原始影像的质量，若所述判断单元400判断所述第二原始影像的质量低于预设质量，则所述清洁单元500被配置为清洁所述行驶车辆的所述摄像头20的表面。例如，在一个实施例中，当所述行驶车辆在雨雾天行驶时，所述行驶车辆的所述摄像头20的表面可能会附着有水雾，这些水雾灰影响所述摄像头20的成像效果，进而影响所述第二原始影像的质量。所述判断单元400可以通过对所述摄像头20拍摄的所述第二原始影像进行分析来判断所述摄像头20的表面是否附着有水雾，例如，所述判断单元400通过比较所述摄像头20在不同的时间段拍摄的影像的方式来判断所述摄像头20的表面是否附着有水雾，若所述判断单元400的判断结果是所述摄像头20的表面附着有水雾，则所述清洁单元500被配置为清洁所述摄像头20的表面，以去除附着于所述摄像头20的表面的水雾，从而提高所述第二原始影像的质量。

在本发明的一个实施例中，当所述判断单元400根据所述摄像头20拍摄的所述第二原始影像判断所述摄像头20的表面附着有水雾时，所述清洁单元500可以通过向所述摄像头20的表面吹风的方式清洁所述摄像头20的表面。优选地，所述清洁单元500自上而下地向所述摄像头20的表面吹风，以提高清洁效果。

附图5至图10示出了所述车辆的所述摄像头20的具体结构，其中所述摄像头20包括一摄像装置21和一清洁装置22，所述摄像装置21和所述清洁装置22被集成而使所述摄像头20形成集成化摄像头，通过这样的方式，一方面，所述清洁装置22能够清洁所述摄像装置21的表面附着的灰尘、雾气、水珠等，以提高所述摄像头20拍摄的影像质量，例如提高所述采样车辆的所述摄像头20拍摄的所述第一原始影像的影像质量和提高所述行驶车辆的所述摄像头20拍摄的所述第二原始影像的影像质量，另一方面，集成所述清洁装置22和所述摄像装置21能够提高所述清洁装置22的响应速度，以及时地清洁所述摄像装置21的表面附着的灰尘、雾气、水珠等，这对于高速行驶的所述行驶车辆的自动驾驶或行车安全来说是特别的有效。

具体地，所述摄像装置21包括一电路板211、一图像传感器212、一镜头213以及一镜座214。所述图像传感器212被电连接于所述电路板211，所述镜座214被贴装于所述电路板211，所述镜头213被组装于所述镜座214，并且所述镜座214保持所述镜头213于所述图像传感器212的感光路径，如此外界光线在穿过所述镜头213后能够到达所述图像传感器212而成像。优选地，所述镜头213是广角镜头，以允许所述摄像装置21具有更大的视场角。优选地，所述摄像装置21进一步包括一滤光片215，所述滤光片215被组装于所述镜座214且位于所述镜头213和所述图像传感器212之间，以由所述滤光片215滤除穿过所述镜头213的光线中的特定光线类型，例如所述滤光片215是红外截止滤光片。

通常情况下，所述电路板211是PCB电路板，其具有较高的硬度和平整度，或者所述电路板211是FPC电路板，其具有较薄厚度尺寸，所述图像传感器212可以通过金线被电连接于所述电路板211。为了进一步补强所述电路板211的硬度和平整度，所述摄像装置21进一步包括一钢板216，所述钢板216被贴装于所述电路板211的背面，即，所述钢板216被贴装于所述电路板211的远离所述镜头213的一面。

在本发明中，所述摄像装置21进一步包括一制冷芯片217，其中所述图像传感器212被贴装于所述制冷芯片217的冷面侧的中部。所述电路板211具有一电路板中心穿孔2111，所述钢板216具有一钢板中心穿孔2161，所述钢板216的所述钢板中心穿孔2161对应和连通于所述电路板211的所述电路板中心穿孔2111。所述制冷芯片217的冷面侧的边缘被贴装于所述钢板216，以使所述制冷芯片217的热面侧远离所述钢板216，并且所述图像传感器212被保持在所述钢板216的所述钢板中心穿孔2161和所述电路板211的所述电路板中心穿孔2111。通过上述这样的结构，一方面，所述制冷芯片217的冷面侧通过是陶瓷材质，其具有较高的平整度，同时所述钢板216具有较高的平整度，在将所述图像传感器212贴装于所述制冷芯片217的冷面侧的中部和将所述制冷芯片217的冷面侧的边缘贴装于所述钢板216后，所述图像传感器212的平整度能够被保证，以保证所述摄像头20的所述摄像装置21具有较佳的成像效果；另一方面，所述图像传感器212直接地贴装于所述制冷芯片217的所述图像传感器212，这样，所述图像传感器212在进行光电转化时产生的热量能够直接地被所述制冷芯片217吸收而使长时间工作的所述图像传感器212具有较低的工作温度，从而保证所述摄像头20的所述摄像装置21在工作时的稳定性。

优选地，所述图像传感器212的感光面和所述电路板211的正面平齐，或者所述图像传感器212的感光面凸出于所述电路板211的正面，以有利于减少杂散光而保证所述摄像头20的成像质量，从而使得所述采样车辆的所述摄像头20能够拍摄高质量的所述第一原始影像和使得所述行驶车辆的所述摄像头20能够拍摄高质量的所述第二原始影像。

另外，所述摄像装置21进一步包括一系列电子元件218，其被贴装于所述电路板211的表面。这些所述电子元件218可以是电阻、电容、处理器、控制器等，以构成逻辑电路，从而控制被电连接于所述电路板211的所述图像传感器212和所述制冷芯片217的工作状态。优选地，一部分所述电子元件218可以被贴装于所述电路板211的正面，另一部分所述电子元件218可以被贴装于所述电路板211的背面，如此小面积的所述电路板211能够被集成更多的所述电子元件218而有利于提高所述摄像头20的所述摄像装置21的整体性能。所述钢板216可以设有多个第一避让孔2162，以避让被贴装于所述电路板211的背面的这些电子元件218。换言之，被贴装于所述电路板211的背面的这些所述电子元件218被容纳于所述钢板216的这些所述第一避让孔2162。

另外，所述摄像装置21进一步包括一连接器219，所述连接器219被贴装于所述电路板211的背面，以用于连接所述车辆本体10。所述钢板216具有一第二避让孔2163，以避让被贴装于所述电路板211的背面的所述连接器219。换言之，被贴装于所述电路板211的背面的所述连接器219被容纳于所述钢板216的所述第二避让孔2163。

继续参考附图5至图10，所述清洁装置22包括一清洁壳体221和一风扇222。所述清洁壳体221包括一壳主体2211和自所述壳主体2211向外一体地延伸的一延伸臂2212，其中所述壳主体2211具有一气流生成空间22111和连通于所述气流生成空间22111的一开口22112，所述摄像装置21以所述镜头213朝向外侧的方式被安装于所述壳主体2211的所述开口22112，并且所述摄像装置21封闭所述壳主体2211的所述开口22112，所述风扇222被悬持于所述壳主体2211的所述气流生成空间22111，并且所述风扇222对应于所述摄像装置21的所述制冷芯片217，其中所述延伸臂2212具有一气流通道22121和连通于所述气流通道22121的至少一出气口22122，所述气流通道22121连通于所述气流生成空间22111，所述出气口22122朝向所述镜头213。优选地，所述风扇222电连接于所述摄像装置21的所述电路板211。

当所述风扇222被通电而转动时，所述风扇222能够于所述壳主体2211的所述气流生成空间22111产生气流，并且气流经所述延伸臂2212的所述气流通道22121流动并经所述延伸臂2212的所述出气口22122排出，以吹向所述镜头213，如此吹落附着于所述镜头213的表面的灰尘、雾气、水珠等，以提高所述摄像头20拍摄的影像质量。由于所述延伸臂2212的所述出气口22122的尺寸小于所述气流通道22121的尺寸，从而在气流经所述延伸臂2212的所述出气口22122排出所述气流通道22121时，气流能够被加速而形成高速气流，以提高吹落附着于所述镜头213的表面的灰尘、雾气、水珠的效果。

在所述摄像头20被安装于所述车辆本体10时，所述摄像头20的所述清洁装置22的所述清洁壳体221的所述延伸臂2212位于所述摄像装置21的所述镜头213的上方，如此气流能够自上而下地被吹向所述镜头213，以提高吹落附着于所述镜头213的表面的灰尘、雾气、水珠的效果。

继续参考附图5至图10，所述清洁壳体221进一步包括一引导部2213，所述引导部2213具有至少一引导通道22131，其中所述引导部2213被设置于所述延伸臂2212的端部，所述引导部2213的所述引导通道22131和所述延伸臂2212的所述出气口22122相连通，并且所述引导部2213的所述引导通道22131邻近和朝向所述摄像装置21的所述镜头213的表面，以供引导自所述延伸臂2212的所述出气口22122排出的气流至所述镜头213的表面。

值得一提的是，所述引导部2213被设置于所述延伸臂2212的端部的方式在本发明中不受限制，例如，所述引导部2213可以通过螺钉锁在所述延伸臂2212的端部，或者所述引导部2213通过胶水粘接在所述延伸臂2212的端部。

所述摄像头20的所述镜头213是广角镜头，其外侧向外凸起，为了进一步提高吹落附着于所述镜头213的表面的灰尘、雾气、水珠的效果，所述引导部2213的所述引导通道22131被设置为倾斜地延伸。

优选地，所述清洁壳体221的所述壳主体2211具有一缺口22113和一插接通道2214，所述缺口22113由所述壳主体2211的外侧内凹的方式形成，所述插接通道2214连通所述气流生成空间22111和所述缺口22213，并且所述摄像装置21的所述连接器219延伸至所述壳主体2211的所述插接通道2214，如此一方面能够便于安装集成化的所述摄像头20于所述车辆本体10，另一方面能够提高所述摄像头20的密封效果。

继续参考附图5至图10，所述摄像头20进一步包括一导热装置23，所述导热装置23被贴装于所述制冷芯片217的热面侧，所述风扇222被安装于所述导热装置23，如此一方面，在所述摄像装置21被安装于所述壳主体2211的所述开口22112后，所述风扇222能够被悬持于所述壳主体2211的所述气流生成空间22111，另一方面，所述导热装置23能够快速地将所述图像传感器212在工作时产生的热量辐射至所述壳主体2211的所述气流生成空间22111，并使气流具有较高的温度，这样，在气流经所述延伸臂2212的所述出气口22122和所述引导部2213的所述引导通道22131被吹向所述镜头213时，不仅能够吹落附着于所述镜头213的表面的灰尘、雾气、水珠，而且能够快速地干燥所述镜头213的表面，以提高清洁效果。

在本发明中，所述摄像头20可以利用所述图像传感器21在工作时产生的热量形成温度较高的气流，因此，所述摄像头20不需要配置专门的热源即可形成温度较高的气流并将气流吹向所述摄像装置21的所述镜头213的表面，如此有利于简化所述摄像头20的整体结构并提高所述摄像头20的可靠性。

本领域的技术人员可以理解的是，以上实施例仅为举例，其中不同实施例的特征可以相互组合，以得到根据本发明揭露的内容很容易想到但是在附图中没有明确指出的实施方式。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (15)

1.一增强车辆的摄像头拍摄的影像的方法，其特征在于，所述影像增强方法包括如下步骤：

(a)获取一采样车辆的摄像头拍摄的一第一原始影像；

(b)在一GAN模型中的一判别模型判别一生成模型输出的一输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到一影像增强模型；以及

(c)利用所述影像增强模型，增强一行驶车辆的摄像头拍摄的一第二原始影像，以得到一增强影像。

2.根据权利要求1所述的影像增强方法，其中在所述步骤(b)中，在所述判别模型判别所述输出影像相对于所述第一原始影像的失真度大于阈值时，使用多个所述第一原始影像训练所述生成模型。

3.根据权利要求1所述的影像增强方法，其中所述步骤(b)进一步包括如下步骤：

(b.1)通过反卷积的方式复原所述输出影像为一复原影像；

(b.2)比较所述复原影像和所述第一原始影像的语义相似度；以及

(b.3)根据所述复原影像和所述第一原始影像的语义相似度，判别所述输出影像相对于所述第一原始影像的失真度。

4.根据权利要求1所述的影像增强方法，其中所述步骤(c)中的所述行驶车辆是所述步骤(a)中的所述采样车辆。

5.根据权利要求1所述的影像增强方法，其中所述步骤(c)中的所述行驶车辆不是所述步骤(a)中的所述采样车辆。

6.根据权利要求5所述的影像增强方法，其中在所述步骤(a)中，在所述行驶车辆邻近所述采样车辆时，创建所述行驶车辆和所述邻近车辆之间的通信链路，以允许所述行驶车辆自所述采样车辆获取所述第一原始影像。

7.根据权利要求1至6中任一所述的影像增强方法，其中所述第一原始影像是在所述采样车辆处于光线条件较差的环境中拍摄的影像，其中所述第二原始影像是所述行驶车辆在行驶过程中拍摄的影像。

8.根据权利要求1至6中任一所述的影像增强方法，其中在所述步骤(c)中，判别所述第二原始影像的质量，在所述第二原始影像的质量低于预设质量时，清洁所述行驶车辆的摄像头的表面。

9.根据权利要求8所述的影像增强方法，其中在所述步骤(c)中，通过自上而下地向所述行驶车辆的摄像头的表面吹风的方式，清洁所述车辆的摄像头的表面。

10.一增强车辆的摄像头拍摄的影像的系统，其特征在于，所述影像增强系统包括：

一获取单元，其中所述获取单元被配置为获取一采样车辆的摄像头拍摄的一第一原始影像和一行驶车辆的摄像头拍摄的一第二原始影像；

一训练单元，其中所述训练单元被配置为利用多个所述第一原始影像训练一GAN模型而得到一影像增强模型，其中所述GAN模型包括一生成模型和一判别模型，在所述判别模型判别所述生成模型输出的一输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到一影像增强模型；以及

一增强单元，其中所述增强单元被配置为向所述影像增强模型输入所述第二原始影像，以由所述影像增强模型增强所述第二原始影像而得到一增强影像。

11.根据权利要求10所述的影像增强系统，其中在所述判别模型判别所述输出影像相对于所述第一原始影像的失真度大于阈值时，使用多个所述第一原始影像训练所述生成模型。

12.根据权利要求11所述的影像增强系统，其中所述判别模型被配置为：

通过反卷积的方式复原所述输出影像为一复原影像；

比较所述复原影像和所述第一原始影像的语义相似度；以及

根据所述复原影像和所述第一原始影像的语义相似度，判别所述输出影像相对于所述第一原始影像的失真度。

13.根据权利要求10至12中任一所述的影像增强系统，进一步包括一判断单元和一清洁单元，其中在所述判断单元判断所述第二原始影像的质量低于预设质量时，所述清洁单元被配置为清洁所述行驶车辆的摄像头的表面。

14.根据权利要求10至12中任一所述的影像增强系统，进一步包括一通信单元，其中所述通信单元被配置为创建所述行驶车辆和所述采样车辆之间的通信链路，以允许所述行驶车辆自所述采样车辆获取所述第一原始影像。

15.一计算设备，其特征在于，包括一存储器和一处理器，所述存储器存储被配置为由所述处理器执行的一个或多个程序，所述程序包括用于执行以下操作的指令：

获取一采样车辆的摄像头拍摄的一第一原始影像；

在一GAN模型中的一判别模型判别一生成模型输出的一输出影像低于预期质量时，使用多个所述第一原始影像训练所述生成模型，以得到一影像增强模型；以及

利用所述影像增强模型，增强一行驶车辆的摄像头拍摄的一第二原始影像，以得到一增强影像。

Images