CN111433097A - 车辆及用于控制该车辆的方法 - Google Patents

Abstract

公开了一种车辆。该车辆包括：存储装置，其中存储了多个参考图像和与相应的多个参考图像相对应的位置信息；以及处理器，其通过相机获取车辆正在其中行驶的周围环境的图像，如果周围环境图像的可见度满足预定条件，则获取多个参考图像当中的与车辆的当前位置相对应的参考图像，获取其中合并了周围环境图像和参考图像的图像，并且基于合并的图像控制车辆的操作。

Description

车辆及用于控制该车辆的方法

技术领域

本公开涉及车辆及用于控制该车辆的方法，并且更特别地，涉及提供自动驾驶(self-driving)模式的车辆及用于控制该车辆的方法。

背景技术

近来，根据对自动驾驶车辆日益增长的兴趣，正在积极地研究和开发相关的技术。

特别地，尽管自动驾驶车辆基于关于车辆的周围环境的信息来识别行驶路线，但是存在车辆不能准确地识别行驶路线或者由于无法准确地辨识车辆的周围环境而频繁发生故障的问题。

例如，尽管这是车辆过去安全行驶的路线，但是由于根据天气因素(诸如雪、雨、雾等)和时间因素(诸如夜晚)不能辨识该行驶路线，所以存在自动驾驶功能丧失能力的问题。

因此，有必要开发与天气因素或时间因素无关地获取车辆的周围环境信息并识别行驶路线的方法。

发明内容

技术问题

已经做出了本公开以解决前述需求，并且提供了能够提供具有改善的路标等的可见度的图像并基于此执行自动驾驶的车辆、以及用于控制该车辆的方法。

解决问题的技术方案

根据用于实现上述目的的本公开的实施例，提供了一种车辆，该车辆包括相机、存储多个参考图像和与所述多个参考图像中的每一个相对应的位置信息的存储装置、以及处理器，该处理器被配置为基于周围环境的图像的可见度满足预定条件、通过相机来获取车辆当前正在其中行驶的周围环境的图像，获取所述多个参考图像当中的与车辆的当前位置相对应的参考图像，获取其中合并了周围环境的图像和参考图像的图像，以及基于合并的图像控制车辆的驾驶。

处理器可以被配置为识别包括在参考图像中的交通标志信息，并且通过用识别到的交通标志信息替换周围环境的图像中的相应区域来生成合并的图像。

交通标志信息可以包括路标、车道、减速带、交通灯和具有文字的道路标记中的至少一个。

存储装置可以存储指示交通标志信息的代表性图像，并且处理器可以被配置为获取与包括在合并的图像中的至少一条交通标志信息相对应的代表性图像，并且用获取的代表性图像替换所述至少一条交通标志信息。

车辆还可以包括通信器，并且处理器被配置为通过通信器从外部服务器获取与当前位置相对应的交通标志信息，并且将从外部服务器获取的交通标志信息添加到合并的图像中。

车辆还可以包括平视显示器(head up display，HUD)，并且处理器可以被配置为通过HUD提供合并的图像和识别到的交通标志信息中的至少一个。

车辆还可以包括平视显示器(HUD)，并且处理器可以被配置为通过执行对合并的图像的呈现来获取呈现的图像，将呈现的图像存储在存储装置中，并且通过HUD提供呈现的图像，并且呈现的图像可以是通过识别合并的图像中的动态对象和交通标志信息生成的图像。处理器可以被配置为基于周围环境的图像的可见度高于与当前位置信息相对应的参考图像的可见度，用周围环境的图像更新参考图像。

处理器可以被配置为在从参考图像被生成的点起经过预定时间段之后，比较周围环境的图像的可见度和参考图像的可见度，并且基于周围环境的图像的可见度高于参考图像的可见度，用周围环境的图像更新参考图像。

车辆还可以包括平视显示器(HUD)，并且处理器可以被配置为基于车辆处于自动驾驶模式，基于合并的图像执行自动驾驶，并且基于车辆处于手动驾驶模式，通过HUD提供合并的图像和识别到的交通标志信息中的至少一个。

根据本公开的另一实施例，提供了一种用于控制车辆的方法，该车辆中存储了多个参考图像和与所述多个参考图像中的每一个相对应的位置信息，该方法包括：基于周围环境的图像的可见度满足预定条件，获取车辆当前正在其中行驶的周围环境的图像，获取所述多个参考图像当中的与车辆的当前位置相对应的参考图像，获取其中合并了周围环境的图像和参考图像的图像，以及基于合并的图像控制车辆的驾驶。

获取合并的图像可以包括识别包括在参考图像中的交通标志信息，并且通过用识别到的交通标志信息替换周围环境的图像中的相应区域来生成合并的图像。

交通标志信息可以包括路标、车道、减速带、交通灯和具有文字的道路标记中的至少一个。

车辆可以存储指示交通标志信息的代表性图像，并且获取合并的图像可以包括获取与包括在合并的图像中的至少一条交通标志信息相对应的代表性图像，并且用获取的代表性图像替换所述至少一条交通标志信息。

该方法还可以包括从外部服务器获取与当前位置相对应的交通标志信息，并将从外部服务器获取的交通标志信息添加到合并的图像中。

车辆可以包括平视显示器(HUD)，并且该方法还可以包括通过HUD提供合并的图像和识别到的交通标志信息中的至少一个。

该方法还可以包括，基于周围环境的图像的可见度高于与当前位置信息相对应的参考图像的可见度，用周围环境的图像更新参考图像。

该方法还可以包括在从参考图像被生成的点起经过预定时间段之后，比较周围环境的图像的可见度和参考图像的可见度，并且基于周围环境的图像的可见度高于参考图像的可见度，用周围环境的图像更新参考图像。

控制车辆的驾驶可以包括，基于车辆处于自动驾驶模式，基于合并的图像执行自动驾驶，并且基于车辆处于手动驾驶模式，通过HUD提供合并的图像和识别到的交通标志信息中的至少一个。

根据本公开的又一实施例，提供了一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储计算机指令以基于由车辆的处理器执行的计算机指令使车辆能够执行操作，其中该操作可以包括基于周围环境的图像的可见度满足预定条件，获取车辆当前正在其中行驶的周围环境的图像，获取所述多个参考图像当中的与车辆的当前位置相对应的参考图像，获取其中合并了周围环境的图像和参考图像的图像，以及基于合并的图像控制车辆的驾驶。

技术效果

根据上述公开的实施例，在自动驾驶期间，可以获取具有改善的交通标志信息的可见度的图像，并且可以降低失效率。

附图说明

图1是为了便于理解，用于描述周围环境的图像和参考图像的视图。

图2是示出根据实施例的车辆的配置的框图。

图3A和图3B是用于描述根据实施例的用于获取合并的图像的方法的视图。

图4和图5是用于描述根据实施例的用于显示合并的图像的方法的视图。

图6是用于描述根据另一实施例的用于获取合并的图像的方法的视图。

图7是描述根据实施例的用于控制车辆的方法的流程图。

具体实施方式

在简要解释说明书中使用的术语之后，将详细描述本公开。

考虑到本公开的功能，已经选择在本公开的实施例中使用的术语为尽可能广泛使用的通用术语，但是这些术语可以根据本领域技术人员的意图、先例、新技术的出现等而变化。此外，在某些情况下，还存在由申请人任意选择的术语，在这种情况下，将在本公开的描述中详细描述其含义。因此，本公开中使用的术语应该基于术语本身的含义和贯穿本公开的内容来定义，而不是由术语的简单名称来定义。

本公开的实施例可以进行各种改变并包括各种实施例，并且将在附图中示出并在说明书中详细描述特定实施例。然而，应当理解，这并不限制特定实施例的范围，并且包括了包括在所公开的精神和技术范围内的所有修改、等同物和/或替代物。在描述本公开时，当确定详细描述可能不必要地模糊了本公开的主旨时，省略了相关技术的详细描述。

术语“第一”、“第二”等可以用于描述各种元素，但是这些元素可以不受这些术语的限制。这些术语仅用于将一个元素与另一元素区分开。

除非另外具体地定义，单数表达可以包含复数表达。应当理解，术语如“包括”或“包含”在此用于指定特性、数量、步骤、操作、元件、部件或其组合的存在，而不排除添加一个或多个其他特性、数量、步骤、操作、元件、部件或其组合的存在或可能性。

本公开中的诸如“模块”或“单元”的术语可以执行至少一种功能或操作，并且可以实现为硬件、软件或硬件和软件的组合。此外，除了当多个“模块”、“单元”等中的每一个需要在单独的硬件中实现时，组件可以集成在至少一个模块中，并且可以在至少一个处理器(未示出)中实现。

在下文中，参考附图，将详细描述本公开的实施例，使得本领域技术人员能够容易地做出和使用本公开所属技术领域中的实施例。但是，本公开可以以各种不同的形式实现，并且不限于本文描述的实施例。此外，在附图中，为了清楚地描述本公开，省略了与描述无关的部分，并且贯穿说明书，相同的附图标记用于相同的部分。

图1是为了便于理解本公开用于描述周围环境的图像和参考图像的视图。

参考图1，根据本公开的实施例的车辆可以通过使用车辆中准备的传感器来监视周围环境。在示例中，车辆可以通过使用车辆中准备的相机，通过捕获车辆正在行驶经过的路线、周围环境、前方道路的状况来获取周围环境的图像10。本文中的相机是用于捕获发生在车辆行驶的路线、车辆的周围环境等中的事件的组件，并且可以称为传感器、相机或图像传感器，但是在下文中，为了方便描述，这些统称为相机。

根据本公开的实施例的车辆可以通过使用相机，获取车辆当前正在其中行驶的周围环境的图像10，并且识别周围环境的图像10的可见度是否满足预定条件。本文中的可见度可以指对包括在周围环境的图像10中的交通标志信息的辨别性(discrimination)。在示例中，如果周围环境的图像10包括路标10-2，则可见度可以指路标10-2可被识别到的程度。根据本公开的实施例的可见度可以指包括关于交通标志信息的辨别性、可识别性(legibility)、可观察性(observability)等。将参考图3详细描述交通标志信息。

根据本公开的满足预定条件的周围环境的图像10的可见度可以指对于车辆驾驶员包括在周围环境的图像10中的对象的低可见度。例如，下面这种情况可以对应于满足预定条件的情况：由于天气因素(诸如雪、雨、雾、烟雾等)和时间因素(诸如夜晚)可能未识别到包括在周围环境的图像10中的路标10-2，并且可能未辨识路标10-2的含义(路标10-2的词语、形状、形式等)。

参考图1，可以确认包括在周围环境的图像10中的交通标志信息的可见度恶化，并且尤其是可能未识别到路标10-2。在这种情况下，车辆可以获取其中合并了周围环境的图像10和参考图像20的图像，并且基于合并的图像控制车辆的驾驶。在示例中，车辆可以从参考图像20中识别路标20-1，并且通过使用识别到的路标20-1和周围环境的图像10来获取合并的图像。

参考图像20可以指预先存储在车辆中的具有高可见度的图像。在示例中，当车辆可以根据天气因素和时间因素识别包括在车辆通过路线A行驶时捕获的周围环境的图像10中的交通标志信息时，车辆可以存储周围环境的图像10作为参考图像20。在这种情况下，车辆可以将路线A的位置信息与参考图像20一起存储。然而，不限于此，并且作为具有包括在该路线中的交通标志信息的高可见度的图像的参考图像20不限于通过在车辆中准备的相机捕获的图像，并且可以是通过各种方法获取的图像，诸如从外部服务器接收的图像、通过另一车辆捕获的图像等。

在上文中，已经简要描述了车辆通过使用周围环境的图像10和参考图像20来获取合并的图像的操作。在下文中，将详细描述通过由车辆获取合并的图像来控制车辆的驾驶的方法。

图2是示出根据本公开的实施例的车辆的配置的框图。

参考图2，车辆100包括相机110、存储装置120和处理器130。

相机110可以设置在车辆100的内部或外部的多个位置。在这种情况下，车辆100可以通过使用多个相机来捕获车辆100的内部或外部。

特别地，根据本公开的实施例的相机110可以获取车辆100当前正在其中行驶的周围环境的图像10。在示例中，车辆可以获取周围环境的图像10，在该周围环境中，交通标志信息和位于车辆100行驶经过的路线前方的其他行驶车辆被捕获。本文中的交通标志信息可以包括路标、车道、减速带、交通灯、和具有文字的道路标记中的至少一个。

存储装置120存储用于驾驶车辆100的操作系统(operating system，O/S)软件模块、用于车辆100的自动驾驶模式的车辆控制模块、各种通信模块、图像分析软件模块以及各种数据(诸如各种内容)。

存储装置120可以实现为内部存储器，诸如包括在处理器130中的ROM或RAM，或者可以实现为与处理器130分离的存储器。在这种情况下，取决于数据存储的目的，存储装置120可以实现为嵌入在车辆100中的存储器，或者可以实现为可从车辆100拆卸的存储器。例如，用于驾驶车辆100的数据可以存储在嵌入在车辆100中的存储器中，并且用于车辆100的扩展功能的数据可以存储在可从车辆100拆卸的存储器中。嵌入在车辆100中的存储器可以以非易失性存储器、易失性存储器、硬盘驱动器(hard disk drive，HDD)或固态驱动器(solid-state drive，SDD)的形式实现，并且可从车辆100拆卸的存储器可以实现为存储卡(例如，微型SD卡或USB存储器)或可连接到USB端口的外部存储器(例如，USB存储器)。

特别地，存储装置120可以存储多个参考图像20和与多个参考图像20中的每一个相对应的位置信息。在示例中，如果在车辆100的行驶期间通过相机110获取的周围环境的图像10的可见度是包括在周围环境的图像10中的交通标志信息可被识别到的程度，则获取的周围环境的图像10可以存储为参考图像20。在这种情况下，车辆还可以存储与周围环境的图像10相对应的位置信息。

根据本公开的实施例的多个参考图像20可以指存储在存储装置120中的图像，其作为通过车辆中准备的相机110获取的周围环境的图像10当中的具有高可见度的图像。本文中具有高可见度的图像可以指其中处理器130可以通过分析周围环境的图像10来识别包括在周围环境的图像10中的交通标志信息的图像。在下文中，为了便于描述，其中通过分析图像可识别到包括在该图像中的交通标志信息的图像将统称为具有高可见度的图像。

在示例中，在晴天白天期间获取的周围环境的第一图像可以比在阴天晚上获取的该周围环境的第二图像具有相对更高的可见度，因此，周围环境的第一图像可以作为参考图像20存储在存储装置中。然而，不限于此，并且存储在存储装置120中的多个参考图像20可以是从外部服务器接收的图像，可以是通过另一车辆捕获的图像等。

根据本公开的实施例的存储装置120可以存储指示交通标志信息的代表性图像。交通标志信息可以包括路标、车道、减速带、人行横道、交通灯、和具有文字的道路标记中的至少一个。在示例中，如果包括在参考图像20中的交通标志信息中的车道是可识别到的，但是用该车道捕获了不必要的对象，则在合并的图像中，该车道可以被存储在存储装置中的代表性图像的车道来替换。这将参考图6详细描述。

处理器130一般可以控制车辆100的操作。

根据实施例，处理器130可以包括中央处理单元(central processing unit，CPU)、微控制器单元(micro controller unit，MCU)、微处理单元(micro processingunit，MPU)、控制器、应用处理器(application processor，AP)或通信处理器(communication processor，CP)、以及ARM处理器中的一个或多个，或者可以定义为相应的术语。此外，处理器130可以实现为其中嵌入了处理算法的片上系统(system on chip，SoC)或大规模集成电路(large scale integration，LSI)，或者可以实现为现场可编程门阵列(field programmable gate array，FPGA)。

特别地，处理器130可以通过相机110获取车辆当前正在其中行驶的周围环境的图像10，并确定周围环境的图像10的可见度是否满足预定条件。在示例中，处理器130可以分析周围环境的图像10，并且如果识别包括在周围环境的图像10中的交通标志信息是不可能的，则可以确定周围环境的图像10的可见度满足预定条件。在这种情况下，处理器130可以获取存储在存储装置120中的多个参考图像当中的与车辆100的当前位置相对应的参考图像20。

处理器130可以获取其中合并了周围环境的图像10和获取的参考图像20的图像。在示例中，处理器130可以识别获取的参考图像20中的交通标志信息，并且通过用识别到的交通标志信息替换与识别到的交通标志信息相对应的周围环境的图像10中的区域来生成合并的图像。然而，不限于此，周围环境的图像10可以包括通过除了相机110之外的车辆100中准备的各种类型的传感器识别到的对象。在示例中，车辆可以包括RADAR单元、LIDAR单元和图像传感器中的至少一个，并且处理器130可以基于通过RADAR单元、LIDAR单元、图像传感器等识别到的对象来获取周围环境的图像10。根据实施例，在车辆的行驶期间，RADAR单元、LIDAR单元或图像传感器可以检测位于周围部分的动态对象(例如，车辆、行人、自行车或摩托车)，并且处理器可以基于通过相机110获取的图像和通过传感器检测到的动态对象来识别周围环境的图像10。

处理器130可以基于合并的图像控制车辆100的驾驶。在示例中，车辆100可以实现为提供自动驾驶模式的自动驾驶车辆，并且车辆1000可以基于合并的图像执行车辆100的自动驾驶。现有技术中基于具有低可见度的周围环境的图像10执行自动驾驶的车辆100存在这样的问题，即在车辆的自动驾驶期间，由于无法准确地识别该周围部分中的路标、车道等，故障频繁发生。

根据本公开的实施例的处理器130可以获取其中合并了周围环境的图像10和参考图像20的图像，并且在自动驾驶的执行期间通过考虑可见度，基于合并的图像执行自动驾驶，从而显著降低故障的可能性。

如果周围环境的图像10的可见度高于与当前位置信息相对应的参考图像20的可见度，则根据本公开的实施例的处理器130可以用周围环境的图像10更新参考图像20，并将该图像存储在存储装置120中。处理器130可以将包括在周围环境的图像10中的交通标志信息的辨别性和包括在参考图像中的交通标志信息的辨别性彼此进行比较，并且基于比较的结果来确定周围环境的图像10的可见度是否高于参考图像20的可见度。

当从参考图像20被生成的点起经过预定时间段时，根据本公开的另一实施例的处理器130可以将周围环境的图像10的可见度和参考图像20的可见度彼此进行比较。随着时间的推移，诸如路标、车道或道路上的人行横道的交通标志信息可以改变。在经过预定时间段之后，参考图像20有很高的可能性可能无法准确地反映当前交通标志信息，因此，处理器130可以确定从参考图像20被生成的时间点起是否经过了预定时间段，并且如果经过了预定时间段，则更新参考图像20。在示例中，如果车辆正在位置A行驶，并且与位置A相对应的参考图像20是从生成点经过预定时间段之后的图像，则处理器130可以比较通过相机110获取的关于位置A的周围环境的图像10和参考图像20的每个可见度。根据比较的结果，如果周围环境的图像10的可见度高于参考图像20的可见度，则周围环境的图像10可以作为参考图像20存储在存储装置120中。因此，可以执行与位置A相对应的参考图像20的更新。

根据本公开的实施例的车辆100还可以包括推进设备、电源设备、输入设备、输出设备、行驶设备、感测设备、通信器、显示器等。

推进设备可以包括发动机/马达、能源、变速器和车轮/轮胎。

发动机/马达可以是内燃机、电动机、蒸汽机和斯特林(stirling)发动机的任意组合。在示例中，如果车辆100是油-电混合动力汽车，则发动机/马达可以实现为汽油发动机和电动机。

能源可以是为发动机/马达提供动力的能源。也就是说，发动机/马达可以将能量源转换为机械能，并将其用于车辆100的推进。能源可以是汽油、柴油、丙烷、其他基于气体的燃料、乙醇、太阳能电池板、电池和其他电力源中的至少一个，并且可以是燃料箱、电池、电容器和飞轮(flywheel)中的至少一个。

变速器可以将机械动力从发动机/马达传输到车轮/轮胎。例如，变速器可以包括齿轮箱、离合器、差速器和驱动轴中的至少一个。当变速器包括驱动轴时，该驱动轴可以包括配置为与车轮/轮胎结合的一个或多个轴。

车辆100可以包括一个或多个车轮/轮胎。在示例中，车辆100可以包括两个、三个、四个或五个或者更多个车轮/轮胎，因此，车辆100可以实现为两轮车辆、三轮车辆或四轮车辆。车轮/轮胎可以包括至少一个固定附接到变速器的车轮、以及与车轮的轮辋(rim)结合的并且可以与驱动表面接触的至少一个轮胎。

行驶设备可以包括制动器、转向和节气门。

转向可以是被配置为调整自动驾驶车辆方向的机构的组合。

节气门可以是被配置为通过控制发动机/马达的操作速度来控制车辆100的速度的机构的组合。此外，节气门可以通过调整节气门的打开速率来调整进入发动机/马达的燃料空气中的混合气体的量，并且可以通过调整节气门的打开速率来控制动力和推进。

制动器可以是被配置为使车辆100减速的机构的组合。例如，制动器可以使用摩擦来降低车轮/轮胎的速度。

感测设备可以实现为在车辆100的行驶期间检测关于周围环境的信息的多个传感器。在示例中，感测设备可以包括全球定位系统(global positioning system，GPS)、惯性测量单元(inertial measurement unit，IMU)、RADAR单元、LIDAR单元和图像传感器。此外，感测设备可以包括温度/湿度传感器、红外传感器、气压传感器、接近传感器和RGB传感器(照度传感器)中的至少一个，但不限于此，并且可以包括检测关于车辆100的周围环境的信息并将该信息提供给驾驶员和处理器130的各种类型的传感器。

此外，感测设备可以包括能够感测车辆100的移动的移动感测设备。移动感测设备可以包括磁传感器、加速度传感器和陀螺仪传感器。

当获取周围环境的图像10和参考图像20时，GPS是检测车辆100的地理位置的组件，并且处理器130还可以获取通过GPS检测到的位置信息。

IMU可以是被配置为基于惯性加速度来检测车辆100的位置和方向的改变的传感器的组合。例如，传感器的组合可以包括加速器和陀螺仪。

RADAR单元可以是被配置为通过使用无线信号来检测车辆100所处环境中的对象的传感器。此外，RADAR单元可以被配置为检测对象的速度和/或方向。

LIDAR单元可以是被配置为通过使用激光来检测车辆100所处环境中的对象的传感器。

外围设备可以包括导航系统、前灯、闪光灯、雨刷、车内灯、加热器、空调等。

导航系统可以是被配置为确定车辆100的驾驶路线的系统。导航系统可以被配置为在车辆100行驶时动态地更新驾驶路线。例如，导航系统可以使用来自GPS和地图的数据以便确定车辆100的驾驶路线。

特别地，根据本公开的实施例的车辆可以通过导航系统提供合并的图像。在示例中，如果车辆100处于手动驾驶模式，则车辆100可以在包括在导航系统中的显示器上显示合并的图像。在这种情况下，驾驶员通过导航系统接收已经确保了交通标志信息的高可见度的图像，从而增加了车辆驾驶期间的便利性。

通信器可以执行与外部设备的通信。在示例中，通信器可以用有线/无线通信系统执行与外部服务器的通信，并且可以使用诸如蓝牙(BlueTooth，BT)、无线保真(WirelessFidelity，WI-FI)、Zigbee、红外(Infrared，IR)、串行接口、通用串行总线(UniversalSerial Bus，USB)、近场通信(NFC，Near Field Communication)、V2X(Vehicle toEverything，车辆到万物)、移动通信(蜂窝)的通信系统。

通信器可以从外部服务器获取与车辆100的当前位置相对应的交通标志信息，并且处理器130可以通过将通过通信器接收到的交通标志信息添加到合并的图像中来生成图像。

根据本公开的实施例的通信器可以从外部服务器接收与车辆100正在行驶的当前位置、路线等相关的各种信息。在示例中，通信器可以从外部服务器接收天气信息、新闻信息、道路状况信息等。道路状况信息可以指关于车辆100行驶经过通过的路线(或道路)的状况信息。例如，通信器可以接收各种信息，诸如路面状况信息、交通状况信息、交通事故信息、交通执法信息等。处理器130可以将接收到的道路状况信息与合并的图像一起提供给驾驶员。根据实施例，处理器130可以在自动驾驶模式下基于合并的图像和接收到的道路状况信息来执行车辆100的自动驾驶。

显示器可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管、柔性显示器、透视显示器、3D显示器和平视显示器(HUD)中的至少一个。

在示例中，显示器可以实现为包括在车辆100中准备的导航系统中的显示器，或者可以实现为在风挡的区域中显示车辆驾驶信息的HUD。取决于实现方式形式，车辆100可以包括多个显示器。在下文中，为了方便描述，假设显示器实现为HUD，这将参考图5更详细地描述。

根据本公开的实施例的处理器130可以通过显示器提供合并的图像。然而，不限于此，并且处理器130可以仅显示来自与当前位置相对应的参考图像20的识别到的交通标志信息。在示例中，处理器130可以合并识别到的交通标志信息和周围环境的图像10并显示合并的图像，或者可以在增强现实(AR模式)中仅在车辆的风挡上的相应位置显示识别到的交通标志信息。

根据本公开的实施例的处理器130除了通过相机110获取车辆100的前方的部分之外，还可以获取车辆100的右侧和左侧以及后方的部分的图像。此外，处理器130可以基于通过相机110获取的图像和通过车辆中准备的各种类型的传感器获取的动态对象来生成周围环境的图像10。根据实施例，周围环境的图像10不仅可以是通过仅捕获车辆100的前方的部分获得的2D图像，还可以是基于车辆的右侧和左侧以及后方的部分的图像、通过以360度视场捕获车辆100的周围环境而获得的3D图像。然而，不限于此，并且处理器130可以通过在周围环境的图像10上以3D格式呈现通过车辆100中准备的各种类型的传感器检测到的动态对象(例如，邻近车辆、行人等)来提供合并的图像。

图3A和图3B是用于描述根据本公开的实施例的用于获取合并的图像的方法的视图。

参考图3A，如图3A的(a)所示，在车辆100的行驶期间，由于天气因素和时间因素，可见度可能较低。当可见度低时，可能难以识别路标10-2和位于车辆100的前方的行驶车辆10-1，这可能增加事故的风险。

此外，在车辆100的自动驾驶期间，通过相机110获取的周围环境的图像10的可见度与自动驾驶的失败率成反比。在示例中，如果周围环境的图像10的可见度高，则基于周围环境的图像10确定行驶路线的自动驾驶车辆可以以低失效率执行自动驾驶。相反，如果周围环境的图像10的可见度低，则自动驾驶车辆可能以高失效率执行自动驾驶。

因此，当获取与车辆100的位置相对应的参考图像20、包括在参考图像20中的交通标志信息被识别并与周围环境的图像10合并、并且基于合并的图像来控制车辆100的驾驶时，降低事故的风险和失效率是可能的。

如图3A的(b)所示，与车辆100的当前位置相对应的参考图像可以是其中诸如路标20-1的交通标志信息可被识别到的图像。交通标志信息可以指不是实时改变的信息，而是固定的信息，诸如路标20-1、车道、人行横道、减速带和具有文字的道路标记。实时改变的信息是诸如包括在周围环境的图像10中的行驶车辆10-1的信息，并且需要从在当前时间处通过相机110获取的周围环境的图像10中识别关于行驶车辆10-1的信息，而不是从参考图像20中识别关于行驶车辆10-1的信息。

根据本公开的实施例的车辆100可以从图3A的(a)中所示的行驶环境的图像10获取实时信息(例如，行驶车辆10-1)，并且从(b)中所示的参考图像20获取交通标志信息。车辆可以获取合并的图像30，在合并的图像30中合并了获取的行驶环境的图像10和交通标志信息。在示例中，车辆可以基于识别到的交通标志信息，通过用识别到的交通标志信息替换周围环境的图像10上的相应区域来生成合并的图像。可以如图3A的(c)所示表达合并的图像。合并的图像可以包括行驶车辆10-1和路标20-1。

根据本公开的实施例的车辆100可以通过执行对如图3B所示的合并的图像30的呈现来获取呈现的图像40。在示例中，车辆100可以基于合并的图像30确定自动驾驶模式下的行驶路线。在另一示例中，车辆100可以获取呈现的图像40，其中该呈现的图像40是通过从合并的图像30中移除除了用于确定行驶路线的重要因素之外的因素来获得的。本文中的重要因素可以是行驶车辆10-1、交通标志信息(诸如车道或路标20-1)以及影响行驶路线的确定的动态对象(例如，行人、摩托车或自行车)。

根据本公开的实施例的呈现的图像40在以下方面是有利的：比合并的图像30的大小更小，并且当在自动驾驶模式下确定车辆100的行驶路线时，将失效率降低到低于合并的图像的失效率。

图4和图5是用于描述根据本公开的实施例的用于显示合并的图像的方法的视图。

参考图4，除了使用合并的图像30或呈现的图像40，根据本公开的实施例的车辆100还可以向驾驶员提供合并的图像30，以便在自动驾驶模式下确定自动驾驶路线。

在示例中，车辆100可以在车辆100的仪表板或导航系统上准备的显示器上显示合并的图像30。尽管由于天气因素或时间因素，通过风挡有限地识别到路标410和行驶车辆420和430，但是驾驶员可以用显示的合并的图像30驾驶车辆。可以仅在车辆100的手动驾驶模式下提供合并的图像30，但不限于此，并且车辆100可以在自动驾驶模式下基于合并的图像30或呈现的图像40执行自动驾驶，并且同时显示合并的图像30或呈现的图像40。

参考图5，可以通过HUD显示器将合并的图像30或呈现的图像40提供给驾驶员。然而，不限于此，并且车辆100可以使用AR模式显示识别到的交通标志信息。在示例中，车辆100可以在风挡上与路标410相对应的位置显示从参考图像20获取的路标410。在这种情况下，驾驶员可以通过风挡接收交通标志信息，而不受到天气因素或时间因素的任何限制。

图6是用于描述根据本公开的另一实施例的用于获取合并的图像的方法的视图。

根据本公开的实施例的车辆100可以存储与每个交通标志信息相对应的代表性图像。在示例中，与“停止(Stop)”路标相对应的代表性图像可以预先存储在车辆100中。在这种情况下，车辆100可以用合并的图像30中的代表性图像代替“停止”路标。

从参考图像20获取包括在合并的图像30中的交通标志信息，并且如果在参考图像20上的交通标志信息周围包括不必要的信息(例如，涂鸦(graffiti))，则包括在合并的图像30中的交通标志信息可以如原样地包括该不必要的信息。为了获取具有更高可见度的图像，车辆100可以识别合并的图像30中的交通标志信息，并且执行呈现以用每个相应的代表性图像替换识别到的交通标志信息。

例如，参考图6，包括在合并的图像30中的“停止”路标30-1包括不必要的信息，但是可以用代表性图像替换包括在呈现的图像40中的“停止”路标40-1。

图7是描述根据本公开的实施例的用于控制车辆的方法的流程图。

首先，获取车辆当前正在其中行驶的周围环境的图像(S710)。

如果周围环境的图像的可见度满足预定条件(S720：是)，则获取所述多个参考图像当中的与车辆的当前位置相对应的参考图像(S730)。

获取其中合并了周围环境的图像和参考图像的图像(S740)。

基于合并的图像控制车辆的驾驶(S750)。

这里，获取合并的图像的步骤S740可以包括识别包括在参考图像中的交通标志信息，并且通过用识别到的交通标志信息替换周围环境的图像中的相应区域来生成合并的图像。

交通标志信息可以包括路标、车道、减速带、交通灯和具有文字的道路标记中的至少一个。

车辆可以存储指示交通标志信息的代表性图像，并且在获取合并的图像的步骤S740中，可以获取与包括在合并的图像中的至少一条交通标志信息相对应的代表性图像，并且可以用获取的代表性图像替换至少一条交通标志信息。

根据本公开的实施例的控制方法还可以包括从外部服务器获取与当前位置相对应的交通标志信息，并将从外部服务器获取的交通标志信息添加到合并的图像中。

此外，车辆可以包括平视显示器(HUD)，并且控制方法还可以包括通过HUD提供合并的图像和识别到的交通标志信息中的至少一个。

根据本公开的实施例的控制方法还可以包括，基于周围环境的图像的可见度高于与当前位置信息相对应的参考图像的可见度，用周围环境的图像更新参考图像。

根据本公开的实施例的控制方法还可以包括在从参考图像被生成的点起经过预定时间段之后，比较周围环境的图像的可见度和参考图像的可见度，并且基于周围环境的图像的可见度高于参考图像的可见度，用周围环境的图像更新参考图像。

此外，控制车辆的驾驶的步骤S750可以包括，基于车辆处于自动驾驶模式，基于合并的图像执行自动驾驶，并且基于车辆处于手动驾驶模式，通过HUD提供合并的图像和识别到的交通标志信息中的至少一个。

根据上述本公开的实施例的方法的至少一些配置可以以可安装在现有电子设备中的应用的形式来实现。

此外，根据上述本公开的实施例的方法的至少一些配置可以简单地通过现有电子设备中的软件更新或硬件更新来实现。

此外，上述本公开的实施例中的至少一些配置可以通过电子设备中准备的嵌入式服务器或电子设备的外部服务器来执行。

上述实施例可以使用软件、硬件或其组合，在由计算机或类似设备可读的记录介质中实现。在一些情况下，本说明书中描述的实施例可以实现为处理器本身。根据软件方面的实现方式，本说明书中描述的诸如过程和功能的实施例可以实现为软件模块。软件模块中的每一个可以执行本说明书中描述的一个或多个功能和操作。

用于执行根据上述本公开的实施例的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当存储在这种非暂时性计算机可读介质中的计算机指令由处理器执行时，计算机指令可以使特定机器能够执行根据上述实施例的处理操作。

非暂时性计算机可读介质不是短时间段存储数据的介质(诸如寄存器、高速缓存或存储器)，而是指半永久存储数据并可由机器读取的介质。非暂时性计算机可读介质的具体示例可以包括CD、DVD、硬盘、蓝光盘、USB、存储卡和ROM。

在上文中，已经示出并描述了本公开的优选实施例，但是本公开不限于上述具体实施例，在不脱离权利要求中要求保护的本公开的主旨的情况下，本领域技术人员可以做出各种修改，并且不能从本公开的技术精神或前景中单独地理解这样的修改。

Claims (15)

1.一种车辆，包括：

相机；

存储装置，所述存储装置存储多个参考图像和与所述多个参考图像中的每一个相对应的位置信息；以及

处理器，被配置为通过相机获取所述车辆当前正在其中行驶的周围环境的图像，

基于所述周围环境的图像的可见度满足预定条件，获取所述多个参考图像当中的与所述车辆的当前位置相对应的参考图像，

获取其中合并了所述周围环境的图像和所述参考图像的图像，以及

基于合并的图像控制所述车辆的驾驶。

2.根据权利要求1所述的车辆，其中，所述处理器被配置为识别包括在所述参考图像中的交通标志信息，并且通过用识别到的交通标志信息替换所述周围环境的图像中的相应区域来生成合并的图像。

3.根据权利要求2所述的车辆，其中，所述交通标志信息包括路标、车道、减速带、交通灯、和具有文字的道路标记中的至少一个。

4.根据权利要求2所述的车辆，其中，所述存储装置存储指示所述交通标志信息的代表性图像，并且

其中，所述处理器被配置为获取与包括在所述合并的图像中的至少一条交通标志信息相对应的代表性图像，并且用获取的代表性图像替换所述至少一条交通标志信息。

5.根据权利要求2所述的车辆，还包括：

通信器，

其中，所述处理器被配置为

通过所述通信器从外部服务器获取与所述当前位置相对应的交通标志信息，以及

将从所述外部服务器获取的所述交通标志信息添加到所述合并的图像中。

6.根据权利要求2所述的车辆，还包括：

平视显示器HUD，

其中，所述处理器被配置为通过所述HUD提供所述合并的图像和所述识别到的交通标志信息中的至少一个。

7.根据权利要求2所述的车辆，还包括：

平视显示器HUD，

其中，所述处理器被配置为通过执行对所述合并的图像的呈现来获取呈现的图像，将所述呈现的图像存储在所述存储装置中，并且通过所述HUD提供所述呈现的图像，

其中，所述呈现的图像是通过识别所述合并的图像中的动态对象和所述交通标志信息而生成的图像。

8.根据权利要求1所述的车辆，其中，所述处理器被配置为基于所述周围环境的图像的可见度高于与当前位置信息相对应的所述参考图像的可见度，用所述周围环境的图像更新所述参考图像。

9.根据权利要求1所述的车辆，其中，所述处理器被配置为在从基于参考图像被生成的点起经过预定时间段之后，比较所述周围环境的图像的可见度和所述参考图像的可见度，并且

基于所述周围环境的图像的可见度高于所述参考图像的可见度，用所述周围环境的图像更新所述参考图像。

10.根据权利要求1所述的车辆，还包括：

平视显示器HUD，

其中，所述处理器被配置为基于所述车辆处于自动驾驶模式，基于所述合并的图像执行自动驾驶，并且基于所述车辆处于手动驾驶模式，通过所述HUD提供所述合并的图像和所述识别到的交通标志信息中的至少一个。

11.一种用于控制车辆的方法，所述车辆中存储了多个参考图像和与所述多个参考图像中的每一个相对应的位置信息，所述方法包括：

获取所述车辆当前正在其中行驶的周围环境的图像；

基于所述周围环境的图像的可见度满足预定条件，获取所述多个参考图像当中的与所述车辆的当前位置相对应的参考图像；

获取其中合并了所述周围环境的图像和所述参考图像的图像；以及

基于合并的图像控制所述车辆的驾驶。

12.根据权利要求11所述的方法，其中，获取合并的图像包括：

识别包括在所述参考图像中的交通标志信息；以及

通过用识别到的交通标志信息替换所述周围环境的图像中的相应区域来生成合并的图像。

13.根据权利要求12所述的方法，其中，所述交通标志信息包括路标、车道、减速带、交通灯、和具有文字的道路标记中的至少一个。

14.根据权利要求12所述的方法，其中，所述车辆存储指示所述交通标志信息的代表性图像，并且

其中，获取合并的图像包括获取与包括在所述合并的图像中的至少一条交通标志信息相对应的代表性图像，并且用所述获取的代表性图像替换所述至少一条交通标志信息。

15.根据权利要求12所述的方法，还包括：

从外部服务器获取与所述当前位置相对应的交通标志信息；以及

将从所述外部服务器获取的所述交通标志信息添加到所述合并的图像中。

Images