CN109698904A - 摄像机成像器合并技术 - Google Patents

Abstract

提供了用于控制车辆的摄像机的摄像机图像的方法和系统。在某些实施例中，车辆包括摄像机、输入单元以及处理器。输入单元配置为获取与邻近车辆的光图案有关的数据。处理器配置为至少促进：(i)使用该数据来确定邻近车辆的光图案；以及(ii)提供用于基于光图案选择性地合并摄像机图像的指令，该选择性合并包括基于光图案将特定图像或其部分的第一像素合并在一起，而使特定图像的第二像素保持未合并。

Description

摄像机成像器合并技术

技术领域

本技术领域总体上涉及车辆领域，并且更具体地涉及用于控制车辆的摄像机的方法和系统。

背景技术

许多车辆包括提供邻近车辆的视图的一个或多个摄像机。然而，在某些情况下，摄像机可以是不总是在某些情况下提供最佳图像的系统的一部分。

因此，期望提供用于控制车辆中的摄像机的改进方法和系统。另外，通过以下结合附图对示例性实施例和所附权利要求的详细描述，其它期望特征和特性将变得显而易见。

发明内容

根据示例性实施例，提供了一种用于控制车辆的摄像机的摄像机图像的方法。在各种实施例中，该方法包括(i)确定邻近车辆的光图案；以及(ii)基于光图案选择性地合并摄像机图像的像素，该选择性合并包括基于光图案将特定图像或其部分的第一像素合并在一起，而使特定图像的第二像素保持未合并。

同样在某些实施例中，(i)确定光图案的步骤包括：(a)确定光图案的一个或多个亮区，该一个或多个亮区各自具有大于预定阈值的光强度；(b)确定光图案的一个或多个暗区，该一个或多个暗区各自具有小于预定阈值的相应光强度；并且(ii)对于每个摄像机图像，选择性地合并摄像机图像的步骤包括：(a)将与暗区对应的摄像机图像的一个或多个第一部分的像素合并成一个或多个合并像素组；以及(b)使与亮区域对应的摄像机图像的一个或多个第二部分的像素保持未合并。

同样，在某些实施例中，该方法包括确定每个暗区的暗度量；并且对于每个特定暗区，基于特定暗区的暗度量来确定特定暗区的一个或多个合并像素组的大小。

同样，在某些实施例中，车辆包括光传感器；并且确定光图案的步骤包括基于来自光传感器的测量值来确定光图案。

同样，在某些实施例中，车辆包括定位装置；并且

确定光图案的步骤包括基于经由定位装置获取的关于车辆的位置的信息来确定光图案。

同样，在某些实施例中，车辆包括照明系统；并且确定光图案的步骤包括基于照明系统的已知操作来确定光图案。

同样，在某些实施例中，车辆包括照明系统；并且确定光图案的步骤包括基于来自光传感器的数据、来自位置传感器的数据以及照明系统的已知操作来确定光图案。

根据另一个示例性实施例，提供了一种用于控制摄像机的摄像机图像的系统。在各种实施例中，该系统包括输入单元和处理器。输入单元配置为获取与邻近摄像机的光图案有关的数据。处理器配置为至少促进：(i)使用该数据来确定邻近车辆的光图案；以及(ii)提供用于基于光图案选择性地合并摄像机图像的指令，该选择性合并包括基于光图案将特定图像或其部分的第一像素合并在一起，而使特定图像的第二像素保持未合并。

同样在某些实施例中，该处理器配置为至少促进：(i)确定光图案的一个或多个亮区，该一个或多个亮区各自具有大于预定阈值的光强度；(ii)确定光图案的一个或多个暗区，该一个或多个暗区各自具有小于预定阈值的相应光强度；以及(ii)对于每个摄像机图像，通过以下方式提供用于选择性地合并摄像机图像的指令：(a)将与暗区对应的摄像机图像的一个或多个第一部分的像素合并成一个或多个合并像素组；以及(b)使与亮区域对应的摄像机图像的一个或多个第二部分的像素保持未合并。

同样，在某些实施例中，该处理器配置为至少促进：确定每个暗区的暗度量；以及对于每个特定暗区，基于特定暗区的暗度量来确定特定暗区的一个或多个合并像素组的大小。

同样，在某些实施例中，输入单元包括光传感器；并且该处理器配置为至少促进基于来自光传感器的测量值来确定光图案。

同样，在某些实施例中，摄像机在车辆中实施；输入单元包括用于车辆的车辆定位装置；并且该处理器配置为至少促进基于经由车辆定位装置获取的关于车辆的位置的信息来确定光图案。

同样，在某些实施例中，摄像机在具有照明系统的车辆中实施；并且该处理器配置为至少促进基于照明系统的已知操作来确定光图案。

同样，在某些实施例中，输入单元包括光传感器和位置传感器；摄像机在具有照明系统的车辆中实施；并且该处理器配置为至少促进基于来自光传感器的数据、来自位置传感器的数据以及照明系统的已知操作来确定光图案。

根据另一个示例性实施例，提供了一种车辆。在各种实施例中，车辆包括摄像机、输入单元以及处理器。输入单元配置为获取与邻近车辆的光图案有关的数据。处理器配置为至少促进：(i)使用该数据来确定邻近车辆的光图案；以及(ii)提供用于基于光图案选择性地合并摄像机图像的指令，该选择性合并包括基于光图案将特定图像或其部分的第一像素合并在一起，而使特定图像的第二像素保持未合并。

同样，在某些实施例中，输入单元包括光传感器；并且该处理器配置为至少促进基于来自光传感器的测量值来确定光图案。

同样，在某些实施例中，输入单元包括车辆定位装置；并且该处理器配置为至少促进基于经由车辆定位装置获取的关于车辆的位置的信息来确定光图案。

同样，在某些实施例中，车辆包括照明系统；并且该处理器配置为至少促进基于照明系统的已知操作来确定光图案。

同样，在某些实施例中，输入单元包括光传感器和位置传感器；并且该处理器配置为至少促进基于来自光传感器的数据、来自位置传感器的数据以及照明系统的已知操作来确定光图案。

附图说明

下面将结合以下附图描述本公开，其中相似附图标记标示相似元件，并且其中：

图1是根据示例性实施例的包括摄像机和控制系统的车辆的功能框图；

图2是根据示例性实施例的用于控制车辆的摄像机并且可以结合图1的车辆、摄像机以及控制系统来实施的过程的流程图；

图3描绘了根据示例性实施例的被部分地合并且可以结合图2的过程以及图1的摄像机和控制系统来实施的示例性摄像机图像帧的图示；

图4描绘了根据示例性实施例的车辆外部的并且可以结合图2的过程以及图1的摄像机和控制系统来实施的视图的图示，该视图包括暗区和亮区；

图5描绘了根据示例性实施例的用于图5的视图并且可以结合图2的过程以及图1的摄像机和控制系统来实施的示例性摄像机图像帧的图示，该摄像机图像帧包括具有用于该视图的暗区的合并像素的第一部分以及具有用于车辆的亮区的未合并像素的第二部分；

图6描绘了根据示例性实施例的车辆外部的并且可以结合图2的过程以及图1的摄像机和控制系统来实施的视图的图示，该视图包括暗区和亮区，该暗区和亮区由车辆内部的驾驶员所体验、连同描绘车辆旁边的行人的警告系统一起描绘；

图7描绘了是根据示例性实施例的图6的视图的俯视图，其中视图从车辆上方体验到；并且

图8描绘了根据示例性实施例的用于图6和7的视图并且可以结合图2的过程以及图1的摄像机和控制系统来实施的示例性摄像机图像帧的图示，该摄像机图像帧包括具有用于该视图的暗区的合并像素的第一部分以及具有用于车辆的亮区的未合并像素的第二部分。

具体实施方式

具体实施方式仅仅具有示例性本质并且不旨在限制本公开或其应用和使用。另外，不存在被任何前述的技术背景或具体实施方式中提出的任何理论约束的意图。

图1说明了根据示例性实施例的车辆100。如下面进一步详细描述的，车辆100包括一个或多个摄像机102、控制系统104以及显示器106。

在各种实施例中，车辆100包括汽车。车辆100可以为多种不同类型的汽车中的任何一种，诸如例如轿车、货车、卡车或越野车(SUV)，并且可以为两轮驱动(2WD)(即，后轮驱动或前轮驱动)、四轮驱动(4WD)或全轮驱动(AWD)，和/或某些实施例中的各种其它类型的车辆。在某些实施例中，车辆100还可以包括摩托车或其它车辆，或者具有带固定参考点的摄像机图像的其它系统。

在各种实施例中，车辆100包括被布置在底盘150上的车身140。车身140大致上包围车辆100的其它部件。车身140和底盘150可以共同形成框架。车辆100还包括多个车轮160。车轮160各自在车身140的相应拐角附近旋转地联接到底盘150，以促进车辆100的移动。在一个实施例中，车辆100包括四个车轮160，但是在其它实施例中(例如对于卡车和某些其它车辆)这可以是不同的。

驱动系统170安装在底盘150上并且驱动车轮160。驱动系统170优选地包括推进系统。在某些示例性实施例中，驱动系统170包括与其变速器联接的内燃机和/或电动机/发电机。在某些实施例中，驱动系统170可以改变，和/或可以使用两个或更多个驱动系统170。作为示例，车辆100还可结合有多种不同类型的推进系统中的任何一种或其组合，诸如例如汽油或柴油燃料燃烧发动机、“混合燃料车辆”(FFV)发动机(即，使用汽油和酒精的混合物)、气态化合物(例如，氢气和/或天然气)燃料发动机、燃烧/电动机混合动力发动机以及电动机。

在各种实施例中，车辆100还包括一个或多个其它系统105。例如，在某些实施例中，其它系统105包括影响车辆100内部或外部的光条件的一个或多个照明系统(例如，前灯系统和/或其它外部、内部和/或其它灯或照明系统)。

如图1中所描绘，在各种实施例中，摄像机102可以被设置在车辆100内或车辆上的任何数量的位置处。例如，摄像机102可以被设置在车辆100的前部或朝向车辆100的前部、车辆的后部、车辆100的驾驶员和/或乘客侧，和/或车辆100内部或车辆上的任何数量的其它位置。

如图1中所描绘，在各种实施例中，每个摄像机102包括相应的成像器103。在各种实施例中，成像器103内置为摄像机102的一部分。同样在某些实施例中，成像器103包括内置图像传感器和/或内置光传感器以用于确定摄像机102的摄像机图像的不同像素和像素组的电压。

摄像机102提供邻近车辆100的视图的图像(例如，车辆100外部和/或内部的视图的图像)。在各种实施例中，摄像机图像提供用于在一个或多个显示器106上观看，该一个或多个显示器被设置在车辆100内部(即，在车辆100的车身140内部)，和/或提供用于一个或多个其它车辆单元和/或系统的图像，例如用于机器视觉应用，诸如行人检测或物体检测等。在某些实施例中，显示器106是车辆100的中央控制台的一部分。在各种实施例中，显示器106可以为无线电显示器、导航显示器和/或其它显示器的一部分，例如作为中央控制台的一部分或邻近中央控制台。在某些其它实施例中，显示器106可为一个或多个其它车辆100部件的一部分，诸如后视镜。在一个示例性实施例中，显示器106包括液晶显示器(LCD)屏幕或发光二极管(LED)屏幕。然而，这在其它实施例中可以不同。同样在某些实施例中，摄像机102为车辆100提供其它图像和/或其它信息(例如，向车辆控制系统提供信息以用于车辆控制)。在各种实施例中，摄像机图像可以包括静止图像和/或视频图像。

同样在各种实施例中，摄像机102可以提供车辆外部((例如，在车辆100的前方、在车辆100的后方、在车辆100的驾驶员侧外部、在车辆100的乘客侧外部、在车辆100上方、在车辆100下方、在车辆100内部、其间的各种角度和/或其组合，等等)的任何数量的不同视图的摄像机图像(例如，静止摄像机图像和/或视频摄像机图像)。

如图1中所描绘，经由控制系统104控制摄像机102。在各种实施例中，控制系统104基于邻近车辆100的光图案来控制用于摄像机102的成像器103的摄像机102的像素的选择性合并，例如，如下面结合图2的过程200以及图3到8的图示进一步讨论的那样。同样在各种实施例中，控制系统104还为摄像机102提供其它功能，诸如摄像机图像的处理、用于显示图像的指令等等。如图1中所描绘，在某些实施例中，单个控制系统104可以对车辆100的每个摄像机102执行这样的功能。在某些其它实施例中，多个控制系统104可以用于不同的相应摄像机102。另外，在某些实施例中，控制系统104可以耦合到相应的摄像机102，并且在其它实施例中，控制系统104可以是相应摄像机102的一部分(例如，作为其成像器103的一部分)。

同样如图1中所描绘，在各种实施例中，控制系统104经由通信链路109耦合到摄像机102，并且经由通信链路109从摄像机102接收摄像机图像。在某些实施例中，通信链路109包括一个或多个有线连接，诸如一根或多根电缆(例如，同轴电缆和/或一根或多根其它类型的电缆)。在其它实施例中，通信链路109可以包括例如使用收发器(图1中未描绘)的一个或多个无线连接。在又其它实施例中，如上所述，控制系统104(和/或其某些部件)可以是摄像机102的一部分。

如图1中所描绘，控制系统104包括一个或多个传感器108、一个或多个定位装置110以及控制器112。同样在某些实施例中，控制系统104还可以包括一个或多个摄像机102的一部分(例如，摄像机的成像器(或图像信号处理器(ISP))103)和/或摄像机的一个或多个部件，和/或是它们的一部分。

一个或多个传感器108生成传感器数据，并且将传感器数据提供给控制器112以进行处理。如图1中所描绘，一个或多个传感器108包括一个或多个光传感器114和图像传感器115。

在各种实施例中，光传感器114检测车辆100外部和/或内部的光条件。在各种实施例中，光传感器114获取指示包括或将要包括在摄像机102的摄像机图像中的不同区域是“亮区”还是“暗区”(基于特定区域中的光强度)的数据以供控制器112使用来选择性地合并用于摄像机102的摄像机图像的像素。在某些实施例中，光传感器114测量车辆100外部的区域的光，这些区域将包括在摄像机102(例如，朝外摄像机)的摄像机图像中。同样在某些实施例中，光传感器114还测量车辆100内部的区域的光，这些区域将包括在摄像机102(例如，朝内摄像机)的摄像机图像中。在某些实施例中，光传感器114是摄像机102的一部分。

在各种实施例中，图像传感器115测量摄像机图像(例如，摄像机图像帧)的不同像素的电压。在某些实施例中，图像传感器115是摄像机102的一部分(例如，作为摄像机的成像器103的一部分)。

一个或多个定位装置110生成位置数据，并且将位置数据提供给控制器112以进行处理。如图1中所描绘，一个或多个定位装置110包括接收器116(例如，收发器)以用于获取关于车辆100正在行驶的位置的信息。在某些实施例中，接收器116是基于卫星的定位系统(诸如全球定位系统(GPS))的一部分。在某些其它实施例中，接收器116可以参与一种或多种其它类型的通信(例如，蜂窝和/或其它无线车对车通信、车辆对基础设施通信等等)。在某些实施例中，一个或多个接收器116还可以从图1的一个或多个其它系统105(例如，车辆前灯系统或其它灯系统)获取系统数据。

在各种实施例中，控制器112耦合到摄像机102(例如，摄像机的成像器103)，以及耦合到一个或多个传感器108和定位装置110，以及一个或多个其它系统105(例如，车辆前灯系统、车辆内部照明系统和/或一个或多个其它车灯系统)。同样在各种实施例中，控制器112控制摄像机102及摄像机的成像器103的操作。

在各种实施例中，控制器112基于将要包括在摄像机图像中的各种区域是“亮区”还是“暗区”(例如，根据光强度)来选择性地合并摄像机102的摄像机图像的某些像素，亮区或暗区是基于由传感器108提供的数据(例如，由图像传感器115测量的像素的电压测量值和/或由光传感器114测量的光条件)、由定位装置110提供的数据(例如，诸如与使用来自接收器116的数据识别的某些光条件相关联的物理位置，诸如隧道)和/或由一个或多个其它车辆系统105提供的数据(例如，通过车辆前灯系统、车辆内部照明系统和/或其它车灯系统的已知操作，例如包括通过车灯系统在车辆的前方、后方或一个或多个侧面的已知投影)来确定的。

如图1中所描绘，控制器112包括计算机系统。在某些实施例中，控制器112还可以包括一个或多个摄像机102、传感器108、定位装置110、其它车辆系统105和/或其部件。另外，应当明白，控制器112可以在其它方面不同于图1中所描绘的实施例。例如，控制器112可以耦合到或者可以其它方式利用一个或多个远程计算机系统和/或其它控制系统，例如作为上述车辆100的装置和系统中的一个或多个的一部分。

在所描绘的实施例中，控制器112的计算机系统包括处理器118、存储器120、接口122、存储装置124以及总线126。处理器118对控制器112执行计算和控制功能，并且可以包括任何类型的处理器或多个处理器、诸如微处理器等单个集成电路，或者协同工作以完成处理单元的功能的任何合适数量的集成电路装置和/或电路板。在操作期间，处理器118实行包含在存储器120内的一个或多个程序128，并且因而通常在实行本文所述的过程(诸如下面结合图2进一步描述的过程200以及下面结合图3到8进一步讨论的实施方案)时控制该控制器112和控制器112的计算机系统的一般操作。

存储器120可以是任何类型的合适存储器。例如，存储器120可以包括各种类型的动态随机存取存储器(DRAM)(诸如SDRAM)、各种类型的静态RAM(SRAM)，以及各种类型的非易失性存储器(PROM、EPROM以及闪存)。在某些示例中，存储器120与处理器118位于和/或共同位于相同的计算机芯片上。在所描绘的实施例中，存储器120存储上述程序128连同一个或多个存储值130。

总线126用于在控制器112的计算机系统的各种部件之间传输程序、数据、状态以及其它信息或信号。接口122允许例如从系统驱动器和/或另一个计算机系统传送到控制器112的计算机系统，并且可以使用任何合适的方法和设备来实施。在一个实施例中，接口122从摄像机102、传感器108、定位装置110以及其它车辆系统105获取关于光图案的各种数据，并且处理器118基于该数据来确定光图案。

同样在各种实施例中，参考接口122连同传感器108、定位装置110、摄像机102(例如，成像器103和/或其传感器)和/或其它车辆系统105可以成为一个或多个输入单元，该输入单元确认处理器118使用来确定邻近车辆100的光图案的这种数据。在各种实施例中，接口122可以包括一个或多个网络接口以与其它系统或部件进行通信。接口122还可以包括一个或多个网络接口以与技术人员进行通信，和/或包括一个或多个存储接口以连接到存储设备，诸如存储装置124。

存储装置124可以是任何合适类型的存储设备，包括直接存取存储装置，诸如硬盘驱动器、闪存系统、软盘驱动器以及光盘驱动器。在一个示例性实施例中，存储装置124包括程序产品，存储器120可以从该程序产品中接收实行本公开的一个或多个过程(诸如下文结合图3进一步描述的过程300的步骤(和任何子过程))的一个或多个实施例的程序128。在另一个示例性实施例中，程序产品可以直接存储在诸如下面引用的存储器120和/或磁盘(例如，磁盘132)中和/或以其它方式访问。

总线126可以是连接计算机系统和部件的任何合适的物理或逻辑装置。这包括但不限于直接硬连线连接、光纤、红外以及无线总线技术。在操作期间，程序128存储在存储器120中并且由处理器118实行。

应当明白，虽然在完全运转的计算机系统的背景下描述了该示例性实施例，但是本领域技术人员将认识到，本公开的机制能够作为程序产品分配，其中一个或多个类型的非暂时性计算机可读信号承载介质用于存储程序和其指令并且执行其分配，诸如非暂时性计算机可读介质承载该程序并且包含存储在其中的计算机指令用于使计算机处理器(诸如处理器118)来执行和实行程序。这样的程序产品可以采用各种形式，且本公开同等地适用，而不考虑用于执行分配的计算机可读信号承载介质的具体类型。信号承载介质的示例包括：可记录介质，诸如软盘、硬盘驱动器、存储卡和光盘，以及传输介质，诸如数字和模拟通信链路。应当明白，在某些实施例中也可以利用基于云的存储和/或其它技术。可以类似地明白，控制器112的计算机系统也可以在其它方面不同于图1所描绘的实施例不同，例如，不同之处在于控制器112的计算机系统可以耦合到或可以其它方式利用一个或多个远程计算机系统和/或其它控制系统。

图2是根据示例性实施例的用于控制车辆的摄像机的过程的流程图。根据示例性实施例，过程200可以结合图1的车辆100、摄像机102、控制系统104以及显示器106来实施。

如图2中所描绘，过程200开始于步骤202。在某些实施例中，过程200在车辆驾驶或点火循环开始时开始，例如在驾驶员接近或进入车辆100时或者在驾驶员开启车辆和/或车辆的点火装置时(例如，通过转动钥匙、接合钥匙扣或启动按钮等等)时开始。在某些其它实施例中，过程200在摄像机102被激活时开始(例如，在车辆100在摄像机102开启的情况下操作时开始，等等)。在某些实施例中，过程200的步骤在车辆的操作期间连续地执行。

在各种实施例中，获取光传感器数据(步骤204)。在某些实施例中，从图1的光传感器114获取关于车辆100内和车辆100外部/周围的光条件的传感器数据，其包括可能包括在摄像机102的摄像机图像中的区域。同样在各种实施例中，将光传感器数据提供给图1的处理器118。

在各种实施例中，获取系统数据(步骤205)。在某些实施例中，从图1的一个或多个其它系统105获取系统数据，该其它系统诸如影响车辆100内部或外部的光条件的前灯系统、内部照明系统和/或其它车灯系统(例如，其已知的操作)。例如，在某些实施例中，系统数据包括用于前灯系统、内部照明系统和/或其它照明系统的操作数据，其包括邻近车辆100(例如，车辆100内部或外部)的已知或预期的光图案，该光图案基于这样的系统105对可能包括在摄像机102的摄像机图像中的区域的操作(例如，基于这样的系统的操作指令)。在某些实施例中，经由图1的接口122和/或一个或多个接收器116接收系统数据。同样在各种实施例中，将系统数据提供给图1的处理器118以进行处理。

在各种实施例中，获取位置数据(步骤206)。在各种实施例中，从图1的定位装置110获取关于车辆相对于可能影响车辆100内或周围的光图案的一个或多个物理结构或物体的当前位置的位置数据。在某些实施例中，经由图1的接收器116获取位置数据，该接收器例如作为基于卫星的定位系统(例如，GPS系统)和/或一个或多个其它通信系统(例如，经由车对车和/或车辆对基础设施通信)的一部分或来自基于卫星的定位系统和/或一个或多个其它通信系统。同样在某些实施例中，仅作为示例，物理结构或物体可以包括街灯、隧道、桥梁、山脉、摩天大楼、其它建筑物、大型岩层、植被、树木和/或可能影响车辆100内部或外部的光图案的其它物理结构或物体。作为示例，当车辆100接近、驶过或进入隧道时，车辆100内部或外部的某些区域在各个时间点可以更亮或更暗。作为附加的示例，如果山脉、摩天大楼、植被等在车辆100的特定侧面，则这可能影响车辆100内或周围的不同区域处的光图案，等等。作为另一个示例，如果街灯在车辆100的特定侧面，则这也可能影响车辆100内或周围的不同区域处的光图案，等等。同样在各种实施例中，将位置数据提供给图1的处理器118以进行处理。

在某些实施例中，获取初始摄像机图像和与其相关的数据(步骤208)。在各种实施例中，在步骤208处获取来自图1的一个或多个摄像机102的初始摄像机图像连同由图1的一个或多个图像传感器115测量的摄像机图像的各种像素的初始电压信息和/或测量值。同样在各种实施例中，将该信息(例如，电压信息)提供给图1的处理器118以进行处理，用于在后续摄像机图像中(例如，在后续帧中)选择性地合并像素。

确定车辆100的光图案(步骤210)。在各种实施例中，图1的处理器118基于步骤204的传感器数据、步骤205的系统数据、步骤206的位置数据和/或步骤208的初始摄像机图像数据来确定邻近车辆100的一个或多个光图案。同样在各种实施例中，在步骤210中确定的光图案包括在车辆100内部或外部的各个位置(在本文中也称为区域(region、area))的光的图案(例如，相对光强度图案)，这些位置可能包括在由车辆100的一个或多个摄像机102捕获的摄像机图像内。

例如，在摄像机102指向车辆100内部以从车辆100内捕获图像的某些实施例中，然后将确定车辆100内部可能被来自摄像机102的摄像机图像捕获的区域的光图案。类似地，在其中摄像机102在一个或多个方向上指向车辆100外部以捕获车辆100外部的图像的某些实施例中，然后将确定车辆100外部(例如，在某些实施例中，在摄像机102所指向的每个方向上)可能被来自摄像机102的摄像机图像捕获的每个区域的光图案。

确定任何区域是否为暗区(步骤212)。在某些实施例中，针对每个摄像机102进行如下单独确定：预期由特定摄像机102的摄像机图像捕获的至少一个区域是否为暗的。在某些实施例中，图1的处理器118进行这些确定。同样在某些实施例中，如果区域的光强度小于预定阈值，则使用步骤210的光图案(即，使用步骤204的光传感器数据、步骤205的系统数据、步骤206的位置数据，和/或步骤208的初始图像数据)来确定该区域为“暗区”。相反，在某些实施例中，如果区域的光强度大于预定阈值，则使用步骤210的光图案来确定该区域为“亮区”。

如果在步骤212处确定没有区域为“暗区”，则不执行合并(步骤214)。具体地，在某些实施例中，对于其中在摄像机102的摄像机图像中不包括“暗区”(即，该摄像机102的所有区域为“亮区”)的特定摄像机102，然后在步骤214期间，不对该特定摄像机102的图像执行合并。相反，在步骤214处，该特定摄像机102的所有像素保持未合并。具体地，在各种实施例中，由于“亮区”，不需要合并，因此通过不对像素进行合并来获取更高的分辨率。另外，在各种实施例中，在步骤214之后，根据处理器118提供的指令获取并处理未合并的摄像机图像，并且将该摄像机图像提供用于在车辆100的一个或多个显示器106上观看(步骤216)。该过程然后进行到下面进一步讨论的步骤228。

相反，如果在步骤211处确定至少一个区域为暗的，则确定是否有任何区域为亮区(步骤217)。在某些实施例中，针对每个摄像机102进行如下单独确定：预期由特定摄像机102的摄像机图像捕获的至少一个区域是否为亮区。在某些实施例中，图1的处理器118进行这些确定。

如果在步骤217处确定没有区域为亮区，则执行完全合并(步骤218到220)。具体地，在某些实施例中，对于其中在摄像机102的摄像机图像中不包括“亮区”(即，该摄像机102的所有区域为“暗区”)的特定摄像机102，然后在步骤218到220期间，对该特定摄像机102的图像的所有(或大致上所有)像素执行合并。在各种实施例中，这允许改进在黑暗中对摄像机图像的处理，因为合并的像素分组大于单个像素，导致光电二极管的电压电平增加，使得用户可以在摄像机图像中看到更多的光。

具体地，在某些实施例中，在步骤218处，基于光图案来评估每个暗区的暗度等级。在各种实施例中，图1的处理器118基于步骤210的光图案来执行评估。

同样在某些实施例中，在步骤219处，基于特定暗区的暗度等级来为每个暗区选择合并量。在各种实施例中，被认为相对“不太暗”的区域(例如，光强度小于第一预定阈值被表征为“暗”区但是不小于第二预定阈值被表征为“非常暗”的区域)被分配第一大小的合并像素组，该第一大小小于“非常暗”的区域(例如，光强度小于第二预定阈值)的合并像素组的第二大小。例如，在某些实施例中，“不太暗”区域可以被分配2×2组合并像素，而“非常暗”的区域可以被分配4×4组合并像素，等等(数字和大小在不同的实施例中可以不同)。在各种实施例中，图1的处理器118确定对合并像素组的大小的选择(或分配)。

同样在各种实施例中，在步骤220处执行合并。具体地，在各种实施例中，对于其中预期在摄像机102的摄像机图像中不包括“亮区”(即，该摄像机102的所有区域为“暗区”)的特定摄像机102，然后在步骤220期间，对该特定摄像机102的图像的所有(或大致上所有)像素执行合并。同样在各种实施例中，在步骤220期间，对于每个暗区，基于每个区域的暗度等级来确定合并像素组的大小(例如，在某些实施例中，“非常暗”的区域的合并区域的大小大于“不太暗”的区域，等等)。

另外，在各种实施例中，在步骤220之后，根据处理器118提供的指令获取并处理完全合并的摄像机图像，并且将该摄像机图像提供用于在车辆100的一个或多个显示器106上观看(步骤221)。该过程然后进行到下面进一步讨论的步骤228。

相反，如果在步骤217处确定至少一个区域，则执行部分(或选择性)合并(步骤222到224)。具体地，在某些实施例中，对于其中一些“亮区”和一些“暗区”都预期包括在摄像机102的摄像机图像中的特定摄像机102，然后在步骤222到224期间，对该特定摄像机102的图像的一些但不是全部的像素执行选择性地合并。具体地，在某些实施例中，对于该摄像机102的每个图像帧，对“暗区”执行合并，而不对帧的“亮区”执行合并。在各种实施例中，这允许在黑暗中针对“暗区”改进对摄像机图像的处理，同时还针对“亮区”保持改进摄像机图像的分辨率。

具体地，在某些实施例中，在步骤222(类似于上面讨论的步骤218)处，基于光图案来评估每个暗区的暗度等级。在各种实施例中，图1的处理器118基于步骤210的光图案来执行评估。

同样在某些实施例中，在步骤223(类似于上面讨论的步骤219)处，基于特定暗区的暗度等级来为每个暗区选择合并量。在各种实施例中，被认为相对“不太暗”的区域(例如，光强度小于第一预定阈值被表征为“暗”区但是不小于第二预定阈值被表征为“非常暗”的区域)被分配第一大小的合并像素组，该第一大小小于“非常暗”的区域(例如，光强度小于第二预定阈值)的合并像素组的第二大小。例如，在某些实施例中，“不太暗”区域可以被分配2×2组合并像素，而“非常暗”的区域可以被分配4×4组合并像素，等等(数字和大小在不同的实施例中可以不同)。在各种实施例中，图1的处理器118确定对合并像素组的大小的选择(或分配)。

同样在各种实施例中，在步骤224处执行选择性合并。具体地，在某些实施例中，对于其中一些“亮区”和一些“暗区”都预期包括在摄像机102的摄像机图像中的特定摄像机102，然后在步骤224期间，对该特定摄像机102的图像的一些但不是全部的像素执行选择性地合并。具体地，在某些实施例中，对于该摄像机102的每个图像帧，对“暗区”执行合并，而不对帧的“亮区”执行合并。同样在各种实施例中，在步骤224期间，对于每个暗区，基于每个区域的暗度等级来确定合并像素组的大小(例如，在某些实施例中，“非常暗”的区域的合并区域的大小大于“不太暗”的区域，等等)。

另外，在各种实施例中，在步骤224之后，根据处理器118提供的指令获取并处理部分合并的摄像机图像，并且将该摄像机图像提供用于在车辆100的一个或多个显示器106上观看(步骤226)。该过程然后进行到下面进一步讨论的步骤228。

图3到8针对在步骤224中(具体是其中某些区域为“暗区”而某些其它区域为“亮区”(例如对于特定摄像机102))实施选择性合并描绘了图2的过程200的某些步骤的各种说明性示例。

首先，图3描绘了根据示例性实施例的被部分合并的示例性摄像机图像帧300的图示。根据示例性实施例，图3的图像帧300可以结合图2的过程200以及图1的摄像机102和控制系统104来实施。

具体地，在图3的示例中，帧300包括多个像素301。在图3的示例性帧300中，提供16×16像素阵列301(即，总共256个像素)。像素301中的一些像素被合并，而像素301中的其它像素未被合并。在所描绘的实施例中，多个合并区域302、304可以用于合并帧300的像素301。在其它实施例中，也可以利用单个数量的合并区域，或者两个以上的合并区域。同样如图3中所描绘，不在合并区域302、304中的像素301是用于帧300的非合并区域306的一部分。

如图3中所说明，在某些实施例中，相邻像素301被合并在一起作为合并区域302、304的一部分。在某些实施例中，像素301不需要相邻地合并。例如，在某些实施例中，像素301可以彼此相对接近(例如，仅由几个其它像素301或更少的像素分开)以作为合并的候选者。同样在某些实施例中，相同颜色(例如，同一颜色)的像素301被合并在一起。

在图3的示例中，第一合并区域302包括六个合并像素组308。对于2×2合并像素组308，第一区域302的每个合并像素组308在所描绘的实施例中具有合并在一起的四个像素301。同样在图3的示例中，第二合并区域302包括两个合并像素组310。在该特定示例中，对于4×4像素组310，在所描绘的实施例中，第二区域304的每个合并像素组310具有合并在一起的十六个像素301。然而，这在其它示例中可以不同。例如，在各种实施例中，第一合并区域302可以包括2×2块的任何组合，第二合并区域304可以包括4×4块的任何组合，等等。同样在各种实施例中，关于如何实现合并，可以存在任何数量的不同大小和/或形状。

在各种实施例中，第一合并区域302和第二合并区域304对应于被确定为“暗区”的区域(例如，确定光强度小于预定阈值)。相反，在各种实施例中，未合并区域306对应于被确定为“亮区”的区域(例如，确定光强度大于预定阈值)。应当明白，不同的合并和未合并区域的数量和本质在其它示例和/或其它实施例中可以不同。

同样在各种实施例中，对于不同的“暗区”，不同区域的合并像素组的大小可以基于不同暗区的相对暗度而变化。例如，类似于上面关于图2的过程200的讨论，在各种实施例中，“不太暗”区域可以包括图3的第一区域302的2×2合并组308，而“非常暗”的区域可以包括图4的第二区域的4×4合并像素组310，等等(根据上面的讨论，应当明白，合并像素组的特定数量和/或大小在不同的实施例中可以不同)。

图4描绘了根据示例性实施例的车辆外部的视图400的图示，该视图包括“暗区”402和“亮区”404。根据示例性实施例，图4的视图400可以结合图2的过程200以及图1的摄像机102和控制系统104来实施。在各种实施例中，图4的视图400包括当车辆100沿着道路405行驶时车辆100前方的视图。在各种实施例中，图4的示例性视图400包括视图400的上部中的“暗区”402和视图400的下部中的“亮区”404。在各种实施例中，“暗区”402具有小于预定阈值的光强度，而“亮区”404具有大于预定阈值的光强度。

在所描绘的实施例中，车辆100的灯系统(例如，经由前灯系统和/或图1的其它系统105的其它灯系统)为道路405上的车辆100前方的“亮区”404提供光直到某个高度，由此为“亮区”404提供光。同样在所描绘的实施例中，“暗区”402包括在前灯和/或其它灯的范围上方的区域，由此导致更暗的视图。在各种实施例中，可以通过前灯系统和/或来自车辆100的其它照明系统的光的已知或预期投影图案来确定“亮区”和“暗区”。在其它实施例中，可以基于由图像传感器115测量的初始摄像机图像的像素的电压的测量值来确定“亮区”和“暗区”。

图5描绘了根据示例性实施例的用于图4的视图400的示例性摄像机图像帧500的图示。因此，在各种实施例中，图5的摄像机图像帧500可以结合图2的过程200以及图1的摄像机102和控制系统104来实施。

如图5中所描绘，帧500包括合并区域502和未合并区域504。在各种实施例中，合并区域502用于与图4的“暗区”402对应的图像/帧的部分。同样在各种实施例中，未合并区域504用于与图4的“亮区”404的图像/帧的部分。

在各种实施例中，合并区域502包括按组分组在一起的像素510。具体地，在图5的示例中，合并区域502包括八个合并像素组512。对于2×2合并像素组512，合并区域502的每个合并像素组512在所描绘的实施例中具有合并在一起的四个像素510。在各种实施例中，像素510和/或合并像素组512的数量、大小和/或配置可以不同。在各种实施例中，合并像素组512例如通过增加与“暗区”402对应的图像的有效像素大小和电压提供对图4的“暗区”402中的图像的更鲁棒的观看。

同样在各种实施例中，未合并区域504包括未按组合在一起的像素520。具体地，在图5的示例中，未合并区域504包括未合并在一起的3×8像素阵列520。在各种实施例中，未合并像素520的数量和/或放置可以不同。在各种实施例中，未合并区域提供图4的“亮区”404中的图像的增加的分辨率。

如上所述，应当明白，图5的帧500的合并区域502和未合并区域504的配置在其它实施例中可以不同。另外，虽然合并区域502和未合并区域504被描绘为彼此大小相同，但是应当明白，这在不同实施例中可以类似地变化(例如，这可以基于图4的“暗区”402和“亮区”404相对大小而变化，等等)。

图6描绘了根据示例性实施例的由车辆100内的驾驶员或其它乘员观看的车辆外部的视图600的图示。在各种实施例中，视图600包括从道路605中间直到某个高度的“亮区”604(例如，与车辆前灯的覆盖范围对应)，该高度被侧面上的“暗区”602围绕以及在“亮区”604上方。在各种实施例中，“亮区”604具有大于预定阈值的光强度，而“暗区”602具有小于预定阈值的光强度。根据示例性实施例，图6的视图600可以结合图2的过程200以及图1的摄像机102和控制系统104来实施。

在所描绘的实施例中，车辆100的灯(例如，经由前灯系统和/或图1的其它系统105的其它灯系统)为车辆前方的“亮区”604提供光，该亮区沿着车辆100居中的道路的一部分、从道路605的高度直到某个高度100。同样在所描绘的实施例中，“暗区”602包括位于“亮区”604的右侧、左侧以及上方的区域，并且(即，在来自车辆前灯和/或其它灯的光的集中点的左侧、右侧以及上方的区域)。在各种实施例中，可以通过来自车辆100的前灯系统的已知或预期投影图案来确定“亮区”和“暗区”。在其它实施例中，可以基于由图像传感器115测量的初始摄像机图像的像素的电压的测量值来确定“亮区”和“暗区”。同样在所描绘的实施例中是显示器606，其示出了车辆100的一侧的行人608。

图7描绘了根据示例性实施例的车辆外部的视图700的图示，其对应于图6的场景但是以从车辆100沿着道路705行驶时从车辆上方观察的俯视图来示出。在各种实施例中，视图700包括在车辆100正前方的“亮区”704，其对应于图6的“亮区”604。同样在各种实施例中，视图700还包括在“亮区”704的侧面上的“暗区”702(并且还将包括在“亮区”704上方的未描绘的“暗区”702)，其中“暗区”702对应于图6的“暗区”602。同样图7描绘了被设置在车辆100旁边的“暗区”702中的行人708(例如，与图6的行人608对应)。

图8描绘了根据示例性实施例的用于图6和7的视图600、700的示例性摄像机图像帧800的图示。因此，在各种实施例中，图8的摄像机图像帧800可以结合图2的过程200以及图1的摄像机102和控制系统104来实施。

如图8中所描绘，帧800包括合并区域802和未合并区域804。在各种实施例中，合并区域802用于与图6和7的“暗区”602、702对应的图像/帧的部分。同样在各种实施例中，未合并区域804用于与图6和7的“亮区”604、704对应的图像/帧的部分。

在各种实施例中，合并区域802包括按组分组在一起的像素810。具体地，在图8的示例中，合并区域802包括二十四个合并像素组812。对于2×2合并像素组812，合并区域802的每个合并像素组812在所描绘的实施例中具有合并在一起的四个像素810。在各种实施例中，像素810和/或合并像素组812的数量、大小和/或配置可以不同。在各种实施例中，合并像素组812例如通过增加与“暗区”602、702对应的图像的有效像素大小和电压提供对图6和7的“暗区”602、702中的图像的更鲁棒的观看。

同样在各种实施例中，未合并区域804包括未按组合在一起的像素820。具体地，在图8的示例中，未合并区域804包括未合并在一起的3×6像素阵列820。然而，这在其它实施例中可以不同。在各种实施例中，未合并像素820的数量和/或放置可以不同。在各种实施例中，未合并区域提供图6和7的“亮区”604、704中的图像的增加的分辨率。如上所述，应当明白，图8的帧800的合并区域802和未合并区域804的配置在其它实施例中可以不同。

虽然图4到8提供了涉及车辆前方被车灯(例如，前灯)部分照明的区域的某些实施例的说明性示例，但是应当明白，本文公开的技术可以类似地在其它接触中实施。例如，选择性像素合并可以类似地针对车辆100的其它照明系统来实施，例如在照亮车辆的一些或全部客舱的内部照明系统和/或来自其它附近车辆或其它物体(诸如建筑物、路灯等等)的照明系统中实施。作为附加的示例，如果车辆100正在接近、行驶、穿过隧道、山脉、市区、森林等等且不同光图案围绕车辆100(例如，经由光传感器数据、车辆位置数据、来自初始摄像机图像的电压等等来确定)，则可以类似地实施对摄像机图像帧的某些像素的选择性合并。

返回参考图2，在步骤228期间，确定车辆100是否仍在以使用一个或多个摄像机102的方式操作。在各种实施例中，图1的处理器118进行该确定。在某些实施例中，如果车辆100正在运行(例如，发动机仍然开启)、当前点火循环正在继续，和/或摄像机102仍然开启，则车辆100仍将以使用一个或多个摄像机102的方式操作。同样在某些实施例中，如果车辆100已停止运行(例如，发动机已经关闭)、当前点火循环结束，和/或摄像机102已经关闭，则车辆100将不会以使用一个或多个摄像机102的方式操作。

在各种实施例中，如果在步骤228处确定车辆100仍以使用一个或多个摄像机102的方式操作，则该过程返回到步骤204，并且该过程在新的迭代中继续进行步骤204的迭代、更新的数据、确定以及动作。在各种实施例中，在车辆100的操作期间以该方式连续更新新数据。同样在各种实施例中，取决于场景的动态学以及后续帧之间的光图案的变化，逐帧动态地调整合并。

相反，在各种实施例中，如果在步骤228处确定车辆100不再以使用一个或多个摄像机102的方式操作，则该过程终止(步骤230)。

因此，本文描述的系统、车辆以及方法提供用于控制车辆的摄像机的摄像机图像。根据各种实施例，基于车辆内或邻近车辆的光条件来选择性地合并摄像机图像的像素。具体地，在各种实施例中，对于将由摄像机图像包括的“暗区”，合并像素，由此改进与这些区域对应的图像区域的处理和观看。同样在各种实施例中，对于将由摄像机图像包括的“亮区”，不合并像素，由此提供与这些区域对应的图像区域的改进的分辨率。在各种实施例中，每个摄像机图像帧将以该方式被选择性地合并，由此包括覆盖车辆内或周围的“亮区”和“暗区”的每个图像帧内的合并和未合并区域。

因此，系统、车辆以及方法提供可能改进的摄像机图像以供车辆的用户观看。例如，对于具有大于预定阈值的光强度的“亮区”，观看者可以更高的分辨率观看这样的区域)，这是由于这些区域中的像素的未合并(即，导致相对较大数量的像素以获取更高的分辨率)。相反，对于具有小于预定阈值的光强度的“暗区”，观看者可以更容易地观看这样的区域(例如，在摄像机图像中具有更多光)，这是由于这些“暗区”中的像素的合并，例如因为合并像素分组大于单个像素，导致光电二极管的电压电平增加。应当明白，系统、车辆以及方法可以不同于附图中描绘的和本文描述的那些。例如，在各种实施例中，车辆100、摄像机102、控制系统104、显示器106和/或它们的各种部件可以不同于图1中所描绘和结合图1所描述的那些。将类似地明白，在各种实施例中，过程200的步骤可以与图2中描绘的步骤不同，和/或过程200的各个步骤可以同时发生和/或以与图2中描绘的顺序不同的顺序发生。类似地应当明白，图3到8的图示和示例在各种实施例中可以不同。

虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施例或多个示例性实施例仅仅是示例并且不旨在以任何方式限制本公开的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解，在不脱离所附权利要求书和其合法等同物的范围的情况下，可对元件的功能和设置作出各种改变。

Claims (10)

1.一种用于控制车辆的摄像机的摄像机图像的方法，所述方法包括：

确定邻近所述车辆的光图案；以及

基于所述光图案选择性地合并所述摄像机图像，所述选择性合并包括基于所述光图案将特定图像或其部分的像素中的第一像素合并在一起，而使所述特定图像的所述像素中的第二像素保持未合并。

2.根据权利要求1所述的方法，其中：

确定所述光图案的步骤包括：

确定所述光图案的一个或多个亮区，所述一个或多个亮区各自具有大于预定阈值的相应光强度；以及

确定所述光图案的一个或多个暗区，所述一个或多个暗区各自具有小于所述预定阈值的相应光强度；并且

对于每个摄像机图像，选择性地合并所述摄像机图像的步骤包括：

将与所述暗区对应的所述摄像机图像的一个或多个第一部分的所述第一像素合并成一个或多个合并像素组；以及

使与所述亮区域对应的所述摄像机图像的一个或多个第二部分的所述第二像素保持未合并。

3.根据权利要求2所述的方法，进一步包括：

确定所述暗区中的每一个的暗度量；

其中对于每个特定暗区，基于所述特定暗区的所述暗度量来确定所述特定暗区的所述一个或多个合并像素组的大小。

4.根据权利要求1所述的方法，其中：

所述车辆包括光传感器；并且

确定所述光图案的步骤包括基于来自所述光传感器的测量值来确定所述光图案。

5.根据权利要求1所述的方法，其中：

所述车辆包括定位装置；并且

确定所述光图案的步骤包括基于经由所述定位装置获取的关于所述车辆的位置的信息来确定所述光图案。

6.根据权利要求1所述的方法，其中：

所述车辆包括照明系统；并且

确定所述光图案的步骤包括基于所述照明系统的已知操作来确定所述光图案。

7.根据权利要求1所述的方法，其中：

所述车辆包括照明系统；并且

确定所述光图案的步骤包括基于来自光传感器的数据、来自位置传感器的数据以及所述照明系统的已知操作来确定所述光图案。

8.一种用于控制摄像机的摄像机图像的系统，所述系统包括：

输入单元，其配置为获取与邻近所述摄像机的光图案有关的数据；以及

处理器，其配置为至少促进：

使用所述数据来确定邻近所述摄像机的所述光图案；以及

提供用于基于所述光图案选择性地合并所述摄像机图像的指令，所述选择性合并包括基于所述光图案将特定图像或其部分的第一像素合并在一起，而使所述特定图像的第二像素保持未合并。

9.根据权利要求8所述的系统，其中所述处理器配置为至少促进：

确定所述光图案的一个或多个亮区，所述一个或多个亮区各自具有大于预定阈值的相应光强度；

确定所述光图案的一个或多个暗区，所述一个或多个暗区各自具有小于所述预定阈值的相应光强度；以及

对于每个摄像机图像，通过以下方式提供用于选择性地合并所述摄像机图像的指令：

将与所述暗区对应的所述摄像机图像的一个或多个第一部分的所述第一像素合并成一个或多个合并像素组；以及

使与所述亮区域对应的所述摄像机图像的一个或多个第二部分的所述第二像素保持未合并。

10.一种车辆，包括：

摄像机；

输入单元，其配置为获取与邻近所述车辆的光图案有关的数据；以及

处理器，其配置为至少促进：

使用所述数据来确定邻近所述车辆的所述光图案；以及

提供用于基于所述光图案选择性地合并所述摄像机图像的指令，所述选择性合并包括基于所述光图案将特定图像或其部分的第一像素合并在一起，而使所述特定图像的第二像素保持未合并。