CN103085709B

CN103085709B - 具有阈下转向照明和调变照明的主动视觉系统

Info

Publication number: CN103085709B
Application number: CN201210443000.XA
Authority: CN
Inventors: S.M.奈克; W.张; S.曾
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2011-11-08
Filing date: 2012-11-08
Publication date: 2015-10-28
Anticipated expiration: 2032-11-08
Also published as: US9669755B2; CN103085709A; DE102012220089B4; US20130113935A1; DE102012220089A1

Abstract

一种具有阈下转向照明和调变照明的主动视觉系统，包括用于在车辆以外的区域内采集图像的图像采集设备以及用于控制车辆前照灯光束以照亮车辆以外环境的前照灯控制单元。前照灯控制单元被设置用于在使道路的行进路线对车辆驾驶员可见和使车辆以外的区域可见以供图像采集设备采集图像使用之间进行选择性照明。前照灯控制单元利用占空比来控制前照灯光束照亮行进路线以使道路对驾驶员可见的第一循环时间以及控制前照灯光束使采集区域可见以供图像采集设备采集图像使用的第二循环时间。

Description

具有阈下转向照明和调变照明的主动视觉系统

技术领域

实施例主要涉及照明系统，并且更具体地涉及增强图像采集系统的照明。

背景技术

车辆安全系统可以包括采集目标图像以用于分类和识别目标的基于视觉的系统。目标可以包括其他车辆、行人、道路以及在车辆行进路线上或附近的其他目标。为了从视觉系统中采集图像，采集视野的照明特别是在夜间必须充足以准确地照亮目标。摄像头被固定并指向由前照灯生成的照明视野方向。因此，基于视觉的系统采集并识别放射光范围内并且更具体地说是照明较强的放射光扇区内照亮的目标。也就是说，来自前照灯光束的照明在前照灯光束的焦点所在处更为强烈。前照灯光束的照明强度在远离前照灯光束焦点的区域内有所减弱。因此在道路侧部的目标例如行人或动物可能会由于前照灯光束的焦点在行进路线上朝向车辆前方而无法被充分地照亮。因此，道路侧部的目标可能会由于对目标的不充分照明而无法采集和照亮。

发明内容

实施例的一个优点是选择性照亮图像采集部分内的区域以用于检测是否存在目标或状况。系统自发同步可转向的前照灯光束和图像采集设备以用于照亮除主照明区域以外的相应区域，从而提供充足的照明以照亮由图像采集设备进行目标检测所瞄准的选定区域。而且，工作模式场景被选择用于确定在次要区域执行的扫描类型以及照亮和采集次要区域内目标所用的占空比。另一个优点是系统使用快速电子开关和低占空比以使车辆驾驶员不会注意到主要区域和次要区域之间的前照灯切换。

实施例设想了一种主动视觉系统，包括用于在车辆以外的区域内采集图像的图像采集设备以及用于控制车辆前照灯光束以照亮车辆以外环境的前照灯控制单元。前照灯控制单元被设置用于在使道路中的行进路线对车辆驾驶员可见和使车辆以外的区域可见以供图像采集设备采集图像使用之间进行选择性照明。前照灯控制单元利用占空比来控制前照灯光束照亮行进路线以使道路对驾驶员可见的第一循环时间以及控制前照灯光束使采集区域可见以供图像采集设备采集图像使用的第二循环时间。

方案1、一种用于车辆的主动视觉系统，包括：

用于在车辆以外的区域内采集图像的图像采集设备；以及

用于控制车辆前照灯光束以照亮车辆以外环境的前照灯控制单元，前照灯控制单元被设置用于在使道路中的行进路线对车辆驾驶员可见和使车辆以外的区域可见以供图像采集设备采集图像使用之间进行选择性照明；

其中前照灯控制单元利用占空比来控制前照灯光束照亮行进路线以使道路对驾驶员可见的第一循环时间以及控制前照灯光束使采集区域可见以供图像采集设备采集图像使用的第二循环时间。

方案2、如方案1所述的主动视觉系统，其中图像采集设备与前照灯控制单元同步，用于在前照灯光束使采集区域可见以供图像采集设备采集图像使用时采集图像。

方案3、如方案1所述的主动视觉系统，其中前照灯控制单元被设置用于在使道路中的行进路线对车辆驾驶员可见和使车辆以外的区域可见以供图像采集设备采集图像使用之间进行选择性照明包括前照灯控制单元沿第一方向引导车辆前照灯光束用于照亮主要区域以照亮车辆路线以及沿第二方向重定向车辆前照灯光束用于照亮次要区域，其中图像采集设备与前照灯控制单元同步，用于在沿第二方向重定向前照灯光束时采集次要区域中的图像。

方案4、如方案3所述的主动视觉系统，其中前照灯控制单元以多种系统工作模式中的一种工作，多种系统工作模式中的每一种都沿不同于第一方向的相应方向重定向前照灯光束。

方案5、如方案4所述的主动视觉系统，其中系统工作模式包括方位角浏览工作模式，其中前照灯控制单元在主要区域和次要区域之间水平地重定向前照灯光束。

方案6、如方案5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是道路中偏离行进路线的方位角视野。

方案7、如方案5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是用于识别道路形状的道路侧部。

方案8、如方案5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在道路标记的位置。

方案9、如方案5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在行人的位置。

方案10、如方案5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在动物的位置。

方案11、如方案5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在路侧目标的位置。

方案12、如方案4所述的主动视觉系统，其中系统工作模式包括仰视工作模式，其中前照灯控制单元在主要区域和次要区域之间竖直地重定向前照灯光束。

方案13、如方案12所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是相对于道路升高的视野。

方案14、如方案12所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在高架标志的位置。

方案15、如方案12所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在高架目标的位置。

方案16、如方案4所述的主动视觉系统，其中系统工作模式包括扫描工作模式，其中前照灯控制单元在处于扫描模式时在行进道路和行进道路的两侧之间重定向车辆前照灯的照明。

方案17、如方案4所述的主动视觉系统，进一步包括用于允许驾驶员手动选择系统工作模式的仪表盘控制单元。

方案18、如方案3所述的主动视觉系统，其中图像采集设备可转向至相应的位置以用于在次要区域内采集图像。

方案19、如方案3所述的主动视觉系统，进一步包括主体控制模块和无线广播单元，无线广播单元被设置用于获取行进道路的相关导航信息，主体控制模块连接至车灯控制单元和无线广播单元，主体控制模块从导航单元获取行进道路的相关地理信息，主体控制模块与前照灯控制单元相配合以在车辆接近相应的地理位置时根据地理信息将前照灯光束重定向至次要区域。

方案20、如方案19所述的主动视觉系统，其中前照灯控制单元利用地理信息选择相应的系统工作模式。

方案21、如方案1所述的主动视觉系统，其中控制器将车辆前照灯的照明的占空比作为车辆行进速度的函数进行调节。

方案22、如方案1所述的主动视觉系统，进一步包括连接在前照灯控制单元和图像采集设备之间的图像处理控制单元，其中图像处理控制单元与前照灯控制单元同步以用于在相应的占空比时间处理通过图像采集设备采集的图像。

附图说明

图1是主动视觉系统的方块图。

图2是前照灯光束重定向的一种示范图。

图3是前照灯光束重定向的另一种示范图。

图4是用于重定向前照灯光束的方法的流程图。

具体实施方式

图1示出了用于选择性照亮车辆以外的区域并采集照亮区域图像的主动视觉系统10的方块图。主动视觉系统10包括用于采集车辆以外区域图像的图像采集设备12。图像采集设备12可以包括摄像头、摄像机或者任意其他的可以从其中提取图像的成像设备。图像采集设备12被用于沿包括道路标记(例如路缘、车道标志线、分隔带、斑马线)的行进路线检测目标以确定道路形状、供道路标记识别使用的道路标记、行人、动物、建筑物、人行道、树木、灌木和其他目标。图像采集设备优选地是拍摄多幅图像并将这些图像存储为单帧视频的电子摄像头。除了在录像带上存储连续的帧以形成视频外，还可以从输出视频信号中提取单帧图像并保存在存储器内以供目标识别和检测使用。

主动视觉系统10包括前照灯控制单元14。前照灯控制单元14包括至少两个前照灯16和18以及自适应前照明(AFL)模块20。前照灯16和18提供用于产生光束以照亮行进道路的照明光源。AFL模块20通过前照灯的电子转向或者前照灯的机械转向将前照灯16和18从第一方向重定向至第二方向。AFL系统被用于在车辆于夜间转弯时增强驾驶员的视觉以及对行进道路的了解；但是，正如本文所介绍的那样，前照灯16和18被重定向以增强用于目标检测的机器视觉。前照灯通过将每一个前照灯经受控转向旋转达到预定度数(例如20度)而单独控制。通常前照灯可以在车辆转弯时根据车辆的转向角和车速沿水平方向旋转。AFL控制器22确定AFL模块20需要旋转前照灯16和18的角度。

主动视觉系统10被用于选择性地和及时地重定向前照灯16和18以使前照灯光束利用前照灯光束选择性地照亮行进路线，从而在第一循环时间期间使道路对驾驶员可见，并且随后在第二占空比期间通过图像采集设备采集图像时选择性地使采集区域可见。在本文介绍的实施例中，主动视觉系统10被用于选择性地和及时地将前照灯16和18从主要区域重定向至次要区域以照亮目标区域，此时图像采集设备采集并处理被照亮场景的图像。主要区域是车辆的行进道路，而次要区域是除主要区域以外的可能包含有感兴趣的目标或物体的区域。

图像处理光束单元24与图像采集设备12和前照灯控制单元14通信以用于确定要处理哪些帧。前照灯控制单元14和图像处理光束单元24之间的通信可以使用通信总线26例如高速CAN。图像处理光束单元24与前照灯控制单元14同步以使图像采集设备14在将一个或两个前照灯16和18从车辆以外的主要区域重定向至次要区域时采集和处理图像。前照灯16和18包括具有快速电子控制的LED灯阵列。LED灯阵列被调节占空比，优选地是低占空比切换，以使前照灯可以与图像采集设备14的采集和处理同步。占空比提供识别出以怎样的速率处理来自图像采集设备中的帧以及何时将来自前照灯的照明引导至次要区域的时间细节。占空比由AFL控制器22根据相应的系统工作模式确定以识别出图像采集设备工作所采取的扫描模式类型。例如，主动照明系统可以采用方位角浏览工作模式、仰视工作模式或扫描工作模式而以多种模式工作。

方位角浏览工作模式包括沿水平方向重定向一个或两个前照灯16和18以采集沿道路两侧或位于道路两侧的环境细节。例如，方位角浏览工作模式包括道路形状确定模式、路侧标记识别模式、行人检测模式、动物检测模式或路侧目标识别模式。道路形状确定模式运行以致动摄像头采集行进道路内和行进道路两侧的图像供识别道路形状使用。路侧标记识别模式运行以致动摄像头采集行进道路两侧的图像供识别可能存在道路标记的位置使用。行人识别模式运行以致动摄像头采集行进道路两侧的图像供识别可能存在行人的位置使用。动物识别模式运行以致动摄像头采集行进道路两侧的图像供识别可能存在动物的位置使用。路侧目标识别模式运行以致动摄像头采集行进道路两侧的图像供识别可能存在路侧目标的位置使用。

仰视工作模式包括沿竖直方向重定向一个或两个前照灯16和18以在那些使图像采集设备可以采集高于路面之上的目标细节的区域内提供照明。这样的目标可以包括高架标志和其他的高架目标。

扫描模式包括重定向一个或两个前照灯16和18以使得例如当车辆在城市环境中行驶时可以识别出沿道路水平移动和竖直移动的目标。

工作模式识别图像采集设备12应该针对与行进道路相关的哪些区域进行采集/处理图像。利用选择的工作模式，前照灯控制单元14可以识别关于何时将照明重定向至与选定工作模式相关联的次要区域的占空比。占空比由选择的工作模式以及其他因素确定，其他因素包括但不限于车速、当日时间以及检测的道路照明条件。确定的占空比可以提供给图像处理光束单元24用于同步前照灯控制单元14和图像采集设备12以在由图像采集设备12瞄准的相应次要区域被重定向的前照灯16和18选择性照亮时采集和处理图像。由前照灯16和18生成的照明被快速切换用于重定向前照灯光束，以使前照灯光束的重定向基本上不会被车辆驾驶员注意到。目的是通过利用低占空比将前照灯光束快速重定向至次要区域以使得可以利用增强的机器视觉采集车辆以外的目标，从而不影响行进道路的照明。也就是说，如果没有充足的照明或昂贵的夜间成像设备，低成本的图像采集设备将由于照明不充足而无法以足够的分辨率采集帧以供在采集的帧内识别目标使用。

由图像采集设备12获取的视角经常足以采集整个路面和周围区域；但是，并非视角内采集的所有目标都具有指向其上的足够的照明以用于目标的机器识别分析。因此，恰当的做法是照亮视角中的目标区域。车辆的AFL系统被用于选择性地和及时地将前照灯从主要区域重定向至次要区域以照亮目标区域，此时图像采集设备采集并处理被照亮的次要区域。可选地，如果次要区域不能在固定的摄像头视野内采集，那么图像采集设备12可以转向以使摄像头可旋转用于采集次要区域。图像采集设备12以及前照灯16和18均可被同步以在由占空比确定的时刻转向至次要区域。

主动视觉系统10可以进一步包括主体控制模块28和无线广播单元30。无线广播单元30被设置用于获取行进道路的相关导航信息。主体控制模块28优选地通过通信总线26连接至车灯控制单元14并且连接至无线广播单元30用于向车灯控制单元14提供地理信息。行进道路的相关地理信息提供车辆沿其行进的区域类型(例如城市，乡村)。无线广播可以包括但不限于导航单元，V2V/V2X通信或OnStar®。车灯控制单元14利用地理信息来确定何时致动图像采集设备和重定向前照灯光束。也就是说，地理信息可以被用于向主动视觉系统提供将要到来的地理障碍(例如交叉路口)的预先通知，以使主动视觉系统可以在适当的时刻致动图像采集设备12以及重定向前照灯16和18。

主动视觉系统10可以进一步包括与主动视觉系统10内其他控制单元通信的仪表盘控制单元32。仪表盘控制单元32可以允许驾驶员手动选择系统工作模式。而且，仪表盘控制单元32可以包括警告驾驶员检测到的目标或场景的输出通知设备。通知可以包括可听或可视的输出。

图2和图3示出了相应的系统工作模式，其中车辆前照灯从主要区域重定向至次要区域以在图像采集设备视角中的相应部分内采集图像。

在图2中，系统以行人工作模式运行，其中主动视觉系统聚焦在检测道路侧部的行人。根据系统的工作模式，图像采集设备聚焦在采集图像中可能存在行人40的部分。而且，根据系统工作模式、当前照明条件和车速确定占空比以用于将车灯重定向至次要区域。占空比利用快速电子切换和低占空比以使从主要区域42(也就是行进道路中的车道)到次要区域44(例如道路中可能存在行人的侧部)的照明重定向不会引起驾驶员的注意。

图3示出了另一个优选实施例，其中主动视觉系统以道路形状确定模式工作。主动视觉系统将前照灯从主要区域42(也就是行进路线)重定向至次要区域44以用于照亮路侧从而检测道路的形状例如交叉路口46。特别是当存在较差路面照明条件时，该模式可以与提供可能存在交叉路口位置预先指示的导航系统结合使用。根据占空比，主动视觉系统重定向前照灯光束以用于确定道路形状和将要到来的交叉路口。

图4示出了用于实现主动视觉系统的流程图。在步骤50评估行驶场景。对行驶车辆所处的环境类型进行判定。例如根据速度和停车次数可以判定车辆是行驶在城市环境还是乡村环境中。判定可以根据来自无线广播的数据或者根据驾驶员的选择做出。

在步骤51，如前所述的系统工作模式被判定用于主动视觉系统。该模式根据行驶场景、车速和照明条件选择。各种其他的条件也可以被用于确定工作模式，例如涉及行进道路和环境以及驾驶员输入的视觉显著性图。

在步骤52，确定并应用占空比以将前照灯重定向至次要区域。为了确定占空比，图像采集设备最初可以被设定为由图像采集设备采集的帧数的函数。例如，如果图像采集设备每秒钟采集30帧，那么占空比可以是30帧中的1帧。但是，用于占空比的帧数可以根据车速而增大或减小。

在步骤53，将用于AFL模块和图像采集设备/帧处理的控制进行同步。同步允许图像采集设备在前照灯光束被重定向到次要区域以照亮次要区域时的同一时刻采集和处理次要区域的帧。

在步骤54，在次要区域采集图像并进行增强的视觉处理。

在步骤55，对采集的图像执行目标检测分析以检测目标。

在步骤56，输出通知可以被提供给驾驶员或车辆中用于安全性分析或者驾驶员提醒功能的任意先进安全系统。

在步骤57，更新工作模式场景并且提供照明调节以用于更新占空比。然后返回到步骤51。

尽管已经详细介绍了本发明的某些实施例，但是本发明相关领域的技术人员应该意识到所附权利要求定义了用于实践本发明的各种可选设计方案和实施例。

Claims

1.一种用于车辆的主动视觉系统，包括：

用于在车辆以外的区域内采集图像的图像采集设备；以及

2.如权利要求1所述的主动视觉系统，其中图像采集设备与前照灯控制单元同步，用于在前照灯光束使采集区域可见以供图像采集设备采集图像使用时采集图像。

3.如权利要求1所述的主动视觉系统，其中前照灯控制单元被设置用于在使道路中的行进路线对车辆驾驶员可见和使车辆以外的区域可见以供图像采集设备采集图像使用之间进行选择性照明包括前照灯控制单元沿第一方向引导车辆前照灯光束用于照亮主要区域以照亮车辆路线以及沿第二方向重定向车辆前照灯光束用于照亮次要区域，其中图像采集设备与前照灯控制单元同步，用于在沿第二方向重定向前照灯光束时采集次要区域中的图像。

4.如权利要求3所述的主动视觉系统，其中前照灯控制单元以多种系统工作模式中的一种工作，多种系统工作模式中的每一种都沿不同于第一方向的相应方向重定向前照灯光束。

5.如权利要求4所述的主动视觉系统，其中系统工作模式包括方位角浏览工作模式，其中前照灯控制单元在主要区域和次要区域之间水平地重定向前照灯光束。

6.如权利要求5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是道路中偏离行进路线的方位角视野。

7.如权利要求5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是用于识别道路形状的道路侧部。

8.如权利要求5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在道路标记的位置。

9.如权利要求5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在行人的位置。

10.如权利要求5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在动物的位置。

11.如权利要求5所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在路侧目标的位置。

12.如权利要求4所述的主动视觉系统，其中系统工作模式包括仰视工作模式，其中前照灯控制单元在主要区域和次要区域之间竖直地重定向前照灯光束。

13.如权利要求12所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是相对于道路升高的视野。

14.如权利要求12所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在高架标志的位置。

15.如权利要求12所述的主动视觉系统，其中主要区域是车辆的行进路线，而次要区域是可能存在高架目标的位置。

16.如权利要求4所述的主动视觉系统，其中系统工作模式包括扫描工作模式，其中前照灯控制单元在处于扫描模式时在行进道路和行进道路的两侧之间重定向车辆前照灯的照明。

17.如权利要求4所述的主动视觉系统，进一步包括用于允许驾驶员手动选择系统工作模式的仪表盘控制单元。

18.如权利要求3所述的主动视觉系统，其中图像采集设备可转向至相应的位置以用于在次要区域内采集图像。

19.如权利要求3所述的主动视觉系统，进一步包括主体控制模块和无线广播单元，无线广播单元被设置用于获取行进道路的相关导航信息，主体控制模块连接至前照灯控制单元和无线广播单元，主体控制模块从导航单元获取行进道路的相关地理信息，主体控制模块与前照灯控制单元相配合以在车辆接近相应的地理位置时根据地理信息将前照灯光束重定向至次要区域。

20.如权利要求19所述的主动视觉系统，其中前照灯控制单元利用地理信息选择相应的系统工作模式。

21.如权利要求1所述的主动视觉系统，其中控制器将车辆前照灯的照明的占空比作为车辆行进速度的函数进行调节。

22.如权利要求1所述的主动视觉系统，进一步包括连接在前照灯控制单元和图像采集设备之间的图像处理控制单元，其中图像处理控制单元与前照灯控制单元同步以用于在相应的占空比时间处理通过图像采集设备采集的图像。