CN110641464B - 摄像头调节系统 - Google Patents

摄像头调节系统 Download PDF

Info

Publication number
CN110641464B
CN110641464B CN201910561834.2A CN201910561834A CN110641464B CN 110641464 B CN110641464 B CN 110641464B CN 201910561834 A CN201910561834 A CN 201910561834A CN 110641464 B CN110641464 B CN 110641464B
Authority
CN
China
Prior art keywords
camera
controller circuits
image
aiming direction
detection range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910561834.2A
Other languages
English (en)
Other versions
CN110641464A (zh
Inventor
M·A·莫瓦德
E·萨米埃
W·K·科西亚克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN110641464A publication Critical patent/CN110641464A/zh
Application granted granted Critical
Publication of CN110641464B publication Critical patent/CN110641464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种摄像头调节系统包括摄像头、致动器、惯性测量单元和一个或多个控制器电路。摄像头给出主车辆所行驶的道路的车道标记的图像。致动器可操作用于控制摄像头的瞄准方向。惯性测量单元检测主车辆的相对移动。一个或多个控制器电路与摄像头、致动器和惯性测量单元通信。一个或多个控制器电路确定图像中的车道标记的检测范围是否小于检测阈值，并且基于相对移动来调节瞄准方向。

Description

摄像头调节系统
相关申请的交叉引用
本申请要求于2018年6月27日提交的申请号为62/690,488的美国临时专利申请的权益，该申请的全部公开藉此通过引用并入本申请中。本申请要求于2018年6月28日提交的申请号为16/021,686的美国专利申请的权益，该申请的全部公开藉此通过引用并入本申请中。
技术领域
本公开总体上涉及一种摄像头调节系统，并且更具体地，涉及一种改变摄像头的瞄准方向的摄像头调节系统。
背景技术
视觉系统用于针对高级驾驶员辅助系统(ADAS)检测车道标记(lane markings)。在某些情况下，减少了对车道标记的一系列检测。
附图说明
现将参照附图通过示例的方式描述本发明，其中：
图1是根据一个实施例的摄像头调节系统的图示；
图2是根据一个实施例的配备有图1的摄像头调节系统的主车辆的图示；
图3是根据一个实施例的图2的主车辆的图示；
图4是根据另一实施例的摄像头调节系统的图示；
图5是根据另一实施例的配备有图4的摄像头调节系统的主车辆的图示；
图6是根据另一实施例的图4的主车辆的图示；
图7是根据又一实施例的摄像头调节系统的图示；
图8是根据又一实施例的来自配备有图7的摄像头调节系统的主车辆的图像的图示；
图9是根据又一实施例的来自图8的主车辆的图像的图示；
图10是示出了根据又一实施例的操作图1的摄像头调节系统的方法的流程图；
图11是示出根据又一实施例的操作图4的摄像头调节系统的方法的流程图；以及
图12是示出根据又一实施例的操作图7的摄像头调节系统的方法的流程图。
具体实施方式
现在将详细参照实施例，在附图中示出这些实施例的示例。在以下详细描述中，阐述了众多具体细节以便提供对各个所描述的实施例的透彻理解。然而，对本领域的普通技术人员将显而易见的是，无需这些具体细节就可实践所描述的各种实施例。在其它实例中，并未对公知方法、程序、部件、电路以及网络进行详细描述以免不必要地模糊各实施例的各方面。
图1示出了安装在主车辆12上的摄像头(camera)调节系统10，以下称为系统10。如下文将更详细描述的，系统10是对先前的摄像头调节系统的改进，因为系统10调节摄像头16的瞄准方向14，这可能对可被安装在主车辆12上的自动车道保持和/或车道居中的安全特征有益。
系统10包括摄像头16，摄像头16给出(renders)主车辆12所行驶的道路22的车道标记20的图像18。摄像头16可以安装在主车辆12的前部上，或安装在主车辆12内部中且在适于摄像头16穿过主车辆12的挡风玻璃来观察主车辆12周围区域的位置处。摄像头16优选地是视频类型的摄像头16、或能够以例如每秒10帧的足够的帧速率捕获道路22和周围区域的图像的摄像头16。
图像18可以包括但不限于在主车辆12所行驶的道路22的行驶车道24的左侧和右侧上的车道标记20。图像18也可以包括在行驶车道24的相邻车道的左侧和右侧上的车道标记20。车道标记20可以包括如通常用于指示道路22的行驶车道24的边界的实线。车道标记20还可以包括如通常也用于指示道路22的行驶车道24的边界的虚线。因为诸如但不限于以下的一些原因，车道标记20因此可能变得不存在或以其他方式不可被摄像头16检测到：车道标记涂料的褪色、道路表面的侵蚀、道路22上的雪或灰尘、摄像头16的镜头上的沉积物或灰尘、摄像头16的操作故障、道路22上的其他车辆或物体、通过光源使摄像头16的成像器(未示出)饱和(saturation)等。
系统10还包括致动器26，致动器26可操作用于在全部三个轴(即x，y和z轴)上控制摄像头16的瞄准方向(aim-direction)14。致动器26可以是适合于控制瞄准方向14的任何致动器26，并且可以包括一个或多个电动步进电动机和/或伺服电动机。致动器26还可以包括在一个或多个电动机和摄像头16之间的连杆组件(linkage-assembly)。
系统10还包括惯性测量单元28(IMU 28)，IMU 28检测主车辆12的相对移动(relative-movement)30。由IMU 28测量的相对移动30可以包括主车辆12的当前横摆角速度(yaw rate)、纵向加速度、侧向加速度、俯仰角速度(pitch rate)以及滚动角速度(rollrate)。适用于商用的主车辆12上的IMU 28的几个实例的一个示例是来自美国明尼苏达州的黄金谷的霍尼韦尔传感与控制公司(Honeywell Sensing and Control)的6DF-1N6-C2-HWL。
系统10还包括与摄像头16、致动器26和IMU 28通信的一个或多个控制器电路32。一个或多个控制器电路32可以包括处理器(未具体示出)，该处理器诸如为微处理器或者其他控制电路系统，该其他控制电路系统诸如包括对本领域的技术人员显而易见的用于处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路系统。一个或多个控制器电路32可以包括存储器(未具体示出)，存储器包括非易失性存储器，诸如用于存储一个或多个例程、阈值和捕获数据的电可擦除可编程只读存储器(EEPROM)。如本文所描述的，一个或多个例程可以由处理器执行，以执行用于通过一个或多个控制器电路32基于从摄像头16和IMU 28接收的信号来控制瞄准方向14的步骤。
一个或多个控制器电路32通常被配置(例如，被编程或硬连线)成基于由摄像头16检测到的道路22的车道标记20来确定行驶车道24的中心线。也就是说，由一个或多个控制器电路32使用用于图像分析的已知技术处理由摄像头16检测或捕获的图像18，以确定应该操作或操纵主车辆12在何处沿着道路22。可以使用视觉处理技术(诸如来自以色列耶路撒冷的Moblieye视觉科技公司(Moblieye Vision Technologies,Ltd.)的EYE
Figure BDA0002108493700000041
平台)或其他合适的装置。通过示例的方式，中心线优选地在主车辆12所行驶的行驶车道24的中间中。
图2示出了如下的场景：主车辆12配备有系统10并且正在行驶车道24中，并且如主车辆12的纵向轴线36与行驶方向之间的角度所指示的，主车辆12的相对移动30(例如车辆横摆角34)正使得摄像头16指向行驶车道24的左侧。结果是减小了车道标记20(特别是右车道标记20)的检测范围38，因为右车道标记20在摄像头16的视场之外(即，检测范围38是零米)。一个或多个控制器电路32确定图像18中的车道标记20的检测范围38是否小于检测阈值40。如本文所使用的，检测范围38是离主车辆12的距离，系统10在该距离处能够检测到车道标记20以便确定行驶车道24的车道宽度。因为一个或多个控制器电路32可以使用车道标记20生成和更新道路模型(未具体示出)以帮助控制行驶车道24中的主车辆12，所以较大的检测范围38是有益的。检测阈值40可以是用户定义的并且优选地小于50米。
如图3所示，根据检测范围38小于检测阈值40的确定结果，一个或多个控制器电路32基于由IMU 28检测到的主车辆12的相对移动30来调节摄像头16的瞄准方向14，使得右车道标记20的图像18被再次检测出超过检测阈值40。虽然图2-3中所示的示例指示道路22的相对直的部分，但是将理解的是，系统10在道路22的弯曲部分上也是有益的，其中道路标记20的检测范围38的减小可以随着主车辆12的相对移动30而更加明显。
在一个实施例中，一个或多个控制器电路32基于由IMU 28检测到的车辆横摆角34来调节瞄准方向14。也就是说，一个或多个控制器电路32使摄像头16移动相等的量以抵消该车辆横摆角34。由于交通和/或道路状况，因此这可能会或可能不会导致检测范围38大于检测阈值40。
在另一实施例中，一个或多个控制器电路32调节瞄准方向14，直到检测范围38大于检测阈值40。这涉及迭代过程，其中一个或多个控制器电路32将瞄准方向14调节一增量且确定检测范围38并重复该过程直到检测范围38大于检测阈值40。对瞄准方向14的调节可以为用户定义的，并且优选地，一个或多个控制器电路32在确定检测范围38的迭代之间以小于一度的增量调节瞄准方向14。此外，一个或多个控制器电路32以小于每100毫秒一度的速率调节瞄准方向14，这允许一个或多个控制器电路32具有足够的时间来确定检测范围38是否大于检测阈值40，并且为系统10提供足够的响应时间。
在另一实施例中，一个或多个控制器电路32基于瞄准方向14重新校准摄像头设置42。如本领域技术人员将理解的，摄像头设置42通常可以在车辆组装工厂中被校准，在该车辆组装工厂中将对摄像头位置和取向与校准平面(即旋转矩阵和平移矢量)进行联系的摄像头16的外部参数校准到摄像头16的视场中的一个或多个静止目标。这些校准通常基于瞄准方向14而变化。多个校准文件可以存储在一个或多个控制器电路32的存储器(例如，查找表)中，以供系统10针对每个唯一的瞄准方向14进行参考。在另一个实施例中，可以基于多项式参数的初始校准为每个瞄准方向14计算校准。
在另一实施例中，系统10还包括图像放大率特征44，并且一个或多个控制器电路32增加图像18的放大率，从而增加检测范围38。在图1中所示的示例中，图像放大率特征44被包括在一个或多个控制器电路32的图像分析块中。在另一实施例中，图像放大率特征44(诸如摄像头镜头的变焦特征)被包括在摄像头16中。
图4示出了安装在主车辆112上的摄像头调节系统110(下文称为系统110)的另一实施例。系统110包括摄像头116，摄像头116给出主车辆112所行驶的道路122的车道标记120的图像118。摄像头116可以安装在主车辆112的前部上，或安装在主车辆112内部中且在适于摄像头116穿过主车辆112的挡风玻璃观察主车辆112周围区域的位置处。摄像头116优选地是视频类型的摄像头116、或能以例如每秒10帧的足够的帧速率捕获道路122和周围区域的图像的摄像头116。
图像118可以包括但不限于在主车辆112所行驶的道路122的行驶车道124的左侧和右侧上的车道标记120。图像118也可以包括在行驶车道124的相邻车道的左侧和右侧上的车道标记120。车道标记120可以包括如通常用于指示道路122的行驶车道124的边界的实线。车道标记120还可以包括如通常也用于指示道路122的行驶车道124的边界的虚线。因为诸如但不限于以下的一些原因，车道标记120因此可能变得不存在或以其他方式不可被摄像头116检测到：车道标记涂料的褪色、道路表面的侵蚀、道路122上的雪或灰尘、摄像头116的镜头上的沉积物或灰尘、摄像头116的操作故障、道路122上的其他车辆或物体、通过光源使摄像头116的成像器(未示出)饱和等。
系统110还包括致动器126，致动器26可操作用于在全部三个轴(即x，y和z轴)上控制摄像头116的瞄准方向114。致动器126可以是适合于控制瞄准方向114的任何致动器126，并且可以包括一个或多个电动步进电动机和/或伺服电动机。致动器126还可以包括在一个或多个电动机和摄像头116之间的连杆组件。
系统110还包括与摄像头116和致动器126通信的一个或多个控制器电路132。一个或多个控制器电路132可以包括处理器(未具体示出)，该处理器诸如为微处理器或者其他控制电路系统，该其他控制电路系统诸如包括对本领域的技术人员显而易见的用于处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路系统。一个或多个控制器电路132可以包括存储器(未具体示出)，存储器包括非易失性存储器，诸如用于存储一个或多个例程、阈值和捕获数据的电可擦除可编程只读存储器(EEPROM)。如本文所述的，一个或多个例程可以由处理器执行，以执行用于通过一个或多个控制器电路132基于从摄像头114和IMU 128接收的信号来控制瞄准方向114的步骤。
一个或多个控制器电路132通常被配置(例如，被编程或硬连线)成基于由摄像头116检测到的道路122的车道标记120来确定行驶车道124的中心线。也就是说，由一个或多个控制器电路132使用用于图像分析的已知技术来处理由摄像头116检测或捕获的图像118，以确定应该操作或操纵主车辆12在何处沿着道路22。可以使用视觉处理技术，诸如来自以色列耶路撒冷的Moblieye视觉科技公司(Moblieye Vision Technologies,Ltd.)的EYE
Figure BDA0002108493700000071
平台、或其他合适的装置。通过示例的方式，中心线优选地在主车辆112所行驶的行驶车道124的中间中。
图5示出了配备有系统110的主车辆112正在行驶车道124中行驶并且正在接近道路122中的弯道的场景。因为车道标记120看起来在更靠近主车辆112的点处会聚(converge)(与道路122的直线部分的这种情况相比)，所以系统110确定出车道标记120的检测范围138的减小。一个或多个控制器电路132确定图像118中的车道标记20的检测范围138是否小于检测阈值140。如本文所使用的，检测范围138是离主车辆112的距离，系统110在该距离处能够检测到车道标记20，以便确定行驶车道124的车道宽度。因为一个或多个控制器电路132可以使用车道标记120生成和更新道路模型(未具体示出)以帮助控制行驶车道124中的主车辆12，所以较大的检测范围138是有益的。检测阈值140可以是用户定义的并且优选地小于50米。
如图6中所示的，根据检测范围138小于检测阈值140的确定结果，一个或多个控制器电路132基于车道标记120调节摄像头116的瞄准方向114。也就是说，一个或多个控制器电路132基于车道标记120的图像118确定行驶车道124在行驶方向上弯曲到主车辆112的右侧，并且调节瞄准方向114向右侧以增加检测范围138。
在一个实施例中，一个或多个控制器电路132基于车道标记120的曲率半径146调节瞄准方向114。也就是说，一个或多个控制器电路132基于车道标记120的图像118的多项式拟合来确定车道标记120的曲率半径146。一个或多个控制器电路132可以使用左车道标记或右车道标记120来确定曲率半径146。
在另一实施例中，一个或多个控制器电路132调节瞄准方向114，直到检测范围138大于检测阈值140。这涉及迭代过程，在迭代过程中一个或多个控制器电路132将瞄准方向114调节一增量且确定检测范围138，并重复该过程直到检测范围138大于检测阈值140。瞄准方向114的调节可以为用户定义的，并且优选地，一个或多个控制器电路132在确定检测范围138的迭代之间以小于一度的增量调节瞄准方向14。此外，一个或多个控制器电路132以小于每100毫秒一度的速率调节瞄准方向114，这允许一个或多个控制器电路132有足够的时间来确定检测范围138是否大于检测阈值140，并且为系统110提供足够的响应时间。
在另一实施例中，一个或多个控制器电路132基于瞄准方向114重新校准摄像头设置142。如本领域技术人员将理解的，摄像头设置142通常可以在车辆组装工厂中被校准，在该车辆组装工厂中，将对摄像头位置和取向与校准平面(即旋转矩阵和平移矢量)进行联系的摄像头116的外部参数校准到摄像头116的视场中的一个或多个静止目标。这些校准通常基于瞄准方向114而变化。多个校准文件可以存储在一个或多个控制器电路132的存储器(例如，查找表)中，以供系统110针对每个唯一的瞄准方向114进行参考。在另一实施例中，可以基于多项式参数的初始校准为每个瞄准方向114计算校准。
在另一实施例中，系统110还包括图像放大率特征144，并且一个或多个控制器电路132增加图像118的放大率，从而增加检测范围138。在图4中所示的示例中，图像放大率特征144被包括在一个或多个控制器电路132的图像分析块中。在另一实施例中，图像放大率特征144(诸如摄像头镜头的变焦特征)被包括在摄像头116中。
图7示出了安装在主车辆212上的摄像头调节系统210(下文称为系统210)的又一实施例。系统210包括摄像头216，该摄像头216给出主车辆212所行驶的道路222的车道标记220的图像218。摄像头216可以安装在主车辆212的前部上，或安装在主车辆212内部中且在适于摄像头216穿过主车辆212的挡风玻璃观察主车辆212周围区域的位置处。摄像头216优选地是视频类型的摄像头216、或能以例如每秒10帧的足够的帧速率捕获道路222和周围区域的图像的摄像头216。
图像218可以包括但不限于在主车辆212所行驶的道路222的行驶车道224的左侧和右侧上的车道标记220。图像218也可以包括在行驶车道224的相邻车道的左侧和右侧上的车道标记220。车道标记220可以包括如通常用于指示道路222的行驶车道224的边界的实线。车道标记220还可以包括如通常也用于指示道路222的行驶车道224的边界的虚线。因为诸如但不限于以下的一些原因，车道标记220因此可能变得不存在或以其他方式不可被摄像头216检测到：车道标记涂料的褪色、道路表面的侵蚀、道路222上的雪或灰尘、摄像头216的镜头上的沉积物或灰尘、摄像头216的操作故障、道路222上的其他车辆或物体、通过光源使摄像头216的成像器(未示出)饱和等。
系统210还包括致动器226，致动器226可操作用于在全部三个轴(即x，y和z轴)上控制摄像头216的瞄准方向214。致动器226可以是适合于控制瞄准方向214的任何致动器226，并且可以包括一个或多个电动步进电动机和/或伺服电动机。致动器226还可以包括在一个或多个电动机和摄像头216之间的连杆组件。
系统210还包括与摄像头216和致动器226通信的一个或多个控制器电路232。一个或多个控制器电路232可以包括处理器(未具体示出)，该处理器诸如为微处理器或者其他控制电路系统，该其他控制电路系统诸如包括对本领域的技术人员显而易见的用于处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路系统。一个或多个控制器电路232可以包括存储器(未具体示出)，存储器包括非易失性存储器，诸如用于存储一个或多个例程、阈值和捕获数据的电可擦除可编程只读存储器(EEPROM)。如本文所述的，一个或多个例程可以由处理器运行，以执行用于通过一个或多个控制器电路232基于从摄像头216和IMU 228接收的信号来控制瞄准方向214的步骤。
一个或多个控制器电路232通常被配置(例如，被编程或硬连线)成基于由摄像头216检测到的道路222的车道标记220来确定行驶车道224的中心线。也就是说，由一个或多个控制器电路232使用用于图像分析的已知技术来处理由摄像头216检测的或捕获的图像218，以确定应该操作或操纵主车辆212在何处沿着道路222。可以使用视觉处理技术(诸如来自以色列耶路撒冷的Moblieye视觉科技公司(Moblieye Vision Technologies,Ltd.)的EYE
Figure BDA0002108493700000091
平台)或其他合适的装置。通过示例的方式，中心线优选地在主车辆212所行驶的行驶车道224的中间中。
图8示出了配备有系统210的主车辆212的图像216，其中主车辆212正在行驶车道224中行驶并且正在接近道路122中的斜坡，在斜坡处太阳(即，明亮的光源)保持在地平线上并且定位在道路222上方。一个或多个控制器电路232确定图像218内的指示主车辆212的未来路径250(即，在主车辆112前面的行驶车道224)的感兴趣区域248。
如本领域技术人员将理解的，当来自太阳的光使摄像头216的成像器饱和时，系统210还确定出车道标记220的检测范围238的减小。如图8中所示，一个或多个控制器电路232确定图像218中的车道标记220的检测范围238是否小于检测阈值240。如本文所使用的，检测范围238是远离主车辆212的距离，系统210在该距离处能够检测到车道标记220以确定行驶车道224的车道宽度。因为一个或多个控制器电路232可以使用车道标记220生成和更新道路模型(未具体示出)以帮助控制行驶车道224中的主车辆12，所以较大的检测范围238是有益的。检测阈值240可以是用户定义的并且优选地小于50米。
根据检测范围238小于检测阈值240的确定结果，一个或多个控制器电路232基于如图9中所示的感兴趣区域248调节摄像头216的瞄准方向214。也就是说，一个或多个控制器电路232将瞄准方向114向下朝向道路222进行调节以增加检测范围138，从而将太阳从摄像头216的视场中移除并抑制成像器的饱和。虽然图8-9中所示的例子是针对自然产生的光源，将会理解的是，当其他光源影响成像器时系统210是可操作的，其他光源诸如为来自迎面而来的交通的前照灯、或是来自另一车辆的挡风玻璃的反射光(例如闪光)。
在一个实施例中，一个或多个控制器电路232调节瞄准方向214，直到检测范围238大于检测阈值240。这涉及迭代过程，在迭代过程中一个或多个控制器电路232将瞄准方向214调节一增量且确定检测范围238，并重复该过程直到检测范围238大于检测阈值240。瞄准方向214的调节可以为用户定义的，并且优选地，一个或多个控制器电路232在确定检测范围238的迭代之间以小于一度的增量调节瞄准方向14。此外，一个或多个控制器电路232以小于每100毫秒一度的速率调节瞄准方向214，这允许一个或多个控制器电路232具有足够的时间来确定检测范围238是否大于检测阈值240，并且为系统210提供足够的响应时间。
在另一实施例中，一个或多个控制器电路232基于瞄准方向214重新校准摄像头设置242。如本领域技术人员将理解的，摄像头设置242通常可以在车辆组装工厂中被校准，在该车辆组装工厂中将对摄像头位置和取向与校准平面(即旋转矩阵和平移矢量)进行联系的摄像头216的外部参数校准到摄像头216的视场中的一个或多个静止目标。这些校准通常基于瞄准方向214而变化。多个校准文件可以存储在一个或多个控制器电路232的存储器(例如，查找表)中，以供系统210针对每个唯一的瞄准方向214进行参考。在另一实施例中，可以基于多项式参数的初始校准为每个瞄准方向214计算校准。
在另一实施例中，系统210还包括图像放大率特征244，并且一个或多个控制器电路232增加图像218的放大率，从而增加检测范围238。在图7中所示的示例中，图像放大率特征244被包括在一个或多个控制器电路232的图像分析块中。在另一实施例中，图像放大率特征244(诸如摄像头镜头的变焦特征)被包括在摄像头216中。
图10是示出操作摄像头调节系统10(以下称为系统10)的方法300的又一实施例的流程图。
步骤302，“给予图像”，如上所述的，其包括利用摄像头16给予主车辆12所行驶的道路22的车道标记20的图像18。
步骤304，“检测相对移动”，其包括利用惯性测量单元28(IMU28)检测主车辆12的相对移动30。
步骤306，“确定检测范围”，其包括利用与摄像头16、致动器26和IMU 28通信的一个或多个控制器电路32确定车道标记20的检测范围38，如上所述的。
步骤308，“与检测阈值进行比较”，其包括利用一个或多个控制器电路32确定图像18中的车道标记20的检测范围38是否小于检测阈值40，如上所述的。
步骤310，“调节瞄准方向”，其包括利用致动器26基于相对移动30来调节瞄准方向14，如上所述的。在一个实施例中，一个或多个控制器电路32基于瞄准方向14重新校准摄像头设置42。在另一实施例中，一个或多个控制器电路32调节瞄准方向14，直到检测范围38大于检测阈值40。
图11是示出操作摄像头调节系统110(以下称为系统110)的方法400的又一实施例的流程图。
步骤402，“给出图像”，其包括利用摄像头116给出主车辆112所行驶的道路122的车道标记120的图像118，如上所述的。
步骤404，“确定检测范围”，其包括利用与摄像头116、致动器126和IMU 128通信的一个或多个控制器电路132确定车道标记120的检测范围138，如上所述的。
步骤406，“与检测阈值进行比较”，其包括利用一个或多个控制器电路132确定图像118中的车道标记120的检测范围138是否小于检测阈值140，如上所述的。
步骤408，“调节瞄准方向”，其包括利用致动器126基于车道标记120来调节瞄准方向114，如上所述的。在一个实施例中，一个或多个控制器电路132基于瞄准方向114重新校准摄像头设置142。在另一实施例中，一个或多个控制器电路132调节瞄准方向114，直到检测范围138大于检测阈值140。
图12是示出操作摄像头调节系统210(以下称为系统210)的方法500的又一实施例的流程图。
步骤502，“给出图像”，其包括利用摄像头216给出主车辆212所行驶的道路222的车道标记220的图像218，如上所述的。
步骤504，“确定感兴趣区域”，其包括利用与摄像头216和致动器226通信的一个或多个控制器电路232来确定图像218内的指示主车辆212的未来路径250的感兴趣区域248，如上所述的。
步骤506，“确定检测范围”，其包括利用一个或多个控制器电路232确定车道标记220的检测范围238，如上所述的。
步骤508，“与检测阈值进行比较”，其包括利用一个或多个控制器电路232来确定图像218中的车道标记220的检测范围238是否小于检测阈值240，如上所述的。
步骤510，“调节瞄准方向”，其包括利用致动器226基于感兴趣区域248来调节瞄准方向214，如上所述的。在一个实施例中，一个或多个控制器电路232基于瞄准方向214重新校准摄像头设置242。在另一实施例中，一个或多个控制器电路232调节瞄准方向214，直到检测范围238大于检测阈值240。
相应地，提供了摄像头调节系统10(系统10)和操作该系统10的方法300。系统10是对其他摄像头调节系统的改进，因为系统10控制摄像头16的瞄准方向14并且改善了车道标记20的检测范围38。
尽管已经根据本发明的优选实施例描述了本发明，然而本发明并不旨在受限于此，而是仅受所附权利要求书中所阐述的范围限制。“一个或多个(One or more)”包括：由一个元件执行的功能，由不止一个元件例如以分布式方式执行的功能，由一个元件执行的若干功能，由若干元件执行的若干功能，或上述的任何组合。还将理解的是，虽然在一些实例中，术语第一、第二等在本文中用于描述各种元件，但这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一个区别开来。例如，第一接触件可被称为第二接触件，并且类似地，第二接触件可被称为第一接触件，而没有背离各个所描述的实施例的范围。第一接触件和第二接触件两者都是接触件，但它们并非相同的接触件。在对本文中各个所描述的实施例的描述中所使用的术语仅出于描述特定实施例的目的，而非旨在构成限定。如在对各个所描述的实施例和所附权利要求的描述中所使用的，单数形式“一(a)”、“一(an)”和“所述(the)”旨在也包括复数形式，除非上下文另外明确指出。还将理解的是，本文所使用的术语“和/或”是指并且包含相关联的所列项目中的任一个以及相关联的所列项目中的一个或更多个的所有可能的组合。将进一步理解的是，术语“包含(includes)”、“包含有(including)”、“包括(comprises)”和/或“包括有(comprising)”当在本申请文件中使用时指明所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但并不排除一个或多个其它特征、整数、步骤、操作、元件、部件和/或其群组的存在或添加。如本文中所使用的，取决于上下文，术语“如果(if)”可选地被解释为表示“当…时或”在…后”或“响应于确定”或“响应于检测到”。类似地，取决于上下文，短语“如果被确定”或“如果检测到“[所陈述的状况或事件]”被可选地解释为表示“在确定…后”或“响应于确定”或“在检测到[所陈述的状况或事件]后”或“响应于检测到[所陈述的状况或事件]”。

Claims (17)

1.一种摄像头调节系统，所述系统包括：
摄像头，所述摄像头给出主车辆所行驶的道路的车道标记的图像；
致动器，所述致动器可操作用于控制所述摄像头的瞄准方向；
惯性测量单元，所述惯性测量单元检测所述主车辆的相对移动；以及
一个或多个控制器电路，所述一个或多个控制器电路与所述摄像头、所述致动器和所述惯性测量单元通信；
其中所述一个或多个控制器电路：
确定所述图像中的所述车道标记的检测范围是否小于检测阈值；
根据所述检测范围小于所述检测阈值的确定结果，基于所述相对移动调节所述瞄准方向；并且
基于经调节的瞄准方向来重新校准对摄像头位置和取向与校准平面进行联系的所述摄像头的外部参数。
2.根据权利要求1所述的系统，其中，所述一个或多个控制器电路基于由所述惯性测量单元检测到的车辆横摆角来调节所述瞄准方向。
3.根据权利要求1所述的系统，其中，所述一个或多个控制器电路调节所述瞄准方向，直到所述检测范围大于所述检测阈值。
4.根据权利要求1所述的系统，其中，所述系统还包括图像放大率特征，并且所述一个或多个控制器电路增加所述图像的放大率从而增加所述检测范围。
5.一种摄像头调节系统，所述系统包括：
摄像头，所述摄像头给出主车辆所行驶的道路的车道标记的图像；
致动器，所述致动器可操作用于控制所述摄像头的瞄准方向；
一个或多个控制器电路，所述一个或多个控制器电路与所述摄像头和所述致动器通信；
其中所述一个或多个控制器电路：
确定所述图像中的所述车道标记的检测范围是否小于检测阈值；
根据所述检测范围小于所述检测阈值的确定结果，基于所述车道标记调节所述瞄准方向；并且
基于经调节的瞄准方向来重新校准对摄像头位置和取向与校准平面进行联系的所述摄像头的外部参数。
6.根据权利要求5所述的系统，其中，所述一个或多个控制器电路基于车道标记的曲率半径来调节所述瞄准方向。
7.根据权利要求5所述的系统，其中，所述一个或多个控制器电路调节所述瞄准方向，直到所述检测范围大于所述检测阈值。
8.根据权利要求5所述的系统，其中，所述系统还包括图像放大率特征，并且所述一个或多个控制器电路增加所述图像的放大率从而增加所述检测范围。
9.一种摄像头调节系统，所述系统包括：
摄像头，所述摄像头给出主车辆所行驶的道路的车道标记的图像；
致动器，所述致动器可操作用于控制所述摄像头的瞄准方向；
一个或多个控制器电路，所述一个或多个控制器电路与所述摄像头和所述致动器通信；
其中所述一个或多个控制器电路：
确定所述图像内的感兴趣区域，所述感兴趣区域指示所述主车辆的未来路径；
确定所述图像中的所述车道标记的检测范围是否小于检测阈值；
根据所述检测范围小于所述检测阈值的确定结果，基于所述感兴趣区域调节所述瞄准方向；并且
基于经调节的瞄准方向来重新校准对摄像头位置和取向与校准平面进行联系的所述摄像头的外部参数。
10.根据权利要求9所述的系统，其中，所述一个或多个控制器电路调节所述瞄准方向，直到所述检测范围大于所述检测阈值。
11.根据权利要求9所述的系统，其中，所述系统还包括图像放大率特征，并且所述一个或多个控制器电路增加所述图像的放大率从而增加所述检测范围。
12.一种调节摄像头的方法，所述方法包括：
利用摄像头给出主车辆所行驶的道路的车道标记的图像；
利用惯性测量单元检测所述主车辆的相对移动；
利用与所述摄像头、致动器和所述惯性测量单元通信的一个或多个控制器电路，来确定所述图像中的所述车道标记的检测范围是否小于检测阈值；
根据所述检测范围小于所述检测阈值的确定结果，利用所述致动器基于所述相对移动来调节所述摄像头的瞄准方向；以及
利用所述一个或多个控制器电路基于经调节的瞄准方向来重新校准对摄像头位置和取向与校准平面进行联系的所述摄像头的外部参数。
13.根据权利要求12所述的方法，进一步包括以下步骤：利用所述一个或多个控制器电路来调节所述瞄准方向，直到所述检测范围大于所述检测阈值。
14.一种操作摄像头调节系统的方法，所述方法包括：
利用摄像头给出主车辆所行驶的道路的车道标记的图像；
利用与所述摄像头和致动器通信的一个或多个控制器电路，来确定：所述图像中的所述车道标记的检测范围是否小于检测阈值；
根据所述检测范围小于所述检测阈值的确定结果，利用所述致动器基于所述车道标记来调节所述摄像头的瞄准方向；以及
利用所述一个或多个控制器电路基于经调节的瞄准方向来重新校准对摄像头位置和取向与校准平面进行联系的所述摄像头的外部参数。
15.根据权利要求14所述的方法，进一步包括以下步骤：利用所述一个或多个控制器电路调节所述瞄准方向，直到所述检测范围大于所述检测阈值。
16.一种操作摄像头调节系统的方法，所述方法包括：
利用摄像头给出主车辆所行驶的道路的车道标记的图像；
利用与所述摄像头和致动器通信的一个或多个控制器电路，来确定：
所述图像内的感兴趣区域，所述感兴趣区域指示所述主车辆的未来路径；以及
所述图像中的所述车道标记的检测范围是否小于检测阈值；
根据所述检测范围小于所述检测阈值的确定结果，利用所述致动器基于所述感兴趣区域来调节所述摄像头的瞄准方向；
利用所述一个或多个控制器电路基于经调节的瞄准方向来重新校准对摄像头位置和取向与校准平面进行联系的所述摄像头的外部参数。
17.根据权利要求16所述的方法，进一步包括以下步骤：利用所述一个或多个控制器电路来调节所述瞄准方向，直到所述检测范围大于所述检测阈值。
CN201910561834.2A 2018-06-27 2019-06-26 摄像头调节系统 Active CN110641464B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862690488P 2018-06-27 2018-06-27
US62/690,488 2018-06-27

Publications (2)

Publication Number Publication Date
CN110641464A CN110641464A (zh) 2020-01-03
CN110641464B true CN110641464B (zh) 2023-06-06

Family

ID=69009365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910561834.2A Active CN110641464B (zh) 2018-06-27 2019-06-26 摄像头调节系统

Country Status (1)

Country Link
CN (1) CN110641464B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008038370A1 (en) * 2006-09-28 2008-04-03 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
US20130141520A1 (en) * 2011-12-02 2013-06-06 GM Global Technology Operations LLC Lane tracking system
CN103895512B (zh) * 2012-12-26 2017-08-04 比亚迪股份有限公司 一种行车安全警示方法及其系统
CN103661365B (zh) * 2013-11-15 2016-08-24 长安大学 一种提高车辆会车安全性的方法
US20180067496A1 (en) * 2016-09-06 2018-03-08 Delphi Technologies, Inc. Automated vehicle lane change control system
US20180068566A1 (en) * 2016-09-08 2018-03-08 Delphi Technologies, Inc. Trailer lane departure warning and sway alert
CN107933557B (zh) * 2017-11-17 2019-09-13 吉林大学 一种基于多摄像头的车辆直角转弯控制系统及其控制方法

Also Published As

Publication number Publication date
CN110641464A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
EP3243729B1 (en) Lane-keeping system for automated vehicles
CN107499309B (zh) 用于自主车辆在相机漏失期间的车道保持系统
US20120316730A1 (en) Lane sensing through lane marker identification for lane centering/keeping
US20090296415A1 (en) Method for automatic full beam light control
US9020700B2 (en) Lane tracking apparatus and method using camera direction control
KR101356203B1 (ko) 자율주행 제어시스템
CN109131067B (zh) 三角架自走车及其避障方法
US20080091315A1 (en) Method and Device for Determining the Speed of a Vehicle
KR102519100B1 (ko) 모터사이클 기울어짐에 대한 이미지 보상
CN108572644B (zh) 用于自动车辆的变道系统
US9896127B2 (en) Vehicle steering control apparatus and method for lane keeping
EP3308353B1 (en) Vehicle diagnosis and camera adjustment using a detection of camera inclination angles
WO2005111965A1 (ja) 車両用走行区分線認識装置
DE102010046517A1 (de) Verfahren zum Kalibrieren und Justieren einer Lichteinheit eines Fahrzeugs
EP3336582B1 (en) Vision sensing compensation
US11102415B2 (en) Camera adjustment system
KR102127614B1 (ko) 헤드램프 제어 장치 및 방법
JPH09189517A (ja) 撮像装置
KR20220075353A (ko) 자율 주행 차량의 스티어링 각도를 제어하기 위한 장치
CN110356312A (zh) 车辆的防炫目控制方法、系统及车辆
CN110641464B (zh) 摄像头调节系统
KR20180089812A (ko) 카메라 시스템 및 카메라 시스템의 캘리브레이션정보 조정방법
JP6322024B2 (ja) 車外監視装置
KR101426797B1 (ko) 페일세이프 기능을 구비한 비전 시스템 및 그 비전 시스템의 페일세이프 방법
US20180347778A1 (en) Apparatus and method for controlling light distribution using steering information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant