CN112888604A - 后向车道检测覆盖 - Google Patents

后向车道检测覆盖 Download PDF

Info

Publication number
CN112888604A
CN112888604A CN201880098902.XA CN201880098902A CN112888604A CN 112888604 A CN112888604 A CN 112888604A CN 201880098902 A CN201880098902 A CN 201880098902A CN 112888604 A CN112888604 A CN 112888604A
Authority
CN
China
Prior art keywords
vehicle
lane
display
coordinates
current image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880098902.XA
Other languages
English (en)
Other versions
CN112888604B (zh
Inventor
M·W·特哈亚尔
A·J·里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gentex Corp
Original Assignee
Gentex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gentex Corp filed Critical Gentex Corp
Publication of CN112888604A publication Critical patent/CN112888604A/zh
Application granted granted Critical
Publication of CN112888604B publication Critical patent/CN112888604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

后方车道显示系统包括：图像传感器，所述图像传感器被配置成捕获包括车辆前方的车道标记的一个或多个图像；一个或多个显示镜；以及处理器，所述处理器与所述图像传感器和所述显示镜通信，其中所述处理器被配置成处理所述一个或多个图像以预测车道标记将出现在所述车辆后方的位置；以及在所述一个或多个显示镜中显示预测的车道标记的表示。

Description

后向车道检测覆盖
技术领域
所公开的实施例大体上涉及一种驾驶员辅助系统及其方法，且更具体地涉及一种用于后方车道标记识别和跟踪的系统。
背景技术
由于车辆后方的道路表面通常很少有照明，所以当使用后视镜时，可能难以区分车道线和其他车辆相对于车道线的位置。
发明内容
所公开的实施例涉及一种后方车道显示系统，其包括：图像传感器，所述图像传感器被配置成捕获包括车辆前方的车道标记的一个或多个图像；一个或多个显示镜；以及处理器，所述处理器与所述图像传感器和所述显示镜通信，其中所述处理器被配置成：处理所述一个或多个图像以预测所述车道标记将出现在所述车辆后方的位置；以及在所述一个或多个显示镜中显示所预测的车道标记的表示。
所述图像传感器可包括具有红外光源的相机。
所述一个或多个显示镜可包括内部后视镜组件。
所述一个或多个显示镜可包括侧外部后视镜组件。
所述一个或多个显示镜可包括：部分反射和部分透射的电光镜元件；以及显示器，所述显示器被配置成提供所预测的车道标记的覆盖。
所述处理器可被配置成通过以下所述处理从所述图像传感器捕获的一个或多个图像：从所述图像传感器接收当前图像；在所述当前图像中确定车道标记边缘点的坐标；修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化；以及将线拟合到经修改的坐标以用于在所述一个或多个显示镜中显示。
在所述当前图像中确定车道标记边缘点的坐标可包括利用车道标记检测器来识别车道标记位置。
修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化可包括：建立所述车辆的坐标系，其中x轴延伸到所述车辆的左侧和右侧，y轴在所述车辆下方和上方延伸，并且z轴延伸到所述车辆的前部和后部；围绕所述x、y和z轴旋转所述坐标；以及沿着所述z轴平移所述坐标。
修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化可包括移除超过距所述车辆预定距离的车道标记边缘点。
将线拟合到经修改的坐标以用于在所述一个或多个显示镜中显示可包括使用模型，所述模型包括针对给定z值计算X和Y值的一对多项式、最小二乘回归、线性回归、Theil-Sen估计器中的一者或多者。
所公开的实施例还涉及一种用于显示后方车道标记的方法，其包括：捕获包括车辆前方的车道标记的一个或多个图像；处理所述一个或多个图像以预测所述车道标记将出现在所述车辆后方的位置；以及在一个或多个显示镜中显示所预测的车道标记的表示。
所述方法可包括使用具有红外光源的相机来捕获所述一个或多个图像。
所述方法可包括在部分反射和部分透射的电光镜元件上提供所预测的车道标记的覆盖。
所述方法可包括使用内部后视镜组件显示所预测的车道标记的表示。
所述方法可包括使用侧外部后视镜组件显示所预测的车道标记的表示。
处理从所述图像传感器捕获的所述一个或多个图像可包括：从所述图像传感器接收当前图像；在所述当前图像中确定车道标记边缘点的坐标；修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化；以及将线拟合到经修改的坐标以用于在所述一个或多个显示镜中显示。
在所述当前图像中确定车道标记边缘点的坐标可包括利用车道标记检测器来识别车道标记位置。
修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化可包括：建立所述车辆的坐标系，其中x轴延伸到所述车辆的左侧和右侧，y轴在所述车辆下方和上方延伸，并且z轴延伸到所述车辆的前部和后部；围绕所述x、y和z轴旋转所述坐标；以及沿着所述z轴平移所述坐标。
修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化可包括移除超过距所述车辆预定距离的车道标记边缘点。
将线拟合到经修改的坐标以用于在所述一个或多个显示镜中显示可包括使用模型，所述模型包括针对给定z值计算x和y值的一对多项式、最小二乘回归、线性回归、Theil-Sen估计器中的一者或多者。
在研究了下面的说明书、权利要求书和附图之后，本领域技术人员将理解和了解本公开的这些和其它方面、目标和特征。还将理解，本文公开的每个示例的特征可以结合其它示例的特征使用或作为后者的替代。
附图说明
实施例的前述方面和其它特征在以下描述中结合附图进行解释，其中：
图1示出了根据所公开的实施例的示例性车辆控制系统的框图；
图2描绘了并入所公开的实施例的车辆的图；
图3描绘了外部后视镜组件的实例的各个部件；
图4示出了内部后视镜组件的实例；
图5示出了用于预测和显示后方车道标记外观的过程；
图6示出了识别左车道标记和右车道标记的系统的示例性前向显示；
图7示出了覆盖在内部后视显示器上的模拟车道线的示例性视图；
图8描绘了覆盖在左侧外部后视显示器上的左侧模拟车道线；以及
图9描绘了覆盖在右侧外部后视显示器上的右侧模拟车道线。
具体实施方式
在详细描述根据本发明的实施例之前，应注意观察，实施例主要在于与用于确定车道标记的车辆系统有关的方法步骤和装置部件的组合。因此，装置部件与方法步骤在适当时已通过图中的常规符号表示，仅示出与理解本发明的实施例有关的那些特定细节，以免因对于受益于本文中的描述的所属领域的普通技术人员显而易见的细节而使本公开混淆不清。
在此文件中，例如，第一和第二、顶部和底部等关系术语可以仅用于区分一个实体或动作与另一个实体或动作，而不必需要或意指此类实体或动作之间的任何实际此类关系或次序。术语“包括(comprises)”、“包括的(comprising)”，或其任何其他变式旨在覆盖非排他性包含，使得包括一系列元件的过程、方法、制品或装置不但仅包括那些元件而且可包括未明确列出的或此类过程、方法、制品或装置固有的其他元件。前面有“包括……一”的元件在无更多限制的情况下不排除在包括该元件的过程、方法、制品或装置中存在另外的相同元件。
应该了解的是，此处所述本发明的实施例可以由一个或多个常规处理器及独特的所储存程序指令组成，所储存程序指令控制一个或多个处理器，与某些非处理器电路一起，执行本文所述的车辆系统和用于确定车道标记的方法的某些、大多数或所有功能。非处理器电路可以包括但不限于信号驱动器、时钟电路、电源电路和用户输入装置。因此，这些功能可以被解释为确定车道标记的方法的步骤。
或者，一些或所有功能可以通过不具有所存储程序指令的状态机实施，或在一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中实施，其中每个功能或某些功能的一些组合实施为定制逻辑。应理解，可使用任何数目种方法的组合。因此，本文中已经描述用于这些功能的方法和构件。此外，不管可能付出巨大努力以及由例如可用时间、当前技术和经济考量促动的许多设计选择，预期一般技术人员在由本文中所公开的概念和原理引导时将能够很容易地利用最少实验产生此类软件指令、程序和集成电路。
图1示出了根据所公开的实施例的示例性车辆控制系统100的框图。控制系统100可包括前向图像传感器105A、后向图像传感器105B、图像控制器110、处理器115、车道标记检测器120、车道偏离检测器125、后方车道投影电路130和车辆接口140。车道标记检测器120包括用于存储左车道标记边缘点的左缓冲器135和用于存储右车道标记边缘点的右缓冲器140。
前向图像传感器105A和后向图像传感器105B可以是包含电荷耦合装置或CMOS装置的相机。前向图像传感器105A和后向图像传感器105B还可以包括一个或多个光源，例如，近红外光源，并且通常可以操作以提供一系列图像帧。示例性图像传感器可包括以下专利中描述的那些图像传感器：名称为“Control Circuit for Image Array Sensors(用于图像阵列传感器的控制电路)”的第7,432,967号美国专利；名称为“Wide Dynamic RangeOptical Sensor(宽动态范围光学传感器)”的第6,008,486号美国专利；名称为“VehicleVision System(车辆视觉系统)”的第7,567,291号美国专利；名称为“Vehicle VisionSystem with High Dynamic Range(具有高动态范围的车辆视觉系统)”的第7,683,326号美国专利；名称为“Improved Vision System(改进的视觉系统)”的第7,423,821号美国专利；以及名称均为“Improved Imaging Device(改进的成像装置)”的第8,289,430和8,305,471号美国专利；所有这些专利均以引用的方式整体并入本文。
图像控制器110可以控制并接收来自前向图像传感器105A和后向图像传感器105B的数据，并且还可以用于执行预处理功能，例如图像自动曝光、动态范围压缩、滤波和颜色计算。
处理器115可以是使用例如一个或多个部件，例如FPGA，或离散部件和FPGA的组合等谨慎地配置或实例化的微处理器。处理器115可以从图像控制器106请求图像，并且还可以被启用以直接控制和接收来自前向图像传感器105A和后向图像传感器105B的图像。车道标记检测器120和车道偏离检测器125接收由前向图像传感器105A产生的图像帧，其中车道标记检测器120可操作以识别道路上的车道标记位置，并且车道偏离检测器125可操作以检测从行驶车道的偏离。后方车道投影电路130可以对来自车道标记检测器120和车道偏离检测器125中的一个或多个的数据进行操作，以提供车辆后面的车道的图像，该图像将被叠加在由后向图像传感器105B捕获的图像上。
在一些实施例中，车道标记检测器120、偏离检测器125和后方车道投影电路130可以在由处理器115可读的介质上包含的计算机代码中实施，并且处理器115可以被配置成执行车道标记和车道偏离检测，并提供车道的后方投影。在其它实施例中，车道标记检测器120、车道偏离检测器125和后方车道投影电路130可以体现为离散电路，包括一个或多个处理器、存储器、状态机、ASIC、FPGA或可以操作以执行本文所述功能的其它部件。
用于车道标记检测和车道偏离检测的典型系统可包括以下专利中描述的那些系统：名称为“Image Acquisition and Processing Systems for Vehicle EquipmentControl(用于车辆设备控制的图像采集与处理系统)”的第7,881,839号美国专利；名称为“Vehicular Imaging System and Method for Determining Roadway Width(车辆成像系统和用于确定道路宽度的方法)”的第8,543,254号美国专利；名称为“System and Methodfor Periodic Lane Marker Identification and Tracking(用于周期性车道标记识别和跟踪的系统和方法)”的第9,098,751号美国专利；以及名称为“Automatic VehicleEquipment Monitoring,Warning,and Control System(自动车辆设备监测、报警和控制系统)”的第9,230,183号美国专利；所有这些专利均以引用的方式整体并入本文。来自车道标记检测器120的信息可以投影以用于例如使用抬头显示器查看。
图6示出识别的左车道标记605和右车道标记610的示例性显示，该显示可以通过挡风玻璃观察或显示在车辆的挡风玻璃上。
车辆接口140可操作以从其它车辆系统接收各种车辆参数，包括诸如速度、俯仰、滚动、偏航、方向盘位置和车辆方向的参数，并将这些参数提供至车道标记检测器120、车道偏离检测器125和后方车道投影电路130。
图2描绘了并入所公开的实施例的车辆200的图。车辆200可包括：左侧外部后视镜组件205，右侧外部后视镜组件210，中心高位停车灯215，A柱220a、220b，B柱225a、225b，C柱230a、230b和内部后视镜组件235。应理解，外部后视镜组件205、210和内部后视镜组件235可以是自动调光电光镜，且可并入一个或多个显示器，如下文将解释的。还应理解，尽管前向图像传感器105A、图像控制器110、处理器115、车道标记检测器120和车道偏离检测器125可以定位在任何合适的位置中，但在一些实施例中，前向图像传感器105A、图像控制器110、处理器115、车道标记检测器120和车道偏离检测器125可位于以下各项中的任一个附近、上面或内部：左侧外部后视镜组件205，右侧外部后视镜组件210，中间高位停车灯215，A柱220a、220b，B柱225a、225b，C柱230a、230b和内部后视镜组件235。
在一些实施例中，前向图像传感器105A可以位于内部后视镜组件235的安装件上，并且在一个或多个实施例中，图像控制器110和处理器115可以与前向图像传感器105A共同定位。在一个或多个实施例中，后向图像传感器105B可位于中心高位停车灯215中，或位于车辆200的后部上的安装件245中。
图3描绘了根据所公开的实施例的左侧外部后视镜组件205的实例的各个部件。左侧外部后视镜组件205可包括电光镜元件305和安装在外壳315内的外部后视显示器310。左侧外部后视镜组件205还可包括一个或多个滤光器320、电连接、安装件和用于将外部后视镜组件300安装到车辆200且用于提供车辆200的侧后视图的其它部件。电光镜元件305可以是部分反射和部分透射的，使得由外部后视显示器310显示的信息是可见的。外部后视显示器310可利用LCD、LED、OLED、等离子、DLP或任何合适的显示技术，且至少操作以提供补充由电光镜元件305提供的反射图像的信息的覆盖。在一些实施例中，外部后视显示器310可以提供可由后向图像传感器105B提供的部分侧后视图，并且可以包括预测的车道标记指示，而在其它实施例中，外部后视显示器310可以提供包括预测的车道标记指示的整个侧后视图。应理解，右侧外部后视镜组件210可包括相同部件并且可提供相同的部分或完整视图。
图4示出了根据所公开的实施例的内部后视镜组件235的实例。内部后视镜组件235可包括电光元件405、包围内部后视显示器420的前屏蔽罩410和后屏蔽罩415、外壳425和安装构件430。内部后视镜组件235的电光镜元件405可以是部分反射和部分透射的，以便内部后视显示器410显示的信息对用户可见。内部后视显示器410可以利用LCD、LED、OLED、等离子、DLP或任何合适的显示技术，并且至少操作以提供补充由电光镜元件405提供的反射图像的信息的覆盖。在一些实施例中，内部后视显示器410可仅占据电光镜元件405的表面的一部分，且显示由后向图像传感器105B提供的包括预测的车道标记指示的部分后视图，而在其它实施例中，内部后视显示器410可以占据电光镜元件405的绝大部分或大致全部表面，并且可以提供由后向图像传感器105B提供的包括预测的车道标记指示的整个后视图。示例性内部后视镜组件可包括名称为“Display Mirror Assembly(显示镜组件)”的第9,598,018号美国专利和名称为“Full Display Mirror(全显示镜)”的第2017/00880055号美国专利申请中描述的那些内部后视镜组件，所有这些文献均以引用的方式整体并入本文中。
如上文所提及，后方车道投影电路130可以对来自车道标记检测器120和车道偏离检测器125中的一个或多个的数据进行操作，以提供车辆200后方的车道的显示。出于所公开的实施例的目的，相对于车辆200的坐标系根据三维坐标系来限定，所述三维坐标系的原点位于地面上的一个点，中心位于车辆200的两个后轮胎之间。坐标系中的每个点相对于原点根据(x，y，z)定义，其中x轴延伸到车辆的左侧和右侧，其中x是到车辆中心右侧的距离，以及-x是到车辆中心左侧的距离，y轴在车辆下方和上方延伸，其中y是低于地平面的距离，并且-y是高于地平面的距离，且z轴延伸到车辆的前部和后部，其中z是朝向车辆200的前部的距离，并且-z是朝向车辆200的后部的距离。后向图像传感器105B的位置和取向可相对于车辆的坐标系进行校准。另外，还可以校准后向图像传感器105B的焦距、光学中心和透镜畸变系数。
图5示出了用于预测车道标记将出现在车辆200后方的位置且为用户显示车道标记的过程500。
如方框505中所示，车道标记检测器120从前向图像传感器105A接收图像帧。当接收到每个新帧时，在相对于车辆200的坐标系内确定在图像帧中左车道标记上的点(被称为左边缘点)的坐标，并且将其存储在左缓冲器135中，如方框510中所示。在相对于车辆200的坐标系内确定在图像帧中右车道标记上的点(被称为右边缘点)的坐标，并且将其存储在右缓冲器140中，如方框515中所示。当接收每个帧时，后方车道投影电路130计算接收当前帧与先前帧之间的时间量，如方框520中所示。
在一些实施例中，前向图像传感器105、图像控制器110或处理器115可以在生成或检索帧时对帧加时间戳，并且车道标记检测器120可以使用时间戳来计算连续帧之间的时间量。在其它实施例中，车道标记检测器120可以参考时钟信号，或执行一些其它操作以计算接收帧之间的时间量。
如方框525中所示，车道标记检测器120对存储在左缓冲器135和右缓冲器140中的每个边缘点的坐标执行以下操作，以反映在接收当前帧与先前帧之间的车辆取向和位置变化：
使用以下矩阵围绕y轴旋转每个边缘点的坐标(偏航)
Figure BDA0003031392530000071
使用以下矩阵围绕x轴旋转每个边缘点的坐标(俯仰)
Figure BDA0003031392530000081
使用以下矩阵围绕z轴旋转每个边缘点(滚动)；以及
Figure BDA0003031392530000082
使用以下矩阵沿着z轴平移每个边缘点(速度)
Figure BDA0003031392530000083
替代地，对存储在左缓冲器135和右缓冲器140中的每个边缘点的坐标的操作可以被编译成单个矩阵乘法：
Figure BDA0003031392530000084
如方框530中所示，然后，可以从缓冲器移除由于车辆行进而超过距车辆特定距离的左缓冲器135和右缓冲器140中的点。作为非限制性实例，可以移除车辆200后方超过50米的点。
然后，模型可用于将线独立地拟合到每个缓冲器中的经修改的坐标，如方框535和540中所示。例如，在一些实施例中，可以使用针对给定z值计算X和Y值的一对多项式。例如，可以使用fx(z)＝a3z3+a2z2+a1z+a0和fy(z)＝b3z3+b2z2+b1z+b0。在其它实施例中，可以利用最小二乘回归、线性回归、Theil-Sen估计器或任何合适的建模技术来将线拟合到经修改的坐标。
如方框545中所示，模拟的拟合线接着可绘制在内部后视显示器410上显示的视图上。在一些实施例中，投影矩阵可用于确定与模拟的拟合线的点对应的后视显示器410的像素。图7示出了内部后视显示器410上示出的包括模拟的拟合线705、710的示例性视图。
可选地，拟合到左缓冲器中的经修改的坐标的线可以覆盖在由左侧外部后视镜组件205提供的视图中，如图8所示，拟合到右缓冲器中的经修改的坐标的线可以覆盖在由右侧外部后视镜组件210提供的视图中，如图9所示。还可以执行其它图像操作，例如增强模拟的拟合线周围的对比度，或增加亮度。
应注意，本文所述的实施例可以单独使用或以其任何组合使用。应理解，前述描述仅说明实施例。在不脱离实施例的情况下，本领域技术人员可以设计各种替代方案和修改。因此，本实施例旨在涵盖属于所附权利要求书范围内的所有此类替代方案、修改和变化。
当结合附图阅读时，鉴于前述描述，对相关领域的技术人员来说，各种变形和适应修改可能变得显而易见。然而，对所公开的实施例的教导的所有此类和类似修改仍将落入所公开的实施例的范围内。
本文所述的不同实施例的各种特征是一个与另一个地可互换的。根据本公开的原理，各种所描述的特征以及任何已知的等同物可以混合和匹配以构建另外的实施例和技术。
此外，在没有对应地使用其它特征的情况下，使用示例性实施例的一些特征可更有优势。因此，前述描述应被视为仅仅是对所公开的实施例的原理的说明而非对其的限制。

Claims (20)

1.一种后方车道显示系统，其包括：
图像传感器，所述图像传感器被配置成捕获包括车辆前方的车道标记的一个或多个图像；
一个或多个显示镜；以及
处理器，所述处理器与所述图像传感器和所述显示镜通信，其中所述处理器被配置成：
处理所述一个或多个图像以预测所述车道标记将出现在所述车辆后方的位置；以及
在所述一个或多个显示镜中显示所预测的车道标记的表示。
2.根据权利要求1所述的后方车道显示系统，其中所述图像传感器包括具有红外光源的相机。
3.根据权利要求1或2所述的后方车道显示系统，其中所述一个或多个显示镜包括内部后视镜组件。
4.根据前述权利要求中任一项所述的后方车道显示系统，其中所述一个或多个显示镜包括侧外部后视镜组件。
5.根据前述权利要求中任一项所述的后方车道显示系统，其中所述一个或多个显示镜包括：
部分反射和部分透射的电光镜元件；以及
显示器，所述显示器被配置成提供包括所预测的车道标记的覆盖。
6.根据前述权利要求中任一项所述的后方车道显示系统，其中所述处理器被配置成通过以下处理从所述图像传感器捕获的所述一个或多个图像：
从所述图像传感器接收当前图像；
在所述当前图像中确定车道标记边缘点的坐标；
修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化；以及
将线拟合到经修改的坐标以用于在所述一个或多个显示镜中显示。
7.根据前述权利要求中任一项所述的后方车道显示系统，其中在所述当前图像中确定车道标记边缘点的坐标包括利用车道标记检测器来识别车道标记位置。
8.根据前述权利要求中任一项所述的后方车道显示系统，其中修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化包括：
建立所述车辆的坐标系，其中x轴延伸到所述车辆的左侧和右侧，y轴在所述车辆下方和上方延伸，并且z轴延伸到所述车辆的前部和后部；
围绕x、y和z轴旋转所述坐标；以及
沿着所述z轴平移所述坐标。
9.根据前述权利要求中任一项所述的后方车道显示系统，其中修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化包括移除超过距所述车辆预定距离的车道标记边缘点。
10.根据前述权利要求中任一项所述的后方车道显示系统，其中将线拟合到经修改的坐标以用于在所述一个或多个显示镜中显示包括使用模型，所述模型包括针对给定z值计算X和Y值的一对多项式、最小二乘回归、线性回归、Theil-Sen估计器中的一者或多者。
11.一种用于显示后方车道标记的方法，其包括：
捕获包括车辆前方的车道标记的一个或多个图像；
处理所述一个或多个图像以预测所述车道标记将出现在所述车辆后方的位置；以及
在一个或多个显示镜中显示所预测的车道标记的表示。
12.根据权利要求11所述的方法，其包括使用具有红外光源的相机来捕获所述一个或多个图像。
13.根据权利要求11或12所述的方法，其中在一个或多个显示镜中显示所预测的车道标记的表示包括在部分反射和部分透射的电光镜元件上提供所预测的车道标记的覆盖。
14.根据前述权利要求中任一项所述的方法，其包括使用内部后视镜组件显示所预测的车道标记的表示。
15.根据前述权利要求中任一项所述的方法，其包括使用侧外部后视镜组件显示所预测的车道标记的表示。
16.根据前述权利要求中任一项所述的方法，其中处理从所述图像传感器捕获的所述一个或多个图像包括：
从所述图像传感器接收当前图像；
在所述当前图像中确定车道标记边缘点的坐标；
修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化；以及
将线拟合到经修改的坐标以用于在所述一个或多个显示镜中显示。
17.根据前述权利要求中任一项所述的方法，其中在所述当前图像中确定车道标记边缘点的坐标包括利用车道标记检测器来识别车道标记位置。
18.根据前述权利要求中任一项所述的方法，其中修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化包括：
建立所述车辆的坐标系，其中x轴延伸到所述车辆的左侧和右侧，y轴在所述车辆下方和上方延伸，并且z轴延伸到所述车辆的前部和后部；
围绕x、y和z轴旋转所述坐标；以及
沿着所述z轴平移所述坐标。
19.根据前述权利要求中任一项所述的方法，其中修改所述坐标以反映接收所述当前图像与先前图像之间的车辆取向变化包括移除超过距所述车辆预定距离的车道标记边缘点。
20.根据前述权利要求中任一项所述的方法，其中将线拟合到经修改的坐标以用于在所述一个或多个显示镜中显示包括使用模型，所述模型包括针对给定z值计算x和y值的一对多项式、最小二乘回归、线性回归、Theil-Sen估计器中的一者或多者。
CN201880098902.XA 2018-10-03 2018-12-28 后向车道检测覆盖 Active CN112888604B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/150,993 US10748303B2 (en) 2018-10-03 2018-10-03 Rear facing lane detection overlay
US16/150,993 2018-10-03
PCT/US2018/054226 WO2020072050A1 (en) 2018-10-03 2018-12-28 Rear facing lane detection overlay

Publications (2)

Publication Number Publication Date
CN112888604A true CN112888604A (zh) 2021-06-01
CN112888604B CN112888604B (zh) 2024-02-02

Family

ID=70052275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098902.XA Active CN112888604B (zh) 2018-10-03 2018-12-28 后向车道检测覆盖

Country Status (4)

Country Link
US (1) US10748303B2 (zh)
EP (1) EP3860881B1 (zh)
CN (1) CN112888604B (zh)
WO (1) WO2020072050A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819711B (zh) * 2021-01-20 2022-11-22 电子科技大学 一种基于单目视觉的利用道路车道线的车辆反向定位方法
CN113119978A (zh) * 2021-05-10 2021-07-16 蔚来汽车科技(安徽)有限公司 车道边沿提取方法和装置、自动驾驶系统、车辆以及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099999A (ja) * 2000-09-22 2002-04-05 Equos Research Co Ltd 車両用車線検出装置
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
US20120221168A1 (en) * 2011-02-28 2012-08-30 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US20130028473A1 (en) * 2011-07-27 2013-01-31 Hilldore Benjamin B System and method for periodic lane marker identification and tracking
US20130179036A1 (en) * 2012-01-11 2013-07-11 GM Global Technology Operations LLC Lane tracking system with active rear-steer
WO2013113500A1 (de) * 2012-02-02 2013-08-08 Audi Ag Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
CN104260723A (zh) * 2014-09-29 2015-01-07 长安大学 一种后方车辆运动状态追踪预测装置及预测方法
KR20150117555A (ko) * 2014-04-10 2015-10-20 현대자동차주식회사 카메라 영상정보와 차량정보를 융합하여 전후방 차선을 인지하는 차선 감지 방법 및 장치
CN105517844A (zh) * 2013-09-04 2016-04-20 金泰克斯公司 车辆的用于显示图像的后视组件
CN105599765A (zh) * 2015-12-11 2016-05-25 上海卓易科技股份有限公司 一种车道偏离的判断和预警方法
CN105658479A (zh) * 2013-08-07 2016-06-08 奥迪股份公司 可视化系统、车辆以及用于操作可视化系统的方法
US20160325682A1 (en) * 2015-05-08 2016-11-10 Magna Electronics Inc. Vehicle vision system with road line sensing algorithm and lane departure warning
US20170083774A1 (en) * 2015-09-23 2017-03-23 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control
CN107767696A (zh) * 2016-08-19 2018-03-06 德韧营运有限责任公司 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法
KR20180029348A (ko) * 2016-09-12 2018-03-21 현대모비스 주식회사 차선 시인성 향상 장치 및 그 동작 방법
TWI621073B (zh) * 2016-12-08 2018-04-11 Road lane detection system and method thereof
CN108162866A (zh) * 2017-12-21 2018-06-15 宁波吉利汽车研究开发有限公司 一种基于流媒体外后视镜系统的车道识别系统及方法
US20180189577A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Systems and methods for lane-marker detection

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006040333A1 (de) * 2006-08-29 2008-03-06 Robert Bosch Gmbh Verfahren für die Spurerfassung mit einem Fahrerassistenzsystem eines Fahrzeugs
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
US8543254B1 (en) * 2012-03-28 2013-09-24 Gentex Corporation Vehicular imaging system and method for determining roadway width
JP6057660B2 (ja) * 2012-10-19 2017-01-11 アルパイン株式会社 車線監視システム及び車線監視方法
JP6348758B2 (ja) * 2014-04-15 2018-06-27 本田技研工業株式会社 画像処理装置
US9409570B2 (en) * 2014-05-09 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for predicting most probable path of vehicle travel and vehicle control loss preview
US10318824B2 (en) * 2014-07-23 2019-06-11 GM Global Technology Operations LLC Algorithm to extend detecting range for AVM stop line detection
US9896022B1 (en) * 2015-04-20 2018-02-20 Ambarella, Inc. Automatic beam-shaping using an on-car camera system
JP6501602B2 (ja) * 2015-04-23 2019-04-17 本田技研工業株式会社 レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099999A (ja) * 2000-09-22 2002-04-05 Equos Research Co Ltd 車両用車線検出装置
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
US20120221168A1 (en) * 2011-02-28 2012-08-30 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US20130028473A1 (en) * 2011-07-27 2013-01-31 Hilldore Benjamin B System and method for periodic lane marker identification and tracking
US20130179036A1 (en) * 2012-01-11 2013-07-11 GM Global Technology Operations LLC Lane tracking system with active rear-steer
WO2013113500A1 (de) * 2012-02-02 2013-08-08 Audi Ag Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
CN105658479A (zh) * 2013-08-07 2016-06-08 奥迪股份公司 可视化系统、车辆以及用于操作可视化系统的方法
CN105517844A (zh) * 2013-09-04 2016-04-20 金泰克斯公司 车辆的用于显示图像的后视组件
KR20150117555A (ko) * 2014-04-10 2015-10-20 현대자동차주식회사 카메라 영상정보와 차량정보를 융합하여 전후방 차선을 인지하는 차선 감지 방법 및 장치
CN104260723A (zh) * 2014-09-29 2015-01-07 长安大学 一种后方车辆运动状态追踪预测装置及预测方法
US20160325682A1 (en) * 2015-05-08 2016-11-10 Magna Electronics Inc. Vehicle vision system with road line sensing algorithm and lane departure warning
US20170083774A1 (en) * 2015-09-23 2017-03-23 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control
CN105599765A (zh) * 2015-12-11 2016-05-25 上海卓易科技股份有限公司 一种车道偏离的判断和预警方法
CN107767696A (zh) * 2016-08-19 2018-03-06 德韧营运有限责任公司 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法
KR20180029348A (ko) * 2016-09-12 2018-03-21 현대모비스 주식회사 차선 시인성 향상 장치 및 그 동작 방법
TWI621073B (zh) * 2016-12-08 2018-04-11 Road lane detection system and method thereof
US20180189577A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Systems and methods for lane-marker detection
CN108162866A (zh) * 2017-12-21 2018-06-15 宁波吉利汽车研究开发有限公司 一种基于流媒体外后视镜系统的车道识别系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周劲草;魏朗;乔洁;: "面向雾天的双先验兴趣区域车道线识别算法研究", 中国安全科学学报, no. 08 *
陈龙;李清泉;毛庆洲;: "基于成像模型的车道线检测与跟踪方法", 中国公路学报, no. 06 *

Also Published As

Publication number Publication date
EP3860881A4 (en) 2021-08-11
US20200111230A1 (en) 2020-04-09
WO2020072050A1 (en) 2020-04-09
CN112888604B (zh) 2024-02-02
EP3860881A1 (en) 2021-08-11
US10748303B2 (en) 2020-08-18
EP3860881B1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
US11836989B2 (en) Vehicular vision system that determines distance to an object
US11610410B2 (en) Vehicular vision system with object detection
US9802540B2 (en) Process for representing vehicle surroundings information of a motor vehicle
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US10558221B2 (en) Method for assisting in a parking operation for a motor vehicle, driver assistance system and a motor vehicle
US10268904B2 (en) Vehicle vision system with object and lane fusion
US10166923B2 (en) Image generation device and image generation method
US20200286244A1 (en) Image processing method and apparatus
EP2414776B1 (en) Vehicle handling assistant apparatus
US9902341B2 (en) Image processing apparatus and image processing method including area setting and perspective conversion
TWI522257B (zh) 車用安全系統及其運作方法
JP2012166705A (ja) 車載カメラレンズ用異物付着判定装置
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
CN112888604B (zh) 后向车道检测覆盖
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法
KR101190789B1 (ko) 차량의 거리 측정 장치 및 방법
CN112484743B (zh) 车载hud融合实景导航显示方法及其系统
CN107399274B (zh) 影像叠合的方法
CN113276772B (zh) 一种汽车电子外后视镜系统及控制方法
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
KR20120014839A (ko) 타이어휠 긁힘 방지장치.
CN111756987A (zh) 一种车载摄像头的控制方法、装置及车载图像捕捉系统
KR101517130B1 (ko) 차량의 주행 안전 시스템
EP1405776A1 (en) Movable body circumstance monitoring apparatus
JP2023102489A (ja) 画像処理装置、画像処理方法および画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant