CN111196217A - 车辆辅助系统 - Google Patents

车辆辅助系统 Download PDF

Info

Publication number
CN111196217A
CN111196217A CN201910998959.1A CN201910998959A CN111196217A CN 111196217 A CN111196217 A CN 111196217A CN 201910998959 A CN201910998959 A CN 201910998959A CN 111196217 A CN111196217 A CN 111196217A
Authority
CN
China
Prior art keywords
vehicle
image
controller
view
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910998959.1A
Other languages
English (en)
Inventor
H·埃尔-哈提卜
R·因德拉坎蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Active Safety and Electronics US LLC
Original Assignee
ZF Active Safety and Electronics US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Active Safety and Electronics US LLC filed Critical ZF Active Safety and Electronics US LLC
Publication of CN111196217A publication Critical patent/CN111196217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Vascular Medicine (AREA)
  • Toxicology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种车辆辅助系统。用于辅助在道路上行驶的车辆的操作的方法包括：用具有视场的至少一个视觉相机获取车辆周围的视觉图像；以及用具有视场的至少一个热照相机获取车辆周围的热图像。将热图像叠加在视觉图像上以产生合成图像。在合成图像中检测物体。车辆辅助系统响应于检测到物体而调节车辆的行驶方向和速度中的至少一者。

Description

车辆辅助系统
技术领域
本发明总体上涉及车辆系统，并且更具体地涉及具有成像元件的车辆辅助系统，该成像元件考虑了车辆周围的可见度的变化。
背景技术
目前的驾驶员辅助系统(ADAS-高级驾驶员辅助系统)在车辆中提供一系列监测功能。特别地，ADAS可以监测车辆周围的环境并且向车辆的驾驶员通知其中的状况。为此，ADAS可以捕获周围环境的图像并对图像进行数字处理以提取信息。该信息用于警告驾驶员沿驾驶路径定位的道路障碍物。常见的ADAS包括自动紧急制动和车道检测，该自动紧急制动用于帮助防止追尾碰撞，该车道检测用于帮助将车辆保持在预期驾驶车道内。
发明内容
在本发明的一个方面中，一种用于辅助在道路上行驶的车辆的操作的方法包括：用具有视场的至少一个视觉相机获取车辆周围的视觉图像；以及用具有视场的至少一个热相机获取车辆周围的热图像。将热图像叠加在视觉图像上以产生合成图像。在合成图像中检测物体。车辆辅助系统响应于检测到物体而调节车辆的行驶方向和速度中的至少一者。
在另一方面，一种用于在道路上行驶的主车辆的车辆辅助系统包括用于获取视场中的主车辆周围的视觉图像的视觉相机。热相机获取视场中的主车辆周围的热图像。雨传感器检测视场内的降水。控制器连接到视觉相机、热相机和雨传感器。控制器将热图像叠加到视觉图像上以形成合成图像，以用于检测视场内的物体。控制器响应于检测到物体而调节车辆的行驶方向和速度中的至少一者。
通过以下详细描述和附图，将获得本发明的其他目的和优点以及更全面的理解。
附图说明
图1是根据本发明的实施例的具有辅助系统的车辆的俯视图。
图2是图1的辅助系统的示意图。
图3A是图1的辅助系统的示例成像元件的示意图。
图3B是图1的辅助系统的另一示例成像元件的示意图。
图4是在道路上行驶并且检测视场内的车辆前方的物体的车辆的示意图。
图5A是视场的视觉图像。
图5B是视场的热图像。
图6是示出视场内的可见度与热图像的透明度之间的相关性的曲线图。
图7A是具有第一透明度并且叠加在视觉图像上的热图像的合成图像。
图7B是具有第二透明度并且叠加在视觉图像上的热图像的合成图像。
图8是在道路上行驶并且检测视场内的车辆前方的交通模式指示器的车辆的示意图。
图9是示出辅助车辆的方法的流程图。
具体实施方式
本发明总体上涉及车辆系统，并且更具体地涉及具有成像元件的车辆辅助系统，该成像元件考虑了车辆周围的可见度的变化。图1示出根据本发明的具有示例辅助系统50的车辆20。
车辆20沿中心线22从前端24延伸到后端26。车辆20包括位于中心线22的相对侧上的左侧27和右侧29。侧视镜28连接到左侧27。另一侧视镜30连接到右侧 29。
车辆20的前端24包括通常在左侧27和右侧29之间延伸的前窗或挡风玻璃32。后视镜34固定到挡风玻璃32。车辆20的后端26包括通常在左侧27和右侧29之间延伸的后窗36。车辆20包括内部54。车辆20的外部总体用56表示。
车辆20包括一对前可转向车轮60和一对后车轮62。前车轮60机械地链接到转向致动器或齿轮68(见图2)，该转向致动器或齿轮68机械地链接到方向盘66。可替代地，前车轮62和方向盘66可以是线控转向系统(未示出)的一部分。后车轮 62也可以通过相同的转向齿轮68或另一转向齿轮(未示出)联接到方向盘66。
在任何情况下，方向盘66的旋转致动转向齿轮68以使车轮60相对于中心线22 转动以便使车辆20转向。为此，方向盘66具有中立位置，在该位置处，车轮60指向平行于中心线22的方向，使得车辆沿直线移动。方向盘66的逆时针旋转使车轮 60相对于中心线22向左成角度(如图1所示)，使得车辆20向左转动。方向盘66 的顺时针旋转使车轮60相对于中心线22向右成角度，使得车辆20向右转动。
辅助系统50包括设置在车辆20周围的成像元件70a-70d。在一个示例中，成像元件70a固定到后视镜34。成像元件70b在侧视镜28上固定到左侧27。成像元件 70c在侧视镜30上固定到右侧29。成像元件70d沿中心线22或邻近中心线22固定到车辆20的后端26。
所有成像元件70a-70d面向远离车辆20的外部。因此，成像元件70a面向前或朝前。成像元件70d面向后或朝后。成像元件70b、70c面向侧面或朝侧面。应当理解，可以提供更多或更少的成像元件。在任何情况下，成像元件70a-70d全部都电连接或无线连接到车辆20中的控制器74。
每个成像元件70a-70d具有覆盖车辆外部56的一部分的相关联视场72a-72d。总体上，视场72a-72d基本上环绕整个车辆20并且可以彼此离散(如图所示)或彼此重叠(未示出)。控制器74连续地接收由成像元件70a-70d中的一个或多个在相应视场72a-72d内拍摄的图像。控制器74包括图像处理模块(未示出)，该图像处理模块接收并分析与来自成像元件70a-70d的图像相关联的数据。控制器74可以例如将图像拼接在一起以形成车辆外部56的360°环绕视图(未示出)。可以依赖图像来识别车辆20周围的物体。在一些情况下，少于全部成像元件70a-70d的成像元件用于检测车辆20周围的物体和/或辅助操作者。
参考图2，控制器74还电连接或无线连接到车辆20中的各种传感器和致动器，以用于监测和控制车辆的若干功能，即车辆速度和转向。为此，控制器74电连接或无线连接到车辆速度传感器100。速度传感器100监测车辆速度并生成指示车辆速度的电信号102，电信号102以预定的时间间隔发送到控制器74。
控制器74还电连接或无线连接到与车辆制动器112相关联的致动器110和与加速踏板118相关联的节气门致动器116。控制器74可以将控制信号114发送到制动致动器110以减小车辆20的速度。控制器74可以将控制信号120发送到节气门致动器116以增加车辆20的速度。
车轮位置传感器130监测方向盘66的旋转角度并生成指示转向角度的电信号132。信号132以预定的时间间隔发送到控制器74。控制器74可以响应于车轮位置信号132将控制信号136发送到转向齿轮68，从而控制方向盘66的旋转。转向齿轮 68的致动还控制前车轮60相对于车辆20的中心线22的转向角度。
至少一个光传感器140电连接或无线连接到控制器74，以用于获取与车辆外部 56周围的光强度有关的数据。一个光传感器140固定到后视镜34并且具有基本上包含成像元件70a的视场72a的检测范围。固定到后端26的光传感器140具有包含成像元件70d的视场72d的检测范围。光传感器140固定到车辆20的左侧27和右侧 29，并且具有包含视场72c-72d的相应检测范围。光传感器140检测成像元件70a-70d 的视场72a-72d中的光的存在和强度。这将包括：例如直接来自太阳的光；从道路、其他车辆、建筑物等反射的阳光；来自迎面而来的车辆的车头灯的光。光传感器140 将指示视场72a-72d内的光强度的信号142发送到控制器74。
至少一个接近传感器150可以电连接或无线连接到控制器74，以用于获取与车辆外部56周围的物体相关的数据。至少一个接近传感器150可以包括：例如，激光扫描仪、超声波传感器、雷达检测器和LIDAR(光雷达)检测器，以用于确定和监测由成像元件70a-70d检测到的车辆20与车辆外部56周围的物体之间的距离。在一个示例中，接近传感器150设置在车辆20的前端24和后端26上。然而，接近传感器150可以完全省略。
至少一个雨传感器170可以电连接或无线连接到控制器74，以用于获取与车辆外部56周围的降水有关的数据。如图所示，雨传感器170设置在车辆的前端24和后端26上。雨传感器170检测在视场72a、72d内是否存在降水，诸如雨、雪、冰雹或雾，并且当存在降水时检测降水的强度，例如mm/hr或in/hr。雨传感器170将指示视场72a、72d内的降水的信号172发送到控制器74。
基于这种结构，控制器74能够接收关于车辆的驾驶状况(例如，车辆速度和转向角度、车辆外部56周围的图像、车辆周围的天气状况和照明状况、以及车辆与图像中识别的物体之间的距离)的连续反馈。控制器74响应于这些输入，能够以有助于增加乘员安全性的方式控制车辆操作。为此，控制器74可以响应于由成像元件 70a-70d发送的图像来辅助或执行车道保持辅助紧急制动和备用辅助。
警报器160电连接或无线连接到控制器74，以用于在辅助系统50执行自主操作之前和/或之时向车辆20的操作者提供反馈。在控制器74向操作者发送信号142之前和/或之时，警报器160向操作者提供视觉、听觉或触觉反馈。
参照图3A，一个示例成像元件70a包括从第一端82延伸到第二端84并限定内部86的壳体80。第一端82由端壁88封闭。视觉相机90和分开的热相机92设置在内部86中。每个相机90、92具有设置在端壁88中的相关联的透镜91、93，使得相机具有延伸穿过车辆20前方的端壁的基本相同的视场72a。视觉相机90可以是单透镜相机或多焦相机。
由于视觉相机90依赖于捕获光来生成图像，因此视觉相机比热相机92更适合于检测无生命物体，例如车道线、停放的车辆、停车标志、道路中的碎片等。另一方面，热相机92依赖于检测热量以生成图像，因此，热相机比视觉相机90更适合于检测活物体(例如行人或动物)，或相对于其周围环境生成更多热量的物体(例如车辆排气管)。
在图3B所示的替代配置中，视觉相机92和热相机94彼此集成，其中两者都使用设置在端壁88中的相同透镜96来共享相同的视场72a。在任何情况下，成像元件 70a可以具有单透镜或多透镜配置。应当理解，成像元件70b-70d各自可以具有与图 3A或图3B中的成像元件70a相同的构造。
在一个示例中，辅助系统50检测视场72a内的物体，并选择对检测到那些物体的适当响应(如果有的话)。为此，示例道路200在图4中示出并且具有由箭头T示出的车辆行驶方向。道路200包括由虚划分线206分开的一系列车道202、204。附加的车道和划分线是预期的但未示出。道路200通过左侧(相对于行驶方向T)上的边界线212和右侧上的边界线214从周围的越野地形210限定。
参考图4，当车辆20沿道路200行驶时，成像元件70a检测视场72a内的车辆前方的物体，例如其他车辆、行人、动物、碎片等。一个示例物体在图4中表示为行人216。更具体地，控制器74连续接收表示来自视觉相机90的视觉图像的信号和表示来自热相机92的热图像的信号。
图5A中示出示例视觉图像220。在图像220中，道路200的线206、212、214 是可见的。指示符222近似于控制器74认为是物体216(这里是越野地形210上的行人)的位置。指示符222的放置可以基于通过分割视觉图像220进行的神经网络形状检测分析。控制器74可以在指示符222内执行像素分析并确定指示指示符中的物体216实际上就是控制器将其估计成什么物体的可能性的第一置信度分数。
图5B中示出热图像230的示例。与视觉图像220相比，在图像230中，道路200 的线206、212、214较不可见并且难以检测。指示符232近似于控制器74认为是物体216的位置。指示符232的放置可以基于视觉图像220内的相对热点中的模糊系统形状检测分析。控制器74可以在指示符232内执行像素分析并确定指示指示符中的物体216实际上就是控制器将其估计成什么物体的可能性的第二置信度分数。与视觉图像220相比，在热图像230中，物体216更加可见并且更容易检测，因此，第二置信度分数大于第一置信度分数。
为了利用每个相机90、92的检测能力，控制器74将视觉图像220和热图像230 彼此叠加或重叠以形成合成图像240(图7A和图7B)。这允许控制器74利用两个相机90、92的能力来增加辅助系统50检测车辆20周围的物体的可靠性。
然而，车辆周围的天气状况和照明状况可以影响视觉相机90检测视场72a内的物体的能力。因此，控制器74依赖于传感器140、170中的一个或多个来检测和监测车辆20周围的天气状况和照明状况。控制器74假设没有任何不利的天气状况或不利的照明状况，以等同于高视觉相机90在视场72a内的可见度。另一方面，控制器74 假定不利的天气状况和/或不利的照明状况的指示，以等同于低视觉相机90在视场72a 内的可见度。响应于这样的指示(或没有指示)，控制器74在将热图像叠加在视觉图像220上之前调节热图像230的透明度。
在一个示例中，如果检测到的光强度在与被认为是正常照明状况的情况一致的预定范围内，则热图像230的透明度增加。如果检测到的光强度低于预定范围(被认为太暗)或高于预定范围(被认为太亮)，则热图像230的透明度降低。光强度越极端 (或其缺乏)，热图像230的透明度越低。
沿相同的线，如果没有检测到降水或者检测到的降水为预定量或低于预定量，则热图像230的透明度增加。如果检测到降水或检测到的降水高于预定量，则热图像 230的透明度降低。所感测的降水越大，热图像230的透明度越低。
控制器74从传感器140、170接收信号142、172并且基于算法确定用于视觉图像220的总可见度分数，例如，0-100％。在一个示例中，控制器74基于列出可能的天气状况和照明状况以及它们各自的相应可见性分数的查找表，为车辆20周围的每个感测的天气状况和照明状况分配第一可见度分数和第二可见度分数。然后可以对第一可见度分数和第二可见度分数进行加权和平均以确定总可见度分数。基于其对视觉图像可见度的已知影响，某些天气状况或照明状况的权重比其他状况更重。
一旦建立了总可见度分数，控制器74就调节热图像230的透明度。总可见度分数越大，热图像230的透明度越大。总可见度分数越低，热图像230的透明度越低。换句话说，视觉图像220中的可见度的程度与热图像230变得透明的程度直接相关。这种关系在图6中示出。
图7A和图7B示出具有不同程度的热图像230透明度的合成图像240。在图7A 中，视觉图像220的总可见度分数是75％，并且因此热图像230具有25％的透明度。这对应于视觉图像220中的相对高的可见度，并且因此控制器74相对较少地依赖于热图像230来检测物体216和线206、212、214。在图7B中，视觉图像220的总可见度分数是55％，并且因此热图像230具有45％的透明度。这对应于视觉图像220 中的相对较低的可见度，并且因此控制器74更多地依赖于热图像230来检测物体216 和线206、212、214。
在每种情况下，相比于仅依赖于视觉图像220或仅依赖于热图像230，在合成图像240C中更容易检测到物体216和线206、212、214。在合成图像240中，每个图像220、230中的车道线206、214彼此重叠。指示符222、232彼此重叠。控制器74 可以在重叠的指示符222、232内执行像素分析，并且确定指示指示符中的物体216 实际上就是控制器将其估计成什么物体的可能性的第三置信度分数。第三置信度分数大于第一置信度分数和第二置信度分数。应当理解，控制器74可以基于在车辆20 周围的所感测的天气状况和照明状况来调节第一置信度分数、第二置信度分数和/或第三置信度分数，例如，随着天气状况恶化和/或当灯光差时置信度分数减小。
一旦在合成图像240中检测到物体216，控制器74就依赖于接近传感器130来监测车辆20与物体之间的距离。响应于检测到物体216，控制器74被配置成在需要时调节车辆20的速度。在一个示例中，如果控制器74确定物体216在预定距离d1内(图4)，则控制器通过向制动致动器110发送控制信号114来启动紧急制动以降低车辆20的速度。车辆20的速度和到物体的距离的组合可以导致控制器74使车辆完全停止。这可能在例如物体216位于车辆20的前方并且在车道204(未示出)内时发生。
在启动紧急制动之前，控制器74可以考虑第一置信度分数和第二置信度分数和/或第三置信度分数。例如，不发生紧急制动，直到考虑的置信度分数超过预定值/除非考虑的置信度分数超过预定值，否则不发生紧急制动。
应当理解，可以在每个图像220、230、240中检测和监测距离d1。基于车辆速度信号102，控制器74可以确定与物体216的碰撞时间。当控制器74决定是否启动紧急制动时，可以考虑根据视觉图像220、热图像230和/或合成图像240计算的碰撞时间。可以将置信度值分配给碰撞时间确定，并且可以基于所感测的天气状况和/或照明状况来调节该置信度值。
尽管物体216被示为行人，但是物体同样可以是车道204内在车辆20的前方(当车辆在方向T上行驶时)或在车辆后方(当车辆倒退时)的另一车辆。在后一种情况下，控制器74依赖于在车辆20的后端26上的成像元件70d和传感器140、170来识别视场72d中的物体。在任何情况下，其他车辆可以是移动的或静止的。换句话说，合成图像240可以在前向或后向车辆20行驶中生成，以检测任一视场72a、72d中的移动或静止物体。控制器74可以使用置信分数和/或碰撞时间确定中的任何一个来确定是否在这些情况下启动紧急制动。
同时，接近传感器150与成像元件70a结合使用，以允许控制器74提供车道保持辅助。当车辆20在方向T上行驶时，控制器74依赖于合成图像240和接近传感器 150来监测车辆20与每个线206、214之间的距离。响应于检测到物体216，控制器 74被配置成在需要时调节车辆20的行驶方向T。
例如，车轮位置传感器130连续地将信号132供应给控制器74。结果，控制器 74可以分析合成图像240和来自接近传感器150的信号152并且提供自主车道保持辅助。特别地，控制器74可以致动转向齿轮68以防止车辆20无意地在划分线206 上漂移到车道202中。例如，如果车辆20的操作者分心、疲劳等，则可能发生这种情况。
例如，如果接近传感器150检测到车辆20在距划分线206的预定距离内，则控制器74致动转向齿轮68以使方向盘66从中立位置顺时针旋转。这使车轮60枢转并使得车辆20朝向边界线214横向移动。一旦接近传感器150指示车辆20与两个线 206、214隔开期望距离，控制器74就将方向盘66返回到中立位置使得车辆20在方向T上在车道204中沿直线行驶。
类似地，如果接近传感器150检测到车辆20在距边界线214的预定距离内，则控制器74致动转向齿轮68以使方向盘68从中立位置逆时针旋转。这使车轮60枢转并使得车辆20朝向划分线206横向移动。一旦接近传感器150指示车辆20与两个线 206、214间隔开期望距离，控制器74就将方向盘66返回到中立位置使得车辆20在方向T上在车道204中沿直线行驶。在两种情况下，控制器74向警报器160发送信号162，以在进行自主转向校正以将车辆20保持在线206、214之间之前和/或之时向操作者提供反馈。
应当理解，控制器74还可以被配置成使得一旦检测到物体，控制器就可以跟踪和/或分类物体以更好地确定何时需要调节行驶方向T和/或速度。为此，控制器74 可以使用跟踪算法，该跟踪算法连续监测检测到的物体与车辆20之间的距离d1以及检测到的物体的特定特征，例如尺寸、形状、热强度、速度等。然后，控制器74可以跟踪距离d1和/或特定特征随时间的变化，以便将检测到的物体分类为例如人、动物、车辆等。这允许控制器74基于物体的分类具体地定制对车辆20的调节。它还允许控制器74在此时确定最近的路径内车辆并在必要时采取适当的对策。
在图8所示的另一示例中，在视场72a内检测到的物体是交通模式指示符266，诸如交通灯。其他示例交通模式指示符266可以包括但不限于停车标志、让路标志、施工区域指示符、学校区域指示符、警笛等。在任何情况下，车辆20沿道路200在方向T上行驶。另一道路262横向于道路200延伸并且在交叉路口260处与道路200 相交。如图所示，交通灯266在交叉路口260处悬挂在道路200、262上方。
当车辆20接近交叉路口260时，控制器74连续地接收来自成像元件70a中的两个相机90、92的图像以及来自传感器140、170的信号。控制器74依赖于合成图像 240以基于所感测的从当前激活的灯发出的光和/或热量来识别交通灯266何时在视场72a内、以及灯是什么颜色。控制器74可以响应于检测到交通灯266在适当时控制车辆系统。例如，控制器可以基于检测到红色交通灯266、车辆20与交通灯之间的距离和车辆速度来致动制动致动器110。因此，如果检测到红灯，则控制器74可以使车辆20向下减速直至并包括在交叉路口260之前完全停止。控制器74可以响应于检测到的停车标志、学校区域、施工区域等采取类似的步骤。
图9示出操作辅助系统50的示例方法300。在步骤302处，控制器74从视觉相机90获取视觉图像220。在步骤304处，控制器74从热相机92获取热图像230。在步骤310处，控制器74使用例如神经网络形状检测分析来检测视觉图像220中的物体。在步骤312处，控制器74使用例如模糊系统形状检测分析来检测热图像230中的物体。在步骤320处，控制器74将热图像230叠加到视觉图像220上以形成合成图像240。在将热图像叠加到视觉图像220上之前，基于所感测的天气状况和环境状况来调节热图像230的透明度。
在步骤330处，控制器74确定车辆20与检测到的物体之间的距离d1。在步骤 340处，控制器74使用跟踪算法来跟踪检测到的物体。在步骤350处，控制器74对检测到的物体进行分类。在概述的步骤期间由控制器74获得和确定的信息可以用于调节车辆20的行驶方向T，例如，以执行车道保持辅助或避开检测到的物体，并/或调节车辆的速度。应当理解，可以对由控制器74从相应的相机90、92获取的任意数量的图像220、230执行相同的方法300。换句话说，本文描述的图像获取、操纵和分析可以对一对图像220、230执行或者对多对图像连续执行以实现实时监视并将车辆20的周围环境反馈到控制器74。
以上描述的是本发明的示例。当然，出于描述本发明的目的，不可能描述部件或方法的每个可想到的组合，但是本领域普通技术人员将认识到本发明的许多其他组合和置换是可能的。因此，本发明旨在涵盖落入所附权利要求的精神和范围内的所有这些改变、修改和变化。

Claims (12)

1.一种辅助在道路上行驶的车辆的操作的方法，包括：
用具有视场的至少一个视觉相机获取所述车辆周围的视觉图像；
用具有所述视场的至少一个热相机获取所述车辆周围的热图像；
将所述热图像叠加在所述视觉图像上以产生合成图像；
检测所述合成图像中的物体；以及
响应于检测到所述物体，调节所述车辆的行驶方向和速度中的至少一者。
2.根据权利要求1所述的方法，还包括：
感测所述视场中的天气状况和照明状况中的至少一者；
基于所感测的天气状况和照明状况中的至少一者，为所述视觉图像分配可见度分数；以及
在将所述热图像叠加到所述视觉图像上之前，基于所述可见度分数调节所述热图像的透明度。
3.根据权利要求2所述的方法，其中所述热图像的所述透明度与所述视觉图像的所述可见度分数直接相关。
4.根据权利要求1所述的方法，还包括：
感测所述视场中的天气状况和照明状况；
基于所感测的天气状况，为所述视觉图像分配第一可见度分数；
基于所感测的照明状况，为所述视觉图像分配第二可见度分数；
将所述第一可见度分数和所述第二可见度分数组合成总可见度分数；以及
在将所述热图像叠加到所述视觉图像中之前，基于所述总可见度分数调节热图像的透明度。
5.根据权利要求4所述的方法，其中将所述第一可见度分数和所述第二可见度分数组合的步骤包括计算所述第一可见度分数和所述第二可见度分数的加权平均值以确定所述总可见度分数。
6.根据权利要求1所述的方法，还包括：
用所述合成图像检测所述道路的车道线；以及
响应于检测到所述车道线而自主地执行车道保持辅助。
7.根据权利要求1所述的方法，还包括：
用所述合成图像检测所述道路上的物体；以及
响应于检测到所述物体而自主地制动所述车辆。
8.根据权利要求1所述的方法，还包括：
用所述合成图像检测沿所述道路的交通模式指示器；以及
响应于检测到所述交通模式指示器而自主地制动所述车辆。
9.一种用于在道路上行驶的主车辆的车辆辅助系统，包括：
视觉相机，其用于获取视场中的所述主车辆周围的视觉图像；
热相机，其用于获取所述视场中的所述主车辆周围的热图像；
控制器，其连接到所述视觉相机和所述热相机，并且被配置成将所述热图像叠加到所述视觉图像上以形成合成图像，以用于检测所述视场内的物体并且响应于检测到所述物体而调节所述车辆的行驶方向和速度中的至少一者。
10.根据权利要求9所述的车辆辅助系统，还包括连接到所述控制器的雨传感器，所述雨传感器用于检测所述视场内的降水，所述控制器被配置成在将所述热图像叠加到所述视觉图像上之前，响应于由所述雨传感器在所述视场内检测到的降水量而调节所述热图像的透明度。
11.根据权利要求10所述的车辆辅助系统，还包括连接到所述控制器的光传感器，所述光传感器用于检测所述视场中的光强度，所述控制器被配置成在将所述热图像叠加到所述视觉图像上之前，响应于由所述光传感器在所述视场内检测到的所述光强度而调节所述热图像的透明度。
12.根据权利要求9所述的车辆辅助系统，其中所述控制器被配置成响应于检测到所述物体而执行车道保持辅助和制动中的至少一者。
CN201910998959.1A 2018-10-31 2019-10-21 车辆辅助系统 Pending CN111196217A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/176,615 2018-10-31
US16/176,615 US10698415B2 (en) 2018-10-31 2018-10-31 Vehicle assist system

Publications (1)

Publication Number Publication Date
CN111196217A true CN111196217A (zh) 2020-05-26

Family

ID=70326905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910998959.1A Pending CN111196217A (zh) 2018-10-31 2019-10-21 车辆辅助系统

Country Status (3)

Country Link
US (2) US10698415B2 (zh)
CN (1) CN111196217A (zh)
DE (1) DE102019216348A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328152B2 (en) 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor
US11292457B2 (en) 2019-07-31 2022-04-05 Toyota Research Institute, Inc. Autonomous vehicle user interface with predicted trajectories
US11328593B2 (en) * 2019-07-31 2022-05-10 Toyota Research Institute, Inc. Autonomous vehicle user interface with predicted trajectories
US11292458B2 (en) 2019-07-31 2022-04-05 Toyota Research Institute, Inc. Autonomous vehicle user interface with predicted trajectories
KR20210142793A (ko) * 2020-05-18 2021-11-26 현대자동차주식회사 듀얼 엑츄에이터로 구성된 자율 주행 차량용 전동식 부스터
US20230236313A1 (en) * 2022-01-26 2023-07-27 Motional Ad Llc Thermal sensor data vehicle perception
DE102022121781A1 (de) 2022-08-29 2024-02-29 Connaught Electronics Ltd. Computer-Vision basierend auf Wärmebilderfassung in einem Fahrzeug
US11972613B1 (en) * 2022-10-28 2024-04-30 Zoox, Inc. Apparatus and methods for atmospheric condition detection

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1748167A (zh) * 2003-02-06 2006-03-15 宝马股份公司 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US20100191418A1 (en) * 2007-06-18 2010-07-29 Yvan Mimeault Lighting system with driver assistance capabilities
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
US20150210216A1 (en) * 2012-11-10 2015-07-30 Audi Ag Motor vehicle and method for operating a motor vehicle
CN104943612A (zh) * 2015-06-24 2015-09-30 广东好帮手电子科技股份有限公司 一种通过镜头透视汽车a柱盲区的方法及装置
US20170371340A1 (en) * 2016-06-27 2017-12-28 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected spacing between stationary vehicles
US20180089972A1 (en) * 2016-09-26 2018-03-29 Mobotix Ag System and method for surveilling a scene comprising an allowed region and a restricted region

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59809476D1 (de) 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
US8755597B1 (en) * 2011-02-24 2014-06-17 Exelis, Inc. Smart fusion of visible and infrared image data
JP5948983B2 (ja) * 2012-03-09 2016-07-06 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
EP2813970A1 (en) * 2013-06-14 2014-12-17 Axis AB Monitoring method and camera

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1748167A (zh) * 2003-02-06 2006-03-15 宝马股份公司 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US20100191418A1 (en) * 2007-06-18 2010-07-29 Yvan Mimeault Lighting system with driver assistance capabilities
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
US20150210216A1 (en) * 2012-11-10 2015-07-30 Audi Ag Motor vehicle and method for operating a motor vehicle
CN104943612A (zh) * 2015-06-24 2015-09-30 广东好帮手电子科技股份有限公司 一种通过镜头透视汽车a柱盲区的方法及装置
US20170371340A1 (en) * 2016-06-27 2017-12-28 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected spacing between stationary vehicles
CN109416257A (zh) * 2016-06-27 2019-03-01 御眼视觉技术有限公司 基于检测到的停放车辆特性控制主车辆
US20180089972A1 (en) * 2016-09-26 2018-03-29 Mobotix Ag System and method for surveilling a scene comprising an allowed region and a restricted region

Also Published As

Publication number Publication date
US11449070B2 (en) 2022-09-20
US20200133295A1 (en) 2020-04-30
DE102019216348A1 (de) 2020-04-30
US10698415B2 (en) 2020-06-30
US20200278690A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
US11449070B2 (en) Vehicle assist system
US11972615B2 (en) Vehicular control system
CA3099099C (en) Passive infra-red pedestrian detection and avoidance system
EP3078515B1 (en) Collision avoidance based on front wheel off tracking during reverse operation
EP2186682B1 (en) Perimeter monitor
US20190187719A1 (en) Emergency lane change assistance system
CN112219394B (zh) 车辆辅助系统
US11062608B2 (en) Passive infra-red pedestrian and animal detection and avoidance system
KR20170000363A (ko) 차량, 특히 상용 차량을 위한 디스플레이 시스템
US20190135169A1 (en) Vehicle communication system using projected light
US20210122369A1 (en) Extensiview and adaptive lka for adas and autonomous driving
JP2021039659A (ja) 運転支援装置
US20220299860A1 (en) Extensiview and adaptive lka for adas and autonomous driving
CN110712646A (zh) 从自主模式转换到手动模式之前对车辆操作员意识的验证
KR20160123110A (ko) 자동 긴급 제동 시스템
CN116443037A (zh) 车辆及控制车辆的方法
JP7347207B2 (ja) 運転支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination