CN114619963A - 用于辅助车辆驾驶员的视觉的方法及装置 - Google Patents

用于辅助车辆驾驶员的视觉的方法及装置 Download PDF

Info

Publication number
CN114619963A
CN114619963A CN202111236254.XA CN202111236254A CN114619963A CN 114619963 A CN114619963 A CN 114619963A CN 202111236254 A CN202111236254 A CN 202111236254A CN 114619963 A CN114619963 A CN 114619963A
Authority
CN
China
Prior art keywords
vehicle
controller
image
camera
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111236254.XA
Other languages
English (en)
Inventor
白周岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of CN114619963A publication Critical patent/CN114619963A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0076—Switches therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/52—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/168—Target or limit values
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了用于辅助驾驶员的视觉的方法及装置。该方法包括：根据车辆驾驶员的设定，从导航装置接收指示天气信息为紧急天气信息的信号；响应于该信号打开包括车辆中的视觉辅助装置；获得视觉辅助装置的红外热相机的图像和相机的图像，该红外热相机在车辆行驶时拍摄车辆的前方，该相机在车辆行驶时拍摄车辆的前方；控制视觉辅助装置的图像处理器以确定红外热相机与相机的图像数据之间的匹配率是否小于或等于第一阈值；当匹配率小于或等于第一阈值时，使用车辆与位于行驶车辆的前方、后方和侧面的各个对象之间的距离、由视觉辅助装置的雷达传感器检测到的各个对象的速度、及拍摄车辆前方的红外热相机的图像来生成车辆的包括距离和速度的周围状态图像。

Description

用于辅助车辆驾驶员的视觉的方法及装置
相关申请的交叉引用
本申请要求于2020年12月10日向韩国知识产权局提交的韩国专利申请第10-2020-0172014号的优先权和权益，其全部内容通过引用并入本文。
技术领域
本公开涉及车辆驾驶员的驾驶员辅助系统(DAS)，更具体地，涉及用于辅助车辆驾驶员的视觉的方法和装置。
背景技术
一般来说，车辆是指以化石燃料、电力等为动力源，在公路或铁路上行驶的移动工具或运输工具。车辆主要可以使用安装在车体中的一个或多个车轮移动到多个位置。此类车辆可以包括在铁路上的铁轨或轨道上行驶的三轮车辆或四轮车辆、两轮车辆(诸如摩托车等)、建筑机械、自行车、以及火车。
近年来，对配备高级驾驶员辅助系统(ADAS)的车辆进行了积极研究，该系统主动提供关于车辆状态、驾驶员状态、以及周围环境的信息，以减轻驾驶员的负担并提升车辆驾驶员的便利性。
车辆上提供的ADAS的示例包括：前向防撞(FCA)、自主紧急制动(AEB)或驾驶员注意警告(DAW)。
在本背景部分中披露的上述信息仅是为了加强对披露背景的理解。因此，背景部分可以包含不构成本领域普通技术人员已知的现有技术的信息。
发明内容
本公开致力于提供一种用于辅助车辆驾驶员的视觉的方法和装置。该方法和装置基于通过比较拍摄车辆的前方的红外热相机的图像与相机的图像所获得的数据、车辆与位于车辆前方的对象之间的距离、对象的速度、以及热相机的图像来生成图像，该车辆在由于雨或雪的紧急天气状况下行驶。因此，可以将图像提供给车辆的驾驶员以防止交通事故。
本公开的实施例提供了一种用于辅助车辆驾驶员的视觉的方法。该方法包括：由控制器根据车辆驾驶员的设定从导航装置接收指示天气信息是紧急天气信息的信号；并且响应于该信号，打开包括在车辆中的车辆驾驶员的视觉辅助装置。该方法还包括：由控制器获得视觉辅助装置的红外热相机的图像，该红外热相机在车辆行驶时拍摄车辆的前方。该方法还包括获得视觉辅助装置的另一相机的图像，该另一相机在车辆行驶时拍摄车辆的前方。该方法还包括：由控制器控制视觉辅助装置的图像处理器，以确定红外热相机的图像数据与该另一相机的图像数据之间的匹配率是否小于或等于第一阈值。该方法还包括：当匹配率小于或等于第一阈值时，由控制器使用车辆在行驶时与位于车辆前方、后方和侧面的各个对象之间的距离、由车辆驾驶员的视觉辅助装置的雷达传感器检测到的各个对象的速度、以及拍摄车辆前方的红外热相机的图像来生成包括距离和速度的车辆的周围状态图像。
该方法还可以包括由控制器控制平视显示器(HUD)装置以在车辆的挡风玻璃上显示车辆的周围状态图像。
方法还可以包括：由控制器基于距离和速度生成警告消息，该警告消息包括在车辆的周围状态图像中；并且由控制器控制平视显示器(HUD)装置在车辆的挡风玻璃上显示该警告消息。
该方法还可以包括：当匹配率小于或等于第一阈值时，由控制器打开包括在视觉辅助装置中的应急灯开关，并且打开车辆的应急灯。
该方法还可以包括：由控制器通过视觉辅助装置的通信器从位于车辆外部的服务器接收车辆所在位置的天气信息。
紧急天气信息可以包括：下雨或下雪的天气信息。
图像处理器可以将红外热相机的图像数据和另一相机的图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算匹配率。
本公开的另一实施例提供了一种用于辅助车辆驾驶员的视觉的方法。该方法包括：由控制器根据车辆驾驶员的设定从导航装置接收指示天气信息是紧急天气信息的信号；并且响应于该信号，打开包括在车辆中的车辆驾驶员的视觉辅助装置。该方法还包括：由控制器获得视觉辅助装置的红外热相机的图像，该红外热相机在车辆行驶时拍摄车辆的前方，并且获得视觉辅助装置的另一相机的图像，该另一相机在车辆行驶时拍摄车辆的前方。该方法还包括：由控制器控制视觉辅助装置的图像处理器，以确定红外热相机的图像数据与该另一相机的图像数据之间的匹配率是否大于第一阈值且小于或等于第二阈值。该方法还包括：当匹配率大于第一阈值且小于或等于第二阈值时，由控制器确定控制器是否从导航装置接收到指示需要使用视觉辅助装置的信号。该方法还包括：当接收到指示需要使用车辆驾驶员的视觉辅助装置的信号时，由控制器使用车辆在行驶时与位于车辆的前方、后方和侧面的各个对象之间的距离、由视觉辅助装置的雷达传感器检测到的各个对象的速度、以及拍摄车辆前方的红外热相机的图像来生成包括该距离和该速度的车辆的周围状态图像。
该方法还可以包括：由控制器控制平视显示器(HUD)装置以在车辆的挡风玻璃上显示车辆的周围状态图像。
该方法还可以包括：由控制器基于距离和速度生成警告消息，该警告消息包括在车辆的周围状态图像中；并且由控制器控制平视显示器(HUD)装置在车辆的挡风玻璃上显示警告消息。
该方法还可以包括：当接收到指示需要使用视觉辅助装置的信号时，由控制器打开包括在视觉辅助装置中应急灯开关，并且打开车辆的应急灯。
该方法还可以包括：由控制器通过视觉辅助装置的通信器从位于车辆外部的服务器接收车辆所在位置的天气信息。
紧急天气信息可以包括：下雨或下雪的天气信息。
图像处理器可以将红外热相机的图像数据和另一相机的图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算匹配率。
本公开的又一实施例提供了一种用于辅助车辆驾驶员视觉的装置。该装置包括：红外热相机，在车辆行驶时拍摄所述车辆的前方；另一相机，在车辆行驶时拍摄所述车辆的前方；以及控制器，根据车辆驾驶员的设定，从导航装置接收指示天气信息是紧急天气信息的信号，并且响应于该信号打开包括在车辆中的该用于辅助车辆驾驶员的视觉的装置。该控制器获得红外热相机的图像和另一相机的图像。控制器控制该用于辅助车辆驾驶员的视觉的装置的图像处理器，以确定红外热相机的图像数据与另一相机的图像数据之间的匹配率是否小于或等于第一阈值。当匹配率小于或等于第一阈值时，控制器使用车辆在行驶时与位于车辆的前方、后方和侧面的各个对象之间的距离、由该用于辅助车辆驾驶员的视觉的装置的雷达传感器检测到的各个对象的速度、以及红外热相机的图像来生成包括距离和速度的车辆的周围状态图像。
控制器可以控制平视显示器(HUD)装置在车辆的挡风玻璃上显示车辆的周围状态图像。
控制器可以基于距离和速度生成警告消息，该警告消息包括在车辆的周围状态图像中。控制器可以控制平视显示器(HUD)装置在车辆的挡风玻璃上显示警告消息。
当匹配率小于或等于第一阈值时，控制器可以打开包括在该用于辅助车辆驾驶员的视觉的装置中的应急灯开关，并且可以打开车辆的应急灯。
控制器可以通过该用于辅助车辆驾驶员的视觉的装置的通信器从位于车辆外部的服务器接收车辆所在位置的天气信息。
图像处理器可以将红外热相机的图像数据和另一相机的图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算匹配率。
根据本公开的实施例，一种用于辅助车辆驾驶员视觉的方法和装置，基于通过比较拍摄车辆(该车辆在由于下雨或下雪导致的紧急天气状况下行驶)前方的红外热相机和另一相机的图像获得的数据、该车辆与车辆前方对象之间的距离、对象的速度、以及热相机的图像来生成多个图像。该方法和装置向车辆驾驶员提供该多个图像以防止交通事故。
此外，根据本公开的实施例，为了驾驶员的安全行驶，可以通过使用从诸如用于车辆外部状况的相机的传感器接收的可靠信息来提供用于紧急天气状况的图像。
附图说明
为了更充分地理解在本公开的详细描述中使用的附图，提供了每附图的简要描述。
图1是用于描述根据本公开的实施例的用于辅助车辆驾驶员视觉的方法的流程图。
图2是用于描述根据本公开的另一实施例的用于辅助车辆驾驶员视觉的方法的流程图。
图3是用于描述用于辅助车辆驾驶员视觉的装置的框图，该装置应用了图1或图2中所示的用于辅助车辆驾驶员视觉的方法。
具体实施方式
为了充分理解通过本发明概念和本公开的实施例实现的目的，应该参考示出本公开的实施例的附图和附图中公开的内容。
在下文中，通过参照附图描述本公开的实施例来详细描述本公开。在下面的描述中，已经省略了相关的已知配置或功能的详细说明，以避免模糊本公开的主题。本说明书中使用的术语仅用于描述特定实施例，并不旨在限制本公开。
如果上下文中没有明显相反的意思，单数形式可以包括复数形式。在本说明书中，应当理解，术语“包括”或“具有”指示存在说明书中描述的特征、数字、步骤、操作、组件、部件或它们的组合。这些术语不排除预先存在或添加一个或多个其他特征、数字、步骤、操作、组件、部件或其组合的可能性。
在整个说明书中，当描述一个部件与另一个部件“连接”时，它意味着该特定部件可以与另一个部件“直接连接”，或者这些部件彼此“电连接或机械连接”，并且在它们之间还插入第三个元件。
如果没有相反的定义，本文中使用的包括技术或科学术语的所有术语具有与本领域普通技术人员通常理解的术语相同的含义。在一般使用的词典中定义的术语应被解释为具有与相关技术上下文中的含义相同的含义，并且除非在本说明书中明确定义，否则不应被解释为具有理想的含义或过度正式的含义。当将本公开的组件、装置、元件等描述为具有目的或执行操作、功能等时，在此应将组件、装置或元件视为“被配置为”满足该目的或执行该操作或功能。
无论天气如何，汽车(车辆)都是最常用的移动或行驶工具。然而，下雨或下雪天气会对驾驶员产生不利影响，与晴天时车辆驾驶员视觉形成鲜明对比。由于雨滴直接落在车辆的挡风玻璃上，车辆前方的对象可能无法正常可见。因此，驾驶员应该比平时更关心确保他们的视觉。在下雨或下雪的情况下，交通事故的发生率很高。
根据相关技术的车辆的视频系统在车辆夜间行驶期间没有外部照明的环境中使用红外相机，以确保车辆驾驶员安全驾驶所需的宽视野。然而，车辆的视频系统不可以通过反射车辆外部的各种环境(例如，天气信息)来向驾驶员提供车辆周围状况的适当视觉视图。
图1是用于描述根据本公开的实施例的用于辅助车辆驾驶员的视觉的方法的流程图。图2是用于描述根据本公开的另一实施例的用于辅助车辆驾驶员的视觉的方法的流程图。图3是用于描述用于辅助车辆驾驶员的视觉的装置的框图，该装置应用了图1或图2中所示的用于辅助车辆驾驶员的视觉的方法。
参照图1和图3，在接收步骤100中，控制器330可以通过通信器300从安装于(位于)车辆外部的服务器(例如，远程信息处理服务器)接收车辆所在位置的天气信息。远程信息处理服务器可以向车辆提供包括天气信息和交通信息的移动通信服务信息。
用于辅助车辆驾驶员视觉的装置可以包括：通信器300、红外热相机或红外相机305、相机(包括在车辆的驾驶视频记录系统(或黑匣子)中的普通相机，该相机是车辆内置的驾驶视频记录装置)310、图像处理器315、雷达传感器320、平视显示器(HUD)装置325、以及控制器330。
作为电子控制单元(ECU)的控制器330可以控制视觉辅助装置的整体操作。控制器330可以是例如一个或多个微处理器，其通过包括微处理器的程序(控制逻辑)或硬件(例如，微型计算机)进行操作。该程序可以包括一系列指令，用于执行根据本公开的实施例的用于辅助车辆驾驶员视觉的方法。
指令可以存储在视觉辅助装置或控制器330的存储器中。
根据步骤105，当车辆的驾驶员确认天气信息是包括下雨或下雪天气信息的紧急天气信息时，控制器330可以打开除控制器之外的视觉辅助装置。例如，车辆驾驶员可以在包括于视觉辅助装置中的音视频导航(AVN)装置(或导航装置)的用户设定模式(USM)下打开视觉辅助装置。控制器330可以从导航装置接收指示天气信息是下雨或下雪天气信息的信号。
根据步骤110，控制器330可以从红外热相机获得在车辆行驶时拍摄车辆前方的红外热相机305的图像，并且从另一相机获得在车辆行驶时拍摄车辆前方的相机310的图像。
根据步骤115，控制器330可以控制图像处理器315以确定红外热相机305的图像数据与相机310的图像数据之间的匹配率是否小于或等于第一阈值(阈值1)。例如，图像处理器315可以将红外热相机305的图像数据和相机310的图像数据分别转换为灰度图像，并且比较转换后的图像数据(例如，亮度值)以计算匹配率。第一阈值是用于驱动视觉辅助装置的值，可以通过测试(或实验)来确定。
当匹配率小于或等于第一阈值时，视觉辅助方法可以进行到步骤120。
根据步骤120，控制器330可以打开包括在视觉辅助装置中的应急灯开关，并且自动打开车辆的应急灯(例如，车辆前部的应急灯或车辆后部的应急灯)。在本公开的另一实施例中，步骤120可以省略。
根据步骤125，在步骤120之后，控制器330使用车辆在行驶时与位于车辆的前方、后方和侧面的各个对象(例如，车辆)之间的距离。控制器330还使用由雷达传感器320使用电磁波检测的各个对象的速度。控制器330还使用拍摄车辆前方的红外热相机305的图像。因此，在步骤125，可以生成车辆的包括距离和速度的周围状态图像(例如，热图像)。控制器330可以基于距离和速度生成包括在车辆的周围状态图像中的警告消息。例如，当距离为50m或更长且速度没有变化时，警告消息可以是“保持车辆当前速度”的信息。当距离大于或等于50m、并且车速发生变化时，警告消息可以是“前方车辆的车速为X km/h，注意车速”的信息。为了使车辆的驾驶员查看车辆的周围状态图像或警告消息，控制器330可以控制HUD装置325在车辆的挡风玻璃(或车辆前玻璃(挡风玻璃))上显示车辆的周围状态图像或警告消息。
在本公开的另一实施例中，步骤120和步骤125可以同时执行(进行)。
参照图2和图3，在接收步骤200中，控制器330可以通过通信器300从安装(位于)车辆外部的服务器(例如，远程信息处理服务器)接收车辆所在位置的天气信息。
根据步骤205，当车辆的驾驶员确认天气信息是包括下雨或下雪天气信息的紧急天气信息时，控制器330可以打开除控制器之外的视觉辅助装置。例如，车辆驾驶员可以在包括于视觉辅助装置中的音视频导航(AVN)装置(或导航装置)的用户设定模式(USM)下打开视觉辅助装置。控制器330可以从导航装置接收指示天气信息是下雨或下雪天气信息的信号。
根据步骤210，控制器330可以从红外热相机获得在车辆行驶时拍摄车辆的前方的红外热相机305的图像，并且从相机获得在车辆行驶时拍摄车辆的前方的相机310的图像。
根据步骤215，控制器330可以控制图像处理器315以确定红外热相机305的图像数据与相机310的图像数据之间的匹配率是否大于第一阈值并且小于或等于第二阈值。该第二阈值是用于车辆驾驶员选择性地驱动车辆驾驶员的视觉辅助装置的值，该第二阈值可以通过测试(或实验)来确定。
当匹配率大于第一阈值且小于或等于第二阈值时，视觉辅助方法可以进行到步骤220。
根据步骤220，控制器330可以确定控制器是否从导航装置接收到指示需要使用视觉辅助装置的信号。例如，车辆的驾驶员可以配置是否需要在导航装置中使用视觉辅助装置。
根据步骤225，当确定需要使用视觉辅助装置时，控制器330可以自动打开应急灯开关(打开车辆的应急灯开关)。在本公开的另一实施例中，可以省略步骤225。
根据步骤230，在步骤225之后，控制器330使用车辆在行驶时与位于车辆的前方、后方和侧面的各个对象(例如，车辆)之间的距离。控制器330还使用由雷达传感器320检测到的各个对象的速度。控制器330还使用拍摄车辆前方的红外热相机305的图像。因此，在步骤230，可以生成包括距离和速度的车辆的周围状态图像(例如，热图像)。控制器330可以基于距离和速度生成包括在车辆的周围状态图像中的警告消息。例如，当距离为50m或更长、并且速度没有变化时，警告消息可以是“保持车辆当前速度”的信息。当距离大于或等于50m、并且车速发生变化时，警告消息可以是“前方车辆的车速为X km/h，注意车速”的信息。为了使车辆的驾驶员查看车辆的周围状态图像或警告消息，控制器330可以控制HUD装置325在车辆的挡风玻璃上显示车辆的周围状态图像或警告消息。
在本公开的另一实施例中，步骤225和230可以同时执行(进行)。
在本公开的实施例中使用的组件(例如“单元”)或框或模块可以被实现为诸如任务、类、子例程、过程、对象、执行线程和在存储器或诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的硬件上的预定区域中执行的程序等软件。在本公开的实施例中使用的构成元件，例如“...单元”、框或模块，可以通过组合软件和硬件来实现。组件或“单元”可以包括在计算机可读存储介质(即，非瞬时存储介质)中，并且一些组件或“单元”可以分散地分布在多个计算机中。
如上所述，在附图和说明书中公开了该实施例。尽管这里使用了特定术语，但这些术语仅用于描述本公开的目的，而不应用于限制权利要求中定义的本公开的含义或范围。因此，本领域的普通技术人员应当理解，可以根据本公开进行各种变型例和等效实施例。因此，本公开的真正技术范围应该由所附权利要求的技术精神来定义。
附图标记列表
300：通信器
305：红外热相机
310：另一相机
315：图像处理器
320：雷达传感器
325：HUD装置
330：控制器。

Claims (20)

1.一种用于辅助车辆驾驶员的视觉的方法，所述方法包括：
由控制器根据车辆的车辆驾驶员的设定从导航装置接收指示天气信息是紧急天气信息的信号，并且响应于所述信号，打开包括在所述车辆中的所述车辆驾驶员的视觉辅助装置；
由所述控制器：获得所述视觉辅助装置的红外热相机的图像，所述红外热相机在所述车辆行驶时拍摄所述车辆的前方；并且获得所述视觉辅助装置的另一相机的图像，所述视觉辅助装置的所述另一相机在所述车辆行驶时拍摄所述车辆的前方；
由所述控制器控制所述视觉辅助装置的图像处理器，以确定所述红外热相机的图像数据与所述另一相机的图像数据之间的匹配率是否小于或等于第一阈值；并且
当所述匹配率小于或等于所述第一阈值时，由所述控制器使用所述车辆在行驶时与位于所述车辆的前方、后方和侧面的各个对象之间的距离、由所述视觉辅助装置的雷达传感器检测到的各个对象的速度、以及拍摄所述车辆的前方的所述红外热相机的图像来生成所述车辆的包括所述距离和所述速度的周围状态图像。
2.根据权利要求1所述的方法，还包括：
由所述控制器控制平视显示器HUD装置，以在所述车辆的挡风玻璃上显示所述车辆的所述周围状态图像。
3.根据权利要求2所述的方法，还包括：
由所述控制器基于所述距离和所述速度生成警告消息，所述警告消息包括在所述车辆的周围状态图像中；并且
由所述控制器控制所述平视显示器HUD装置，以在所述车辆的所述挡风玻璃上显示所述警告消息。
4.根据权利要求1所述的方法，还包括：
当所述匹配率小于或等于所述第一阈值时，由所述控制器打开包括在所述视觉辅助装置中的应急灯开关，并且打开所述车辆的所述应急灯。
5.根据权利要求1所述的方法，还包括：
由所述控制器通过所述视觉辅助装置的通信器从位于所述车辆外部的服务器接收所述车辆所在位置的天气信息。
6.根据权利要求1所述的方法，其中：
所述紧急天气信息包括下雨或下雪的天气信息。
7.根据权利要求1所述的方法，其中：
所述图像处理器将所述红外热相机的所述图像数据和所述另一相机的所述图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算所述匹配率。
8.一种用于辅助车辆驾驶员的视觉的方法，所述方法包括：
由控制器根据车辆的车辆驾驶员的设定从导航装置接收指示天气信息是紧急天气信息的信号，并且响应于所述信号，打开包括在所述车辆中的所述车辆驾驶员的视觉辅助装置；
由所述控制器：获得所述视觉辅助装置的红外热相机的图像，所述红外热相机在所述车辆行驶时拍摄所述车辆的前方；并且获得所述视觉辅助装置的另一相机的图像，所述视觉辅助装置的所述另一相机在所述车辆行驶时拍摄所述车辆的前方；
由所述控制器控制所述视觉辅助装置的图像处理器，以确定所述红外热相机的图像数据与所述另一相机的图像数据之间的匹配率是否大于第一阈值且小于或等于第二阈值；
当所述匹配率大于所述第一阈值且小于或等于所述第二阈值时，由所述控制器确定所述控制器是否从所述导航装置接收到指示需要使用所述视觉辅助装置的信号；并且
当接收到指示需要使用所述视觉辅助装置的所述信号时，由所述控制器使用所述车辆在行驶时与位于所述车辆的前方、后方和侧面的各个对象之间的距离、由所述视觉辅助装置的雷达传感器检测到的各个对象的速度、以及拍摄所述车辆的前方的红外热相机的图像来生成所述车辆的包括距离和速度的周围状态图像。
9.根据权利要求8所述的方法，还包括：
由所述控制器控制平视显示器HUD装置，以在所述车辆的挡风玻璃上显示所述车辆的所述周围状态图像。
10.根据权利要求9所述的方法，还包括：
由所述控制器基于所述距离和所述速度生成警告消息，所述警告消息包括在所述车辆的周围状态图像中；并且
由所述控制器控制所述平视显示器HUD装置，以在所述车辆的所述挡风玻璃上显示所述警告消息。
11.根据权利要求8所述的方法，还包括：
当接收到指示需要使用所述车辆驾驶员的所述视觉辅助装置的所述信号时，由控制器打开包括在视觉辅助装置中应急灯开关，并且打开所述车辆的应急灯。
12.根据权利要求8所述的方法，还包括：
由所述控制器通过所述视觉辅助装置的通信器从位于所述车辆外部的服务器接收所述车辆所在位置的天气信息。
13.根据权利要求8所述的方法，其中：
所述紧急天气信息包括下雨或下雪的天气信息。
14.根据权利要求8所述的方法，其中：
所述图像处理器将所述红外热相机的所述图像数据和所述另一相机的所述图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算所述匹配率。
15.一种用于辅助车辆驾驶员的视觉的装置，所述装置包括：
红外热相机，在车辆行驶时拍摄所述车辆的前方；
另一相机，在车辆行驶时拍摄所述车辆的前方；以及
控制器，根据车辆的车辆驾驶员的设定，从导航装置接收指示天气信息是紧急天气信息的信号，并且响应于所述信号打开包括在所述车辆中的用于辅助所述车辆驾驶员的视觉的所述装置，
其中，所述控制器获得所述红外热相机的图像和所述另一相机的图像，
其中，所述控制器控制用于辅助所述车辆驾驶员的视觉的所述装置的图像处理器，以确定所述红外热相机的图像数据与所述另一相机的图像数据之间的匹配率是否小于或等于第一阈值，并且
当所述匹配率小于或等于第一阈值时，所述控制器使用所述车辆在行驶时与位于车辆的前方、后方和侧面的各个对象之间的距离、由用于辅助所述车辆驾驶员的视觉的所述装置的雷达传感器检测到的各个对象的速度、以及所述红外热相机的图像来生成所述车辆的包括所述距离和所述速度的周围状态图像。
16.根据权利要求15所述的装置，其中：
所述控制器控制平视显示器HUD装置，以在所述车辆的挡风玻璃上显示所述车辆的所述周围状态图像。
17.根据权利要求16所述的装置，其中：
所述控制器基于所述距离和所述速度生成警告消息，所述警告消息包括在所述车辆的周围状态图像中，并且
所述控制器控制平视显示器HUD装置，以在所述车辆的所述挡风玻璃上显示所述警告消息。
18.根据权利要求15所述的装置，其中：
当所述匹配率小于或等于第一阈值时，所述控制器打开包括在用于辅助所述车辆驾驶员的视觉的所述装置中的应急灯开关，并且打开所述车辆的应急灯。
19.根据权利要求15所述的装置，其中：
所述控制器通过用于辅助所述车辆驾驶员的视觉的所述装置的通信器从位于所述车辆外部的服务器接收所述车辆所在位置的天气信息。
20.根据权利要求15所述的装置，其中：
所述图像处理器将所述红外热相机的所述图像数据和所述另一相机的所述图像数据分别转换成灰度图像，并且比较转换后的图像数据以计算所述匹配率。
CN202111236254.XA 2020-12-10 2021-10-22 用于辅助车辆驾驶员的视觉的方法及装置 Pending CN114619963A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200172014A KR20220082968A (ko) 2020-12-10 2020-12-10 차량 운전자의 시야 보조 방법 및 그 보조 장치
KR10-2020-0172014 2020-12-10

Publications (1)

Publication Number Publication Date
CN114619963A true CN114619963A (zh) 2022-06-14

Family

ID=81897538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111236254.XA Pending CN114619963A (zh) 2020-12-10 2021-10-22 用于辅助车辆驾驶员的视觉的方法及装置

Country Status (3)

Country Link
US (1) US11679778B2 (zh)
KR (1) KR20220082968A (zh)
CN (1) CN114619963A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11972613B1 (en) * 2022-10-28 2024-04-30 Zoox, Inc. Apparatus and methods for atmospheric condition detection

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05155291A (ja) * 1991-12-03 1993-06-22 Mitsubishi Electric Corp 車両用警報装置
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US7426437B2 (en) * 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
DE10303578B4 (de) * 2003-01-30 2015-08-13 SMR Patents S.à.r.l. Gefahrenerkennungssystem für Fahrzeuge mit mindestens einer seitlichen und rückwärtigen Umgebungserfassung
US7778770B2 (en) * 2005-03-31 2010-08-17 Honda Motor Co., Ltd. Communication system between vehicles
US7949330B2 (en) * 2005-08-25 2011-05-24 Honda Motor Co., Ltd. System and method for providing weather warnings and alerts
EP2187236A1 (en) * 2008-11-06 2010-05-19 Ford Global Technologies, LLC A collision warning apparatus
US8749635B2 (en) 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
JP5401257B2 (ja) * 2009-10-23 2014-01-29 クラリオン株式会社 遠赤外線歩行者検知装置
JP6835548B2 (ja) * 2016-11-22 2021-02-24 株式会社デンソーテン 付着物除去装置
WO2018110724A1 (ko) * 2016-12-13 2018-06-21 주식회사 토비스 열에너지 정보를 표시하는 나이트 비젼 시스템 및 그 제어방법
JP6597690B2 (ja) * 2017-03-24 2019-10-30 株式会社デンソー 運転支援装置
US11208085B2 (en) * 2018-02-09 2021-12-28 Mando Corporation Automotive braking control system, apparatus, and method considering weather condition
WO2020031915A1 (ja) * 2018-08-06 2020-02-13 株式会社小糸製作所 車両用表示システム及び車両
US20210089048A1 (en) * 2019-09-21 2021-03-25 Ha Q Tran Smart vehicle
JP2021174436A (ja) * 2020-04-30 2021-11-01 株式会社デンソー 制御装置

Also Published As

Publication number Publication date
US11679778B2 (en) 2023-06-20
KR20220082968A (ko) 2022-06-20
US20220185308A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
CN111183063B (zh) 用于车辆的侧镜
US10649461B2 (en) Around view monitoring apparatus for vehicle, driving control apparatus, and vehicle
EP3569461B1 (en) Apparatus for providing around view
EP3229458A1 (en) Driver assistance apparatus
CN108737992B (zh) 通过车辆间通信的摄像机辅助的车辆车灯的诊断
CN109564734B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
US10887568B2 (en) Image processing apparatus, and image processing method
US10882465B2 (en) Vehicular camera apparatus and method
US20190061621A1 (en) Around view monitoring apparatus for vehicle, and vehicle
KR102649709B1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
JP7056569B2 (ja) 車両制御装置、車両制御方法、移動体、および車両制御システム
US20190256087A1 (en) Autonomous vehicle and operating method thereof
US10372131B2 (en) Vehicles changing lanes based on trailing vehicles
KR20190007287A (ko) 차량 주행 시스템 및 차량
US20200202535A1 (en) Driver assistance apparatus and vehicle
US10768618B2 (en) Vehicle driving control apparatus and vehicle driving method
US20190193728A1 (en) Driving assistant apparatus, driving assistant method, moving object, and program
CN111464797A (zh) 行车辅助设备、方法、车辆及存储介质
CN114619963A (zh) 用于辅助车辆驾驶员的视觉的方法及装置
CN110626267A (zh) 用于后视镜显示器的叠加界面
US20210323469A1 (en) Vehicular around view image providing apparatus and vehicle
CN115195599A (zh) 控制装置、控制装置的动作方法以及存储介质
CN114426019A (zh) 一种目标车辆切入控制方法及其系统、车辆
CN113498632A (zh) 安装在车灯上的传感器模块

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination