CN109409186B - 用于对象检测和通知的驾驶员辅助系统和方法 - Google Patents

用于对象检测和通知的驾驶员辅助系统和方法 Download PDF

Info

Publication number
CN109409186B
CN109409186B CN201810933347.XA CN201810933347A CN109409186B CN 109409186 B CN109409186 B CN 109409186B CN 201810933347 A CN201810933347 A CN 201810933347A CN 109409186 B CN109409186 B CN 109409186B
Authority
CN
China
Prior art keywords
image data
optical image
thermal
vehicle
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810933347.XA
Other languages
English (en)
Other versions
CN109409186A (zh
Inventor
S.萨伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN109409186A publication Critical patent/CN109409186A/zh
Application granted granted Critical
Publication of CN109409186B publication Critical patent/CN109409186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及通过车辆的驾驶员辅助系统进行对象检测和通知的系统、装置和方法。在一个实施方案中，一种方法包括接收检测到的图像数据以及检测所述图像数据中的至少一个对象。所述方法可以包括通过对所述图像数据执行特征提取操作以识别一个或多个图像区域来检测对象；以及对所述图像数据执行第二提取操作以基于建模的热特征训练来识别一个或多个图像区域。所述方法还可以包括基于所述特征提取操作和第二提取操作的一个或多个图像区域的比较来识别所述图像数据中的对象。所述方法还可以包括输出由图像传感器检测到的图像数据的显示，所述图像数据包括一个或多个图形元素作为检测到的对象的通知。

Description

用于对象检测和通知的驾驶员辅助系统和方法
技术领域
本公开涉及电子装置和应用，并且更具体地涉及通过车辆驾驶员辅助系统检测对象并呈现通知的过程和配置。
背景技术
车辆的安全操作是许多车辆操作者的主要关注点。因此，技术发展已经针对以事故预防和安全操作为重点的系统。技术进步已经带来了提供警报的辅助系统。由于照明条件、天气和其他环境特征，光学成像装置(例如，相机等)和传统的驾驶员辅助系统可能无法向用户提供适当的信息。另外，尽管在诸如热成像等传统应用中可以使用不同类型的传感器，但是这些系统和感测装置不是太昂贵就是其操作有限。热传感器可能无法检测到与其周围环境相比不具有热梯度的对象，并且可能无法提供适当的检测对象的能力。期望改进车辆检测系统的操作。还期望克服传统系统的一个或多个限制的驾驶员辅助系统。
发明内容
本文公开并要求保护通过驾驶员辅助系统进行对象检测和通知的方法、装置和系统。一个实施方案涉及一种方法，所述方法包括由车辆驾驶员辅助单元的模块接收由安装到车辆的图像传感器检测到的图像数据。所述方法还包括通过车辆驾驶员辅助单元的模块检测图像数据中的至少一个对象。检测所述至少一个对象包括：对由图像传感器检测到的图像数据执行特征提取操作以识别一个或多个图像区域；对由图像传感器检测到的图像数据执行第二提取操作以基于建模的热特征训练识别一个或多个图像区域；以及基于特征提取操作和第二提取操作的一个或多个图像区域的比较，识别图像数据中的一个或多个对象。所述方法还包括由车辆驾驶员辅助单元的模块输出由图像传感器检测到的图像数据以进行显示，所述图像数据包括一个或多个图形元素以识别至少一个对象。
在一个实施方案中，由模块接收的图像数据是由光学图像传感器捕获，所述光学图像传感器被配置成输出视频图像数据的基于颜色模型的表示。
在一个实施方案中，检测至少一个对象包括：检测车辆前方的人、行人、车辆、道路、车道标记、危险和对象中的一个或多个。
在一个实施方案中，特征提取操作包括基于图像增强、边缘检测、滤波和区域分析中的一个或多个来处理所接收的图像数据，以识别一个或多个对象。
在一个实施方案中，基于建模的热特征训练识别一个或多个图像区域的第二提取操作包括：将所接收的图像数据与由模块学习的热模型参考进行比较，其中每个热参考涉及对象、对象部分和热特性的建模表示中的一个或多个。
在一个实施方案中，识别所述图像数据中的一个或多个对象包括：基于所述第二提取操作的确定来修改由所述特征提取操作识别的区域；以及基于修改的区域跟踪所述图像数据中的一个或多个特征。
在一个实施方案中，识别一个或多个对象包括：检测与所述图像数据中的热特性相关联的所述图像数据中的伪影。
在一个实施方案中，识别包括将所接收的图像数据转换为二进制梯度，以执行所述特征提取和第二特征提取中的至少一个。
在一个实施方案中，输出包括生成与在图像数据中检测到的经识别的对象相关联的边界区域和图标元素中的一个或多个。
在一个实施方案中，所述方法还包括：接收多个对象类型的热特性模型，并将所述热特性模型用于第二参数提取参数，其中所述热特性模型提供一个或多个搜索目标以识别图像数据中的对象。
另一个实施方案涉及一种车辆驾驶员辅助模块，其包括用于检测图像数据的图像传感器和耦接到图像传感器的对象检测模块。所述对象检测模块包括处理器，所述处理器被配置成接收由图像传感器检测到的图像数据并检测图像数据中的至少一个对象。所述处理器被配置成检测至少一个对象，包括：对由图像传感器检测到的图像数据执行特征提取操作以识别一个或多个图像区域；对由图像传感器检测到的图像数据执行第二提取操作以基于建模的热特征训练识别一个或多个图像区域；以及基于特征提取操作和第二提取操作的一个或多个图像区域的比较，识别图像数据中的一个或多个对象。所述处理器还被配置成输出由图像传感器检测到的图像数据，所述图像数据包括一个或多个图形元素以识别至少一个对象。
鉴于以下对实施方案的详细描述，其他方面、特征和技术对于相关领域的技术人员将是显而易见的。
附图说明
通过下面结合附图给出的详细描述，本公开的特征、目的和优点将变得更加明显，附图中相同的附图标记始终对应地识别并且其中：
图1描绘了根据一个或多个实施方案的通过车辆的驾驶员辅助系统进行的对象检测和通知的图形表示；
图2描绘了根据一个或多个实施方案的通过车辆的驾驶员辅助系统进行的对象检测和通知的过程；
图3描绘了根据一个或多个实施方案的车辆单元的图示；
图4描绘了根据一个或多个实施方案的对象检测和通知的图形表示；
图5A-5B描绘了根据一个或多个其他实施方案的对象检测和通知的训练程序的流程图；
图5C描绘了根据一个或多个其他实施方案的对象检测和通知的流程图；
图6描绘了根据一个或多个实施方案的对象检测和通知的过程；以及
图7描绘了根据一个或多个其他实施方案的对象检测和通知的过程。
具体实施方式
概述和术语
本公开的一个方面涉及一种用于获取周围环境的数据的车辆系统。在一个实施方案中，系统被配置成使用图像传感器(例如，相机)来检测对象，而不需要诸如热像仪等高成本辅助数据装置。所述系统包括成像装置、对象检测和通知模块以及提供通知的车辆输出装置。所述系统通常可以是车辆辅助系统、信息娱乐系统和车辆系统的一部分或可由其使用。所述系统可以被配置成识别场景中存在的各种对象，并通过在每个检测到的对象上超级施加边界框或其他图形元素来对它们进行定位。
在一个实施方案中，提供了一种进行对象检测和通知的过程。所述过程可以包括：对由图像传感器检测到的图像数据执行特征提取操作以识别一个或多个图像区域；对图像数据执行第二提取操作以基于建模的热特征训练识别一个或多个图像区域；以及基于特征提取操作和第二提取操作的比较，识别图像数据中的一个或多个对象。所述过程还包括与检测到的图像数据一起或与之分开输出一个或多个通知。本文描述的过程可以应用于光学图像装置(例如，数码相机等)，用于检测图像和视频内容。所述过程可以提供由车辆硬件执行的一系列有序功能，以增强检测并改进车辆辅助系统和装置的操作。本文描述的过程可以涉及由于弱光、定向光(例如，远光等)、眩光和天气条件(例如，雾霾、雾、高温等)中的一个或多个引起的低能见度条件。本文描述的过程可以由装置和系统配置使用，并且可以包括使用训练和学习算法来进行对象检测。
如本文所用，术语“一(a)”或“一(an)”应意指一个或多于一个。术语“多个”应意指两个或多于两个。术语“另一个”被定义为第二个或更多个。术语“包括(including)”和/或“具有(having)”是开放式的(例如，包括(comprising))。如本文所用的术语“或”应解释为包含性的或意指任何一种或任何组合。因此，“A、B或C”意指“以下任何一项：A；B；C；A和B；A和C；B和C；A、B和C。仅当元素、功能、步骤或动作的组合以某种方式固有地相互排斥时，才会出现此定义的例外。
在整个本文件中对“一个实施方案”、“某些实施方案”、“实施方案”或类似术语的引用意味着结合所述实施方案描述的特定特征、结构或特性包括在至少一个实施方案中。因此，在整个说明书中各个地方这些短语的出现不一定都指同一实施方案。此外，在一个或多个实施方案中，特定的特征、结构或特性可以任何合适的方式进行组合而无限制。
示例性实施方案
现在参考附图，图1描绘了根据一个或多个实施方案的通过车辆的驾驶员辅助系统进行的对象检测和通知的图形表示。图1的系统100是用于车辆的驾驶员辅助系统。根据一个实施方案，系统100被配置成基于由安装到车辆的成像传感器(诸如相机)捕获的图像数据来检测对象。系统100被配置成基于检测到的对象提供通知。系统100可以是用于车辆的智能系统，其通过各种传感器获取关于周围环境的数据，并使用预训练的算法处理所述数据以在所需任务中做出决定。系统100提供了一种用于设计用于低照明条件的有效场景理解系统的方法，而在部署阶段期间不需要高成本热像仪(辅助数据)。系统100可以通过训练学习算法来在部署阶段期间补偿辅助数据的缺乏，其中调整参数来实现可能达到最佳的对象检测。在一个实施方案中，系统100可以使用主要数据和辅助数据两者来训练以进行对象检测。在部署期间，系统100可以仅被提供用于训练算法的主要数据，并且向其分配模拟在第一阶段中由模型预测的特征的任务。这鼓励算法提取在第一阶段中由模型学习的模式，即使其仅限于主要数据。
根据一个实施方案，系统100包括图像传感器105、对象检测模块110和车辆输出115。图1还描绘了驾驶员辅助系统输出120的示例性表示。输出120可以包括检测到的对象的一个或多个通知。如下面将讨论，输出通知可以由车辆的一个或多个显示器和/或输出元件呈现。
根据一个实施方案，图像传感器105涉及安装到车辆用来检测对象的图像传感器。在一个实施方案中，图像传感器105是配置成检测和输出图像数据诸如视频数据的相机。在一个实施方案中，图像传感器105涉及光学传感器。图像传感器105将检测到的图像数据输出到对象检测模块110。图像传感器105可以涉及使用检测红色(R)、绿色(G)和蓝色(B)分量(RGB)的传感器区域生成彩色图像输出的光电传感器。图像传感器105输出可以是单芯片或多芯片配置之一以检测每个颜色分量。
在一个实施方案中，图像传感器105可以安装在车辆前面以检测与车辆的主要行进方向相关联的对象。因此，图像传感器105可以捕获车辆外部的视频图像数据，诸如在与道路相关联的车辆的前方区域中。对象检测模块110被配置成接收检测到的图像数据并通过处理捕获的图像数据来检测一个或多个对象。对象检测模块110还被配置成将用于车辆中的显示器的图像输出输出到车辆输出115使得显示器输出可以包括一个或多个通知。根据一个实施方案，图像传感器105涉及配置成光学地检测和捕获图像数据的数字相机。图像传感器105的示例性帧检测速率可为一个或多个帧检测速率，包括但不限于60Hz、120Hz、240Hz等。
根据一个实施方案，对象检测模块110被配置成基于一个或多个特征提取来检测对象。根据一个实施方案，对象检测模块110可以对热特征训练进行建模，以检测由光学图像传感器捕获的图像数据中的对象(例如，不使用热成像装置)。根据另一个实施方案，对象检测模块110可以比较来自特征提取的图像区域，以识别仅在图像数据中不可检测或难以检测的对象。图像增强模块110还可以被配置成呈现图形元素以向车辆的操作者指示检测到的对象。
如本文所讨论，对象可以涉及固定的和非固定的(例如，移动的、非永久的等)对象。对象的热属性可以由系统100存储并用于使用光学图像数据来识别对象。根据一个实施方案，对象检测模块110可被配置用于在弱光、定向光(例如，远光等)、眩光和天气条件(例如，雾霾、雾、高温等)中的一个或多个下操作。对象检测模块110可被配置成检测对象并呈现图形元素以向车辆的操作者指示检测到的对象。
对象检测模块110可以如下面在图5A-5B中所述被预训练，以使用仅从RGB传感器捕获的视频来提取RGB特征和伪热特征两者。由系统100产生的联合特征用于检测驾驶员视野中存在的各种对象。
根据一个实施方案，车辆输出115通常涉及显示、听觉输出、投影和输出中的一个或多个，以向车辆的操作者通知检测到的对象。如图1所示，输出120涉及显示1251-n和通知1301-n的图形表示。输出120可以呈现在一个或多个显示器上，诸如平视显示器1251、仪器显示器1252和媒体控制台显示器125n。每个显示器可以被配置成呈现可以与图形元素(诸如图标、警告灯、边界显示等)相关的通知。显示器1251-n可以是车辆信息娱乐系统的一部分以呈现由图像传感器105检测的场景的图像数据、对象指示符和表示中的一个或多个。
在一个实施方案中，车辆输出115使用车辆的信息娱乐系统向驾驶员呈现视觉/听觉通知。在示例性实施方案中，用于发布通知的阈值可以是用户指定的或者基于标准实践。通知的示例可以是驾驶员视线周围的即将过马路的行人或流浪动物。
图2描绘了根据一个或多个实施方案的通过车辆的驾驶员辅助系统进行的对象检测和通知的过程。过程200可以由诸如车辆驾驶员辅助系统(例如，系统100)的对象检测模块(例如，对象检测模块110)和一个或多个其他部件等的装置使用来检测对象并输出图像数据和通知。根据一个实施方案，过程200可以通过驾驶员辅助系统的对象检测模块在框205处接收表示车辆外部的图像数据而启动。在框205处接收的图像数据可以涉及由车辆的前向相机捕获的视频数据。
在一个实施方案中，在框205处由模块接收的图像数据是由光学图像传感器捕获，所述光学图像传感器被配置成输出视频图像数据的基于颜色模型的表示。对象检测模块可以选择帧或利用所接收的图像数据的所有帧来检测对象。过程200可以涉及单个帧或帧的组合以检测对象。在一些实施方案中，在框205处接收的多帧图像数据可以被同时处理以检测对象和/或由装置输出。
在框210处，对象检测模块检测图像数据中的至少一个对象。在一个实施方案中，检测所述至少一个对象包括对由图像传感器检测到的图像数据执行特征提取操作以识别一个或多个图像区域，并对由图像传感器检测到的图像数据执行第二提取操作以基于建模的热特征训练识别一个或多个图像区域。对象检测模块基于所述特征提取操作和第二提取操作的一个或多个图像区域的比较来识别所述图像数据中的一个或多个对象。一种在框210处执行图像的特征提取的方法可以包括使用神经网络的变体，诸如前馈神经网络、卷积神经网络和递归神经网络中的一个或多个。
在一个实施方案中，在框210处检测对象包括检测车辆前方的人、行人、车辆、道路、车道标记、危险和对象中的一个或多个。过程200检查行进表面上的对象(例如，坑洼、障碍物、碎片等)和行进方向上的对象。为了检测对象，可以校正或处理图像数据。另外，可以由模块的处理器并行地执行一个或多个提取或修改。在一个实施方案中，可以对所接收的图像数据执行一个或多个操作，诸如在框210处执行特征提取操作。特征提取操作可以包括基于图像增强、边缘检测、滤波和区域分析中的一个或多个来处理所接收的图像数据，以识别一个或多个对象。图像增强可以包括像素数据的改进、伪影的移除、校正(例如，光校正、眩光移除、错误移除等)。在一个实施方案中，边缘检测涉及通过检测图像数据内的形状的边缘来检测对象。可以使用一个或多个帧来通过边缘检测识别形状，然后可以通过一系列帧来跟踪或检测所述形状。滤波可以包括一个或多个成像操作，以选择性地移除或选择图像数据的特性。区域分析可以包括将帧中的区域与同一帧或另一帧内的其他区域进行比较以检测对象。可以使用卷积神经网络的学习滤波器或卷积神经网络的变体来执行边缘检测、滤波和/或区域分析。
根据另一个实施方案，框210可以包括第二提取操作，以基于建模的热特征训练来识别一个或多个图像区域。举例来说，可以将所接收的图像数据与由对象检测模块学习的热模型参考进行比较。可以识别匹配或示出特定程度的相似性的区域。在某些实施方案中，每个热参考涉及对象、对象部分和热特性的建模表示中的一个或多个。举例来说，行人的建模表示可以包括朝向、远离、横向任一方向(例如，从左到右，和从右到左)行走的行人的形状轮廓，其中模型表示可以与一种或多种尺寸的图像数据匹配。另选地或组合地，建模表示涉及具有被滤波到一个光范围或多个光范围的参数的对象的特性，这改进了形状的检测。用于多个对象类型的热特性模型可以由对象检测模块接收，所述对象检测模块然后可以将热特性模型用于第二参数提取参数。热特性模型可以提供一个或多个搜索目标，用于识别图像数据中的对象。在一个实施方案中，热特性模型涉及可以在光学图像数据中检测到而不需要对当前场景进行热检测的参数。
在一个实施方案中，框210的第二特征提取包括通过检测与图像数据中的热特性相关联的图像数据中的伪影来识别一个或多个对象。在一个实施方案中，可以训练检测模块以识别原始或经处理的图像数据中的热性质的特性。举例来说，热图像可识别红外(例如，不可见)范围中的轮廓或热特征。然而，这些特性导致一个形状或一系列形状，可以将所述形状或轮廓与检测到的图像数据和特别是光学范围内的伪影进行比较以识别对象。
在一个实施方案中，框210中对象的识别包括将所接收的图像数据转换为二进制梯度，以执行特征提取和第二特征提取中的至少一个。在框205处接收的图像数据可以使用一个或多个对比度或反转类型来处理或修改，其中通过分析转换的图像数据来检测对象。通过转换为二进制梯度，对象检测模块可以生成具有允许检测对象的变化的光强度的图像。在二进制梯度的一个示例中，白色像素被反转而变成黑色，并且帧的黑色像素被反转而变成白色等。根据一个实施方案，图像数据被反转以更好地检测暗对象或表面。其他操作可以包括基于场景辐射进行去雾。在框210处检测还可以包括基于第二提取操作的确定来修改由特征提取操作识别的区域；以及基于修改的区域跟踪图像数据中的一个或多个特征以识别图像数据中的一个或多个对象。
针对特征提取或第二提取在框210处检测可以使用一种或多种形式的图像处理来检测对象。框210可以包括执行打开或关闭操作中的一个或多个。打开可以包括像素元素的扩张以从前景移除对象。打开可用于查找与特定配合或转角匹配的特定形状或元素。在框210处检测也可以采用关闭来移除小孔。打开和关闭都可以用于从检测到的图像数据中移除噪声。
在一个实施方案中，在框210处检测可以包括将边缘检测应用于图像像素。边缘检测可以包括读取图像数据的像素、细胞/形状的检测、细胞/形状的扩张、使形状平滑和绘制轮廓。图像均衡、二进制梯度、像素分组和逐帧分析中的一个或多个也可以用于检测对象。
在框215处，车辆驾驶员辅助系统输出显示。在一个实施方案中，在框215处的显示包括在205处接收的图像数据。举例来说，来自前面相机的所接收的图像数据可以显示在车辆显示器上。
在框220处，车辆驾驶员辅助系统输出一个或多个警报或通知。框220可以包括输出以显示由图像传感器检测到的图像数据，所述图像数据包括一个或多个图形元素以识别至少一个对象。在一个实施方案中，输出包括生成与在图像数据中检测到的经识别的对象相关联的边界区域和图标元素中的一个或多个。框215和220处的输出允许显示由图像传感器检测到的图像数据，所述图像数据包括一个或多个图形元素以识别检测到的对象。
图3描绘了根据一个或多个实施方案的车辆单元的图示。车辆单元300包括处理器305、存储器310和输入/输出接口315。在一些实施方案中，车辆单元300可以可选地包括图像检测器325。车辆单元300可以被配置成接收和/或捕获图像数据，并检测图像数据中的一个或多个对象。
处理器305可以被配置成提供一个或多个驾驶员辅助功能，包括控制车辆驾驶员辅助单元的呈现和通知。根据一个实施方案，处理器305被配置成执行一个或多个操作，诸如输出对象检测通知的操作。存储器310可以包括ROM和RAM存储器，用于车辆单元300和处理器305的操作。输入/输出接口315可以包括用于车辆单元300的操作的一个或多个输入或控制。显示器320可以涉及用于呈现检测到的图像数据和一个或多个图形元素或通知的车辆显示器。显示器320可以呈现用于车辆单元300的控制接口。
可选的图像检测器325可以表示可以是车辆单元305的一部分的车辆图像传感器。在某些实施方案中，车辆单元300可以与同车辆单元分开的图像传感器介接。在其他实施方案中，车辆单元300可以包括可选的图像检测器325。
图4描绘了根据一个或多个实施方案的对象检测和通知的图形表示。图4描绘了车辆405和检测区域410的俯视立视图。图4还描绘了车辆405的侧视图，其中从侧面示出检测区域，通常称为450。根据一个实施方案，车辆405包括安装到车辆的图像传感器，诸如相机。图像传感器被配置成检测与车辆405前方的区域420相关联的图像数据。在一个实施方案中，区域420涉及车辆405前方的地面，诸如道路区段。车辆405的图像传感器捕获区域420的图像数据，所述图像数据用于检测区域420中的一个或多个对象，一般来说诸如坑洼、减速带或对象(例如道路碎片等)。根据一个实施方案，检测到的对象可以与图像数据中的每个帧的特定区域相关联，如区域425和430所示。当车辆移动靠近检测到的对象时，区域425和430在区域420内的位置将移动更靠近车辆405。根据一个实施方案，由车辆405呈现的一个或多个通知可以指示区域425和430中对象的存在。
根据一个实施方案，对象检测模块可以检测行驶表面的元素和行驶表面上的对象。对象检测模块可以考虑不同类型的表面。尽管示出为矩形区域420，但是也可以使用其他形状或检测参数，诸如弯曲道路的检测区域。
参考车辆405和区域450的侧视图，还检测到车辆的路径455内的对象的图像数据，诸如0-100英尺(0-30m)的范围。车辆405的图像传感器捕获区域450的图像数据，所述图像数据用于检测一个或多个对象，诸如区域450中的行人4601-n。根据一个实施方案，检测到的对象可以与图像数据中的每个帧的特定区域相关联，如行人4601-n的区域4651-n所示。当车辆移动靠近检测到的对象时，区域4651-n在区域450内的位置将移动更靠近车辆405。根据一个实施方案，一个或多个通知，诸如由车辆405呈现的通知470，可以指示区域4601-n中对象的存在。
由车辆405提供的一个或多个通知可以指示区域425、430和450中对象的存在，所述对象涉及车辆前方的人、行人、车辆、道路、车道标记、危险和对象中的一个或多个。在图4中，使用矩形形状来描绘对象，但是应当理解，可以使用图形图像的阴影、着色、突出显示和显示中的一个或多个作为通知。
图5A-5C描绘了根据一个或多个其他实施方案的对象检测和通知的流程图。根据一个实施方案，图5A-5B中的过程描述了用于理解检测到的图像数据的场景信息的一个或多个机制。根据一个实施方案，图5A的过程500提供了用于训练车辆辅助系统以执行对象检测的学习阶段。根据图5B的另一个实施方案的过程555提供了在不使用辅助传感器(例如，热检测、车辆环境的非光学传感器等)的情况下训练对象的检测的过程。
首先参考图5A，过程500涉及训练阶段。根据一个实施方案，过程500在车辆操作期间不由车辆辅助单元使用。而是，过程500可以用于配置装置操作以供随后仅结合作为输入的光学图像数据使用。过程500包括由特征提取模块515接收RGB图像数据505(例如，主要数据)和热元素数据510(例如，辅助数据)。根据一个实施方案，图像数据505和热元素数据510涉及同一场景的光学图像(或数据)和热图像(或数据)。
特征提取模块515包括用于接收RGB图像数据505的RGB特征提取器520和用于接收热元素数据510的热特征提取器525。RGB特征提取器520识别一个或多个感兴趣的元素和区域。类似地，热特征提取器525基于检测到的热数据识别一个或多个感兴趣的区域。识别的区域由组合器530组合，并且在框535处识别联合特征(例如，RGB特征和热特征)。在示例性实施方案中，RGB特征提取器可以基于特征提取识别一个帧或一系列帧中的一个或多个感兴趣的区域。特征提取可以基于经修改的图像数据的处理，其中图像数据被校正、反转，或者包括颜色和像素处理或滤波中的一个或多个。热特征提取器525对于与光学帧相同的检测时间相关联的一个或多个热数据帧，执行热特征提取，查看热检测数据。因此，在同一时间段期间为同一场景生成两个数据源。组合器530将两组数据提供给联合特征模块535，所述联合特征模块基于帧内元素的位置匹配来自两组数据的感兴趣的区域。
根据一个实施方案，模块540接收联合特征535并训练系统来使用来自检测到的图像数据(例如，RGB特征提取器)和来自热特征提取器的数据两者的特征。识别模块545识别并学习正的或匹配的特征识别。根据另一个实施方案，模块540接收联合特征535并修改由RGB特征提取器使用的参数，诸如热建模参数。校正模块550被配置成向特征提取模块515提供更新以在RGB特征提取器520识别的对象区域被错误识别时修改RGB特征提取器520的参数。
在某些实施方案中，可以利用过程500对若干场景进行建模，以生成热建模参数，包括在一个或多个距离处行人的识别、道路上对象的识别、其他车辆的识别等。图5A的过程500允许特征提取模块515和RGB特征提取器520使用一个或多个参数来进行对象识别。
在弱光环境中的行人检测的一个示例性场景中，可以利用场景的RGB输出和热像仪输出两者。两个图像中的行人的表示在颜色、纹理等方面不同。但是，如形状和轮廓的基本特征将保持一致。在弱光条件下使用的热像仪输出可以捕获对象热特征并且可以提供关于对象形状、轮廓、图像强度等中的一个或多个的可见性。根据一个实施方案，可以训练特征提取模块515以从对应的RGB图像产生热类输出，并且因此不需要热像仪。特征提取模块515还可以提醒用户有关在弱光场景中略微可见的如行人/骑行者/等对象。
现在参考图5B，过程555描述了对象检测模块的训练程序。过程555包括接收RGB图像数据505(例如，主要数据)。所接收的图像数据可以涉及从车辆的前向视图捕获的图像数据。特征提取模块516包括RGB特征提取器520和辅助提取器556以接收RGB图像数据505。根据一个实施方案，RGB特征提取器520识别所接收的图像数据505中的一个或多个感兴趣的元素和区域。在一个实施方案中，RGB特征提取器520执行第一特征提取。类似地，辅助提取器556基于检测到的图像数据识别一个或多个感兴趣的区域。辅助提取器556基于建模的热参数执行第二提取。识别的区域由组合器530组合，并且模块557使用图像数据和一个或多个建模的热参数检测一个或多个对象。在模块557中，在框558处基于框559处的联合特征检测一个或多个对象。对于错误识别的对象，经识别的对象之间的错误被提供给特征提取模块516。在示例性实施方案中，RGB特征提取器可以基于特征提取识别一个帧或一系列帧中的一个或多个感兴趣的区域。特征提取可以基于经修改的图像数据的处理，其中图像数据被校正、反转，或者包括颜色和像素处理或滤波中的一个或多个。
根据另一个实施方案，模块557可以使用一种或多种学习算法来识别感兴趣的对象并增强对象检测。在一个实施方案中，对象识别基于帧比较来增强感兴趣的对象。一旦识别出对象，则使用深度学习算法来增强感兴趣的对象。然后可以将对象和/或图形元素叠加在原始图像数据上。对象增强可以包括来自可用图像的静态对象(道路标志、坑洼等)的先验知识或模块557可用的其他数据。
根据一个实施方案，过程555可以通过引导学习算法从主要数据中提取类似于从过程500中的主要+辅助数据中提取的模式，执行第二阶段的训练以补偿辅助数据的缺乏。如图所示的过程500，RGB和热特征提取器被训练以根据其对应的数据产生对象检测任务有用的特征。通过将它们的预测与地面实况注释(准确标记的任务手动注释)进行比较并校正错误来训练这些提取器。在过程555中，热特征提取器被伪热特征提取器替换，并被训练以模拟过程500中产生的特征。遵循过程555，车辆系统不需要热数据(辅助数据)来识别对象。
上述训练方法的应用将是在光线不足的环境中进行对象检测的应用。此处，主要数据是从通常的RGB相机捕获的图像，而次要数据是从热像仪捕获的图像。来自热像仪的线索可以帮助算法检测在RGB图像中几乎不可见但是发出一些可以在热图像中捕获的热特征的对象。上述方法训练算法以在RGB图像本身中寻找指示热特征的图案，从而改进基于RGB的对象检测算法在弱光环境中的性能。一旦以上述方式训练系统，则其在部署阶段期间仅需要来自RGB传感器的数据，从而保持对象检测系统的总成本是低的。
现在参考图5C，过程560描述了在车辆操作期间用于车辆辅助单元的对象检测模块的操作。过程560包括与过程555类似的元素。过程560包括接收RGB图像数据505(例如，主要数据)。所接收的图像数据可以涉及从车辆的前向视图捕获的图像数据。特征提取模块516包括RGB特征提取器520和辅助提取器556以接收RGB图像数据505。根据一个实施方案，RGB特征提取器520识别所接收的图像数据505中的一个或多个感兴趣的元素和区域。在一个实施方案中，RGB特征提取器520执行第一特征提取。类似地，辅助提取器556基于检测到的图像数据识别一个或多个感兴趣的区域。辅助提取器556基于建模的热参数执行第二提取。根据一个实施方案，特征提取模块516使用RGB特征提取器520和辅助提取器556中的已识别的区域来从所接收的图像数据和一个或多个建模的热参数中检测一个或多个对象。在示例性实施方案中，RGB特征提取器520可以基于特征提取来识别一个帧或一系列帧中的一个或多个感兴趣的区域。特征提取可以基于经修改的图像数据的处理，其中图像数据被校正、反转，或者包括颜色和像素处理或滤波中的一个或多个。
根据另一个实施方案，特征提取模块516可以使用一种或多种学习算法来识别感兴趣的对象并增强对象检测。在一个实施方案中，对象识别基于帧比较来增强感兴趣的对象。一旦识别出对象，则使用深度学习算法来增强感兴趣的对象。然后可以将对象和/或图形元素叠加在原始图像数据上。对象增强可以包括来自可用图像的静态对象(道路标志、坑洼等)的先验知识或可用于特征提取模块516的其他数据。
根据一个实施方案，过程560可以从主要数据中提取类似于从过程555中的主要数据和辅助数据中提取的模式。检测到的对象作为565输出到车辆系统。
图6描绘了根据一个或多个实施方案的对象检测和通知的过程。过程600可以由诸如车辆驾驶员辅助系统(例如，系统100)的对象检测模块(例如，对象检测模块110)和一个或多个其他部件等的装置使用来检测对象并确定显示配置。根据一个实施方案，过程600可以通过驾驶员辅助系统的对象检测模块在框605处检测图像数据中的对象而启动。框605处的对象检测可以基于图像数据的分析，使用一个或多个帧来识别对象并将对象分类。
在框610处，过程600将检测到的对象与由对象检测模块存储的一个或多个热建模参数进行比较。在一个实施方案中，对象检测模块包括可以在捕获的图像数据中检测到的多个热特性的存储列表。过程610可以将检测到的对象、识别的区域和图像数据中的一个或多个作为整体与一个或多个存储的参数进行比较。
在框615处，确定一个或多个确定的对象的显示输出和显示配置。根据一个实施方案，可以呈现一种或多种类型的通知以通知检测到的对象。当检测到多个对象时，可以与基于对象格式化的每个通知并行地提供若干通知。
过程600可以可选地包括在框620处更新显示配置。更新可以基于车辆位置的改变。例如边界框可能必须改变显示器中的位置。这可以包括移动边界框或图标的位置，以及将显示属性更改为显示元素，诸如增加有界框的尺寸。
图7描绘了根据一个或多个其他实施方案的对象检测和通知的过程。过程700可以由诸如车辆驾驶员辅助系统(例如，系统100)的对象检测模块(例如，对象检测模块110)和一个或多个其他部件等的装置使用来检测对象。根据一个实施方案，过程700可以由驾驶员辅助系统的对象检测模块使用，以允许检测图像数据中的对象。过程可以通过在框705处转换图像数据来启动。举例来说，由图像传感器(例如，图像传感器105)检测到的图像数据可以通过反转、除雾、打开等中的一个或多个来转换，以允许更大的检测对象的能力。一旦转换，则可以在框710处在图像数据中检测到对象。在框710中对象的检测可以包括基于一个或多个热参数来比较转换的图像数据中的对象。在框715处，可以确定图像数据的显示元素。在一个实施方案中，可以选择诸如边界框或符号等图形元素以在车辆的输出诸如显示器上呈现。在框720处，可以输出显示元素作为一个或多个检测到的对象的通知。
虽然已经参考其示例性实施方案具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离要求保护的实施方案的范围的情况下，可以在形式和细节上进行各种改变。

Claims (20)

1.一种通过车辆的驾驶员辅助系统进行对象检测和通知的方法，所述方法包括：
由车辆驾驶员辅助单元的模块接收由安装到车辆的光学图像传感器检测到的光学图像数据；
通过所述车辆驾驶员辅助单元的所述模块检测所述光学图像数据中的至少一个对象，其中检测所述至少一个对象包括：
对由所述光学图像传感器检测到的所述光学图像数据执行特征提取操作以识别一个或多个图像区域；
对由所述光学图像传感器检测到的所述光学图像数据执行第二提取操作以基于建模的热特征训练识别一个或多个图像区域；以及
基于所述特征提取操作和第二提取操作的一个或多个图像区域的比较来识别所述光学图像数据中的一个或多个对象；以及
由所述车辆驾驶员辅助单元的所述模块输出由所述光学图像传感器检测到的所述光学图像数据以进行显示，所述光学图像数据包括一个或多个图形元素作为所述至少一个对象的通知。
2.根据权利要求1所述的方法，其中由所述模块接收的光学图像数据是由所述光学图像传感器捕获，所述光学图像传感器被配置成输出视频图像数据的基于颜色模型的表示。
3.根据权利要求1所述的方法，其中检测至少一个对象包括检测车辆前方的人、行人、车辆、道路、车道标记、危险和对象中的一个或多个。
4.根据权利要求1所述的方法，其中所述特征提取操作包括基于图像增强、边缘检测、滤波和区域分析中的一个或多个来处理所接收的光学图像数据，以识别所述一个或多个对象。
5.根据权利要求1所述的方法，其中基于建模的热特征训练识别一个或多个图像区域的所述第二提取操作包括将所接收的光学图像数据与由所述模块学习的热模型参考进行比较，其中每个热参考涉及对象、对象部分和热特性的建模表示中的一个或多个。
6.根据权利要求1所述的方法，其中识别所述光学图像数据中的一个或多个对象包括：基于所述第二提取操作的确定来修改由所述特征提取操作识别的区域；以及基于所述修改的区域跟踪所述光学图像数据中的一个或多个特征。
7.根据权利要求1所述的方法，其中识别一个或多个对象包括检测与所述光学图像数据中的热特性相关联的所述光学图像数据中的伪影。
8.根据权利要求1所述的方法，其中识别包括将所接收的光学图像数据转换为二进制梯度，以执行所述特征提取和第二特征提取中的至少一个。
9.根据权利要求1所述的方法，其中输出包括生成与在所述光学图像数据中检测到的经识别的对象相关联的边界区域和图标元素中的一个或多个。
10.根据权利要求1所述的方法，其还包括：接收多个对象类型的热特性模型，并将所述热特性模型用于第二参数提取参数，其中所述热特性模型提供一个或多个搜索目标以识别光学图像数据中的对象。
11.一种车辆驾驶员辅助装置，其包括：
用于检测光学图像数据的光学图像传感器；以及
耦接到所述光学图像传感器的对象检测模块，所述对象检测模块包括处理器，所述处理器被配置成:
接收由所述光学图像传感器检测到的光学图像数据；
检测所述光学图像数据中的至少一个对象，其中检测所述至少一个对象包括:
对由所述光学图像传感器检测到的所述光学图像数据执行特征提取操作以识别一个或多个图像区域，
对由所述光学图像传感器检测到的所述光学图像数据执行第二提取操作以基于建模的热特征训练识别一个或多个图像区域，以及
基于所述特征提取操作和第二提取操作的一个或多个图像区域的比较来识别所述光学图像数据中的一个或多个对象；和
输出由所述光学图像传感器检测到的所述光学图像数据，所述光学图像数据包括一个或多个图形元素作为所述至少一个对象的通知。
12.根据权利要求11所述的装置，其中由所述模块接收的光学图像数据是由所述光学图像传感器捕获，所述光学图像传感器被配置成输出视频图像数据的基于颜色模型的表示。
13.根据权利要求11所述的装置，其中检测至少一个对象包括检测车辆前方的人、行人、车辆、道路、车道标记、危险和对象中的一个或多个。
14.根据权利要求11所述的装置，其中所述特征提取操作包括基于图像增强、边缘检测、滤波和区域分析中的一个或多个来处理所接收的图像数据，以识别所述一个或多个对象。
15.根据权利要求11所述的装置，其中基于建模的热特征训练识别一个或多个图像区域的所述第二提取操作包括将所接收的光学图像数据与由所述模块学习的热模型参考进行比较，其中每个热参考涉及对象、对象部分和热特性的建模表示中的一个或多个。
16.根据权利要求11所述的装置，其中识别所述光学图像数据中的一个或多个对象包括：基于所述第二提取操作的确定来修改由所述特征提取操作识别的区域；以及基于所述修改的区域跟踪所述光学图像数据中的一个或多个特征。
17.根据权利要求11所述的装置，其中识别一个或多个对象包括检测与所述光学图像数据中的热特性相关联的所述光学图像数据中的伪影。
18.根据权利要求11所述的装置，其中识别包括将所接收的光学图像数据转换为二进制梯度，以执行所述特征提取和第二特征提取中的至少一个。
19.根据权利要求11所述的装置，其中输出包括生成与在所述光学图像数据中检测到的经识别的对象相关联的边界区域和图标元素中的一个或多个。
20.根据权利要求11所述的装置，其还包括：接收多个对象类型的热特性模型，并将所述热特性模型用于第二参数提取参数，其中所述热特性模型提供一个或多个搜索目标以识别光学图像数据中的对象。
CN201810933347.XA 2017-08-17 2018-08-16 用于对象检测和通知的驾驶员辅助系统和方法 Active CN109409186B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/680,046 US10496891B2 (en) 2017-08-17 2017-08-17 Driver assistance system and method for object detection and notification
US15/680,046 2017-08-17

Publications (2)

Publication Number Publication Date
CN109409186A CN109409186A (zh) 2019-03-01
CN109409186B true CN109409186B (zh) 2023-09-26

Family

ID=62985915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810933347.XA Active CN109409186B (zh) 2017-08-17 2018-08-16 用于对象检测和通知的驾驶员辅助系统和方法

Country Status (4)

Country Link
US (1) US10496891B2 (zh)
EP (1) EP3506169A3 (zh)
KR (1) KR102404149B1 (zh)
CN (1) CN109409186B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10661795B1 (en) * 2018-12-20 2020-05-26 Verizon Patent And Licensing Inc. Collision detection platform
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
US10984534B2 (en) * 2019-03-28 2021-04-20 GM Global Technology Operations LLC Identification of attention region for enhancement of sensor-based detection in a vehicle
US10929719B2 (en) * 2019-03-28 2021-02-23 GM Global Technology Operations LLC Adversarial attack on black box object detection algorithm
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
CN113447128B (zh) * 2020-03-10 2023-06-23 百度在线网络技术（北京）有限公司 一种多人体温检测方法、装置、电子设备及存储介质
CN112330558A (zh) * 2020-11-05 2021-02-05 山东交通学院 基于雾天环境感知的道路图像恢复预警系统及方法
US20230057652A1 (en) 2021-08-19 2023-02-23 Geotab Inc. Mobile Image Surveillance Systems
US11989949B1 (en) * 2023-03-31 2024-05-21 Geotab Inc. Systems for detecting vehicle following distance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430358A (zh) * 2015-11-26 2016-03-23 努比亚技术有限公司 一种图像处理方法及装置、终端
CN105528760A (zh) * 2015-12-04 2016-04-27 中国科学院遥感与数字地球研究所 一种基于热红外数据的云边缘高度匹配方法和系统
WO2016092537A1 (en) * 2014-12-07 2016-06-16 Brightway Vision Ltd. Object detection enhancement of reflection-based imaging unit
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593586B2 (en) * 2004-06-30 2009-09-22 Aptina Imaging Corporation Method and system for reducing artifacts in image detection
JP4676373B2 (ja) * 2006-04-27 2011-04-27 株式会社デンソー 周辺認識装置、周辺認識方法、プログラム
KR101616194B1 (ko) * 2014-09-03 2016-04-27 연세대학교 산학협력단 적외선 조명을 이용한 객체 추출 방법 및 그 장치
EP3185180B1 (en) * 2014-10-23 2019-01-02 Axis AB Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461774A (zh) * 2014-02-20 2017-02-22 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
WO2016092537A1 (en) * 2014-12-07 2016-06-16 Brightway Vision Ltd. Object detection enhancement of reflection-based imaging unit
CN105430358A (zh) * 2015-11-26 2016-03-23 努比亚技术有限公司 一种图像处理方法及装置、终端
CN105528760A (zh) * 2015-12-04 2016-04-27 中国科学院遥感与数字地球研究所 一种基于热红外数据的云边缘高度匹配方法和系统

Also Published As

Publication number Publication date
KR102404149B1 (ko) 2022-05-31
EP3506169A2 (en) 2019-07-03
US10496891B2 (en) 2019-12-03
CN109409186A (zh) 2019-03-01
US20190057262A1 (en) 2019-02-21
EP3506169A3 (en) 2019-12-18
KR20190019840A (ko) 2019-02-27

Similar Documents

Publication Publication Date Title
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
Wu et al. Lane-mark extraction for automobiles under complex conditions
EP2916540B1 (en) Image processing system and image processing method
US8611598B2 (en) Vehicle obstacle detection system
EP3264367A2 (en) Image generating apparatus, image generating method, and recording medium
TWI607901B (zh) 影像修補系統及其方法
US20190019042A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
EP2124194B1 (en) Method of detecting objects
JP2016196233A (ja) 車両用道路標識認識装置
JP2012164026A (ja) 画像認識装置及び車両用表示装置
US9727780B2 (en) Pedestrian detecting system
Nguyen et al. Fast traffic sign detection under challenging conditions
KR20160126254A (ko) 도로 영역 검출 시스템
JP2010136207A (ja) 歩行者検出表示システム
Dewan et al. An overview of traffic signs recognition methods
KR101865958B1 (ko) 속도 제한 표지판 인식 장치 및 방법
Pillai et al. Night time vehicle detection using tail lights: a survey
JP2009069145A (ja) 物体検知の方法
KR20180069282A (ko) 자율주행을 위한 차선검출 방법.
CN113632450A (zh) 摄影系统及图像处理装置
JP2007272421A (ja) 対象物検出装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant