CN106096493A - 使用深度学习的棒状像素估计和道路场景分割 - Google Patents

使用深度学习的棒状像素估计和道路场景分割 Download PDF

Info

Publication number
CN106096493A
CN106096493A CN201610285721.0A CN201610285721A CN106096493A CN 106096493 A CN106096493 A CN 106096493A CN 201610285721 A CN201610285721 A CN 201610285721A CN 106096493 A CN106096493 A CN 106096493A
Authority
CN
China
Prior art keywords
subimage
data
degree
image
border
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610285721.0A
Other languages
English (en)
Inventor
D·李维
N·加尼特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/092,853 external-priority patent/US20160217335A1/en
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN106096493A publication Critical patent/CN106096493A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于检测图像中物体的方法和系统。在一个实施例中，方法包括：通过处理器接收来自单个传感器的数据，该数据表示图像；通过处理器将图像分成垂直子图像；通过处理器基于深度学习模型处理垂直子图像；以及通过处理器，基于所述处理检测物体。

Description

使用深度学习的棒状像素估计和道路场景分割
技术领域
本发明总体涉及一种物体检测系统和方法，且具体涉及基于深度学习来检测物体的物体检测系统和方法。
背景技术
各种系统处理数据以检测系统附近的物体。例如，一些车辆系统检测车辆附近的物体，且利用有关物体的信息来提醒驾驶员有物体和/或控制车辆。车辆系统基于安置于车辆周围的传感器来检测物体。例如，多个相机被安置在车辆的后部、侧面和/或前部，以检测物体。来自多个相机的图像被用来基于立体视觉来检测物体。在车辆或任何系统中实现多个相机增加了总体成本。
因此，期望提供基于单个相机检测图像中物体的方法和系统。此外，从以下结合附图和前述的技术领域及背景技术进行的详细描述和所附权利要求中可以更清楚地了解本发明的其它期望特征和特点。
发明内容
提供用于检测图像中物体的方法和系统。在一个实施例中，方法包括：通过处理器接收来自单个传感器的数据，该数据表示图像；通过处理器将图像分成垂直子图像；通过处理器基于深度学习模型来处理垂直子图像；以及通过处理器基于该处理来检测物体。
在一个实施例中，系统包括非瞬时计算机可读介质。非瞬时计算机可读介质包括第一计算机模块，其通过处理器接收来自单个传感器的数据，该数据表示图像。非瞬时计算机可读介质包括第二计算机模块，其通过处理器将图像分成垂直子图像。非瞬时计算机可读介质包括第三计算机模块，其通过处理器基于深度学习模型来处理垂直子图像，并通过处理器基于该处理来检测物体。
附图说明
结合下面的附图，下面将对示例性实施例进行描述，其中相同的附图标记表示相同的元件，且其中：
图1是包括根据各实施例的物体检测系统的车辆的图示；
图2是示出了根据各实施例的物体检测系统的物体检测模块的数据流程图；
图3是根据各实施例的深度学习模型的图示；
图4至图6是根据各实施例的图像场景的图示；以及
图7是示出可由根据各实施例的物体检测系统执行的物体检测方法的流程图。
具体实施方式
下面的详细描述本质上仅仅是示例性的，并非意图限制应用和用途。此外，不存在被前述技术领域、背景技术、发明内容或者下面的具体实施方式中提出的任何表述的或暗示的理论约束的意图。应该理解，在整个附图中，对应的附图标记指示相同或对应的部件和特征。本文使用的术语模块指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组处理器)和存储器、组合逻辑电路和/或提供所述功能的其它合适组件。
现在参照图1，车辆10被示出包括根据各实施例的物体检测系统12。可以理解，示出并描述的物体检测系统12可在不同系统中实现，该不同系统包括非移动平台或移动平台，诸如但不限于，汽车、卡车、公交车、摩托车、火车、船舶、飞机、旋翼飞机等等。为了示例的目的，将在车辆10中实现物体检测系统12的情况下对本发明进行讨论。尽管本文所示的附图描绘了具有某些元件布置的示例，但额外插入元件、装置、特征或组件可存在于实际实施例中。还应该理解，图1仅仅是说明性的，而不一定按比例绘制。
物体检测系统12包括与物体检测模块16相关联的单个传感器14。如图所示，单个传感器14检测车辆10附近的可观察条件。单个传感器14可为检测车辆10附近可观察条件的任何传感器，诸如但不限于，相机、激光雷达、雷达等。为了示例的目的，在单个传感器14为相机并生成车辆10外部场景的视觉图像的情况下对本发明进行讨论。
单个传感器14可定位在车辆10内部或外部的任何位置，包括但不限于车辆10的前侧、车辆10的左侧、车辆10的右侧，以及车辆10的后侧。可以理解，多个单个传感器14可在车辆10上实现，每个单个传感器14用于车辆10的前侧、车辆10的左侧、车辆10的右侧，以及车辆10的后侧中的每个或其组合。为了示例的目的，将在车辆10仅有一个单个传感器14的情况下对本发明进行讨论。
单个传感器14感测到与车辆10相关联的区域，且基于此产生传感器信号。在各实施例中，传感器信号包括图像数据。物体检测模块16接收信号，并处理该信号，以检测物体。在各实施例中，物体检测模块16选择性地基于对物体的检测产生信号。信号由控制模块18和/或警示模块20接收，以选择性地控制车辆10和/或警示驾驶员控制车辆10。
在各实施例中，物体检测模块16基于图像处理方法检测物体，该图像处理方法利用深度学习模型来处理图像数据。深度学习模型可包括，但不限于，诸如卷积网络的神经网络，或诸如深度信念网络的其它深度学习模型。深度学习模型基于过多样本图像数据被预先训练。
在各实施例中，物体检测模块16使用深度学习模型来处理图像数据，以获得图像内的障碍物和其它道路元素。物体检测模块16利用检测到的元素来确定，例如，道路分割、场景内的棒状像素，和/或场景内的物体。
现在参照图2，数据流程图示出了物体检测系统12的物体检测模块16的各实施例(图1)。物体检测模块16根据各实施例处理图像数据30。可以理解，根据本发明的物体检测模块16的各实施例可包括任意数目的子模块。例如，图2所示的子模块可被组合和/或进一步被分割，以类似地处理图像并基于该处理产生信号。对物体检测模块16的输入可从车辆10(图1)的单个传感器14接收、从车辆10(图1)的其它控制模块(未示出)接收，和/或由物体检测模块16的其它子模块(未示出)确定。在各实施例中，物体检测模块16包括模型数据存储器32、图像处理模块34、深度学习模块36、棒状像素确定模块38、物体确定模块40、道路分割模块42，和/或信号产生器模块44。
模型数据存储器32存储一个或多个深度学习模型46。例如，图3示出了示例性深度学习模型46。该示例性深度学习模型46是卷积网络模型。卷积网络模型包括多个层，其包括滤波层和多个池化层。深度学习模型46基于过多样本图像数据被训练。在各实施例中，样本数据可表示特定场景或物体类型，其与车辆相关联。
回过来参照图2，图像处理模块34接收图像数据30作为输入，该图像数据30表示从单个传感器14(图1)捕获的图像。图像处理模块34将图像分割成多个子图像48。例如，多个子图像48包括原始图像的垂直段或垂直条纹。可以理解，图像处理模块34可以各种方式分割图像。为了举例说明，将在图像处理模块34将图像分割成垂直段或垂直条纹的情况下对本发明进行讨论。
图像处理模块34进一步确定子图像48在图像中的位置数据50。例如，图像处理模块34基于子图像在原始图像中的位置将位置数据50分配给每个子图像48。例如，分配给垂直段的位置沿图像中的X轴对应于X位置。
深度学习模块36接收子图像48和对应的X位置数据50作为输入。深度学习模块36利用存储在模型数据存储器32中的深度学习模型46来处理每个子图像48。基于该处理，深度学习模块36产生Y位置数据52，其指示每个子图像48中的道路元素的边界(每个元素的底部和/或顶部)。
棒状像素确定模块38接收多个子图像48、X位置数据50和Y位置数据52作为输入。棒状像素确定模块38进一步处理多个子图像中的每一个，以确定子图像中的第二Y位置。第二Y位置指示物体在子图像中的终点。棒状像素确定模块38基于来自模型数据存储器32的深度学习模型46和/或其它图像处理技术来确定子图像中的第二Y位置。
棒状像素确定模块38基于子图像的X位置、第一Y位置和第二Y位置来限定棒状像素。例如，如图4所示，棒状像素始于确定的地面实况(Y位置)且终止于确定的第二Y位置。如果，例如，第一Y位置和第二Y位置接近相同，那么可能不会限定棒状像素。棒状像素确定模块38基于图像中限定的棒状像素产生棒状像素数据54。
回过来参照图2，物体确定模块40接收多个子图像48、X位置数据50和Y位置数据52作为输入。物体确定模块40基于子图像数据48和Y位置数据52来确定物体的存在。例如，物体确定模块40基于额外处理方法(例如，光流估计或其它方法)来处理所捕获到的图像，以确定物体是否在确定的Y位置之上存在于图像中。如图5所示，物体确定模块40产生物体数据56，其指示所确定物体在子图像中的X位置和Y位置。
再次参照图2，道路分割模块42接收多个子图像48、X位置数据50和Y位置数据52作为输入。道路分割模块42评价子图像数据48和Y位置数据52以确定道路在场景中的轮廓。例如，如图6所示，道路分割模块42基于行中具有相关Y位置的第一个和最后一个X位置评价每行的子图像并限定道路分割。道路分割模块42基于图像中所有行的第一个和最后一个X位置生成道路分割数据58。
再参照图2，信号产生器模块44接收棒状像素数据54、物体数据56和/或道路分割数据58作为输入。信号产生器模块44评价棒状像素数据54、物体数据56和/或道路分割数据58并基于评价选择地产生警示信号60和/或控制信号62。例如，如果棒状像素数据54和/或物体数据56的评价指示物体造成威胁，则产生警示信号60和/或控制信号62。在另一个实施例中，如果道路分割数据58的评价指示车辆10正偏离所限定的道路，则产生警示信号60和/或控制信号62。可以理解，因为所述标准只是示例，所以可基于其他标准评价棒状像素数据54、物体数据56和/或道路分割数据58及产生信号。
现参照图7，并继续参照图1和图2，流程图描述了可根据多个实施方案利用图1和图2的物体检测系统12进行的物体检测方法100。根据本发明可以理解，方法100的操作顺序不受限于图7中所述的顺序执行，而可以一种或多种可应用的变化顺序并根据本发明进行。
可进一步理解，图7中方法可在车辆10操作期间以预定的时间间隔按计划进行和/或可基于预定事件按计划进行。
在一个实施例中，方法可从105处开始。在110处接收图像数据30。由图像数据30，在120处确定子图像48及在130处确定子图像48的X位置数据50。在140处利用深度学习模型46处理子图像48以确定Y位置数据52。然后，分别在150、160和/或170处处理子图像48、X位置数据50和Y位置数据52以分别确定棒状像素数据54、物体数据56和/或道路分割数据58中的至少一个。在180处评价棒状像素数据54、物体数据56和/或道路分割数据58并在190处用于选择地产生控制信号62和/或警示信号60。然后，方法在200处结束。
虽然至少一个示例性实施例已在以上具体实施方式中给出，但是应理解，可存在多个变化。也应理解，一个示例性实施例或多个示例性实施例只是实例，并无意以任意方式限制本发明的范围、适用性或配置。但是，以上具体实施方式将向技术人员提供用于实施一个示例性实施例或多个示例性实施例的便利道路图。应了解，可对元件的功能和布置进行多种改变，而不脱离如随附权利要求及其法律等效项所述的本发明的范围。

Claims (10)

1.一种检测物体的方法，其包括：
通过处理器从单个传感器接收数据，所述数据表示图像；
通过所述处理器将所述图像划分为垂直子图像；
通过所述处理器基于深度学习模型处理所述垂直子图像；以及
通过所述处理器基于所述处理检测物体。
2.根据权利要求1所述的方法，其进一步包括基于所述垂直子图像在所述图像中的位置将位置数据分配至所述垂直子图像中的每一个。
3.根据权利要求2所述的方法，其中所述位置数据包括沿着所述图像的X轴的X位置。
4.根据权利要求1所述的方法，其中所述的处理所述垂直子图像进一步包括：通过使用深度学习模型来处理所述垂直子图像以确定道路元素在所述垂直子图像中的边界。
5.根据权利要求4所述的方法，其中所述道路元素的每一个边界包括底部边界、顶部边界以及顶部和底部边界中的至少一个。
6.根据权利要求4所述的方法，其中每个边界包括沿着所述垂直子图像的Y轴的Y位置。
7.根据权利要求4所述的方法，其进一步包括通过使用图像处理技术来处理在所述边界上方的数据以确定在所述垂直子图像中的边界上方是否存在一个或者多个物体。
8.根据权利要求4所述的方法，其进一步包括基于所述边界和所述垂直子图像来确定道路在所述图像中的轮廓。
9.根据权利要求1所述的方法，其进一步包括基于所述垂直子图像和所述深度学习模型来确定棒状像素数据。
10.根据权利要求9所述的方法，其中所述的确定所述物体是基于所述棒状像素数据的。
CN201610285721.0A 2015-05-01 2016-05-03 使用深度学习的棒状像素估计和道路场景分割 Pending CN106096493A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562155948P 2015-05-01 2015-05-01
US62/155948 2015-05-01
US15/092853 2016-04-07
US15/092,853 US20160217335A1 (en) 2009-02-27 2016-04-07 Stixel estimation and road scene segmentation using deep learning

Publications (1)

Publication Number Publication Date
CN106096493A true CN106096493A (zh) 2016-11-09

Family

ID=57135985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610285721.0A Pending CN106096493A (zh) 2015-05-01 2016-05-03 使用深度学习的棒状像素估计和道路场景分割

Country Status (2)

Country Link
CN (1) CN106096493A (zh)
DE (1) DE102016207209A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109425359A (zh) * 2017-09-01 2019-03-05 通用汽车环球科技运作有限责任公司 用于生成实时地图信息的方法和系统
CN109508673A (zh) * 2018-11-13 2019-03-22 大连理工大学 一种基于棒状像素的交通场景障碍检测与识别方法
WO2021056309A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for detecting road markings from a laser intensity image

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860034B1 (en) 2017-09-27 2020-12-08 Apple Inc. Barrier detection
US11922702B2 (en) * 2021-08-19 2024-03-05 Ford Global Technologies, Llc Enhanced object detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070274566A1 (en) * 2006-05-24 2007-11-29 Nissan Motor Co., Ltd. Pedestrian detector and pedestrian detecting method
US20100092038A1 (en) * 2008-10-10 2010-04-15 Armand Camus Theodore System and method of detecting objects
CN102930274A (zh) * 2012-10-19 2013-02-13 上海交通大学 一种医学图像的获取方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070274566A1 (en) * 2006-05-24 2007-11-29 Nissan Motor Co., Ltd. Pedestrian detector and pedestrian detecting method
US20100092038A1 (en) * 2008-10-10 2010-04-15 Armand Camus Theodore System and method of detecting objects
CN102930274A (zh) * 2012-10-19 2013-02-13 上海交通大学 一种医学图像的获取方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109425359A (zh) * 2017-09-01 2019-03-05 通用汽车环球科技运作有限责任公司 用于生成实时地图信息的方法和系统
CN109508673A (zh) * 2018-11-13 2019-03-22 大连理工大学 一种基于棒状像素的交通场景障碍检测与识别方法
WO2021056309A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for detecting road markings from a laser intensity image

Also Published As

Publication number Publication date
DE102016207209A1 (de) 2016-11-03

Similar Documents

Publication Publication Date Title
CN107038723B (zh) 棒状像素估计方法和系统
CN106096493A (zh) 使用深度学习的棒状像素估计和道路场景分割
CN106980813B (zh) 机器学习的注视生成
CN109017570B (zh) 车辆周围场景呈现方法和装置、车辆
US20160217335A1 (en) Stixel estimation and road scene segmentation using deep learning
JP6519262B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
CN103727879B (zh) 计算和显示在显示器图像中检测的物体高度的装置和方法
CN106170828B (zh) 外界识别装置
CN101167104B (zh) 用于图形显示汽车周围环境的方法
JP6457278B2 (ja) 物体検出装置及び物体検出方法
US9336630B2 (en) Method and apparatus for providing augmented reality
CN107845104A (zh) 一种检测超车车辆的方法、相关处理系统、超车车辆检测系统以及车辆
JP2009037622A (ja) 画像を評価するための方法および装置
CN103448653A (zh) 车辆碰撞报警系统和方法
CN109284661A (zh) 学习数据生成装置、学习数据生成方法和程序
US10866416B2 (en) Display control device and display control method
US9826166B2 (en) Vehicular surrounding-monitoring control apparatus
CN104952254A (zh) 车辆识别方法、装置和车辆
CN103770704A (zh) 用于识别车辆的停车位标志线的系统和方法
CN101185084A (zh) 用于夜间探测道路的方法和系统
CN105378815B (zh) 用信号为车辆驾驶员告知视觉上至少部分地被遮挡的交通对象的方法和设备
CN102555905B (zh) 产生车辆周围环境中至少一个物体的影像的方法和设备
JP2007310706A (ja) 車両周辺監視装置
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20200626