CN110490217B - 用于改进对象检测和对象分类的方法和系统 - Google Patents

用于改进对象检测和对象分类的方法和系统 Download PDF

Info

Publication number
CN110490217B
CN110490217B CN201910352005.3A CN201910352005A CN110490217B CN 110490217 B CN110490217 B CN 110490217B CN 201910352005 A CN201910352005 A CN 201910352005A CN 110490217 B CN110490217 B CN 110490217B
Authority
CN
China
Prior art keywords
scene
data
classification
location
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910352005.3A
Other languages
English (en)
Other versions
CN110490217A (zh
Inventor
S·萨米
U·杜塔波多罗伊
F·白
邹光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110490217A publication Critical patent/CN110490217A/zh
Application granted granted Critical
Publication of CN110490217B publication Critical patent/CN110490217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种用于对象检测和分类的系统和方法包括：由控制器接收场景的第一数据，其中，该数据反映第一时间的场景；以及基于该数据对场景内至少一个对象执行第一分类。该方法包括确定至少一个对象的预期位置，该预期位置对应于在第二时间的评估位置。该方法包括接收场景的第二数据，其反映第二时间的场景。该方法包括确定对象的预期位置是否对应于由第二数据反映的对象的位置。该方法包括基于对预期位置是否对应于由第二数据反映的对象的位置的确定来确定是否需要对该对象执行第二分类。

Description

用于改进对象检测和对象分类的方法和系统
引言
本文的实施例涉及改进对象检测和对象分类。确切地说，一个或多个实施例可例如涉及改进自主车辆的执行对象检测和对象分类的能力。
自主车辆通常被认为是能够在不由人类驾驶员直接引导的情形下导航通过环境的车辆。自主车辆可使用不同的方法来感测环境的不同方面。例如，自主车辆可使用全球定位系统(GPS)技术、雷达技术、激光技术和/或照相机/成像技术来检测道路、其它车辆以及道路障碍物。自主车辆需要精确地检测周围对象并且需要对所检测的对象进行精确地分类。
发明内容
在一个示例性实施例中，方法包括由自主车辆的控制器接收场景的第一数据。第一数据反映在第一时间的场景。该方法还包括基于所接收的第一数据对场景内的至少一个对象执行第一分类。该方法还包括确定至少一个对象的预期位置。预期位置对应于在第二时间的评估位置。该方法还包括接收场景的第二数据。第二数据反映在第二时间的场景。该方法还包括确定至少一个对象的预期位置是否对应于由第二数据反映的至少一个对象的位置。该方法还包括基于对预期位置是否对应于由第二数据反映的至少一个对象的位置的确定来确定是否需要对至少一个对象执行第二分类。
在另一示例性实施例中，如果预期位置对应于由第二数据反映的至少一个对象的位置，则不需要对至少一个对象执行第二分类。
在另一示例性实施例中，该方法还包括确定针对至少一个所分类对象的属性数据。
在另一示例性实施例中，确定至少一个对象的预期位置包括基于属性数据确定预期位置。
在另一示例性实施例中，属性数据包括对象的航向和速度。
在另一示例性实施例中，对至少一个对象执行第一分类包括确定所接收的第一数据内的感兴趣区域。
在另一示例性实施例中，接收第一数据包括接收场景的视频信息或照相机信息。
在另一示例性实施例中，执行第一分类包括由卷积神经网络执行第一分类。
在另一示例性实施例中，该方法还包括确定新的对象是否已进入场景。
在另一示例性实施例中，该方法还包括基于对新的对象是否已进入场景的确定来确定附加的分类。
在另一示例性实施例中，自主车辆内的系统包括车辆的电子控制器，该电子控制器配置成接收场景的第一数据。第一数据反映在第一时间的场景。电子控制器还配置成基于所接收的第一数据对场景内的至少一个对象执行第一分类。电子控制器还配置成确定至少一个对象的预期位置。预期位置对应于在第二时间的评估位置。电子控制器还配置成接收场景的第二数据。第二数据反映在第二时间的场景。电子控制器还配置成确定至少一个对象的预期位置是否对应于由第二数据反映的至少一个对象的位置。电子控制器还配置成基于对预期位置是否对应于由第二数据反映的至少一个对象的位置的确定来确定是否对至少一个对象执行第二分类。
在另一示例性实施例中，如果预期位置对应于由第二数据反映的至少一个对象的位置，则无需对至少一个对象执行第二分类。
在另一示例性实施例中，电子控制器进一步配置成确定针对至少一个所分类对象的属性数据。
在另一示例性实施例中，确定至少一个对象的预期位置包括基于属性数据确定预期位置。
在另一示例性实施例中，属性数据包括对象的航向和速度。
在另一示例性实施例中，对至少一个对象执行第一分类包括确定所接收的第一数据内的感兴趣区域。
在另一示例性实施例中，接收第一数据包括接收场景的视频信息或照相机信息。
在另一示例性实施例中，执行第一分类包括由卷积神经网络执行第一分类。
在另一示例性实施例中，电子控制器进一步配置成确定新的对象是否已进入场景。
在另一示例性实施例中，电子控制器进一步配置成基于对新的对象是否已进入场景的确定来确定需要附加的分类。
当结合附图时，从以下详细描述中，本发明的上述特征和优点以及其它特征和优点显而易见。
附图说明
仅仅借助示例，其它特征、优点以及细节出现在以下详细描述中，该详细描述参照附图，附图中：
图1说明根据传统方案执行对象检测和对象分类；
图2说明根据一个或多个实施例执行对象检测和对象分类；
图3说明根据一个或多个实施例的用于执行预期、验证以及变化检测的系统；
图4说明根据一个或多个实施例的示例验证和重计算处理；
图5说明根据一个或多个实施例的另一示例验证和重计算处理；
图6说明根据一个或多个实施例的另一示例验证和重计算处理；
图7示出根据本发明的一个或多个实施例的方法的流程图；以及
图8示出计算机系统的高级框图，该计算机系统可用于实施本发明的一个或多个实施例。
具体实施方式
以下描述在本质上仅仅是示例性的且并不旨在限制本发明、其应用或使用。如这里使用的是，术语模块指代处理电路，该处理电路可包括专用集成电路(ASIC)、电子电路、处理器(共享、专用或集群)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述的功能性的其它合适部件。
一个或多个实施例涉及用于改进对象检测和对象分类的系统和方法。检测对象和分类对象的传统方案通常使用计算密集型计算机视觉处理。确切地说，传统方案通常接收场景的图像并且以高频率处理所接收的图像。传统方案然后处理场景的所接收的图像，以对出现在图像内的对象进行检测和分类。
然而，在传统方案对场景内的一组对象进行检测/分类之后，该传统方案继续对同一组对象执行相同的检测/分类处理。因此，即使事先将对象进行了检测/分类，传统方案仍继续以高频率对同一组对象执行相同的检测/分类处理。
与传统方案不同，一个或多个实施例可通过基于该组对象的当前计算结果、过去计算结果以及动态来预期和评估未来结果而减少对象的冗余检测/分类量。对象的动态可例如包括对象的航向和/或速度。这样，一个或多个实施例可减小传统方案的复杂度，其使用计算机视觉来对场景内的对象进行检测和分类。一旦已检测到对象，一个或多个实施例仅仅需要执行验证处理，而非不断重复对同一组对象进行相同的检测/分类处理。验证处理可以由电子控制单元(ECU)作为后台任务执行，或者验证处理可以通过使用云计算来执行。
通过减少对已检测/分类的对象进行检测和分类的需求，一个或多个实施例可减小通常与执行对象检测相关联的等待时间。一个或多个实施例可减少需要在车辆上执行的实时计算量，且由此一个或多个实施例可使得能够使用云计算来执行某些计算。
图1说明根据传统方案执行对象检测和对象分类。采用传统方案，检测车辆110会检测与周围对象相对应的感兴趣区域120、130、140和150。在检测感兴趣区域120、130、140和150的情形下，检测车辆110则会将感兴趣区域120、130和140分类为与周围车辆相对应。检测车辆110还会将区域150分类为静止对象。在检测车辆110不断以接收频率来接收与周围对象相关联的传感器信息和照相机信息时，检测车辆110会不断对感兴趣区域120-150的对象进行重新检测和重新分类，即使这些对象之前已被正确地检测且正确地分类。如前所述，由于传统方案的系统不断对之前已被正确地检测/分类的对象(感兴趣区域的对象)进行重新检测和重新分类，因而传统方案会对冗余的重新检测和重新分类花费大量的计算机处理。
图2说明根据一个或多个实施例执行对象检测和对象分类。采用一个或多个实施例，检测车辆210同时接收与当前场景201相关联的传感器信息和/或照相机信息。检测车辆210可使用所接收的信息来确定与当前场景201内的对象相对应的感兴趣区域。确切地说，检测车辆210接收与感兴趣区域220、230、240和250的对象相关联的信息。所接收的传感器信息和/或照相机信息与当前场景201的信息相关联。基于所接收的信息，检测车辆210可检测感兴趣区域220-250，且检测车辆210能将区域220-240分类为与车辆相对应，并且可将感兴趣区域250分类为与静止对象相对应。
除了对当前场景201的对象进行检测和分类以外，一个或多个实施例还确定每个对象的属性/动态信息。例如，一个或多个实施例的系统可确定每个对象的速度和/或速率。一个或多个实施例的系统还可确定与所检测车辆210相比的相对速度和/或相对速率。在图2的示例中，检测车辆210确定与区域230相对应的车辆以与检测车辆210相同的速度行驶。这样，与区域230相对应的车辆以0km/hr的相对速度行驶。检测车辆210确定与区域240相对应的车辆也以0km/hr的相对速度行驶。检测车辆210确定与区域250相对应的静止对象以与检测车辆210相比负的的相对速度行驶。一个或多个实施例还可基于道路的曲率来评估一个或多个车辆的航向，例如由至少一个或多个车道级高清晰度地图所反映的。一个或多个实施例还可基于输入的雷达/光检测和测距数据(和输入的传感器数据)来评估其它车辆的相对速度。一个或多个实施例还可基于感兴趣区域中从一个所捕获图像至另一图像的变化量来评估其它车辆的相对速度。
在对场景的对象进行检测和分类之后，并且在确定每个对象的属性/动态信息之后，一个或多个实施例的系统可使用关于每个对象的属性/动态信息来确定对象的预期位置。一个或多个实施例还可确定针对每个区域的预期缩放尺寸。采用一个或多个实施例，每个感兴趣区域的预期位置和预期比例可对应于未来预计发生的位置和比例。例如，预期位置/比例可以是当照相机(其捕获图像)向前移动10米时会发生的预期位置/比例。
再次参照图2的示例，一个或多个实施例的系统可基于所检测/分类的对象并且基于每个对象的所确定属性信息来确定预期场景202。预期场景202可对应于当前场景201的预期未来场景。例如，与当前场景201相比，预期场景202可对应于这样的未来场景，其中，主车辆201在距离上已前进10米。
参照预期场景202，将对应于区域230的车辆(其相对于检测车辆210以0km/hr的速度行驶)评估为在检测车辆210前方的相同距离处。换言之，对应于区域230的车辆和检测车辆210之间的评估距离(例如由预期场景202反映)与对应于区域230的车辆和车辆210之间的距离(例如由当前场景201反映)相同。还预期对应于区域240的车辆(其也以0km/hr的相对速度形式)在检测车辆210前方的相同距离处。预期对应于区域220的车辆(其相对于检测车辆210以+10km/hr的速度行驶)在检测车辆210前方的更远距离处。换言之，例如在预期场景202内反映的是，对应于区域220的车辆已增大其自身和检测车辆210之间的距离。参照预期场景202，对应于区域250的静止对象已变得更靠近于检测车辆210约10米。
图3说明根据一个或多个实施例的用于执行预期、验证以及变化检测的系统。(当前场景的)图像/传感器数据310能输入到处理器320中，例如卷积神经网络处理器中。基于输入的图像/传感器数据310，卷积神经网络处理器320的对象检测/分类装置能检测一个或多个感兴趣区域。对象检测/分类装置还可使用输入的图像/传感器数据310来对每个所检测的感兴趣区域进行分类。这样，卷积神经网络处理器320可在时间“t”处确定对象和对应属性330(即，例如每个对象的速度和/或航向)的列表。
基于所确定的对象和对应属性330的列表，预期模块340可确定在未来预期的场景(即，在时间“t+n”处的场景)内的预期对象和对应属性350的列表。
下游的自主车辆应用和控制器360可接收预期对象/属性(在时间“t”处)330的列表和预期对象/属性(在时间“t+n”处)350的列表。下游的应用和控制器360可使用所接收的信息来执行所需的自主车辆功能。
验证装置370可然后接收与时间“t+n”处的实际场景相对应的图像/传感器数据310。基于针对时间“t+n”的此种所输入的图像/传感器数据310，验证装置370可确定预期对象和对应属性350的列表是否正确地反映在时间“t+n”处的对象/属性。如果验证装置370指示预期对象和对应属性350并不确切地反映当前场景，则验证装置370还可启动该场景中对象的重新检测/重新分类。验证装置370可启动对场景的对象的检测380，其可确定新的对象是否已进入到场景中。验证装置可由此启动检测380，其使得能够重新计算/重新验证新出现或已改变的至少一个感兴趣区域。
如上所述，检测场景内的新的对象可触发将对象位置/特征进行检测/分类的方法。一个或多个实施例可对出现在场景上的新的对象执行初始CNN计算。例如，新的对象可以是与检测车辆所评估的相比以更高相对速度接近的车辆；或者新的对象可以是改变车道的现有车辆，或者新的对象可以是事先离开检测车辆的视线的车辆。
如上所述，通过减少对已检测/分类的对象进行不断检测和分类的需求，一个或多个实施例可减小通常与执行对象检测相关联的等待时间。一个或多个实施例可减少需要在车辆上执行的实时计算量，且由此一个或多个实施例可使得能够使用云计算来执行某些计算。
例如，采用一个或多个实施例，由验证装置370执行的验证处理可使用云计算执行或者能由与车载处理系统分开的装置执行。因此，在执行验证处理时无需使用车辆上的处理装置和能力。云计算系统(其与车载处理系统分开)也可基于所输入的图像/传感器数据来不断执行对象检测和分类。通过继续执行对象检测/分类，一个或多个实施例的云计算系统可执行验证处理。
图4说明根据一个或多个实施例的示例验证和重计算处理。确切地说，图4说明由验证装置370执行的示例处理。在410处，验证装置370可接收所捕获的图像405并且可基于预期对象/属性440的列表来确定代表性图像。在410处，验证装置370则可将所捕获的图像405(其反映实际场景)与基于预期对象/属性440的列表所确定的代表性图像(其反映实际场景的评估)进行比较。在420处，如果所捕获的图像405和代表性图像之间的差异/误差过大，则在450处，验证装置370可触发重新计算以对场景的对象进行重新检测和重新分类。另一方面，如果所捕获的图像405和代表性图像之间的差异/误差在可接受阈值内，则在430处确定实际场景的评估是正确/可用的。
图5说明根据一个或多个实施例的另一示例验证和重计算处理。确切地说，图5说明由验证装置370执行的另一示例处理。在510处，验证装置370可接收所捕获的雷达和/或光检测和测距数据505。在510处，验证装置370还可处理所接收的数据，以确定在当前场景内的对象。在520处，验证装置370可接收预期对象/属性540(即，在场景内的评估对象/属性)的列表。在520处，验证装置370则可将基于雷达/光检测和测距信息(其反映实际场景)确定的对象与基于预期对象/属性540(其反映实际场景的评估)所确定的对象进行比较。在530处，如果基于雷达/光检测和测距信息的对象和基于预期对象/属性的对象之间的差异/误差过大，则在560处，验证装置370可触发重新计算以对场景的对象进行重新检测和重新分类。另一方面，如果差异/误差在可接受阈值内，则在550处确定实际场景的评估是正确/可用的。
图6说明根据一个或多个实施例的另一示例验证和重计算处理。确切地说，图6说明由验证装置370执行的另一示例处理。在610处，验证装置370可接收所捕获的视频流数据605。在610处，验证装置370还可接收预期对象/属性640(即，在场景内的评估对象/属性)的列表。在图6的示例中，验证装置370的其中一些或所有的功能性能由云计算系统实施。在620处，验证装置370可基于视频图像产生对象和属性的列表。在620处，验证装置370则可将基于视频流(其反映实际场景)确定的对象与基于预期对象/属性640(其反映实际场景的评估)所确定的对象进行比较。在630处，如果基于视频流的对象和基于预期对象/属性的对象之间的差异/误差过大，则在660处，验证装置370可触发重新计算以对场景的对象进行重新检测和重新分类。另一方面，如果差异/误差在可接受阈值内，则在650处确定实际场景的评估是正确/可用的。
采用一个或多个实施例，一个或多个实施例能对出现在场景上的新的对象执行分类/检测，而非对场景内的所有对象不断执行分类/检测。确切地说，一个或多个实施例可保留使用高频率分类器/检测器，以执行对一个或多个新对象的检测和分类。
如上所述，在已对一个或多个对象进行检测/分类之后，一个或多个实施例可减小处理这些对象的频率。处理这些对象的频率能由于一个或多个实施例仅仅需要执行对之前预测的验证而减小。
图7示出根据一个或多个实施例的方法的流程图。能执行图7的方法，以改进由自主车辆的对象检测和对象分类。图7的方法能由控制器结合一个或多个车辆传感器和/或照相机装置来执行。控制器能例如在车辆的电子控制单元(ECU)内实施。图7的方法能由车辆控制器执行，该车辆控制器接收和处理车辆在其中驾驶的场景的图像，且然后基于图像的处理自主地驾驶车辆。该方法可包括在框810处由自主车辆的控制器接收场景的第一数据。第一数据反映在第一时间的场景。该方法还包括在框820处基于所接收的第一数据对场景内的至少一个对象执行第一分类。该方法还包括在框830处确定至少一个对象的预期位置。预期位置对应于在第二时间的评估位置。该方法还包括在框840处接收场景的第二数据。第二数据反映在第二时间的场景。该方法还包括在框850处确定至少一个对象的预期位置是否对应于由第二数据反映的至少一个对象的位置。该方法还包括在框860处基于对预期位置是否对应于由第二数据反映的至少一个对象的位置的确定来确定是否需要对至少一个对象执行第二分类。
图8示出计算机系统900的高级框图，该计算机系统可用于实施一个或多个实施例。计算系统900可至少对应于这样的系统，该系统例如配置成改进对象检测和对象分类。该系统可以是车辆内电子器件的系统的一部分，其结合照相机和/或传感器操作。采用一个或多个实施例，计算系统900可对应于车辆的电子控制单元(ECU)。计算系统900可用于实施系统的硬件部件，其能够执行这里描述的方法。虽然示出一个示例性计算系统900，但计算系统900包括通信路径926，该通信路径将计算系统900连接于附加的系统(未示出)。计算系统900和附加的系统经由通信路径926通信，以例如在它们之间通信数据。
计算系统900包括一个或多个处理器，例如处理器902。处理器902连接于通信基础架构904(例如，通信总线、交叉条或网络)。计算系统900可包括显示器界面906，该显示器界面发送来自通信基础架构904(或来自未示出的帧缓冲器)的图形、文本内容和其它数据，用于显示在显示器单元908上。计算系统900还包括主存储器910(较佳地是随机存取存储器(RAM))，并且还可包括辅助存储器912。还可存在容纳在辅助存储器912内的一个或多个硬盘驱动器914。可移动存储驱动器916从可移动存储单元918读取和/或写入至可移动存储单元。例如会意识到的是，可移动存储单元918包括计算机可读介质，该计算机可读介质具有存储在其中的计算机软件和/或数据。
在替代的实施例中，辅助存储器912可包括其它类似的装置，用于允许计算机程序或其它指令能加载到计算系统中。此种装置可例如包括可移动存储单元920和界面922。
在本文描述中，术语“计算机程序介质”、“计算机可用介质”以及“计算机可读介质”用于指代诸如主存储器910和辅助存储器912、可移动存储驱动器916以及安装在硬盘驱动器914中的硬盘之类的介质。计算机程序(也称为计算机控制逻辑)存储在主存储器910和/或辅助存储器912中。计算机程序也可经由通信界面924接收。此类计算机程序在运行时使得计算系统能执行这里描述的特征。具体地说，计算机程序在运行时使得处理器902能执行计算系统的特征。因此，这些计算机程序表示计算系统的控制器。因此，从前文详细描述中观察到的是，一个或多个实施例提供技术益处和优点。
虽然已参照示例性实施例描述了上文公开内容，但本领域技术人员会理解的是，可作出各种改变，且等同物可替代其元件，而不会偏离本发明的范围。此外，可作出许多修改，以使得特定情况或材料适应于本发明的教示，而不会偏离本发明的基本范围。因此，各实施例并不旨在限制于所公开的特定实施例，而是会包括落在本申请范围内的所有实施例。

Claims (10)

1.一种自主车辆内的系统，包括：
所述车辆的电子控制器，所述电子控制器配置成：
接收场景的第一数据，其中，所述第一数据反映第一时间的所述场景；
基于所接收的第一数据对所述场景内的至少一个对象执行第一分类；
确定所述至少一个对象的预期位置，其中，所述预期位置对应于第二时间的评估位置；
接收所述场景的第二数据，其中，所述第二数据反映所述第二时间的所述场景；
确定所述至少一个对象的所述预期位置是否对应于由所述第二数据反映的所述至少一个对象的位置；以及
基于对所述预期位置是否对应于由所述第二数据反映的所述至少一个对象的位置的确定来确定是否需要对所述至少一个对象执行第二分类。
2.根据权利要求1所述的系统，其中，如果所述预期位置对应于由所述第二数据反映的所述至少一个对象的位置，则无需对所述至少一个对象执行第二分类。
3.根据权利要求1所述的系统，其中，所述电子控制器进一步配置成确定针对所述至少一个所分类对象的属性数据。
4.根据权利要求3所述的系统，其中，确定所述至少一个对象的所述预期位置包括基于所述属性数据确定所述预期位置。
5.根据权利要求3所述的系统，其中，所述属性数据包括所述对象的航向和速度。
6.根据权利要求1所述的系统，其中，对所述至少一个对象执行所述第一分类包括确定所接收的第一数据内的感兴趣区域。
7.根据权利要求1所述的系统，其中，接收所述第一数据包括接收所述场景的视频信息。
8.根据权利要求1所述的系统，其中，执行所述第一分类包括由卷积神经网络执行所述第一分类。
9.根据权利要求1所述的系统，其中，所述电子控制器进一步配置成确定新的对象是否已进入所述场景。
10.根据权利要求9所述的系统，其中，所述电子控制器进一步配置成基于对新的对象是否已进入所述场景的确定来确定需要附加的分类。
CN201910352005.3A 2018-05-15 2019-04-29 用于改进对象检测和对象分类的方法和系统 Active CN110490217B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/979,869 US10579888B2 (en) 2018-05-15 2018-05-15 Method and system for improving object detection and object classification
US15/979869 2018-05-15

Publications (2)

Publication Number Publication Date
CN110490217A CN110490217A (zh) 2019-11-22
CN110490217B true CN110490217B (zh) 2023-07-11

Family

ID=68419351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910352005.3A Active CN110490217B (zh) 2018-05-15 2019-04-29 用于改进对象检测和对象分类的方法和系统

Country Status (3)

Country Link
US (1) US10579888B2 (zh)
CN (1) CN110490217B (zh)
DE (1) DE102019111249A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018216417A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Ortsvorhersage für dynamische Objekte
US11447063B2 (en) * 2019-07-18 2022-09-20 GM Global Technology Operations LLC Steerable scanning and perception system with active illumination
US11557151B2 (en) 2019-10-24 2023-01-17 Deere & Company Object identification on a mobile work machine
CN112001700A (zh) * 2020-08-21 2020-11-27 金钱猫科技股份有限公司 一种基于大数据自动比对的工程检查方法及服务端
US20220067395A1 (en) * 2020-08-31 2022-03-03 Aptiv Technologies Limited Vehicles, Systems and Methods for Determining an Occupancy Map of a Vicinity of a Vehicle
DE102021207093A1 (de) 2021-07-06 2023-01-12 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Bereitstellen von klassifizierten digitalen Aufnahmen für ein System zum automatischen Maschinenlernen und zum Aktualisieren eines maschinenlesbaren Programmcodes damit
DE102022209401A1 (de) 2022-01-18 2023-07-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Generieren von Trainingsdaten für ein lernfähiges Verfahren
CN115376324B (zh) * 2022-10-24 2023-03-24 中国汽车技术研究中心有限公司 车辆场景复杂度确定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321223A (zh) * 2007-04-04 2008-12-10 精工爱普生株式会社 信息处理方法、信息处理装置和程序存储介质
CN102867047A (zh) * 2012-09-06 2013-01-09 北京天宇朗通通信设备股份有限公司 移动终端的信息分类方法及装置
CN104185225A (zh) * 2014-09-11 2014-12-03 南京大学 一种基于场景分类的室内外无缝定位切换方法
CN104978567A (zh) * 2015-06-11 2015-10-14 武汉大千信息技术有限公司 基于场景分类的车辆检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8054203B2 (en) * 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321223A (zh) * 2007-04-04 2008-12-10 精工爱普生株式会社 信息处理方法、信息处理装置和程序存储介质
CN102867047A (zh) * 2012-09-06 2013-01-09 北京天宇朗通通信设备股份有限公司 移动终端的信息分类方法及装置
CN104185225A (zh) * 2014-09-11 2014-12-03 南京大学 一种基于场景分类的室内外无缝定位切换方法
CN104978567A (zh) * 2015-06-11 2015-10-14 武汉大千信息技术有限公司 基于场景分类的车辆检测方法

Also Published As

Publication number Publication date
CN110490217A (zh) 2019-11-22
DE102019111249A1 (de) 2019-11-21
US20190354785A1 (en) 2019-11-21
US10579888B2 (en) 2020-03-03

Similar Documents

Publication Publication Date Title
CN110490217B (zh) 用于改进对象检测和对象分类的方法和系统
US10599931B2 (en) Automated driving system that merges heterogenous sensor data
CN113228040B (zh) 多级对象行进方向估计的系统和方法
JP7040374B2 (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
US20180224857A1 (en) Ecu, autonomous vehicle including ecu, and method of determining driving lane for the same
US11685405B2 (en) Vehicle controller, method, and computer program for vehicle trajectory planning and control based on other vehicle behavior
US11506502B2 (en) Robust localization
US11935250B2 (en) Method, device and computer-readable storage medium with instructions for processing sensor data
CN112208533B (zh) 车辆控制系统、车辆控制方法及存储介质
CN112154455A (zh) 数据处理方法、设备和可移动平台
CN112046481B (zh) 自动驾驶装置和方法
CN110194175B (zh) 驾驶员的驾驶倾向性确定装置及确定方法
US20220055618A1 (en) Apparatus, method, and computer program for object detection
US20210402992A1 (en) Apparatus and method for setting planned trajectory
US11900690B2 (en) Apparatus, method, and computer program for identifying state of signal light, and controller
CN113454555A (zh) 用于驾驶策略的轨迹预测
US20210004016A1 (en) U-turn control system for autonomous vehicle and method therefor
CN113525358A (zh) 车辆控制装置以及车辆控制方法
US11920936B2 (en) Vehicle controller, and method and computer program for controlling vehicle
JP2023116424A (ja) 歩行者の位置を決定する方法及び装置
US20220289185A1 (en) Vehicle controller and method for controlling vehicle
KR101963352B1 (ko) 비전 기반 적응형 순항 제어 시스템 및 방법
KR20220064407A (ko) 온보드 클러스터 트래킹 시스템
US20240034322A1 (en) Travel controller and travel control method
US20240067222A1 (en) Vehicle controller, vehicle control method, and vehicle control computer program for vehicle control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant