CN114651285A - 车辆对象探测 - Google Patents

车辆对象探测 Download PDF

Info

Publication number
CN114651285A
CN114651285A CN202080075458.7A CN202080075458A CN114651285A CN 114651285 A CN114651285 A CN 114651285A CN 202080075458 A CN202080075458 A CN 202080075458A CN 114651285 A CN114651285 A CN 114651285A
Authority
CN
China
Prior art keywords
object detection
detection data
video stream
vehicle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080075458.7A
Other languages
English (en)
Inventor
E·林德伯格·尼尔森
J·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Geely Automobile Research and Development Co Ltd
Original Assignee
Ningbo Geely Automobile Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Geely Automobile Research and Development Co Ltd filed Critical Ningbo Geely Automobile Research and Development Co Ltd
Publication of CN114651285A publication Critical patent/CN114651285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种对象探测系统(10)，一种用于训练用于车辆(100)的对象探测系统(10)的计算机程序和方法(1)，其中对象探测系统(10)包括一个或多个对象的经校验的对象探测数据(VODD)，该方法包括以下步骤：(S1)获取包括区域(21)的具有对象探测数据(ODD)的视频图像的第一视频流(VS1)；(S2)通过识别(S21)与经校验的对象探测数据(VODD)相对应的第一视频流(VS1)中的对象(22)的一个或多个第一对象探测数据(ODD1)识别区域(21)中的对象(22)；(S3)确定对象(22)在区域(21)中的位置(23)；(S4)获取包括区域(21)的具有对象探测数据(ODD)的视频图像的第二视频流(VS2)；(S5)识别在对象(22)的位置(23)处的第二视频流(VS2)的第二对象探测数据(ODD2)，并且，(S51)确定第二对象探测数据(ODD2)是否是未经校验的对象探测数据(UODD)；以及，(S6)如果确定对象(22)的第二对象探测数据(ODD2)是未经校验的对象探测数据(UODD)，则更新对象探测系统(10)的经校验的对象探测数据(VODD)。

Description

车辆对象探测
技术领域
本公开内容涉及用于车辆的探测系统的领域。更具体地，涉及一种用于对象探测训练的方法、计算机程序和系统。
背景技术
由车辆进行的对象探测，如行人探测、车辆探测、动物探测、障碍物探测等，通常基于某种算法，此种算法通过真实世界数据进行调整，以获取尽可能好的探测性能。
通常，这些算法涉及真实世界数据的人工分析和标记，且因此对算法的调整可能繁琐且成本高昂。
美国专利US 9,158,971 B2描述了一种用于使得能够为感兴趣的类别生成特定对象探测器的系统和方法。该方法包括利用用于该类别的预先训练的通用探测器来识别视频序列帧中的种子对象。使用识别了种子对象的其他帧来迭代地学习种子对象中的各个的外观模型。
然而，在视频流品质低劣或视线被部分阻挡的情况下，算法可能难以确定视频流中所包含的对象实际上是待探测的对象。
因此，需要一种改进的用于由车辆进行对象探测的方法和系统。
发明内容
本公开内容的目的是提供一种避免或至少减轻前面提到的问题的方法、系统和计算机程序产品。该目的至少部分地通过独立权利要求的特征来实现。
需要强调的是，当在本说明书中使用时，用语“包括/包括…的”(可用“包含/包含…的”替换)用于规定所声明的特征、整体、步骤、或构件的存在，但不排除一个或多个其他特征、整体、步骤、构件、或其组合的存在或增加。如在本文中所使用的，单数形式“一”、“一个”和“该”也意在包括复数形式，除非上下文明确另有指示。
一般来说，在本文中提到的装置或系统，应理解为实体产品，例如，设备。该实体产品可包括一个或者更多个部件，诸如采用一个或者多个控制器、一个或者多个处理器等的形式的控制电路。
第一方面是一种用于训练用于车辆的对象探测系统的方法。该对象探测系统包括一个或多个对象的经校验的对象探测数据(VODD)。该方法包括下列步骤：
·获取包括区域的具有对象探测数据的视频图像的第一视频流，
·通过识别与经校验的对象探测数据相对应的第一视频流中的对象的一个或多个第一对象探测数据来识别区域中的对象，
·确定对象在区域中的位置，
·获取包括区域的具有对象探测数据的视频图像的第二视频流，
·识别在对象位置处的第二视频流的第二对象探测数据，并确定第二对象探测数据是否是未经校验的对象探测数据，
·如果确定对象的第二对象探测数据是未经校验的对象探测数据，则更新对象探测系统的经校验的对象探测数据，从而训练对象探测系统辨识未经校验的对象探测数据中的模式。
上述方面的优点是，由于将来自不同车辆的以同一区域为内容的视频流用于对象探测训练，对例如用于车辆的对象探测系统的探测算法的训练在探测对象方面变得更加可靠。因此，如果一个车辆已确认它已探测到例如行人，那么覆盖同一区域但可能无法校验(验证)该对象的其他车辆的视频流可用于更新该对象探测系统，以便训练该系统能更好地辨识/探测对象。
上述实施方式的另一个优点是，从多个车辆收集(搜集或聚集)到一起并且覆盖在其中对象已得到校验的同一区域和位置的对象数据，可以优选地被用于更新对象探测系统。即，如果存在来自一个车辆的经校验的对象探测数据，能够清楚地识别相同区域和位置处的对象，但来自另一车辆的数据没有明确地显示对象(即未经校验的对象探测数据)，则这些数据可以优选地被用于更新对象探测系统。通过使用包括未经校验的对象探测数据(即，未确认该数据实际上描绘了该对象)的对象探测数据，即使图像数据不完整或视线被阻挡，也可以训练系统以辨识对象。这是基于如下考虑，即，系统基于包括具有经校验的对象探测数据的视频图像的第一视频流，知晓已确认的对象在该位置处。因此，通过如果确定第二对象探测数据是未经校验的对象探测数据则更新对象探测系统的经校验的对象探测数据的这种方式，与仅使用对象的已校验图像进行训练相比，将可以开发更好的训练算法，因为可以训练系统以辨识未经校验的数据中的模式。
在一些实施方式中，获取包括区域的具有对象探测数据的视频图像的第一视频流的步骤包括从第一车辆接收第一视频流。
上述实施方式的优点是可以容易地收集区域的实时数据。
在一些实施方式中，获取包括区域的具有对象探测数据的视频图像的第二视频流的步骤包括从第二车辆接收第二视频流。
上述实施方式的优点是可以容易地收集区域的数据。通过在同一区域上从第二车辆收集数据，对象探测系统可以在同一区域上接收多样的数据，这些数据可以用于更新系统。与仅从一个车辆接收数据相比，多样化的数据提供了更好的训练和更高的粒度。
在一些实施方式中，该方法还可以包括在第二车辆处存储第二视频流，该第二视频流包括具有未经校验的对象探测数据的视频图像。
上述实施方式的优点是可以减少数据的存储，因为并非必须存储全部的视频流，而是可以将能够用作学习材料(即，包括具有未经校验的对象探测数据的视频图像)的视频流存储在本地并在稍后的时间点使用。
在一些实施方式中，该方法还可以包括确定第一视频流和第二视频流的时间戳以及车辆位置，其中，时间戳指示相应的视频流是何时获取的，并且其中，车辆位置指示获取第一视频流和第二视频流的地理位置。
上述实施方式的优点是，可以只考虑已在有效时间点获取/记录的视频流。即，在一些实施方式中，可以不考虑具有覆盖对象区域但在与具有已识别的有效的对象探测数据的视频流不同的时间点被记录的视频流的车辆。
上述实施方式的另一优点是，确定并考虑记录视频流的车辆的地理位置和/或定向，以便更容易地确定对象的位置，并且在一些实施方式中，进一步确定应该考虑将哪些视频流用于训练系统。
在一些实施方式中，确定第二对象探测数据是否是未经校验的对象探测数据包括将第二对象探测数据与经校验的对象探测数据相关联，并且基于该相关性确定第二对象探测数据的置信度值，其中，如果确定置信度值低于置信度阈值，则确定第二对象探测数据为未经校验的对象探测数据。
上述实施方式的优点在于，确定来自系统或第一视频流的经校验的对象探测数据与第二视频流的对象探测数据之间的相关性(相关程度)，例如置信度值，这使得能够快速确定第二视频流的对象探测数据是有效的对象探测数据还是无效的对象探测数据。
在一些实施方式中，与第二对象探测数据相关的经校验的对象探测数据是第一视频流的经校验的对象探测数据。
上述实施方式的优点是，在覆盖同一区域的已校验数据之间进行这种相关性的操作，因此有可能校验了同一对象。因此，可以基于第一视频流和第二视频流的内容来进行对象探测系统的更新。
应当注意，短语“更新对象探测系统”可以表示对对象探测系统的探测算法进行更新/训练，以便其可以通过自我学习来改进对象探测。
在一些实施方式中，确定对象位置的步骤包括确定对象相对于第一车辆的距离和角度，该第一车辆被配置成能够获取包括该区域的具有对象探测数据的视频图像的第一视频流。
上述实施方式的优点是可以容易地确定探测对象的位置。
在一些实施方式中，识别区域中对象的步骤还包括将对象的对象类型识别为人、车辆、固定对象、移动对象或动物中的一种或多种。
上述实施方式的优点是可以探测若干不同类型的对象，例如人，如行人或自行车骑手、两轮平衡车骑手、滑板车骑手、儿童、电动轮椅中的人；或者车辆，如卡车、其他汽车、拖车、摩托车，以及拖拉机、联合收割机等农用车辆；固定对象，如房屋、岩石、树木、墙壁、标志；移动对象，如婴儿车、手推车、轮椅、滑板、购物车和货车；或者动物，如狗、猫、马、驯鹿、野猪和兔子。当然，这些仅是举例，其他类型的人、车辆、固定对象、移动对象或动物可以通过本文中公开的实施方式来探测。
在一些实施方式中，对象类型可以与诸如背景的自由空间有关。即，没有待探测的对象/对象类型。
探测自由空间的一个优点是，对象探测系统可以训练自己来确定何时实际存在待探测的对象，以及何时没有待探测的对象。
在一些实施方式中，获取包括该区域的具有对象探测数据的视频图像的第二视频流的步骤包括识别记录包括该区域的具有对象探测数据的视频图像的相应的视频流的车辆，并请求接收相应的视频流。
上述实施方式的优点是可以收集覆盖该区域的更大量的视频数据。因此，可以使用覆盖同一位置不同角度和距离的数据来训练和更新对象探测系统，从而实现高粒度和更可靠的对象探测。
在一些实施方式中，包括区域的具有对象探测数据的视频图像的第二视频流，包括在对象的位置处的未经校验的对象探测数据。
上述实施方式的优点是，如果来自覆盖期望位置和区域的其他车辆的视频流包括未经校验的探测数据(即，如果拍摄的数据实际上包括已校验对象，则是无效的)，则优选地请求它们。通过利用未经校验的对象数据，可以改进对象探测系统的训练算法。未经校验的对象数据可以与包括在例如第一视频流中的已校验对象数据相关联(具相关性)，因此可以确定未经校验数据实际上是可用于训练系统的有效数据。例如，可以通过模式辨识，或通过确定指示数据间匹配度、或数据包括同一对象的概率的置信度值来进行相关。
第二方面是一种对象探测系统，其包括控制单元和一个或多个对象的经校验的对象探测数据。该控制单元被配置成能执行以下步骤：
·获取包括区域的具有对象探测数据的视频图像的第一视频流，
·通过识别与经校验的对象探测数据相对应的第一视频流中的对象的一个或多个第一对象探测数据来识别区域中的对象，
·确定对象在区域中的位置，
·获取包括区域的具有对象探测数据的视频图像的第二视频流，
·识别在对象位置处的第二视频流的第二对象探测数据，并确定第二对象探测数据是否是未经校验的对象探测数据，
·如果确定对象的第二对象探测数据是未经校验的对象探测数据，则更新对象探测系统的经校验的对象探测数据，从而训练对象探测系统辨识未经校验的对象探测数据中的模式。
上述方面的优点是，由于将来自不同车辆的以同一区域为内容的视频流用于对象探测，对用于车辆的对象探测系统的训练在探测对象方面变得更加可靠。因此，如果一个车辆已确认它已记录了例如行人，那么记录同一区域的其他车辆的视频流可用于更新对象探测系统，以便提供探测到的对象的更多且不同的视频图像。
上述实施方式的另一优点是，通过识别和使用包括未经校验的对象探测数据(即，未确认该数据实际上描绘了该对象)的对象探测数据，即使视频图像数据不完整或视线被阻挡，也可以训练系统辨识对象，因为系统将知晓已确认对象处于该位置处。因此，与仅使用对象的已确认图像进行训练相比，可以开发出更好的训练算法。
在一些实施方式中，对象探测系统被包括在车辆中。
在一些实施方式中，对象探测系统被包括在远程服务器中。
在一些实施方式中，对象探测系统包括具有若干单元的系统。这些单元可以例如被包括在车辆和服务器中。在一些实施方式中，该系统可以仅被包括在车辆中。
在一些实施方式中，控制单元被配置成能够连接到至少第一和第二车辆并且从该至少第一和第二车辆接收视频流，该视频流包括具有对象探测数据的视频图像。
上述实施方式的优点是可以容易地收集区域的数据。通过在同一区域上从多于一个的车辆收集数据，对象探测系统可以接收覆盖同一区域的多样数据，这些数据可以用于更新系统。与仅从一个车辆接收数据相比，多样化的数据提供了更好的训练和更高的粒度。
在一些实施方式中，控制单元被配置成能够在第二车辆处存储第二视频流，该第二视频流包括具有未经校验的对象探测数据的视频图像。
上述实施方式的优点是可以减少数据存储，因为并非必须存储全部的视频流，而是可以将可用作学习材料(即，包括具有未经校验的对象探测数据)的视频流存储在本地并在稍后的时间点使用。
在一些实施方式中，控制单元被配置成能够确定第一视频流和第二视频流的时间戳以及车辆位置，其中，时间戳指示相应的视频流是何时获取的，并且其中，车辆位置指示获取第一视频流和第二视频流的地理位置。
上述实施方式的优点是，可以只考虑已在有效时间点获取/记录的视频流。即，可以不考虑具有覆盖对象区域但在与具有已识别的有效的对象探测数据的视频流不同的时间点记录的视频流的车辆。
上述实施方式的另一优点是，确定并考虑记录视频流的车辆的地理位置和/或定向，以便更容易地确定对象的位置，并且在一些实施方式中，确定应该考虑将哪些视频流用于训练系统。
在一些实施方式中，控制单元被配置成能够通过将第二对象探测数据与经校验的对象探测数据相关联，并且基于该相关性确定第二对象探测数据的置信度值，来确定第二对象探测数据是否是未经校验的对象探测数据，其中，如果确定置信度值低于置信度阈值，则确定第二对象探测数据为未经校验的对象探测数据。
上述实施方式的优点在于，确定经校验的对象探测数据与视频流的对象探测数据之间的相关性(相关程度)，例如置信度值，可以快速确定视频流的对象探测数据是有效的对象探测数据还是无效的对象探测数据。
在一些实施方式中，控制单元被配置成能够识别第二对象探测数据，该第二对象探测数据包括在对象的位置处的第二视频流的未经校验的对象探测数据。
在一些实施方式中，识别区域中对象的步骤还包括将对象的对象类型识别为人、车辆、固定对象、移动对象或动物中的一种或多种。
上述实施方式的优点是可以探测若干不同类型的对象，例如人，如行人或自行车骑手、两轮平衡车骑手、滑板车骑手、儿童、驾驶机动车中的人；或者车辆，如卡车、其他汽车、拖车、摩托车，以及拖拉机、联合收割机等农用车辆；固定对象，如房屋、岩石、树木、墙壁、标志；移动对象，如婴儿车、手推车、轮椅、滑板、购物车和货车；或者动物，如狗、猫、马、驯鹿、野猪和兔子。当然，这些仅是示例，其他类型的人、车辆、固定对象、移动对象或动物可以通过本文中公开的实施方式来探测。
在一些实施方式中，控制单元被配置成能够识别记录相应的视频流的车辆并请求接收该相应的视频流，该相应的视频流包括具有该区域的对象探测数据的视频图像。
上述实施方式的优点是可以收集覆盖该区域的更大量的视频数据。因此，可以使用覆盖同一位置不同角度和距离的数据来训练和更新对象探测系统，从而实现高粒度和更可靠的对象探测。
在一些实施方式中，所请求的视频流包括该区域的具有对象探测数据的视频图像，该对象探测数据包括与对象的位置关联的未经校验的对象探测数据。
上述实施方式的优点是，与对象的位置相关联(即，已覆盖该位置的视频流)但尚未被校验为包括已校验对象数据(即，应该被探测的对象，例如行人)的对象数据，可以基于从已校验了该对象的另一视频流获取的对象数据而被校验为包括该对象。因此，给予训练算法更好的粒度和更可靠的对象探测。
第三方面是包括指令的计算机程序，当由计算机执行程序时，该指令使得计算机执行根据第三方面的方法。
在一些实施方式中，上述方面中的任一者还可以具有与以上为其他方面中的任一者说明的各种特征中的任一者相同或对应的特征。
当研究所附权利要求和以下描述时，本发明的其他特征和优点将变得显而易见。本领域技术人员意识到，在不脱离本公开内容的范围的情况下，本公开内容的不同特征可组合以创造出除上文和下文中明确描述的实施方式之外的实施方式。
附图说明
下面将参照附图详细地描述本公开内容，在附图中
图1示出了例示根据一些实施例的方法步骤的流程图，
图2示意性地示出了根据一些实施例的示例性探测场景，
图3示出了根据一些实施例的示例性系统的框图，并且
图4示出了根据一些实施例的示例性计算机程序的框图。
具体实施方式
下面将结合附图描述本公开内容的各个方面，以例示而非限制本公开内容，其中，类似的附图标记表示类似的元件，且所描述的方面的变型不限于具体示出的实施例，而是能够应用于本公开内容的其他变型。
图1示出了根据一些实施例的示例性方法1。方法1用于训练用于车辆100、31、32、33、34的对象探测系统10。对象探测系统10包括一个或多个对象的经校验的对象探测数据VODD，即，确认了对象数据描绘了要探测的一个或多个期望对象的对象数据。
方法1从步骤S1开始，获取第一视频流VS1，该第一视频流VS1包括区域21的具有对象探测数据ODD的视频图像。对象探测数据由拍摄车辆直接环境的视频流VS1的视频图像组成。例如，直接环境可以是从汽车延伸出的5米、10米、50米、100米、400米、600米或更大的半径。在步骤S2中，该方法继续通过识别与经校验的对象探测数据VODD相对应的第一视频流VS1中的对象的一个或多个第一对象探测数据ODD1来识别S21车辆直接环境中的区域21中的对象22。
经校验(验证)的对象探测数据可以例如存储在对象探测系统中，并且包括已校验对象的数据库。已校验对象数据可以例如对应于描绘处于不同设置下的不同对象的多个图像，这有助于对象探测系统学习和辨识(即被训练以用于探测)，并因此探测在视频流中捕获的对象。
可替代地或者额外地，在一些实施例中，经校验的对象探测数据是一种探测算法，其分析(例如，通过应用模式辨识)视频流的对象探测数据的内容，以便确定该内容是否包括例如形成应探测对象的像素。
为了确定第一视频流的对象探测数据是否是经校验的对象探测数据，可以将所获取的第一对象探测数据与对象探测系统的经校验的对象探测数据相关。该相关可以例如包括比较该第一视频流的视频图像内容与该有效的对象探测数据或的相同点或不同点，并确定用于指示该第一对象探测数据是有效的对象探测数据的概率的相关结果或置信度值。如果相关值或置信度结果指示第一对象探测数据包括例如人的视频图像的概率例如高于60％，则可以将该第一对象探测数据标记为或者确定为有效的对象探测数据。应该注意的是，60％只是一个例子，并且更高或更低的值都是可以考虑的。
然后，方法1在步骤S3中继续确定对象22在区域21中的位置23。在一些实施例中，确定对象22的位置23还可以包括对位置23附加时间戳标签，即确定视频流的时间戳。时间戳可使对象探测系统10能够收集在预定时间范围内收集的数据。例如，对于诸如行人、骑自行车的人、车辆等的移动对象，收集在几小时或几天后拍摄的，在同一区域上的视频流可能没有什么意义。然而，在已探测到对象处于校验位置处较长时间周期(例如，如果对象固定，或者如果已经探测到运动模式，诸如每天在近似同一时间且在同一区域探测到的通勤者)的一些场景中，收集覆盖该区域较长时间周期的视频流也可能是有益的。
在一些实施例中，确定对象22的位置23可替代地或者额外地包括确定记录该相应的视频流的车辆的车辆位置和/或车辆定向。通过将视频流与车辆位置和定向相关联，在确定对象位置时，可以考虑更多信息，这也可以帮助该区域中的其他车辆来指出对象的位置。当确定是否应该收集视频流以用于对象探测系统训练时，车辆的位置也是重要的。
方法1在步骤S4中包括获取第二视频流VS2，第二视频流VS2包括区域21的具有对象探测数据ODD的视频图像。如上所述，对象探测数据由拍摄车辆直接环境的视频图像组成。
因此，获取到覆盖相同区域的至少两个视频流。
在一些实施例中，为第一视频流和第二视频流二者确定时间戳。
然后，在步骤S5中，该方法包括识别在对象22的位置23处的该第二视频流VS2的第二对象探测数据ODD2，并且确定第二对象探测数据ODD2是否是未经校验的对象探测数据UODD。因此，方法1可以包括分析第二视频流，以便考虑包括对象位置的视频图像。
在一些实施例中，确定第二对象探测数据ODD2是否是未经校验的对象探测数据UODD的步骤S51可以包括将第二对象探测数据ODD2与经校验的对象探测数据VODD相关联，并且基于该相关性确定第二对象探测数据ODD2的置信度值。如果确定置信度值低于置信度阈值，则确定第二对象探测数据ODD2为未经校验的对象探测数据UODD。
因此，方法1可以包括识别或确定至少一个车辆100、31、32、33、34(例如，第二车辆)当前无法校验在第二视频流VS2的对象探测数据ODD中在对象22的位置23处看到的实际上是对象22。因此，第二视频流VS2包括与对象22的位置23关联的未经校验的对象探测数据UODD。
在一些实施例中，第二对象探测数据ODD2可以与第一视频流VS1的经校验的对象探测数据VODD具有相关性(相关程度)。
因此，可以使用第一流VS1的经校验的对象探测数据VODD来确定第二对象探测数据ODD2是有效的还是无效的对象探测数据。如果基于与第一视频流VS1的相关确定第二对象探测数据ODD2为无效的对象探测数据UODD，那么对象探测系统10可以使用第二流VS2的无效的对象探测数据UODD训练自身以找到模式并更好地辨识对象。这可能是有效的，因为第一视频流VS1包括在处于确定位置处的对象22上的经校验的对象探测数据VODD。覆盖同一区域21和位置23的第二视频流VS2因此也应该看到并能够校验对象22。然而，由于某种原因，第二视频流VS2可能包括低劣品质或被部分遮挡，并且仅对象的一部分是可辨识的，但不足以执行形成有效对象探测的相关或模式探测。在这种情况下，第二视频流VS2仍然可能示出对象22，但是对象探测系统10的算法无法校验它。因此，基于第一视频流VS1包括对象22的经校验的对象探测数据VODD这一事实，对象探测系统10可以使用未经校验的对象探测数据UODD来训练其自身以辨识对象，并且因此对于第二视频流VS2而言可能同样如此。
在一些实施例中，未经校验数据可能仅仅是因为对象可能已经快速移动离开道路、或者行走到树后面、或者是被经过的车辆遮挡等等的因素而被确定为未经校验数据，而第二车辆这种情形下只不过是看不到对象。在这种情况下，未经校验数据仍然可用于对系统进行训练。例如，学习如何辨识背景数据(自由空间)，即不存在待探测对象的景象，这对算法可能是有益的。因此，对象探测系统可以训练自身基于未经校验的对象探测数据(该数据可以包括未经校验的对象和不存在的对象)来辨识对象和非对象二者。
当已拍摄到至少两个视频流，并且已分析/识别了与各相应的视频流关联的对象探测数据时，方法在步骤S6中继续，如果确定对象22的第二对象探测数据ODD2是未经校验的对象探测数据UODD，则更新对象探测系统10的经校验的对象探测数据VODD。在一些实施例中，该方法还可以包括基于第一视频流VS1的经校验的对象探测数据VODD，用未经校验的对象探测数据UODD来更新经校验的对象探测数据VODD。
在一些实施例中，包括获取第一视频流VS1的方法1的步骤S1可以可选地还包括在步骤S11中从第一车辆接收第一视频流VS1，该第一视频流VS1包括该区域的具有对象探测数据ODD的视频图像。
对象探测系统10可以位于一个或多个车辆100、31、32、33、34中，但也可以与例如网络云中的服务器200无线地通信和/或包括服务器200。服务器200可以例如从第一车辆100、31以及从其他车辆100、31、32、33、34收集视频流，并基于所接收的视频流和包括在其中的对象探测数据ODD来执行对象探测系统10的训练。然后，服务器200可以更新经校验的对象探测数据VODD(例如，对象探测算法)，并通过网络云将该更新推送到各个相应的车辆100、31、32、33、34的对象探测系统10。
在一些实施例中，包括获取第一视频流VS1的方法1的步骤S4可以可选地还包括在步骤S41中从第二车辆100、32、33、34接收第二视频流VS2，该第二视频流VS2包括具有该区域的对象探测数据ODD的视频图像。
因此，在一些实施例中，如上所述的服务器可以从第二车辆获取视频流。在一些实施例中，第一车辆100、31可被配置成能够从第二车辆100、32、33、34获取第二视频VS2流。在一些实施例中，第一车辆可以将第一视频流、第一视频流和第二视频流、或者仅将第二视频流传送到服务器，以用于对象探测系统的更新。
同样，在一些实施例中，第二车辆可以从第一车辆获取第一视频流VS1，并且可以将第一视频流、第二视频流、或者将第一视频流和第二视频流二者传送到服务器。在一些实施例中，相应的第一车辆和第二车辆的对象探测系统可以在各个车辆中本地执行对象探测数据的更新，而不涉及外部服务器200。
在一些实施例中，第二车辆还可以存储包括未经校验的对象探测数据UODD的第二视频流VS2。通过在第二车辆处(或在拍摄包括具有未经校验的对象探测数据的视频图像的视频流的车辆处)本地存储包括具有未经校验的对象探测数据的视频图像的视频流UODD，可以改善数据存储和存储空间。车辆和/或服务器可以侧重于存储包括未经校验的对象探测数据的视频流，以便有利于存储经校验的对象探测数据。存储的流随后可用于在稍后阶段训练算法/对象探测系统。
在一些实施例中，在方法1中确定S3对象位置的步骤可以可选地包括步骤S31，步骤S31包括相对于第一车辆确定到对象的距离D1、D2、D3和角度α1、α2、α3，该第一车辆被配置成能够获取第一视频流VS1，该第一视频流VS1包括具有该区域的对象探测数据ODD的视频图像。因此，方法1可以使车辆能够确定所探测对象22的位置23，然后在收集(汇总)和分析区域21的其他视频流时可以使用该位置23，以便在其他视频流中探测或不探测对象22，且因此，训练对象探测系统以将未经校验的对象探测数据UODD辨识为经校验的对象探测数据VODD。
在一些实施例中，识别区域中对象(步骤S21)的方法1中的步骤S2可以可选地还包括将对象22的对象类型识别为人、车辆、固定对象、移动对象或动物中的一者或多者的步骤S22。
通过识别对象类型，可以限制应该收集多少对象探测数据以及收集多长时间。如果对象类型被确定为人、车辆、移动对象或动物，那么与对象类型被确定为固定对象的情况相比，在更短的周期时间内收集视频流可能更有利。此外，对于固定对象，更令人感兴趣的是偏重于收集未经校验的对象探测数据，以便训练对象探测系统更好地辨识对象。例如，如果第一车辆确定它已经探测到固定对象，那么其包括具有第一对象探测数据的视频图像的视频流对于训练系统而言可能没有多大价值。如果第二车辆到达假定存在应该被探测到的固定对象的区域，但即使视频流覆盖该区域和对象的假定位置，也未能在第二视频流中探测到它，那么在对系统进行训练时，包括具有未经校验的对象探测数据的视频图像的第二视频流可能更令人感兴趣。
在一些实施例中，包括获取包括具有该区域的对象探测数据ODD的视频图像的第二视频流VS2的方法1的步骤S4可以可选地包括识别记录相应的视频流VS的车辆100、31、32、33、34并请求接收相应的视频流VS的步骤S42，该相应的视频流VS包括具有该区域的对象探测数据ODD的视频图像。在方法1的可选步骤S7中还可以包括记录，并且在一些实施例中包括请求。在一些实施例中，记录和请求可以包括两个不同的方法步骤，例如，记录的步骤S7和请求的步骤S8(图1中未示出)。
在一些实施例中，包括区域21的具有对象探测数据ODD的视频图像的第二视频流VS2包括在对象22的位置23处的未经校验的对象探测数据UODD。如上所述，第二视频流的对象探测数据可以例如包括模糊的视频图像或部分视频图像，这导致无法确认与对象的位置关联的对象探测数据是否实际示出了对象，并且对象探测数据因此包括在对象的位置处的未经校验的对象探测数据。
方法1在前文中已被描述为以校验的顺序在一系列方法步骤中执行。应当注意的是，在一些实施例中，步骤的顺序可以与上面描述的顺序不同。例如，在一些实施例中，步骤S4和步骤S5可以与步骤S1和步骤S2交换位置。如上所述的方法1定义了如下场景，其中，第一车辆已经探测到对象，并且第一车辆的对象探测系统已经将其校验为经校验的对象探测数据。即，第一车辆的对象探测系统已经校验，其已探测到例如人、车辆、固定对象、动物等，并且可以询问该区域内的其他车辆它们是否看到同一对象。如果该区域中的其他车辆确定它们并未看到，即，这些其他车辆的与对象位置相关联并包括在它们各自的视频流中的对象探测数据，是未经校验的对象探测数据，那么，这些其他车辆的的包括具有未经校验的对象数据的视频图像视频流可用于更新经校验的对象探测数据，并因此对系统进行训练。
然而，在一些实施例中，车辆可以获取区域的视频流，该视频流包括具有对象探测数据的视频图像。车辆的对象探测系统可能会对对象探测数据中存在某对象做出反应，但无法校验它是什么。视频流可以例如因为天气条件而品质低劣(雨可以例如导致难以解析的模糊或低劣的视频图像)，或者视频图像被部分遮挡，或者模糊，或者由于任何其他原因而不提供可与经校验的对象探测数据匹配的对象探测数据。例如，当确定视频流是否包括具有经校验的对象探测数据的视频图像时，系统可以确定对象探测数据的置信度值指示数据有42％的概率显示人。这种概率还不足以高到安全地假定该对象是人，但足够高到以便确定可能有人。因此，需要进行校验。然后，车辆(或包括在车辆中的对象探测系统)可以向区域中的其他车辆询问它们的视频流是否拍摄了与未经校验的对象探测数据的位置相关联的经校验的对象探测数据。车辆可以从包括已校验探测数据的其他车辆接收视频流，然后可以基于所获取/接收的未经校验的对象探测数据和经校验的对象探测数据来更新对象探测系统。
在一些实施例中，车辆可以将它们各自的视频流发送到外部服务器，以便更新对象探测系统。
图2示出了可以适用上述方法和实施例的示例场景。
在图2中，道路上存在四辆机动车辆100。具体而言，为第一车辆31、第二车辆32、第三车辆33和第四车辆34。第一车辆31例如可以是结合图1描述的第一车辆。同样，第二车辆32、第三车辆33和第四车辆34可以是如结合图1所述的第二车辆。在图2中，车辆31、车辆32、车辆33和车辆34例示为小汽车，这仅应当视作举例，因为其他类型的车辆也是可能的，例如卡车、摩托车、休闲车、公共汽车等。
第一车辆31、第二车辆32、第三车辆33和第四车辆34都配备有相应的对象探测系统10。各相应车辆的对象探测系统10提供了获取区域21的相应的视频流VS1、VS2、VS3和VS4(VS4由于以下将解释的原因而未在图2中示出)。在区域21中，对象22存在于位置23处。虽然对象22在图2中例示为骑自行车的人，但这仅是举例(为了简单起见，尽管自行车也被认为是车辆，但图2的骑自行车的人并未被标为车辆，而是被标为本公开内容中的对象)。如结合图1所述，对象22还可以是任何其他类型的对象，诸如行人/人、车辆、固定对象或动物。此外，对象22可以位于除道路中间以外的另一位置，例如在人行道上或类似位置。
在一些实施例中，车辆的对象探测系统10可以被配置成能够将所记录的视频流VS1-VS4发送到图2中示例为云的外部服务器200。
应当注意，图2中例示的视频流是示例性的，并且可以具有其他范围。例如，视频流可以覆盖从对象探测系统开始跨180度的半圆。视频流的范围和覆盖度可以由记录流的单元的类型来规定。一些摄像机可以例如记录360度整圆，其他摄像机可以记录例如270度、180度、90度、60度等等角度范围的部分的圆。还应注意，圆形范围为举例，并可设想其他形状的范围。此外，这一范围的长度也可以根据记录相机/单元的限制而改变。
因此，第一车辆31的对象探测系统10可以获取第一视频流VS1，该第一视频流VS1包括区域21的具有对象探测数据的视频图像。然后，第一车辆31的对象探测系统10可以通过识别第一视频流VS1中与经校验的对象探测数据VODD对应的一个或多个第一对象探测数据ODD1来识别区域21中的对象22。
例如，该一个或多个第一对象探测数据ODD1可以例如清楚地显示道路中的自行车上的人(即骑自行车的人)。第一车辆31的对象探测系统10可以包括经校验的对象探测数据的数据库，并且当将该一个或多个第一对象探测数据ODD1与经校验的对象探测数据进行比较时，存在明显的匹配，并且第一车辆的对象探测系统于是可以确定其看到/已探测到对象22。在一些实施例中，对象探测系统的经校验的对象探测数据可以可替代地或者额外地是对对象探测系统指示在对象探测数据中寻找什么以便确定对象探测数据是否有效的算法。该算法可以例如包括一系列模式，当分析视频流的像素以便确定有效的对象探测数据或无效的对象探测数据时应该满足这一系列模式。
然后，第一车辆的对象探测系统10可以确定对象22在区域21中的位置23。第一探测系统可以例如相对于第一车辆31确定到对象22的距离D1和角度α1。在一些实施例中，对象探测系统10还可对区域21的第一视频流VS1和对象22添加时间戳标签。
在一些实施例中，对象探测系统10可被配置成能够确定第一视频流和第二视频流的时间戳，该时间戳指示相应的视频流是何时获取的。
在一些实施例中，对象探测系统10可以被配置成能够确定记录相应的视频流的车辆的车辆位置和/或定向。(在时间戳的基础上额外地或可替代地)可以对视频流添加车辆位置标签。车辆位置可以是表示车辆物理位置的地理位置，并且可以借助例如GPS来确定。
当第一车辆的对象探测系统10已确定它看见对象时，它可以询问该区域中的其他车辆，例如第二车辆32、第三车辆33和第四车辆34，询问其在该区域上是否有视频流，以及它们是否看见对象22。第一车辆31的对象探测系统可以例如识别记录包括该区域的具有对象探测数据的视频图像的视频流的其他车辆。在一些实施例中，第二车辆32和第三车辆33可以作出响应(应答或答复)，而第四车辆34可以不作出响应，因为它不对区域21进行拍摄(并且其视频流VS4因此未在图2中示出)。第四车辆是否应该作出响应可以由时间戳指示。例如，如果仅对实时视频流感兴趣，那么第四车辆的视频流并不令人感兴趣，因为它没有在要求的时间对区域21进行拍摄(捕获图像)。
在一些实施例中，第二车辆32和第三车辆33可以仅在它们确定各相应的视频流VS2和视频流VS3的对象探测数据包括与区域21中指称的对象22的位置23相关联的未经校验的对象探测数据UODD时才作出响应。第二车辆和第三车辆可尝试通过例如还分别相对于第二车辆和第三车辆确定到指称的对象22的距离D2、D3和角度α2、α3来识别对象22，并确定与位置关联的对象探测数据是未经校验的对象探测数据UODD还是经校验的对象探测数据Vodd。如果第二视频流VS2和/或第三视频流VS3的第二对象探测数据ODD2和/或第三对象探测数据ODD3被确定为未经校验的对象探测数据UODD，那么包括具有未经校验的对象探测数据UODD的视频图像的第二视频流和/或第三视频流可用于更新并由此对对象探测系统进行训练。在一些实施例中，第一车辆的对象探测系统10可以获取区域21的所有视频流(在图2中为VS2和VS3)，并通过尝试识别视频流VS2和视频流VS3中区域21中的位置23处的对象22来识别VS2和VS3的所包括的第二对象探测数据ODD2和第三对象探测数据ODD3是否包括对象22。第一车辆的对象探测系统10还可以用从第二视频流和/或第三视频流获取的对象探测数据来更新经校验的对象探测数据。
在一些实施例中，视频流VS1、视频流VS2和视频流VS3可以由外部服务器200(例如，云中的服务器，如图2所示)通过诸如互联网的网络连接来获取。如果确定获取的未经校验的对象探测数据UODD可能与例如来自第一视频流的该区域的经校验的对象探测数据VODD相关，那么外部服务器可以执行经校验的对象探测数据的更新(并因此训练例如执行探测的对象探测系统的算法)，并且然后将更新推送到第一车辆、第二车辆、第三车辆和第四车辆的对象探测系统10，使得各对象探测系统10可以得到训练以辨识各种设置中的对象。
上面已经描述了基于第一车辆探测经校验的对象探测数据(即，第一车辆知道它正在看什么对象)来更新对象探测系统，并且然后从无法校验它们在同一位置看见该对象的车辆收集其他未经校验的对象探测数据。所收集的这些数据随后被用于对系统进行更新/训练。例如，对象的模糊的视频图像、分辨率低劣的视频图像或部分视频图像(即，未经校验的对象探测数据)可以与对象的经校验的对象探测数据相关联起来。例如，第一车辆可能探测到20米距离处的行人。探测结果是可靠的，并且基于具有例如200*50像素大小的行人视频图像。第二辆车可能更远，并且可能看见同一区域，但在距离250米处。在这种情况下，行人可能被拍摄(捕获图像)为10*3像素，这给出的分辨率低于第一车辆能够获取的分辨率，且因此第二车辆可能更难以知道它正在看什么，因此第二车辆的视频流对训练系统是有价值的。
可以将视频图像例如相互比较并对细节进行匹配，以确认来自第二车辆的未经校验的对象探测数据实际上是经校验的对象探测数据，并确定例如未经校验的对象探测数据中的、可在未来被用于确定对象探测数据是经校验的对象探测数据还是未经校验的对象探测数据的模式。下次在视频流中拍摄到对象的类似的模糊或是不完整的视频图像时，更新/训练后的对象探测系统可基于对象探测系统的更新后的训练算法来确定视频图像是经校验的对象探测数据。
应该注意的是，车辆的顺序是示例性的。第一车辆可以例如是第二车辆、第三车辆或第四车辆，且反之亦然。
此外，在一些实施例中，该方法可以开始于车辆确定它无法校验它在其区域的视频流中实际看见的是已校验对象。例如，第三车辆33可以在区域21的位置23处探测其视频流VS3中的未经校验的对象探测数据UODD。视频流VS3可以例如包括对象22的被部分遮挡的视频图像。在图2中，从第三车辆到对象22的视线例如被第二车辆32部分遮挡。如果执行“相关联”的操作，那么视频流的对象探测数据的置信度值可能例如为40％，该置信度值可能不足够高到能通过经校验的对象探测数据的阈值，但仍然足够高到以使得对象探测系统确定在视频流中可能存在应该探测的对象。
然后，在已经确定第三视频流VS3包括与区域21的位置23关联/在区域21的位置23处的未经校验的对象探测数据UODD之后，第三车辆33可以识别已经记录了覆盖区域21的相应的视频流的其他车辆。例如，第三车辆33可以向其他当前车辆发送询问，询问它们是否已经探测到与该位置关联的经校验的对象探测数据。在一些实施例中，第二车辆32和第一车辆31可以通过向第三车辆33发送它们相应的视频流来作出响应，该视频流包括具有对象22的经校验的对象探测数据的视频图像。然后，第三车辆可以基于确定的未经校验的对象探测数据以及可能的经校验的对象探测数据来更新对象探测系统。
在一些实施例中，第三车辆33可以本地更新其对象探测系统10，并且可能将该更新发送到其他车辆，从而使得它们各自的对象探测系统10也得到更新。在一些实施例中，第三车辆可以将所获取的未经校验的对象探测数据并且可能将经校验的对象探测数据传送到外部服务器，该外部服务器包括对象探测系统和用于辨识经校验的对象探测数据的经校验的对象探测数据的数据库和/或算法。然后，外部服务器可以使用所获取的数据来训练/更新对象探测系统，并可能将该更新推送到连接于服务器并与车辆关联的所有对象探测系统(例如，与车辆31、车辆32、车辆33和车辆34关联的各个对象探测系统10)。
图3以框图示出了根据一些实施例的用于车辆100的对象探测系统10。对象探测系统10可以是例如结合前述图1到图2中的任一者所描述的对象探测系统。第一车辆100例如可以是结合图1到图2描述的车辆中的任一者。
根据图3的对象探测系统10包括控制单元11(CNTR)和对象探测数据模块112(ODD)，该对象探测数据模块112(ODD)包括一个或多个对象的经校验的对象探测数据113(VODD)和未经校验的对象探测数据114(UODD)。
在一些实施例中，控制单元11可以包括控制电路。控制单元/控制电路可包括用于存储已校验对象数据113和未经校验的对象探测数据114的对象探测数据/算法的对象探测数据模块112。在一些实施例中，控制单元还可以包括视频单元111(VID)和确定单元115(DET)。在一些实施例中，对象探测系统10还可以包括天线电路12(RX/TX)。
控制单元11被配置成能执行包括区域的具有对象探测数据的视频图像的第一视频流(例如，图2的VS1)的获取(类似于方法1的步骤S1)。控制单元11可以例如被配置成能够使得视频单元111记录和中继第一视频流VS1，并且使得对象探测数据模块112存储第一视频流VS1的对象探测数据ODD。
控制单元还可以被配置成能够通过识别与经校验的对象探测数据VODD对应的第一视频流VS1中的对象22的一个或多个第一对象探测数据ODD1来使得识别区域21中的对象22(类似于方法1的步骤S2)。控制单元11可以例如被配置成能够使ODD模块112确定所获取的对象探测数据是否对应于已校验对象数据或未经校验的对象探测数据，例如通过使用用于对象探测的算法并将对象探测数据存储为经校验的对象探测数据113或未经校验的对象探测数据114。
控制单元11可以被配置成能够使得确定对象22在区域21中的位置23(类似于方法1中的步骤S3)。控制单元11可以例如被配置成能够使得确定模块115确定位置23。
控制单元11可以被配置成能够导致获取第二视频流VS2，该第二视频流VS2包括该区域的具有对象探测数据的视频图像(类似于方法1中的步骤S4)。控制单元11可以例如被配置成能够使天线电路12接收第二视频流VS2。
控制单元11可以被配置成能够导致在对象22的位置23处的第二视频流VS2的第二对象探测数据ODD2的识别(类似于方法1的步骤S5)，并且确定第二对象探测数据ODD2是否是未经校验的对象探测数据UODD。控制单元11可以例如使对象数据探测模块112借助于存储的用于经校验的对象探测数据VODD的算法来分析第二对象探测数据ODD2，和/或将第二对象探测数据ODD2与所存储的经校验的对象探测数据VODD或与第一视频流VS1的经校验的对象探测数据VODD匹配。控制单元11可以例如被配置成能够使对象探测模块112确定第二对象探测数据ODD2是否与存储在模块112、113中的已校验探测数据VODD匹配。当确定不匹配时，在对象22的位置23处第二对象探测数据ODD2可以被看见并被识别为未经校验探测数据UODD。
在一些实施例中，控制单元11可以被配置成能够通过将第二对象探测数据ODD2与经校验的对象探测数据VODD相关联，并且基于该相关性(相关程度或相关量)确定第二对象探测数据的置信度值，从而使得确定第二对象探测数据ODD2是否为未经校验的对象探测数据VODD。其中，如果确定置信度值低于置信度阈值，则确定第二对象探测数据为未经校验的对象探测数据(类似于方法1的步骤S51)。
控制单元11可以被配置成能够，如果确定对象22的第二对象探测数据是未经校验的对象探测数据UODD，那么导致对象探测系统10的经校验的对象探测数据113的更新。控制单元11可以例如使对象探测模块112将第二对象探测数据存储在经校验的对象探测数据库113中以作为经校验的对象探测数据和/或更新存储的探测算法。
在一些实施例中，控制单元11被配置成能够连接到至少第一车辆和第二车辆100、31、32、33、34(类似于方法1和图2)，并且从该至少第一车辆和第二车辆接收视频流，该视频流包括具有对象探测数据的视频图像。控制单元11可以例如被配置成能够使视频模块111记录视频流，和/或使天线电路12从至少第一车辆和第二车辆接收一个或多个视频流。
在一些实施例中，控制单元11还被配置成能够在第二车辆100、32、33、34处存储包括未经校验的对象探测数据UODD的第二视频流VS2。
在一些实施例中，控制单元11还被配置成能够确定第一视频流VS1和第二视频流VS2的时间戳，该时间戳指示相应的视频流是何时获取的。
在一些实施例中，控制单元11被配置成能够将对象的对象类型识别为人、车辆、固定对象或动物中的一种或多种(类似于方法1的步骤S22)。控制单元11可以例如使ODD模块112可能与确定模块115协作来确定，并由此(基于对象探测数据)识别对象的对象类型。
在一些实施例中，控制单元11被配置成能够识别记录如下视频流的车辆，该视频流包括区域的具有对象探测数据的视频图像(类似于方法1中的步骤S42和步骤S7)。控制单元11例如可以被配置成能够使天线电路12搜索和识别区域中的其他车辆。
在一些实施例中，控制单元11被配置成能够识别记录如下视频流的车辆，该视频流包括区域21的具有对象探测数据ODD，该对象探测数据ODD包括在对象22的位置23处的未经校验的对象探测数据UODD(类似于方法1的步骤S42和步骤S7)。控制单元11可以例如被配置成能够使对象探测模块112确定对象探测数据ODD是未经校验的对象探测数据UODD。
在一些实施例中，如图3所述的对象探测系统10可以包括在外部服务器200中。当包括在外部服务器中时，对象探测系统10可以被配置成能够与包括在车辆100、31、32、33、34中并且(无线地)连接于外部服务器200的其他对象探测系统10通信。
图4示出了包括指令的计算机程序，当由计算机执行该程序时，该指令使得计算机执行结合前面的图1到图3中的任一者所描述的方法。
更具体而言，图4在一些实施例中示出了非暂时性计算机可读介质400上的计算机程序产品。图4示出了光盘(CD)ROM 400形式的示例非暂时性计算机可读介质400。非暂时性计算机可读介质上存储有包括程序指令的计算机程序。计算机程序能够被加载到数据处理器(PROC，例如，数据处理电路或数据处理单元)420中，该数据处理器420例如可被包括在控制单元410中。当加载到数据处理器中时，该计算机程序可以储存在与数据处理单元关联或被包含在数据处理器中的存储器(MEM)430中。根据一些实施例，当计算机程序被加载到数据处理器中并由数据处理器运行时，计算机程序可以导致执行根据例如图1到图3中所例示的方法或在本文中描述的其他方法中的任一者的方法步骤。
本领域技术人员将理解，本文中解释的步骤、服务和功能可以使用单独的硬件电路、使用与编程微处理器或通用计算机结合起作用的软件、使用一个或多个专用集成电路(ASIC)和/或使用一个或多个数字信号处理器(DSP)来实现。还将理解，当从方法的角度描述本公开内容时，本公开内容还可以在一个或多个处理器和耦合于该一个或多个处理器的一个或多个存储器中实现，其中，该一个或多个存储器储存一个或多个程序，该一个或多个程序在由该一个或多个处理器执行时执行本文中公开的步骤、服务和功能。
上面已经参考特定实施例呈现了本公开内容。然而，除了上述实施例之外的其他实施例也是可能的，并且在本公开内容的范围内。可以在本公开内容的范围内提供与上述步骤不同的通过硬件或软件执行该方法的方法步骤。因此，根据示例性实施例，提供了一种非瞬时性计算机可读存储介质，其储存被配置成能够由用于对象探测的系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行根据上述实施例中的任何一个的方法的指令。或者，根据另一示例性实施例，云计算系统可以被配置成能执行本文所呈现的任何方法方面。该云计算系统可以包括分布式云计算资源，分布式云计算资源在一个或多个计算机程序产品的控制下共同执行在此呈现的方法方面。此外，处理器可以连接于一个或多个通信界面和/或传感器界面，以用于与外部实体接收和/发送数据，外部实体例如布置在车辆表面上的传感器、场外服务器或基于云的服务器。
(与对象探测系统关联的)(多个)处理器可以是用于进行数据或信号处理或用于执行储存在存储器中的计算机代码的任何数量的硬件组件，或者包括它们。系统可以具有关联的存储器，并且存储器可以是用于储存数据和/或计算机代码以用于完成或促进本说明书中描述的各种方法的一个或多个装置。存储器可以包括易失性存储器或非易失性存储器。存储器可以包括数据库组件、目标代码组件、脚本组件或用于支持本说明书的各种活动的任何其他类型的信息结构。根据示例性实施例，任何分布式或本地存储器装置都可与本描述的系统和方法一起使用。根据示例性实施例，存储器可通信地连接于处理器(例如，经由电路或任何其他有线、无线或网络连接)，并且包括用于执行本文中描述的一个或多个过程的计算机代码。
要理解的是，以上描述本质上仅是示例性的，并且不旨在限制本公开内容、其应用或使用。尽管已经在说明书中描述且在附图中示出了特定示例，但是本领域技术人员将理解，可进行各种更改，并且可用等同物替换它们的要素，而不脱离在权利要求中限定的本公开内容的范围。此外，可进行修改以使具体的情形或材料适应本公开内容的教导，而不脱离其基本范围。因此，并不旨在将本公开内容限于作为当前用于实施本公开内容的教导而构思出的最佳模式而公开的这些具体示例，这些具体示例通过附图示出并在说明书中加以描述。相反，本公开内容的范围将包括落入前述说明和所附权利要求范围内的任何实施例。权利要求中提到的附图标记不应当视为限制受权利要求保护的主题的范围，它们的唯一作用是使权利要求更容易理解。
附图标记
1：方法
100：车辆
31：第一车辆
32：第二车辆
33：第三车辆
34：第四车辆
10：对象探测系统
200：外部服务器
VS1：第一视频流
VS2：第二视频流
VS3：第三视频流
VS4：第四视频流
ODD1：第一对象探测数据
ODD2：第二对象探测数据
ODD3：第三对象探测数据
VODD：经校验的对象探测数据
UODD：未经校验的对象探测数据
D1-D3：从车辆到对象的距离
α1-α3：车辆相对于对象的角度
21：区域
22：对象
23：位置
11：控制单元，CNTR
12：天线电路，RX/TX
111：视频单元，VID
112：对象探测数据模块，ODD
113：经校验的对象探测数据
114：未经校验的对象探测数据
115：确定模块，DET
400：计算机程序产品
410：数据处理单元
420：处理器
430：存储器

Claims (19)

1.一种用于训练用于车辆(100)的对象探测系统(10)的方法(1)，其中，所述对象探测系统(10)包括一个或多个对象的经校验的对象探测数据(VODD)，所述方法包括以下步骤：
·步骤(S1)：获取包括区域(21)的具有对象探测数据(ODD)的视频图像的第一视频流(VS1)；
·步骤(S2)：通过(S21)识别与经校验的对象探测数据(VODD)相对应的在所述第一视频流(VS1)中的所述对象(22)的一个或多个第一对象探测数据(ODD1)，识别所述区域(21)中的对象(22)；
·步骤(S3)：确定所述对象(22)在所述区域(21)中的位置(23)；
·步骤(S4)：获取包括所述区域(21)的具有对象探测数据(ODD)的视频图像的第二视频流(VS2)；
·步骤(S5)：识别在所述对象(22)的位置(23)处的所述第二视频流(VS2)的第二对象探测数据(ODD2)，并且(S51)确定所述第二对象探测数据(ODD2)是否是未经校验的对象探测数据(UODD)；
·步骤(S6)：如果确定所述对象(22)的第二对象探测数据(ODD2)是未经校验的对象探测数据(UODD)，则更新所述对象探测系统(10)的经校验的对象探测数据(VODD)，由此训练所述对象探测系统辨识未经校验的对象探测数据中的模式。
2.根据权利要求1所述的方法，其中，获取包括所述区域(21)的具有对象探测数据(ODD)的视频图像的所述第一视频流(VS1)的所述步骤(S1)包括：(S11)从第一车辆(31)接收所述第一视频流(VS1)。
3.根据权利要求1或2所述的方法，其中，获取包括所述区域(21)的具有对象探测数据(ODD)的视频图像的所述第二视频流(VS2)的步骤(S4)包括：(S41)从第二车辆(32)接收所述第二视频流(VS2)。
4.根据权利要求3所述的方法，还包括：在所述第二车辆(32)处存储包括未经校验的对象探测数据(UODD)的所述第二视频流(VS2)。
5.根据前述权利要求中的任一项所述的方法，还包括：确定所述第一视频流和所述第二视频流的时间戳以及车辆位置，其中，所述时间戳指示相应的视频流是何时获取的，并且其中，所述车辆位置指示获取所述第一视频流和所述第二视频流的地理位置。
6.根据前述权利要求中的任一项所述的方法，其中，确定所述第二对象探测数据(ODD2)是否是未经校验的对象探测数据(UODD)的步骤(S51)包括：
将所述第二对象探测数据(ODD2)与经校验的对象探测数据(VODD)相关联，并且基于该相关性确定所述第二对象探测数据(ODD2)的置信度值，其中，如果确定所述置信度值低于置信度阈值，则确定所述第二对象探测数据(ODD2)为未经校验的对象探测数据(UODD)。
7.根据前述权利要求中的任一项所述的方法，其中，确定所述对象(21)的位置的步骤(S3)包括：(S31)确定所述对象(22)相对于所述第一车辆(31)的距离(D1)和角度(α)，所述第一车辆被配置成能够获取包括所述区域(21)的具有对象探测数据(ODD)的视频图像的所述第一视频流(VS1)。
8.根据前述权利要求中的任一项所述的方法，其中，识别所述区域(21)中的对象(22)的步骤(S2)还包括：(S22)将所述对象的对象类型识别为人、车辆、固定对象、移动对象或动物中的一种或多种。
9.根据前述权利要求中的任一项所述的方法，其中，获取包括所述区域(21)的具有对象探测数据(ODD)的视频图像的所述第二视频流(VS2)的步骤(S4)包括：
(S42)识别记录(S7)包括所述区域(21)的具有对象探测数据(ODD)的视频图像的相应视频流(VS)的车辆(32，33)，并请求接收相应的视频流(VS)。
10.根据权利要求9所述的方法，其中，包括所述区域(21)的具有对象探测数据(ODD)的视频图像的所述第二视频流(VS2)包括与所述对象(22)的位置(23)相关联的未经校验的对象探测数据(UODD)。
11.一种用于车辆(100)的对象探测系统(10)，其中，所述对象探测系统(10)包括控制单元(11)和一个或多个对象的经校验的对象探测数据(VODD)，所述控制单元(11)被配置成能执行以下步骤：
·步骤(S1)：获取包括区域(21)的具有对象探测数据(ODD)的视频图像的第一视频流(VS1)；
·步骤(S2)：通过(S21)识别与经校验的对象探测数据(VODD)相对应的所述第一视频流(VS1)中所述对象(22)的一个或多个第一对象探测数据(ODD1)，识别所述区域(21)中的对象(22)；
·步骤(S3)：确定所述对象(22)在所述区域(21)中的位置(23)；
·步骤(S4)：获取包括所述区域(21)的具有对象探测数据(ODD)的视频图像的第二视频流(VS2)；
·步骤(S5)：识别在所述对象(22)的位置(23)处的第二视频流(VS2)的第二对象探测数据(ODD2)，并确定所述第二对象探测数据(ODD2)是否是未经校验的对象探测数据(UODD)；
·步骤(S6)：如果确定所述对象(22)的第二对象探测数据(ODD2)是未经校验的对象探测数据(UODD)，则更新所述对象探测系统(10)的经校验的对象探测数据(VODD)，从而训练所述对象探测系统辨识未经校验的对象探测数据中的模式。
12.根据权利要求11所述的对象探测系统(10)，其中，所述控制单元(11)被配置成能够连接并接收来自至少第一车辆(31)和第二车辆(32)的包括具有对象探测数据(ODD)的视频图像的视频流(VS)。
13.根据权利要求12所述的对象探测系统(10)，其中，所述控制单元(11)被配置成能够在所述第二车辆(32)处存储包括未经校验的对象探测数据(UODD)的所述第二视频流(VS2)。
14.根据前述权利要求11-14中的任一项所述的对象探测系统(10)，其中，所述控制单元(11)还被配置成能够确定所述第一视频流和所述第二视频流的时间戳以及车辆位置，其中，所述时间戳指示相应的视频流是何时获取的，并且其中，所述车辆位置指示获取所述第一视频流和所述第二视频流的地理位置。
15.根据权利要求11-14中的任一项所述的对象探测系统(10)，其中，所述控制单元(11)被配置成能够通过将所述第二对象探测数据(ODD2)与经校验的对象探测数据(VODD)相关，并基于该相关性确定所述第二对象探测数据(ODD2)的置信度值来确定所述第二对象探测数据(ODD2)是否是未经校验的对象探测数据(UODD)，其中，如果确定所述置信度值低于置信度阈值，则确定所述第二对象探测数据(ODD2)为未经校验的对象探测数据(UODD)。
16.根据权利要求11-15中的任一项所述的对象探测系统(10)，其中，所述控制单元(11)被配置成能够：(S22)将所述对象的对象类型识别为人、车辆、固定对象、移动对象或动物中的一种或多种。
17.根据权利要求11-16中的任一项所述的对象探测系统(10)，其中，所述控制单元(11)被配置成能够：(S41)识别记录(S7)包括所述区域(21)的具有对象探测数据(ODD)的视频图像的视频流(VS)的车辆(32，33)。
18.根据权利要求11-17中的任一项所述的对象探测系统(10)，其中，所述控制单元(11)被配置成能够：(S41)识别记录(S7)包括所述区域(21)的具有对象探测数据(ODD)的视频图像的视频流(VS)的车辆(32，33)，所述对象探测数据(ODD)包括在所述对象(22)的位置(23)处的未经校验的对象探测数据(UODD)。
19.一种包括指令的计算机程序，当由计算机执行所述程序时，所述指令使得所述计算机执行根据权利要求1-10中的任一项所述的方法。
CN202080075458.7A 2019-11-06 2020-10-27 车辆对象探测 Pending CN114651285A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19207494.6A EP3819811A1 (en) 2019-11-06 2019-11-06 Vehicle object detection
EP19207494.6 2019-11-06
PCT/CN2020/124145 WO2021088689A1 (en) 2019-11-06 2020-10-27 Vehicle object detection

Publications (1)

Publication Number Publication Date
CN114651285A true CN114651285A (zh) 2022-06-21

Family

ID=68470414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080075458.7A Pending CN114651285A (zh) 2019-11-06 2020-10-27 车辆对象探测

Country Status (4)

Country Link
US (1) US20220245951A1 (zh)
EP (2) EP3819811A1 (zh)
CN (1) CN114651285A (zh)
WO (1) WO2021088689A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115139999A (zh) * 2022-06-28 2022-10-04 重庆长安汽车股份有限公司 车辆与行人防撞控制方法及装置、电子设备、存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4358038A1 (en) * 2022-10-18 2024-04-24 Volvo Car Corporation Method for recognizing an object in the surroundings of a vehicle, method for controlling a vehicle, vehicle, object recognition system, data processing apparatuses, computer programs, and computer-readable storage media

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036865B2 (en) * 2012-09-12 2015-05-19 International Business Machines Corporation Location determination for an object using visual data
US9158971B2 (en) 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
US20150286865A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Coordination of object location data with video data
WO2018058573A1 (zh) * 2016-09-30 2018-04-05 富士通株式会社 对象检测方法、对象检测装置以及电子设备
JP2019008519A (ja) * 2017-06-23 2019-01-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
DE102017215552A1 (de) * 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
EP3466762A1 (en) * 2017-10-05 2019-04-10 Ningbo Geely Automobile Research & Development Co. Ltd. A monitoring system and method for displaying one or more image views to a user of a vehicle
US11232350B2 (en) * 2017-11-29 2022-01-25 Honda Motor Co., Ltd. System and method for providing road user classification training using a vehicle communications network
US11630998B2 (en) * 2018-03-26 2023-04-18 Cohda Wireless Pty Ltd. Systems and methods for automatically training neural networks

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115139999A (zh) * 2022-06-28 2022-10-04 重庆长安汽车股份有限公司 车辆与行人防撞控制方法及装置、电子设备、存储介质
CN115139999B (zh) * 2022-06-28 2023-09-15 重庆长安汽车股份有限公司 车辆与行人防撞控制方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
EP4042324A4 (en) 2024-01-03
US20220245951A1 (en) 2022-08-04
WO2021088689A1 (en) 2021-05-14
EP3819811A1 (en) 2021-05-12
EP4042324A1 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
CN109902552B (zh) 用于车道特征分类和定位的人工神经网络
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
US10417816B2 (en) System and method for digital environment reconstruction
US20220245951A1 (en) Vehicle object detection
CN110785774A (zh) 用于自动驾驶车辆中的闭环感知的方法和系统
EP3159828B1 (en) Adaptive calibration using visible car details
JP7183390B2 (ja) 自律型車両用のカメラ評価技術
CN111508260A (zh) 车辆停车位检测方法、装置和系统
JP7420734B2 (ja) データ配信システム、センサデバイス及びサーバ
CN110291499A (zh) 使用完全卷积架构的驾驶员视觉注意的计算框架的系统和方法
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
JP6939362B2 (ja) 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
KR20190043396A (ko) 도로 경로 촬영 영상을 이용한 도로 경로 별 날씨정보 생성 및 제공하기 위한 방법 및 시스템
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
WO2020155075A1 (zh) 一种导航装置、方法及相关设备
CN111210411B (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
CN103577790A (zh) 道路转弯类型检测方法和装置
US20220092313A1 (en) Method for deep neural network functional module deduplication
CN113378719A (zh) 车道线的识别方法、装置、计算机设备和存储介质
CN110677491B (zh) 用于车辆的旁车位置估计方法
CN115620244A (zh) 基于车路协同的图像检测方法、装置、设备及存储介质
CN108062861B (zh) 一种智能交通监控系统
TWI638332B (zh) Hierarchical object detection system with parallel architecture and method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination