CN113711231A - 用于确定车道上的危险源的方法和装置 - Google Patents

用于确定车道上的危险源的方法和装置 Download PDF

Info

Publication number
CN113711231A
CN113711231A CN202080021323.2A CN202080021323A CN113711231A CN 113711231 A CN113711231 A CN 113711231A CN 202080021323 A CN202080021323 A CN 202080021323A CN 113711231 A CN113711231 A CN 113711231A
Authority
CN
China
Prior art keywords
image
region
neural network
determined
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080021323.2A
Other languages
English (en)
Inventor
A·布鲁赫
F·迪格曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carrida Europe
Original Assignee
Automotive Software Estonian Jsc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automotive Software Estonian Jsc filed Critical Automotive Software Estonian Jsc
Publication of CN113711231A publication Critical patent/CN113711231A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本发明涉及一种用于借助于车辆(10)的摄像机(18)确定在车辆(10)前方或后方的检测区域(22)中的车道(16)上的危险源(14)的方法，其中，借助于摄像机(18)对检测区域(22)的图像进行检测，生成对应于所述图像的图像数据，借助于图像数据在使用神经网络(32)的情况下确定图像的第一图像区域(28)，该第一图像区域与检测区域(22)中的车道(16)相对应，借助于第一图像区域(28)在使用神经网络(32)的情况下确定图像的第二图像区域(30)，该第二图像区域与检测区域(22)中的车道(16)上的危险源(14)相对应。

Description

用于确定车道上的危险源的方法和装置
技术领域
本发明涉及一种用于借助于车辆的摄像机确定在车辆、特别是道路行驶车辆前方或后方的检测区域中的车道上的危险源的方法。本发明还涉及一种用于确定检测区域中的车道上的危险源的装置。
背景技术
在自主驾驶的范围内以及在驾驶员辅助系统中，应当对通过固定在车辆上的摄像机拍摄的图像的图像数据进行处理，以便探测在车辆前方或后方的检测区域中的车道上的危险源。一种可能的危险源是车道上的物体、例如丢失的装载物/货物或排气管或人员。车道上的其它危险源例如是坑洼、冰层或水膜，它们可能引起打滑。
迄今为止已知的基于神经网络的方法、例如单目测距/单目深度(MonoDepth)或语义分割(Semantic Segmentation)由于缺少训练数据不能对这种危险源进行分类并且因此也不能探测这种危险源。在典型的交通情况中，这些危险源出现得过于罕见，以致于不能产生用于训练神经网络的适合的数据项。
基于检测区域的图像序列的光流的方法仅能在车辆与危险源之间的距离非常小时使用。此外，这种方法的计算量非常大。
由Andrews等人在第33届机器学习国际会议的会议论文集中的文献：“用于异常检测的迁移表征学习(Transfer Representation-Learning for Anomaly Detection)”，已知两种用于在数据项中探测异常现象的方法。在两种方法中，使用神经网络的中间层的输出，以便借助于支持向量机探测异常情况。在第一种方法中使用的神经网络在使用不同于待分类数据项的数据项的情况下来训练。在第二种方法中使用神经网络，该神经网络借助于待分类的数据项的不包含异常情况的部分来训练。
由Badrinarayanan等人的文献，“SegNet：用于图像分割的深度卷积编码器-解码器架构(SegNet:A Deep Convolutional Encoder-Decoder Architecture for ImageSegmentation)”(arXiv:1511.00561v3)，已知一种用于在使用神经网络的情况下对图像点进行语义分类的方法。所使用的神经网络包括：编码器网络，其将图像语义分割为不同的图像区域；和解码器网络，其使用编码器网络的参数将各个图像点与图像区域中的相应区域相关联。
由Chalapathy等人的文献：“使用单分类神经网络进行异常检测(AnomalyDetection using One-Class Neural Networks)”(arXiv:1802.06360v1)，已知了一种用于在复杂的数据项中探测异常情况的方法。所使用的神经网络包括对数据项进行分类的、具有固定权重的编码器网络和连接在编码器网络后面的前馈网络，该前馈网络特别被设计为用于，在分类的数据项中探测异常情况。
发明内容
本发明的目的是，提出一种方法和一种装置，通过所述方法和装置能够借助于车辆的摄像机简单地确定在车辆前方或后方的检测区域中的车道上的危险源。
该目的通过具有权利要求1的特征的方法和通过具有权利要求14的特征的装置来实现。有利的改进方案在从属权利要求中给出。
摄像机优选固定地与车辆连接。车道特别可以是街道。车辆特别是道路行驶车辆。危险源特别是车道上的物体、例如丢失的装载物或排气管或人员。危险源还可以是坑洼、冰板或水膜，它们可能引起打滑。
为了确定在检测区域中的车道上的危险源，在根据权利要求1的方法中首先使用第一图像区域，以便将对危险源的搜索限制在检测区域的确定的子区域上。在此，神经网络在使用图像数据的情况下确定图像的显示/表示、特别是以特征向量的矩阵的形式的显示。该显示被用于对图像的图像区域进行分类。因此在使用所述显示的情况下确定第一图像区域。第一图像区域在此相应于检测区域中的车道。此外，例如借助于第一图像区域中神经网络中间层的输出信息确定图像的第二图像区域。这特别是在使用与用于确定第一区域的神经网络相同的神经网络的情况下进行。第二图像区域与在检测区域中的车道上的危险源相对应。另选地，为了确定第二图像区域可以使用另一神经网络。
在根据权利要求1的方法中，为了探测危险源仅需要唯一一幅检测区域的图像。特别地，该图像不必是立体图像。因此，为了执行该方法，仅需要单目摄像机，即具有唯一一个镜头并且仅能拍摄非立体图像的摄像机。因此，根据本发明的方法可以被简单地执行。
在一个优选的实施方式中，借助于第一图像区域在使用神经网络的中间层的输出信息的情况下确定第二图像区域。中间层优选是神经网络的编码器网络的层。危险源在主要仅包括检测区域中的车道的第一图像区域中是异常情况、即不期望的或非典型的图案。由Andrews等人在第33届机器学习国际会议的会议论文集中的文献“用于异常检测的迁移表示学习(Transfer Representation-Learning for Anomaly Detection)”，已知神经网络的中间层的输出可被用于探测数据项中的异常现象。在优选的实施方式中使用神经网络的这种特性，以便借助于相同的神经网络既确定第一区域，又在对应于第一图像区域的图像数据中探测危险源。由此，该方法可以特别简单地执行，因为仅需要唯一一个神经网络。
优选地，借助于图像数据在使用神经网络的情况下针对图像的每个图像点分别确定第一特征向量，并且借助于该第一特征向量确定第一图像区域。在使用第一特征向量的情况下对图像的图像点进行分类。将所述分类用于进行图像的语义分割，即将图像划分成就内容而言连贯的区域，因此确定第一图像区域。在本申请中，特征向量不仅理解为神经网络本身的输出信息，而且也理解为神经网络的中间层的输出信息。
在一个优选的实施方式中，在使用神经网络的情况下确定第二特征向量并且借助于该第二特征向量确定第二图像区域。特别地，为了确定第二特征向量使用神经网络的中间层的输出信息。另选地或附加地，在使用神经网络的情况下针对第一图像区域的预先确定的子区域分别确定第二特征向量。在使用第二特征向量的情况下对被分配给第一图像区域的图像点进行分类。这种分类被用于确定第二图像区域并且由此确定危险源。
在另一个优选的实施方式中，在使用神经网络的情况下针对第一图像区域确定第二特征向量。特别地，为了确定第二特征向量使用神经网络的中间层的输出信息。确定与第一图像区域的图像点相对应/相关联的第二特征向量的平均值。针对第二特征向量中的每个第二特征向量确定在该平均值与相应的第二特征向量之间的差。如果所述差的值高于、低于或等于预先确定的阈值时，将图像的与相应的第二特征向量相对应的预先确定的子区域分配为第二图像区域。上述差优选被加权。特别是，高于、低于或等于预先确定的阈值的与平均值的差意味着异常情况、亦即危险源，并且可以被用于对第一图像区域的图像点进行分类。因此借助于该分类可以确定对应于危险源的第二图像区域。
特别地，借助于第一图像区域在使用神经网络的编码器网络的输出信息的情况下确定第二图像区域。编码器网络确定第一图像区域的显示，特别是特征向量的矩阵的形式的显示。该显示被用于图像的预先确定的子区域的分类。预先确定的子区域的大小特别是取决于图像的分辨率与显示的分辨率之间的比例。因此可以在使用该显示的情况下特别简单地确定第二图像区域。优选地，为了确定第二图像区域，仅使用编码器网络的一部分、例如编码器网络的中间层。
优选地，借助于图像数据在使用神经网络的解码器网络的情况下确定图像的被分配给第一区域的图像点。解码器网络特别是在使用通过编码器网络确定的显示的情况下确定图像的被分配为第一区域的图像点。解码器网络又提高通过编码器网络确定的显示的分辨率，从而可以给第一图像区域分配图像的图像点。
特别有利的是，神经网络是卷积神经网络。卷积神经网络——其也称为Convolutional Neural Network(CNN)——通常包括多个卷积层(Convolutional Layer)和池化层(Pooling layer)。通常使用图像的以矩阵方式布置的图像点作为卷积神经网络中的输入。这些矩阵在卷积层中分别与卷积矩阵或滤波核进行卷积。在池化层中分别降低卷积层的输出之一的分辨率，以便降低存储器需求和节省计算时间。特别是在图像识别中，卷积神经网络具有非常低的错误率。
优选地，神经网络借助于另一车辆的摄像机或本车辆的摄像机所拍摄的真实的、特别是典型的交通情况的图像进行了训练。
在一个有利的改进方案中，借助于图像数据确定包围危险源的包络体。包络体的位置优选地在三维坐标中、特别是在固定在车辆上的坐标或者位置固定的坐标中确定。包络体特别是包围危险源的长方形。包络体例如可以被用于绕开危险源行驶或者开始车辆的制动过程。
在一个有利的改进方案中，借助于图像数据在使用图像识别方法、特别是另一神经网络的情况下对危险源进行分类。由此可以区分不同的危险源并因此提高方法的准确性。
上述方法特别是可以由自主行驶的车辆使用，该车辆例如基于检测到的危险源开始避让过程、制动过程或紧急制动过程。此外，前述方法可以由驾驶员辅助系统使用，该驾驶员辅助系统例如注意到检测到的危险或者基于检测到的危险源自动地开始制动过程。
本发明还涉及一种具有独立的装置权利要求的特征的用于确定在车辆、特别是道路行驶车辆前方或后方的检测区域中的车道上的危险源的装置。该装置具有与所要求保护的方法相同的优点并且可以以相同的方式、特别是利用从属权利要求的特征来改进。
附图说明
从以下结合附图详细阐述多个实施方式的说明中得到其它特征和优点。
图中示出：
图1示出具有用于借助于摄像机确定车道上的危险源的装置的车辆；
图2示出用于借助于摄像机确定车道上的危险源的过程的流程图；
图3示出用于确定车道上的第一区域的详细过程的流程图；
图4示出用于确定车道上的第二区域的详细过程的流程图；
图5示出检测区域的图像的示意性图示，在该图示中突出显示了第一区域；
图6示出检测区域的图像的另一示意性图示，在该图示中突出显示了第二区域；和
图7示出神经网络的示意图。
具体实施方式
图1示出具有用于借助于摄像机18确定车道16上的危险源14的装置12的车辆10。车辆10在所示的实施方式中被设计为乘用车。
图1还示出位置固定的坐标系的坐标平面20。第一坐标轴X平行于车道14并且沿车辆10的行驶方向延伸。第二坐标轴Y同样平行于车道14延伸，并且垂直于第一坐标轴X。第二坐标轴Y横向于车辆10的行驶方向延伸。第三坐标轴Z指向上方并且垂直于由第一坐标轴X和第二坐标轴Y限定的平面。
装置12包括摄像机18，该摄像机固定地与车辆10连接。摄像机18这样沿车辆10的行驶方向或沿第一坐标轴X的方向取向，使得摄像机可以检测在车辆10前方的车道16上的检测区域22。此外，装置12包括图像处理评估单元24，该图像处理评估单元通过线缆26与摄像机18连接。另选地，评估单元24也可以位于车辆10之外，例如位于外部服务器中。图像处理评估单元24被设计为用于，借助于与由摄像机18拍摄的检测区域22的图像相对应的图像数据，在使用神经网络32(图7)的情况下确定图像的第一图像区域，所述第一图像区域与检测区域22中的车道16相对应，借助于与第一图像区域相对应的图像数据在使用神经网络32的情况下确定图像的第二图像区域，所述第二图像区域与检测区域22中的车道16上的危险源14相对应。神经网络32包括编码器网络34和解码器网络36，如结合图7进一步在下面更详细地描述的。
图2示出用于确定在摄像机18的检测区域22中的车道16上的危险源14的方法的一个实施方式的流程图。
在步骤S10中，开始该过程。随后在步骤S12中借助于摄像机18对检测区域22的图像进行检测。随后在步骤S14中生成与给该图像关联的图像数据。随后在步骤S16中借助于图像数据在使用神经网络32的情况下确定图像的第一图像区域28。为此，使用神经网络32的所有层。第一图像区域28在此与检测区域22中的车道16相对应并且在图5中示出。结合图3进一步在下面更详细地说明步骤S16。在步骤S18中，借助于与第一图像区域28相对应的图像数据在使用神经网络32的情况下确定图像的第二图像区域30。为此，使用神经网络32的中间层的输出信息、优选神经网络32的编码器网络34的输出信息。第二图像区域30在此与检测区域22中车道16上的危险源14相对应并且在图6中示出。结合图4进一步在下面更详细地描述步骤S18的其它细节。随后，该过程在步骤S20中结束。
图3示出在根据图2的步骤S16中使用神经网络32的情况下确定车道16上的第一区域的详细过程的流程图。
在步骤S100中，开始该过程。随后在步骤S102中在使用神经网络32的情况下对在步骤S14中产生的图像数据进行处理，以便确定第一特征向量。为此，使用神经网络32的所有层。第一特征向量以矩阵方式布置，并且是包含在检测区域22的图像中的信息的特别适合于进一步处理的显示。在步骤S104中，借助于第一特征向量进行图像的语义分割。在此，确定图像的就内容而言连贯的图像区域。随后在步骤S106中基于在步骤104中完成的图像语义分割来确定第一图像区域28，该第一图像区域与检测区域22中的车道16相对应。最后，在步骤S108中结束该过程。
图4示出根据图2的步骤S18的详细过程的流程图。
在步骤S200中，开始该过程。随后在步骤S202中在使用神经网络32的中间层的输出信息的情况下针对第一图像区域28的预先确定的子区域分别确定第二特征向量。神经网络32的该中间层属于神经网络32的编码器网络34。因此，编码器网络34借助于图像数据来确定第一图像区域28的第二特征向量的矩阵形式的显示，该显示特别适合于进一步处理。通常，该显示具有比图像本身低的分辨率，即，不是对于第一图像区域28的每个图像点都恰好存在第二特征向量。预先确定的子区域的大小特别是取决于图像的分辨率与该显示、即第二特征向量的矩阵的分辨率之间的比例。例如，各个预先确定的子区域可以与显示的各一个第二特征向量相对应，其中，又为该子区域分配了多个图像点，所述多个图像点例如被布置在图像的矩形子区域中。
在步骤S204中形成所有被分配为第一图像区域的图像点的第一特征向量的平均值。随后在步骤S206中针对第二特征向量中的每个第二特征向量确定在平均值与第二特征向量之间的差。当该差的值高于、低于或等于预先确定的阈值时，将与相应的第二特征向量相对应的预先确定的子区域分配为第二图像区域。针对所有第二特征向量确定了在平均值与第二特征向量之间的差之后，由此确定第二图像区域30。随后，在步骤S208中结束该过程。
图5示出检测区域22的图像的示意图。在根据图5的图示中，车道16的第一区域28被突出显示。此外，在图5中示出图像的图像点的第一坐标轴X和第二坐标轴Y。在根据图5的示例性图示中，所述第一区域一直达到第二坐标轴Y的值200。在车道16的侧面布置有树木。此外，其它车辆布置在在车道16的侧面并且部分地布置在车道上。如果车辆被布置在车道16上或部分地布置在车道16上，则在图像中车辆遮盖车道16的车道16区域被从第一区域28中排除。危险源14位于车道16上，该危险源在图5和图6中示例性地显示为受伤的人员。
图6示出检测区域22的图像的另一示意图。根据图6的图示基本上相应于根据图5的图示，然而在图6中，车道16的第二区域30被突出显示。
图7示出神经网络32的示意图，该神经网络在根据图3的步骤S102和根据图4的步骤S202中用于确定第一图像区域28和第二图像区域30。神经网络32包括编码器网络34和解码器网络36，编码器网络和解码器网络本身又由多个层(layer)组成。
编码器网络34包括多个卷积层36(Convolutional Layer)和池化层40(PoolingLayer)，为了清楚起见在图7中分别仅示出这些层中的各一个层。卷积层的存在使得神经网络32成为所谓的卷积神经网络。编码器网络34具有图像数据作为输入并且由这些图像数据确定特征向量矩阵形式的对图像的显示。
解码器网络36同样包括多个层，为了清楚起见在图7中没有单独示出这些层。网络32的输出是图像数据的、特征向量的矩阵形式的显示，其允许这些图像数据的语义分割。该显示特别是允许确定第一子区域28。
根据图1至图7借助于实施方式示例性地描述根据本发明的方法和根据本发明的装置。特别是在所示的实施方式中检测区域22位于车辆10前方。显而易见的是，所示出的方法实施方式也可以相应地用于在车辆10后方的区域。
附图标记列表：
10 车辆
12 装置
14 危险源
16 车道
18 摄像机
20 坐标平面
22 检测区域
24 图像处理评估单元
26 线缆
28、30 图像区域
32 神经网络
34 编码器网络
36 解码器网络
38 卷积层
40 池化层

Claims (12)

1.一种用于借助于车辆(10)——特别是道路行驶车辆(10)——的摄像机(18)确定在车辆(10)前方或后方的检测区域(22)中的车道(16)上的危险源(14)的方法，其中，借助于摄像机(18)对检测区域(22)的图像进行检测，
-生成对应于所述图像的图像数据，
-借助于图像数据在使用神经网络(32)的情况下确定图像的第一图像区域(28)，该第一图像区域与检测区域(22)中的车道(16)相对应，
-借助于第一图像区域(28)在使用神经网络(32)或另一神经网络的情况下确定图像的第二图像区域(30)，该第二图像区域与检测区域(22)中的车道(16)上的危险源(14)相对应。
2.根据权利要求1所述的方法，其特征在于，借助于第一图像区域(28)在使用神经网络(32)的中间层的输出信息的情况下确定第二图像区域(30)，其中，神经网络(32)优选至少包括编码器网络和解码器网络。
3.根据权利要求1或2所述的方法，其特征在于，借助于图像数据在使用神经网络(32)的情况下针对图像的每个图像点分别确定第一特征向量，借助于所述第一特征向量确定第一图像区域(28)。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在使用神经网络(32)的情况下针对第一图像区域(28)确定第二特征向量，其中，确定与第一图像区域的图像点相对应的第二特征向量的平均值，在使用所述平均值和第二特征向量的情况下确定第二图像区域(30)。
5.根据权利要求1或2所述的方法，其特征在于，借助于图像数据在使用神经网络(32)的情况下针对图像的每个图像点分别确定第一特征向量，借助于所述第一特征向量确定第一图像区域(28)，借助于神经网络(32)针对第一图像区域(28)确定第二特征向量，确定与第一图像区域(28)的图像点相对应的第二特征向量的平均值，针对所述第二特征向量中的每个第二特征向量确定在所有属于第一图像区域(28)的第二特征向量的平均值与相应的第二特征向量之间的差，并且当所述差的值高于、低于或等于预先确定的阈值时，将图像的与相应的第二特征向量相对应的预先确定的子区域分配为第二图像区域(30)。
6.根据权利要求1至5中任一项所述的方法，其特征在于，借助于第一图像区域(28)在使用神经网络(32)的编码器网络(34)的输出信息的情况下确定第二图像区域(30)。
7.根据权利要求1至6中任一项所述的方法，其特征在于，借助于图像数据在使用神经网络(32)的情况下确定图像的被分配为第一区域(28)的图像点。
8.根据权利要求1至7中任一项所述的方法，其特征在于，神经网络(32)是卷积神经网络。
9.根据权利要求1至8中任一项所述的方法，其特征在于，神经网络(32)借助于由车辆(10)的摄像机(18)或另一车辆的摄像机所拍摄的、真实的——特别是典型的——交通情况的图像进行了训练。
10.根据权利要求1至9中任一项所述的方法，其特征在于，借助于图像数据确定包围危险源(14)的包络体。
11.根据权利要求1至10中任一项所述的方法，其特征在于，借助于图像数据在使用图像识别方法——特别是使用另一神经网络——的情况下对危险源(14)进行分类。
12.一种用于借助于车辆(10)——特别是道路行驶车辆(10)——的摄像机(18)确定在车辆(10)前方或后方的检测区域(22)中的车道(16)上的危险源(14)的装置，所述装置具有摄像机(18)和图像处理评估单元，该摄像机被设计为用于，对检测区域(22)的图像进行检测，该图像处理评估单元被设计为用于，生成对应于所述图像的图像数据，借助于图像数据在使用神经网络(32)的情况下确定图像的第一图像区域(28)，该第一图像区域与检测区域(22)中的车道(16)相对应，借助于第一图像区域(28)在使用神经网络(32)或另一神经网络(32)的情况下确定图像的第二图像区域，该第二图像区域与检测区域(22)中的车道(16)上的危险源(14)相对应。
CN202080021323.2A 2019-03-15 2020-02-06 用于确定车道上的危险源的方法和装置 Pending CN113711231A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019106625.5A DE102019106625A1 (de) 2019-03-15 2019-03-15 Verfahren und Vorrichtung zum Ermitteln einer Gefahrenquelle auf einer Fahrbahn
DE102019106625.5 2019-03-15
PCT/EP2020/052930 WO2020187483A1 (de) 2019-03-15 2020-02-06 Verfahren und vorrichtung zum ermitteln einer gefahrenquelle auf einer fahrbahn

Publications (1)

Publication Number Publication Date
CN113711231A true CN113711231A (zh) 2021-11-26

Family

ID=69699825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080021323.2A Pending CN113711231A (zh) 2019-03-15 2020-02-06 用于确定车道上的危险源的方法和装置

Country Status (5)

Country Link
US (1) US20220157067A1 (zh)
EP (1) EP3938947A1 (zh)
CN (1) CN113711231A (zh)
DE (1) DE102019106625A1 (zh)
WO (1) WO2020187483A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023059222A1 (ru) * 2021-10-04 2023-04-13 Общество с ограниченной ответственностью "ЭвоКарго" Способ картографирования местности для автономных транспортных средств
CN114973138B (zh) * 2022-06-02 2024-03-29 松立控股集团股份有限公司 一种基于高位相机的路面异常物体检测方法
CN116012806B (zh) * 2023-03-29 2023-06-13 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、检测器、系统和模型训练方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
EP3120300A4 (en) * 2014-03-19 2017-11-22 Neurala Inc. Methods and apparatus for autonomous robotic control
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
US10473788B2 (en) * 2017-12-13 2019-11-12 Luminar Technologies, Inc. Adjusting area of focus of vehicle sensors by controlling spatial distributions of scan lines
US10755115B2 (en) * 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
US11087469B2 (en) * 2018-07-12 2021-08-10 Here Global B.V. Method, apparatus, and system for constructing a polyline from line segments
KR102529918B1 (ko) * 2018-10-16 2023-05-08 현대자동차주식회사 차량 물튐 현상 대응 장치, 그를 포함한 시스템 및 그 방법
US10853670B2 (en) * 2018-11-21 2020-12-01 Ford Global Technologies, Llc Road surface characterization using pose observations of adjacent vehicles
US11144788B2 (en) * 2018-12-04 2021-10-12 Here Global B.V. Method and apparatus for providing a low-power perception architecture
DE102018221703A1 (de) * 2018-12-13 2020-06-18 HELLA GmbH & Co. KGaA Verifizierung und Identifizierung eines neuronalen Netzes
US11113839B2 (en) * 2019-02-26 2021-09-07 Here Global B.V. Method, apparatus, and system for feature point detection

Also Published As

Publication number Publication date
DE102019106625A1 (de) 2020-09-17
EP3938947A1 (de) 2022-01-19
WO2020187483A1 (de) 2020-09-24
US20220157067A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
Dairi et al. Unsupervised obstacle detection in driving environments using deep-learning-based stereovision
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
US10223910B2 (en) Method and apparatus for collecting traffic information from big data of outside image of vehicle
US11327178B2 (en) Piece-wise network structure for long range environment perception
CN113711231A (zh) 用于确定车道上的危险源的方法和装置
CN105956608A (zh) 一种基于深度学习的目标定位、分类算法
CN113228043A (zh) 移动平台基于神经网络的障碍物检测及关联的系统和方法
CN112233097A (zh) 基于空时域多维融合的道路场景他车检测系统和方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN116783620A (zh) 根据点云的高效三维对象检测
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
BOURJA et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
US20230048926A1 (en) Methods and Systems for Predicting Properties of a Plurality of Objects in a Vicinity of a Vehicle
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
US20230148091A1 (en) Method and apparatus for determining and classifying at least one object in a sensing area of a sensor
Prun et al. Development of Active Safety Software of Road Freight Transport, Aimed at Improving Inter-City Road Safety, Based on Stereo Vision Technologies and Road Scene Analysis
Arvind et al. Vision based driver assistance for near range obstacle sensing under unstructured traffic environment
Luo et al. Object detection based on binocular vision with convolutional neural network
Khosroshahi Learning, classification and prediction of maneuvers of surround vehicles at intersections using lstms
Dekkiche et al. Vehicles detection in stereo vision based on disparity map segmentation and objects classification
John et al. Vehicle semantic understanding for automated driving in multiple-lane urban roads using deep vision-based features
Kaida et al. Study on Behavior Prediction Using Multi-object Recognition and Map Information in Road Environment
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tallinn

Applicant after: Kairuida Estonian JSC

Address before: Tallinn

Applicant before: Automotive Software Estonian JSC

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220519

Address after: Wolfsburg, Germany

Applicant after: Carrida Europe

Address before: Tallinn

Applicant before: Kairuida Estonian JSC

TA01 Transfer of patent application right