CN112970028A - 用于选择传感器的图像片段的方法 - Google Patents
用于选择传感器的图像片段的方法 Download PDFInfo
- Publication number
- CN112970028A CN112970028A CN201980073117.3A CN201980073117A CN112970028A CN 112970028 A CN112970028 A CN 112970028A CN 201980073117 A CN201980073117 A CN 201980073117A CN 112970028 A CN112970028 A CN 112970028A
- Authority
- CN
- China
- Prior art keywords
- sensor
- data
- position information
- additional
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 241000283070 Equus zebra Species 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开一种通过传感器基于传感器数据选择用于周围环境检测的片段的方法，其中，通过至少一个附加传感器检测周围环境，基于至少一个附加传感器所求取的传感器数据执行对象识别，根据该对象识别，将至少一个所识别到的对象的位置信息转换到传感器的坐标系中，并且其中，传感器根据经转换的位置信息使用采样区域的片段用于周围环境检测，或者使用来自已经检测到的传感器数据的图像片段用于分析处理。此外，还公开一种控制设备。
Description
技术领域
本发明涉及一种用于通过传感器基于传感器数据选择用于周围环境检测的片段(Ausschnitt)的方法，本发明还涉及一种控制设备。
背景技术
具有自动化驾驶功能的车辆自确定的自动化程度起能够自主地并且无驾驶员地运行。车辆例如能够自动地跟随道路走向，独立地识别其他交通参与者或者障碍物，并且在车辆中计算相应控制指令以及将该控制指令传递到车辆中的执行器，由此正确地影响车辆的行驶过程。在全自主车辆的情况下，驾驶员不参与驾驶事件。
目前现有的车辆在公共交通空间内仅能够受限地自主行动。尤其存在法律上的限制，即车辆驾驶员必须能够随时自身干预驾驶事件。这使得自主车辆的实现变得困难。但已经有能够实现自主或者半自主驾驶的、不同制造商的系统处于测试阶段。
如今，在自主车辆中已经使用各种传感器来实现车辆的周围环境识别。基于算法，能够对传感器数据进行分析处理，并且例如能够识别周围环境中的对象。
发明内容
本发明所基于的任务可以视为，提出一种用于加速对传感器数据的分析处理的方法。
该任务借助独立权利要求的相应主题解决。本发明的有利构型是各个从属权利要求的主题。
根据本发明的一个方面，提供一种用于通过传感器基于传感器数据选择用于周围环境检测的片段的方法。通过至少一个附加传感器检测周围环境。基于至少一个附加传感器的所求取的传感器数据执行对象识别。根据该对象识别，求取至少一个所识别到的对象的位置信息，并且将该位置信息转换到传感器的坐标系中，其中，传感器根据经转换的布置信息使用采样区域的片段用于周围环境检测，或者使用来自已经检测到的传感器数据的图像片段用于分析处理。
由此能够求取用于周围环境检测和/或传感器数据的分析处理的一个或者多个重要的图像片段。重要的图像片段例如是激光雷达扫描中的以下图像片段：所述图像片段包含来自自主车辆周围环境的重要的对象数据。通过该方法，能够借助其他或附加周围环境传感器(例如雷达传感器、激光雷达传感器、摄像机传感器和类似物)对传感器数据的重要的图像片段做出预先选择。能够被加速以及被优化的传感器例如可以构型为激光雷达传感器或者构型为雷达传感器。
通过使用附加传感器，能够在传感器附近的重要的对象方面快速且有效地执行重要的图像片段或者确定的像素的选择。
在一种实施方式中，能够借助传感器数据(例如车辆的摄像机数据)进行对于传感器的重要的像素或图像片段的选择。摄像机例如可以已经具有对象识别，其中，该对象识别在一定的概率下可靠工作。只要在摄像机图像内识别到重要的对象，就能够首先相对于车辆坐标系或者摄像机坐标系对该重要的对象进行定位。在下一步骤中，可以将所识别的对象转换到以下坐标系中：由该坐标系得到在传感器的检测范围或传感器的采样范围内的、对于所述对象重要的图像点或者说重要的图像片段。
在另一实施方式中，传感器的重要的图像片段的挑选(Selektion)可以通过其他周围环境传感器(例如雷达传感器、超声传感器和其他安装在车辆中的周围环境传感器)的数据来执行。
传感器例如可以是激光雷达传感器，但也可以是其他任意传感器，如雷达传感器、摄像机传感器和类似物。该方法例如也可以通过如下方式以相反的方向执行：首先由激光雷达传感器识别对象，并且随后在其他周围环境传感器中将对象用于重要的图像片段的挑选。此外，可以选择周围环境传感器的任意组合以实现该方法。
该方法尤其具有以下优点：
-通过对其他冗余的周围环境传感器进行快速和有针对性的对象识别或对象可信度检验，能够提高自主车辆的安全性；
-安装在车辆中的周围环境传感器能够彼此紧密合作以用于车辆的周围环境识别；
-通过该方法，能够在所有的重要的周围环境传感器中实现对车辆周围环境随时间的整体观察；
-如果对于对象识别仅考虑冗余周围环境传感器的重要的图像片段，则能够将所述周围环境传感器设计为不那么高性能的(leistungsstark)，因为不必也对周围环境传感器的所有像素或所有输入数据进行传输或者分析；
-以下能够速度集中(geschwindigkeitsfokusiert)地进行并且需要较少的计算能力：由周围环境传感器所识别到的对象连同对象尺度(Objektdimension)到另一周围环境传感器的目标坐标系中的坐标转换，以及随后的向该周围环境传感器的数据传输，或者从至少一个附加传感器的传感器数据中处理相同的数据。此外，能够将用于实施该方法的车辆总线系统的负荷保持较低。
根据一种实施方式，至少一个所识别到的对象的位置信息具有对象尺寸(Objektmaβe)和传感器坐标系或者车辆坐标系中的对象位置。在此，传感器之间的数据传输可以具有例如在摄像机系统中所识别的对象的对象尺寸和该对象在摄像机坐标系中的地点。根据传感器彼此的已知相对布置，所述位置信息能够用于计算以下片段：在该片段中，传感器同样能够探测已经由附加传感器所求取到的对象。以这种方式，能够非常精细地构型数据传输。借助计算机程序或智能算法或者借助人工智能，能够在另一步骤中实现从传感器的图像数据中挑选所述重要的对象，其方式是：借助算法或KI(KünstlicheIntelligenz，人工智能)，仅对来自传感器扫描的重要的图像片段或重要的像素进行分析。以这种方式，能够明显更快地通过传感器进行对象识别，并且需要更少的计算能力，因为仅对重要的图像片段或当前此刻的重要的像素数据进行分析处理。
根据另一实施例，基于来自多个传感器的经转换的位置信息，激光雷达传感器使用来自已经检测到的传感器数据的至少一个图像片段用于分析处理。由此能够借助多个附加周围环境传感器的数据组合，进行传感器中重要的图像片段的挑选。
在激光雷达传感器的情况下,例如可以将摄像机的和雷达传感器的一个或者多个所识别的对象用于图像片段的有针对性的选择，或者用于可信度检验。
根据另一实施例，通过中央控制设备或者通过传感器控制设备执行位置信息的转换。因此，能够将所识别到的对象的位置信息由至少一个附加传感器的摄像机坐标系转换到传感器(例如激光雷达传感器)的坐标系中。在此，该转换例如可以在车辆中央计算机上进行，或者在传感器的或者附加传感器的计算机内进行。传感器可以借助车辆总线(例如Flexray、以太网、CAN)或者无线电接口，要么直接地要么间接地通过车辆控制设备在通信技术上彼此连接。
根据另一构型，通过附加传感器执行位置信息的转换，其中，在传感器之间建立直接的通信连接。由此能够分散地(dezentral)实施该方法。
根据另一实施例，由至少一个传感器所提供的、至少一个对象的位置信息随时间改变，以跟踪所述至少一个对象。在此，可以随时间跟踪例如由摄像机所识别到的对象，并且连续地或者周期性地将其传输到传感器用于选择重要的图像片段。尤其可以传输对于所跟踪的对象的位置信息。这即使在对象已经离开摄像机的或至少一个附加传感器的重要的图像片段的情况下也能够执行。例如，一个对象例如不再布置于车辆前方，并且因此不再对于前部摄像机(附加传感器)可见，而是仅对于布置于车辆侧面的传感器(激光雷达传感器)可见。该激光雷达传感器根据当前的车辆速度，通过外推(Extrapolation)摄像机像素之外的摄像机图像流来获得重要的图像片段，并且因此有针对性的跟踪在车辆侧面的对象。
根据另一实施例，在至少一个附加传感器的采样范围之外继续进行至少一个对象的位置信息的随时间变化的匹配。例如可以借助安装在车辆中的前部摄像机识别对象。随后由车辆行驶经过该对象，这意味着车辆从侧面行驶过对象。在这种情况下，可以将重要的对象存储在车辆计算机的或者控制设备的缓存中，并且，借助车辆速度或车辆动态特性或车辆在世界(Welt)中的高精度的车辆位置，即使在离开摄像机的重要的图像片段的情况下也能够继续将其转换到传感器的坐标系或激光雷达传感器的坐标系中。由此能够将对象的位置信息转发给安装在车辆侧面的激光雷达传感器。这例如一直持续进行，直到相应对象已由安装在车辆侧面的激光雷达传感器可靠识别到为止。在这种情况下，激光雷达传感器自身可以向相应车辆计算机或者摄像机系统提供反馈。尤其可以传递：已在车辆侧面再次发现相应对象。随后可以将已连续地进一步转换到相应坐标系中的对象的、经缓存的对象数据或者说位置信息删除。现在，安装在侧面的激光雷达传感器能够独立执行其对象识别。
根据另一实施例，基于位置传感器的传感器数据以及地图的数据，选择激光雷达传感器的所检测到的传感器数据的、使用用于分析处理的至少一个图像片段。在此，例如激光雷达传感器中的重要的图像片段的挑选借助至少一个GNSS传感器的数据或借助车辆在高精度的地图上的位置来进行。例如，在区域内车辆高精度地了解其位置。此外，通过在地图上对车辆的高精度的位置进行绘图(Kartierung)，已知环绕车辆周围的特征或重要的结构。本发明该实施方式的一个应用情况是对在斑马线右侧或者左侧的行人的有针对性的识别。例如，自主车辆知悉其正在接近一个十字路口。通过到该斑马线的距离和定向，能够从激光雷达传感器的相应扫描中选择激光雷达传感器相对于该斑马线的以下有针对性的图像信息：理论上行人可能位于该有针对性的图像信息中。这例如可以是斑马线左侧、斑马线上，或者斑马线右侧。为此目的，将斑马线的相对位置与斑马线尺寸以及行人的可能位置转换到激光雷达传感器的坐标系中。现在，激光雷达传感器可以有针对性地挑选在该时刻对于行人识别重要的图像片段。其他可能的应用情况为在城市区域内识别从侧面进行泊车的车辆，或者识别地图上已存在的结构以便在世界中对车辆进行定向或者定位。
根据另一实施例，基于至少一个交通参与者的位置数据，选择激光雷达传感器的所检测的传感器数据的、使用用于分析处理的至少一个图像片段。根据另一实施方式，通过直接或者间接的通信连接传递至少一个交通参与者的位置数据。由此，可以借助所接收的其他交通参与者的位置数据，通过车辆-目标(Car-to-X)通信连接传输例如在激光雷达传感器中的重要的图像片段的所述挑选。在这种情况下，自己的车辆可以通过车辆-目标通信连接接收其他交通参与者的尺寸、高精度的位置以及定向。可以在另一步骤中将其他交通参与者的所述高精度的位置转换到传感器的坐标系中。随后，在传感器中进行重要的图像片段的挑选，以便借助恰恰正是所述交通参与者的经转换的坐标和尺寸来识别至少一个其他交通参与者。以这种方式，能够对通过车辆-目标通信接收的、其他交通参与者相对于自己车辆的位置数据和定向进行可信度检验。
根据另一实施方式，通过人工智能选择激光雷达传感器的所检测的传感器数据的至少一个图像片段。因此，重要的图像片段的挑选能够通过例如可以构造为神经网络的人工智能(KI)执行。例如，所述KI能够自动地执行待识别对象到传感器的坐标系的坐标转换。替代或附加地，KI能够借助摄像机、雷达传感器、激光雷达传感器、超声传感器、GNSS传感器或者车辆-目标通信连接，负责进行相对于自身车辆的对象识别。此外，在传感器或传感器控制设备上可以有自己的KI，其由接收的数据(待识别对象的坐标和尺寸)通过之前的对重要的图像片段的挑选来执行对象识别或者对象可信度检验。
根据另一实施方式，将通过激光雷达传感器执行的分析处理用于对象识别的可信度检验。由此，传感器能够形成用于附加传感器的冗余。
根据另一实施方式，通过来自至少一个传感器的询问(Anfrage)执行可信度检验。由此，能够借助询问或在需要时通过传感器对其他周围环境传感器的已经识别的对象进行有针对性的对象识别或对象可信度检验。例如，对象仅以较低的“置信度(Confidence)”或者说可靠性由周围环境传感器识别到。现在，该周围环境传感器将可能识别到的对象的坐标和尺寸通过询问发送给传感器。传感器可以借助重要的图像片段执行一次对象识别或者在限定的时长中执行对象识别。例如，如果对象在实现坐标转换后也由传感器在重要的图像片段中可靠地识别到，则传感器向其他周围环境传感器发送响应：相应对象是可信的。现在，其他周围环境传感器能够继续跟踪该可靠地识别到的对象以用于实现自主驾驶。如果在多次尝试后，相应对象仍未由传感器识别到，同样会向进行询问的附加的周围环境传感器发出响应：该对象是不可信的。借助本发明的该实施方式，能够通过传感器对所识别到的对象进行有针对性的可信度检验。所述可信度检验能够在非常短的时间段内进行，由此，自主驾驶的功能性得以保持，并且更可靠、更安全地构型。传感器例如能够借助KI或者借助智能算法对于确定的车辆周围环境执行一般的对象识别，并且借助总归存在的周围环境扫描对于有针对性的图像片段执行对象识别。在此，重要的图像片段的挑选可以在对象识别之前进行。替代或附加地，可以对传感器的所有图像片段关于所述对象进行分析。
根据本发明的另一个方面，提供一种控制设备，其用于与至少一个传感器连接以及用于读出至少一个传感器的传感器数据，其中，该控制设备设置用于实施方法的所有步骤。
该控制设备尤其可以实施为传感器控制设备或者实施为中央控制设备。在此，该控制设备可以布置在车辆内或者车辆外。因此，车辆的所有与控制设备耦合的周围环境传感器能够通过车辆总线向控制设备传递传感器数据。在此，本方法的实施不是在周围环境传感器自身上进行，而是纯在具有足够的计算能力的控制设备上进行。根据应用，可以将任意数量的传感器与控制设备耦合，并且因此在传感器融合的范畴内改善分析处理和本方法的准确度。
附图说明
在下文中根据高度简化的示意性图示进一步阐述本发明的优选实施例。在此示出：
图1示出具有控制设备并且具有传感器的车辆的示意图；
图2示出根据一种实施方式的方法的示意性流程图。
具体实施方式
图1中示出具有控制设备2并且具有传感器4、6、8的车辆1的示意图。该车辆1是至少具有一个控制设备2的、可自动运行的车辆1。
控制设备2如此与传感器4、6、8耦合，使其能够读出传感器数据并且进行再处理。车辆1的传感装置由激光雷达传感器4和附加传感器6、8组成。附加传感器6、8实施为摄像机6和雷达传感器8。
控制设备2具有用于建立通信连接12的通信单元。通信连接12例如可以是车辆-目标(Car-2-X)通信连接，由此，其他交通参与者14能够与控制设备2交换其位置和其他数据。
通过传感器4、6、8能够求取车辆1周围环境中的对象16。
图2示出根据一种实施方式的方法18的示意性流程图。
方法18尤其用于：通过传感器4基于附加传感器6、8的传感器数据选择用于周围环境检测的片段。
在步骤19中，通过至少一个附加传感器6、8检测周围环境。基于至少一个传感器6、8的所求取的传感器数据，执行对象识别20。根据对象识别20，将所识别的至少一个对象16的位置信息转换21到传感器4的坐标系中。随后，根据经转换的位置信息，将传感器4的采样区域的片段用于周围环境检测22，或者将传感器4的传感器数据的来自已经检测到的传感器数据的图像片段用于分析处理23。
Claims (13)
1.一种用于选择用于周围环境检测的片段的方法(18)，通过传感器(4)基于传感器数据进行所述选择，其中，通过至少一个附加传感器(6，8)检测(19)周围环境，基于所述至少一个附加传感器(6，8)的所求取的传感器数据执行对象识别(20)，根据所述对象识别，将至少一个所识别的对象(16)的位置信息转换(21)到所述传感器(4)的坐标系中，其中，所述传感器(4)根据经转换的位置信息使用采样区域(22)的片段用于所述周围环境检测，或者使用来自已经检测到的传感器数据(23)的图像片段用于分析处理。
2.根据权利要求1所述的方法，其中，至少一个所识别到的对象(16)的所述位置信息具有对象尺寸和对象位置。
3.根据权利要求1或2所述的方法，其中，所述传感器(4)基于多个附加传感器(6，8)的经转换的位置信息使用来自已经检测到的传感器数据的图像片段用于分析处理。
4.根据权利要求1至3中任一项所述的方法，其中，所述位置信息的所述转换通过中央控制设备(2)或者通过传感器控制设备执行。
5.根据权利要求1至4中任一项所述的方法，其中，所述位置信息的所述转换通过所述附加传感器(6、8)执行，其中，在所述传感器(4，6，8)之间建立直接的通信连接(12)。
6.根据权利要求1至5中任一项所述的方法，其中，由至少一个传感器(6，8)所提供的、至少一个对象(16)的位置信息随时间改变，以跟踪所述至少一个对象(16)。
7.根据权利要求6所述的方法，其中，在所述至少一个附加传感器(6，8)的采样范围之外继续进行所述至少一个对象(16)的所述位置信息的随时间变化的匹配。
8.根据权利要求1至7中任一项所述的方法，其中，基于位置传感器的附加传感器数据以及地图的数据，选择所述传感器(4)的所检测到的传感器数据的、使用用于所述分析处理的所述至少一个图像片段。
9.根据权利要求1至8中任一项所述的方法，其中，基于至少一个交通参与者(14)的位置数据，选择所述传感器(4)的所检测到的传感器数据的、使用用于所述分析处理的所述至少一个图像片段，其中，通过直接或者间接的通信连接(12)传递所述至少一个交通参与者的位置数据。
10.根据权利要求1至9中任一项所述的方法，其中，通过人工智能选择所述传感器(4)的所检测到的传感器数据的所述至少一个图像片段。
11.根据权利要求1至10中任一项所述的方法，其中，将通过所述传感器(4)执行的分析处理用于所述至少一个附加传感器的所述对象识别的可信度检验。
12.根据权利要求11所述的方法，其中，所述可信度检验通过来自至少一个附加传感器(6，8)的询问执行。
13.一种控制设备(2)，所述控制设备用于与至少一个传感器(4，6，8)连接，并且用于读出至少一个传感器(4，6，8)的传感器数据，其中，所述控制设备(2)设置用于实施根据以上权利要求中任一项所述的方法(18)的所有步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018215136.9 | 2018-09-06 | ||
| DE102018215136.9A DE102018215136B4 (de) | 2018-09-06 | 2018-09-06 | Verfahren zum Auswählen eines Bildausschnitts eines Sensors |
| PCT/EP2019/073512 WO2020049013A1 (de) | 2018-09-06 | 2019-09-04 | Verfahren zum auswählen eines bildausschnitts eines sensors |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112970028A true CN112970028A (zh) | 2021-06-15 |
Family
ID=68062889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980073117.3A Pending CN112970028A (zh) | 2018-09-06 | 2019-09-04 | 用于选择传感器的图像片段的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11989944B2 (zh) |
| JP (1) | JP7326429B2 (zh) |
| CN (1) | CN112970028A (zh) |
| DE (1) | DE102018215136B4 (zh) |
| WO (1) | WO2020049013A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020205831A1 (de) | 2020-05-08 | 2021-11-11 | Zf Friedrichshafen Ag | System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013215408A1 (de) * | 2013-08-06 | 2015-03-05 | Bayerische Motoren Werke Aktiengesellschaft | Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung |
| CN107924620A (zh) * | 2015-09-08 | 2018-04-17 | 大众汽车有限公司 | 用于执行车辆的自动驾驶的方法和设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3645177B2 (ja) * | 2000-11-29 | 2005-05-11 | 三菱電機株式会社 | 車両周辺監視装置 |
| DE10154861A1 (de) * | 2001-11-08 | 2003-05-22 | Ibeo Automobile Sensor Gmbh | Verfahren zur Bereitstellung von Bildinformationen |
| JP2004085337A (ja) | 2002-08-27 | 2004-03-18 | Fujitsu Ltd | 車両検出方法及び車両検出装置 |
| DE10246066B4 (de) | 2002-10-02 | 2007-11-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug |
| JP5663352B2 (ja) | 2011-03-03 | 2015-02-04 | 日本電産エレシス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| KR101372023B1 (ko) * | 2012-05-31 | 2014-03-07 | 현대자동차주식회사 | 차량 주변의 이동체 감지 장치 및 방법 |
| DE102012021282A1 (de) * | 2012-10-29 | 2014-04-30 | Audi Ag | Verfahren zur Koordination des Betriebs von vollautomatisiert fahrenden Kraftfahrzeugen |
| DE102015204529A1 (de) * | 2015-03-13 | 2016-09-15 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel |
| DE102015112289A1 (de) * | 2015-07-28 | 2017-02-02 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug |
| DE102015214743A1 (de) * | 2015-08-03 | 2017-02-09 | Audi Ag | Verfahren und Vorrichtung in einem Kraftfahrzeug zur verbesserten Datenfusionierung bei einer Umfelderfassung |
| WO2017159382A1 (ja) | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 信号処理装置および信号処理方法 |
| US10317901B2 (en) | 2016-09-08 | 2019-06-11 | Mentor Graphics Development (Deutschland) Gmbh | Low-level sensor fusion |
-
2018
- 2018-09-06 DE DE102018215136.9A patent/DE102018215136B4/de active Active
-
2019
- 2019-09-04 US US17/272,638 patent/US11989944B2/en active Active
- 2019-09-04 JP JP2021512690A patent/JP7326429B2/ja active Active
- 2019-09-04 CN CN201980073117.3A patent/CN112970028A/zh active Pending
- 2019-09-04 WO PCT/EP2019/073512 patent/WO2020049013A1/de active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013215408A1 (de) * | 2013-08-06 | 2015-03-05 | Bayerische Motoren Werke Aktiengesellschaft | Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung |
| CN107924620A (zh) * | 2015-09-08 | 2018-04-17 | 大众汽车有限公司 | 用于执行车辆的自动驾驶的方法和设备 |
Non-Patent Citations (2)
| Title |
|---|
| STEFAN LANGE ET AL.: "Online Vehicle Detection using Deep Neural Networks and Lidar based Preselected Image Patches", 《2016 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》, pages 954 - 959 * |
| 贾子永 等: "视觉与激光雷达信息融合的目标领航车识别方法", 火力与指挥控制, no. 06, pages 57 - 65 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020049013A1 (de) | 2020-03-12 |
| US11989944B2 (en) | 2024-05-21 |
| JP2022500737A (ja) | 2022-01-04 |
| US20210255330A1 (en) | 2021-08-19 |
| DE102018215136A1 (de) | 2020-03-12 |
| DE102018215136B4 (de) | 2021-03-25 |
| JP7326429B2 (ja) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110268413B (zh) | 低电平传感器融合 | |
| CN109863500B (zh) | 事件驱动的感兴趣区域管理 | |
| US11009602B2 (en) | Method and system for environment detection | |
| CN108028020B (zh) | 用于选择并在车辆间传输传感器数据的方法和设备 | |
| EP3644294B1 (en) | Vehicle information storage method, vehicle travel control method, and vehicle information storage device | |
| CN110546696B (zh) | 用于自主车辆的用于自动生成和更新数据集的方法 | |
| Khatab et al. | Vulnerable objects detection for autonomous driving: A review | |
| US20160033963A1 (en) | Remote autonomous driving system based on high accuracy of localization by indoor infrastructure map and sensor and method thereof | |
| US10369993B2 (en) | Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free | |
| EP3477616A1 (en) | Method for controlling a vehicle using a machine learning system | |
| CN112132896B (zh) | 一种轨旁设备状态检测方法及系统 | |
| Sridhar et al. | Cooperative perception in autonomous ground vehicles using a mobile‐robot testbed | |
| US10974722B2 (en) | Vehicle control apparatus, vehicle control method, and storage medium | |
| CN112835030A (zh) | 一种障碍物目标的数据融合方法、装置及智能汽车 | |
| CN111417993A (zh) | 用于提供至少一个对象的位置的方法和设备 | |
| CN115366885A (zh) | 用于辅助机动车的驾驶操作的方法、辅助装置及机动车 | |
| CN110884503A (zh) | 用于测试机动车的自动化驾驶功能的方法、设备及存储介质 | |
| CN112970028A (zh) | 用于选择传感器的图像片段的方法 | |
| US20200318977A1 (en) | Method for localizing and enhancing a digital map by a motor vehicle; localization device | |
| CN110913335B (zh) | 自动引导车感知定位方法、装置、服务器及自动引导车 | |
| Gogineni | Multi-sensor fusion and sensor calibration for autonomous vehicles | |
| US11912290B2 (en) | Self-position estimation accuracy verification method and self-position estimation system | |
| EP3223188A1 (en) | A vehicle environment mapping system | |
| CN111352128B (zh) | 一种基于融合点云的多传感器融合感知方法与系统 | |
| Baek et al. | Application on parking guidance system using Surveillance Camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |