DE102021207192A1 - Computing device for a time-of-flight sensor - Google Patents
Computing device for a time-of-flight sensor Download PDFInfo
- Publication number
- DE102021207192A1 DE102021207192A1 DE102021207192.9A DE102021207192A DE102021207192A1 DE 102021207192 A1 DE102021207192 A1 DE 102021207192A1 DE 102021207192 A DE102021207192 A DE 102021207192A DE 102021207192 A1 DE102021207192 A1 DE 102021207192A1
- Authority
- DE
- Germany
- Prior art keywords
- computing device
- transit time
- filtering
- data set
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
Es wird eine Rechenvorrichtung für einen Laufzeitsensor (2) vorgeschlagen, umfassend zumindest ein Rechenmodul (3), das dazu vorgesehen ist, bei einer Filterung zumindest eines Erfassungsdatensatzes des Laufzeitsensors (2) eine zeitliche Information, insbesondere einen Zeitstempel, einer Objekterfassung zu berücksichtigen, um Artefakte, insbesondere falsch-positive Objekte (4), aus dem Erfassungsdatensatz herauszufiltern und/oder um ein Herausfiltern von realen Objekten (5, 6) aus dem Erfassungsdatensatz bei der Filterung zumindest zu verringern.A computing device for a transit time sensor (2) is proposed, comprising at least one computing module (3) which is provided to take into account temporal information, in particular a time stamp, of an object detection when filtering at least one detection data record of the transit time sensor (2) in order to to filter out artefacts, in particular false-positive objects (4), from the acquisition data set and/or to at least reduce the filtering out of real objects (5, 6) from the acquisition data set during the filtering.
Description
Die Erfindung bezieht sich auf eine Rechenvorrichtung für einen Laufzeitsensor. Zudem bezieht sich die Erfindung auf einen entsprechenden Laufzeitsensor und ein automatisiert betreibbares Fahrzeug. Weiterhin bezieht sich die Erfindung auf ein computerimplementiertes Verfahren und auf ein entsprechendes Computerprogrammprodukt.The invention relates to a computing device for a time-of-flight sensor. In addition, the invention relates to a corresponding transit time sensor and a vehicle that can be operated automatically. Furthermore, the invention relates to a computer-implemented method and a corresponding computer program product.
Rechenvorrichtungen für Laufzeitsensoren sind aus dem Stand der Technik bekannt. Die aus dem Stand der Technik bekannten Rechenvorrichtungen nutzen zumeist eine räumliche Information einer Objekterfassung, um Artefakte aus einem Erfassungsdatensatz eines Laufzeitsensors herauszufiltern.Computing devices for transit time sensors are known from the prior art. The computing devices known from the prior art mostly use spatial information from an object detection in order to filter out artefacts from a detection data set of a transit time sensor.
Es wird eine Rechenvorrichtung für einen Laufzeitsensor vorgeschlagen. Die Rechenvorrichtung umfasst zumindest ein Rechenmodul, das dazu vorgesehen ist, bei einer Filterung zumindest eines Erfassungsdatensatzes des Laufzeitsensors eine zeitliche Information, insbesondere einen Zeitstempel, einer Objekterfassung zu berücksichtigen, um Artefakte, insbesondere falsch-positive Objekte, aus dem Erfassungsdatensatz herauszufiltern und/oder um ein Herausfiltern von realen Objekten aus dem Erfassungsdatensatz bei der Filterung zumindest zu verringern.A computing device for a transit time sensor is proposed. The computing device comprises at least one computing module which is provided to take into account temporal information, in particular a time stamp, of an object detection when filtering at least one detection data set of the transit time sensor in order to filter out artifacts, in particular false-positive objects, from the detection data set and/or to to at least reduce the filtering out of real objects from the acquisition data set during the filtering.
Der Laufzeitsensor (Time-of-Flight-Sensor; ToF-Sensor) ist vorzugsweise als ein Lichtlaufzeitsensor ausgebildet. Bevorzugt ist der Laufzeitsensor als ein Lidarsensor (Light-Detection-and-Ranging-Sensor), insbesondere als ein Puls-Lidarsensor, ausgebildet. Der Laufzeitsensor kann insbesondere auch als eine Lichtlaufzeitkamera (ToF-Kamera), als ein Radarsensor oder als ein anderer, einem Fachmann als sinnvoll erscheinender Laufzeitsensor ausgebildet sein. Vorzugsweise ist der Laufzeitsensor zu einem Einsatz in einem Fahrzeug, insbesondere einem automatisiert betreibbaren Fahrzeug, vorgesehen. Insbesondere ist der Laufzeitsensor dazu vorgesehen, Objekte in einem Umfeld des Fahrzeugs zu erfassen und/oder einen Innenraum des Fahrzeugs zu überwachen. Insbesondere ist der Laufzeitsensor dazu vorgesehen, in Abhängigkeit von einer Umfelderfassung und/oder einer Innenraumüberwachung einem Steuergerät des Fahrzeugs, beispielsweise der Rechenvorrichtung, Daten, insbesondere Erfassungsdaten, bereitzustellen, um Fahrerassistenzfunktionen und/oder eine zumindest teilautonome Steuerung des Fahrzeugs zu ermöglichen. Unter „vorgesehen“ soll insbesondere speziell programmiert, speziell ausgestattet und/oder speziell ausgelegt verstanden werden. Darunter, dass ein Objekt zu einer Funktion vorgesehen ist, soll insbesondere verstanden werden, dass das Objekt die Funktion in zumindest einem Betriebszustand ausführt.The time-of-flight sensor (time-of-flight sensor; ToF sensor) is preferably designed as a time-of-flight sensor. The transit time sensor is preferably embodied as a lidar sensor (light detection and ranging sensor), in particular as a pulse lidar sensor. The time-of-flight sensor can in particular also be embodied as a light-time-of-flight camera (ToF camera), as a radar sensor or as another time-of-flight sensor that appears sensible to a person skilled in the art. The transit time sensor is preferably provided for use in a vehicle, in particular a vehicle that can be operated automatically. In particular, the transit time sensor is provided to detect objects in the area surrounding the vehicle and/or to monitor an interior of the vehicle. In particular, the transit time sensor is provided to provide data, in particular detection data, to a control unit of the vehicle, for example the computing device, as a function of an environment detection and/or interior monitoring in order to enable driver assistance functions and/or at least partially autonomous control of the vehicle. “Provided” should be understood to mean, in particular, specially programmed, specially equipped and/or specially designed. The fact that an object is provided for a function is to be understood in particular to mean that the object executes the function in at least one operating state.
Der Erfassungsdatensatz kann vorzugsweise als eine Punktwolke ausgebildet sein. Insbesondere kann der Laufzeitsensor zumindest eine Ausgabeschnittstelle aufweisen, um der Rechenvorrichtung den Erfassungsdatensatz bereitzustellen. Vorzugsweise weist die Rechenvorrichtung zumindest eine Eingangsschnittstelle zu einem Empfang des Erfassungsdatensatzes von dem Laufzeitsensor, insbesondere von der Ausgabeschnittstelle des Laufzeitsensors, auf. Insbesondere können der Laufzeitsensor und die Rechenvorrichtung über die Ausgabeschnittstelle des Laufzeitsensors und die Eingangsschnittstelle der Rechenvorrichtung datenübertragungstechnisch verbunden sein. Vorzugsweise ist die Eingangsschnittstelle dazu vorgesehen, den Erfassungsdatensatz dem Rechenmodul bereitzustellen. Die Rechenvorrichtung kann insbesondere zumindest eine Ausgabeschnittstelle aufweisen, um den von dem Rechenmodul verarbeiteten, insbesondere gefilterten, Erfassungsdatensatz auszugeben, beispielsweise an ein zentrales Steuergerät des Fahrzeugs.The acquisition data set can preferably be in the form of a point cloud. In particular, the runtime sensor can have at least one output interface in order to provide the computing device with the acquisition data record. The computing device preferably has at least one input interface for receiving the acquisition data record from the transit time sensor, in particular from the output interface of the transit time sensor. In particular, the transit time sensor and the computing device can be connected for data transmission via the output interface of the transit time sensor and the input interface of the computing device. The input interface is preferably provided to provide the acquisition data record to the computing module. The computing device can in particular have at least one output interface in order to output the acquisition data record processed, in particular filtered, by the computing module, for example to a central control unit of the vehicle.
Insbesondere kann ein Steuergerät, z.B. ein elektronisches Steuergerät, des automatisiert betreibbaren Fahrzeugs die Rechenvorrichtung umfassen oder zumindest teilweise ausbilden. Alternativ oder zusätzlich ist vorstellbar, dass die Rechenvorrichtung zumindest teilweise in den Laufzeitsensor integriert ist. Ein Steuergerät bereitet Daten von Sensoren als Eingangssignale auf, verarbeitet diese mittels der Rechenvorrichtung, insbesondere mittels des Rechenmoduls, beispielsweise einem programmierbaren Logikbaustein, einem FPGA (Field programmable Gate Array)- oder ASIC (Application specific integrated Circuit)-Baustein oder einer Computerplattform, und stellt Logik- und/oder Leistungspegel als Steuer- oder Regelsignal bereit. Das Steuergerät ist vorzugsweise in ein Bordnetz des Fahrzeugs integriert, beispielsweise in einen CAN-Bus. Das Steuergerät ist beispielsweise ein elektronisches Steuergerät für automatisierte Fahrfunktionen, im Englischen Domain ECU genannt. In particular, a control unit, e.g. an electronic control unit, of the vehicle that can be operated automatically can include the computing device or at least partially form it. Alternatively or additionally, it is conceivable that the computing device is at least partially integrated into the transit time sensor. A control unit prepares data from sensors as input signals, processes them using the computing device, in particular using the computing module, for example a programmable logic component, an FPGA (field programmable gate array) or ASIC (application specific integrated circuit) component or a computer platform, and provides logic and/or power levels as a control or regulation signal. The control device is preferably integrated into an on-board network of the vehicle, for example into a CAN bus. The control unit is, for example, an electronic control unit for automated driving functions, known in English as a domain ECU.
Insbesondere kann das Steuergerät eine ADAS (advanced driver assistance system)/AD (autonomous driving) Domain ECU für assistiertes bis vollautomatisiertes, das heißt autonomes, Fahren sein.In particular, the control unit can be an ADAS (advanced driver assistance system)/AD (autonomous driving) domain ECU for assisted to fully automated, ie autonomous, driving.
Die Rechenvorrichtung, insbesondere das Rechenmodul, ist beispielsweise als ein System-on-a-Chip mit modularem Hardwarekonzept realisiert, das heißt alle oder zumindest ein großer Teil von Funktionen sind auf einem Chip integriert und können modular erweitert werden. Der Chip ist insbesondere in das Steuergerät integrierbar. Die Rechenvorrichtung, insbesondere das Rechenmodul, umfasst beispielsweise einen Mehrkernprozessor und Speichermodule. Der Mehrkernprozessor ist für einen Signal-/Datenaustausch mit Speichermedien konfiguriert. Beispielsweise umfasst der Mehrkernprozessor ein Bussystem. Die Speichermodule bilden einen Arbeitsspeicher. Die Speichermodule sind beispielsweise RAM, DRAM, SDRAM oder SRAM. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halbleiterbauelement, angeordnet. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Die Rechenvorrichtung, insbesondere das Rechenmodul, kann nach einem Aspekt der Erfindung wenigstens einen zentralen Verarbeitungsprozessor, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet, umfassen.The computing device, in particular the computing module, is implemented, for example, as a system-on-a-chip with a modular hardware concept, ie all or at least a large part of the functions are integrated on a chip and can be modularly expanded. In particular, the chip can be integrated into the control unit. The arithmetic direction, in particular the computing module, includes, for example, a multi-core processor and memory modules. The multi-core processor is configured for signal/data exchange with storage media. For example, the multi-core processor includes a bus system. The memory modules form a main memory. The memory modules are, for example, RAM, DRAM, SDRAM or SRAM. In a multi-core processor, a number of cores are arranged on a single chip, ie a semiconductor component. Multi-core processors achieve higher computing power and are less expensive to implement on a chip compared to multi-processor systems in which each individual core is arranged in a processor socket and the individual processor sockets are arranged on a motherboard. According to one aspect of the invention, the computing device, in particular the computing module, can comprise at least one central processing unit, referred to in English as a central processing unit, or CPU for short.
Die Rechenvorrichtung, insbesondere das Rechenmodul, umfasst vorzugsweise auch wenigstens einen Grafikprozessor, im Englischen als Graphic Processing Unit, abgekürzt GPU, bezeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Nach einem Aspekt der Erfindung kann der Grafikprozessor wenigstens eine Prozesseinheit umfassen, die speziell zum Ausführen von Tensor- und/oder Matrixmultiplikation ausgeführt ist. Tensor- und/oder Matrixmultiplikation sind die zentralen Rechenoperationen für das Deep Learning. Die Rechenvorrichtung, insbesondere das Rechenmodul, kann nach einem Aspekt der Erfindung auch Hardware-Beschleuniger für künstliche Intelligenz, zum Beispiel sogenannte Deep Learning Accelerators, umfassen. Nach einem weiteren Aspekt der Erfindung kann ein Klassifikator in der Programmiertechnik CUDA bereitgestellt werden. Damit werden Softwarecodeabschnitte des Klassifikators direkt durch die GPU abgearbeitet. Bevorzugt sind die Rechenvorrichtung oder das Steuergerät konfiguriert, modular mit mehreren, beispielsweise mindestens vier, derartiger Chips erweitert zu werden.The computing device, in particular the computing module, preferably also includes at least one graphics processor, referred to in English as a graphic processing unit, or GPU for short. Graphics processors have a special microarchitecture for parallel processing of processes. According to one aspect of the invention, the graphics processor may include at least one processing unit that is specifically designed to perform tensor and/or matrix multiplication. Tensor and/or matrix multiplication are the central arithmetic operations for deep learning. According to one aspect of the invention, the computing device, in particular the computing module, can also include hardware accelerators for artificial intelligence, for example so-called deep learning accelerators. According to a further aspect of the invention, a classifier can be provided in the CUDA programming technique. With this, software code sections of the classifier are processed directly by the GPU. The computing device or the control unit are preferably configured to be expanded in a modular manner with a plurality of such chips, for example at least four.
Der von dem Laufzeitsensor bereitgestellte Erfassungsdatensatz kann insbesondere Artefakte enthalten. Die Artefakte können beispielsweise durch ein Übersprechen zwischen verschiedenen Empfangskanälen des Laufzeitsensors entstehen. Die Artefakte können insbesondere als falsch-positive Objekte ausgebildet sein. Falsch-positive Objekte sind insbesondere Objekte, die in dem Erfassungsdatensatz vorhanden sind, also von dem Laufzeitsensor als erfasste Objekte dargestellt werden, die aber in der Realität, beispielsweise im Umfeld des Fahrzeugs, nicht vorhanden sind. Werden solche falsch-positiven Objekte nicht aus dem Erfassungsdatensatz herausgefiltert, ist beispielsweise denkbar, dass ein autonomes Fahrzeug aufgrund eines vermeintlichen Hindernisses eine Notbremsung durchführt, obwohl das Hindernis in der Realität nicht existiert. Dies kann insbesondere zu einer Gefährdung der Fahrzeuginsassen und weiterer Verkehrsteilnehmer führen.The acquisition data set provided by the transit time sensor can contain artifacts in particular. The artefacts can arise, for example, as a result of crosstalk between different reception channels of the transit time sensor. The artefacts can in particular be in the form of false-positive objects. False-positive objects are, in particular, objects that are present in the detection data set, ie are represented by the transit time sensor as detected objects, but which are not present in reality, for example in the area surrounding the vehicle. If such false-positive objects are not filtered out of the acquisition data set, it is conceivable, for example, that an autonomous vehicle performs emergency braking due to a supposed obstacle, although the obstacle does not actually exist. In particular, this can endanger the vehicle occupants and other road users.
Das Rechenmodul ist bevorzugt dazu vorgesehen, eine zeitliche Information einer Objekterfassung, insbesondere einen Zeitstempel einer Aussendung eines Strahlungspulses und/oder einen Zeitstempel eines Empfangens des reflektierten Strahlungspulses, zu berücksichtigen. Vorzugsweise ist das Rechenmodul dazu vorgesehen, den Erfassungsdatensatz, insbesondere durch Berücksichtigung der zeitlichen Information, zu plausibilisieren. Insbesondere weist eine Objekterfassung eines realen Objekts in einem Empfangskanal einen gleichen Zeitstempel auf wie eine Objekterfassung eines entsprechenden falsch-positiven Objekts in einem weiteren Empfangskanal. Insbesondere ist das Rechenmodul dazu vorgesehen, das falsch-positive Objekt anhand der zeitlichen Information zu erkennen. Vorzugsweise ist das Rechenmodul dazu vorgesehen, das als falsch-positiv erkannte Objekt aus dem Erfassungsdatensatz herauszufiltern. Insbesondere ist das Rechenmodul dazu vorgesehen, zumindest einen Datenpunkt entsprechend dem falsch-positiven Objekt aus dem Erfassungsdatensatz zu löschen oder zu ersetzen.The arithmetic module is preferably provided to take into account temporal information of an object detection, in particular a time stamp of a transmission of a radiation pulse and/or a time stamp of a reception of the reflected radiation pulse. The computing module is preferably provided for checking the plausibility of the acquisition data set, in particular by taking the time information into account. In particular, an object detection of a real object in a reception channel has the same time stamp as an object detection of a corresponding false-positive object in a further reception channel. In particular, the computing module is provided to identify the false positive object based on the time information. The arithmetic module is preferably provided for filtering out the object recognized as a false positive from the acquisition data record. In particular, the computing module is provided to delete or replace at least one data point corresponding to the false positive object from the acquisition data set.
Insbesondere kann das Rechenmodul weitere Filtermethoden verwenden. Insbesondere können durch die weiteren Filtermethoden real vorhandene Objekte aus dem Erfassungsdatensatz herausgefiltert werden, insbesondere also falsch-negative Datenpunkte in dem Erfassungsdatensatz erzeugt werden. Werden solche realen Objekte aus dem Erfassungsdatensatz herausgefiltert, ist beispielsweise denkbar, dass ein autonomes Fahrzeug aufgrund eines vermeintlich nicht vorhandenen Hindernisses eine Notbremsung nicht durchführt, obwohl das Hindernis in der Realität existiert und eine Kollision droht. Dies kann insbesondere zu einer Gefährdung der Fahrzeuginsassen und weiterer Verkehrsteilnehmer führen. Das Rechenmodul ist dazu vorgesehen, ein Herausfiltern von realen Objekten aus dem Erfassungsdatensatz bei der Filterung zumindest zu verringern, insbesondere zu vermeiden. Bevorzugt ist das Rechenmodul dazu vorgesehen, die zeitliche Information, insbesondere den Zeitstempel, einer Objekterfassung eines durch eine weitere Filtermethode als falsch-positiv erkannten Objekts mit der zeitlichen Information, insbesondere dem Zeitstempel, einer Objekterfassung des entsprechenden realen Objekts zu vergleichen. Vorzugsweise ist das Rechenmodul dazu vorgesehen, in Abhängigkeit von unterschiedlichen Zeitstempeln der Objekterfassung des vermeintlich falsch-positiven Objekts und des entsprechenden realen Objekts das vermeintlich falsch-positive Objekt als ein reales Objekt zu identifizieren und insbesondere ein Herausfiltern des vermeintlich falsch-positiven Objekts aus dem Erfassungsdatensatz zu unterbinden.In particular, the computing module can use other filter methods. In particular, the further filter methods can be used to filter out objects that are actually present from the acquisition data record, ie in particular false-negative data points can be generated in the acquisition data record. If such real objects are filtered out of the acquisition data set, it is conceivable, for example, that an autonomous vehicle does not carry out an emergency braking operation due to an obstacle that it believes does not exist, although the obstacle actually exists and a collision is imminent. In particular, this can endanger the vehicle occupants and other road users. The arithmetic module is provided to at least reduce, in particular to avoid, a filtering out of real objects from the acquisition data set during the filtering. The computing module is preferably provided to compare the time information, in particular the time stamp, of an object detection of an object recognized as false positive by a further filter method with the time information, in particular the time stamp, of an object detection of the corresponding real object. The arithmetic module is preferably provided for the purpose, depending on different time stamps of the object detection of the supposedly false positive ven object and the corresponding real object to identify the supposedly false-positive object as a real object and in particular to prevent filtering out of the supposedly false-positive object from the acquisition data set.
Durch die erfindungsgemäße Ausgestaltung der Rechenvorrichtung können vorteilhaft falsch-positive und/oder falsch-negative Objekte in einem Erfassungsdatensatz eines Laufzeitsensors zumindest verringert werden. Vorteilhaft kann eine hohe Filterleistung der Rechenvorrichtung ermöglicht werden. Es kann eine Rechenvorrichtung bereitgestellt werden, die eine vorteilhaft hohe Verkehrs- und Insassensicherheit ermöglicht.False-positive and/or false-negative objects in an acquisition data record of a transit time sensor can advantageously be at least reduced by the configuration of the computing device according to the invention. A high filter performance of the computing device can advantageously be made possible. A computing device can be provided which enables an advantageously high level of traffic safety and passenger safety.
Des Weiteren wird vorgeschlagen, dass die Artefakte bei einem Übersprechen zwischen zumindest zwei Empfangskanälen des Laufzeitsensors entstehen. Insbesondere weist der Laufzeitsensor zumindest zwei Empfangskanäle auf, auf denen insbesondere gleichzeitig empfangen wird. Vorzugsweise ist der Laufzeitsensor dazu vorgesehen, auf zumindest zwei Empfangskanälen gleichzeitig, insbesondere synchron, reflektierte Strahlung zu empfangen. Vorzugsweise ist der Laufzeitsensor dazu vorgesehen, auf zumindest zwei Sendekanälen gleichzeitig, insbesondere synchron, Strahlung, insbesondere Strahlungspulse, auszusenden. Beim Übersprechen gelangt insbesondere zumindest ein Teil der in einem Empfangskanal empfangenen Strahlung in einen weiteren Empfangskanal. Dementsprechend weisen insbesondere die Signale in beiden Empfangskanälen gleiche Zeitstempel und Entfernungsinformationen auf. Das Übersprechen kann insbesondere aufgrund unzureichender optischer Trennung der Empfangskanäle voneinander, aufgrund von, insbesondere multipler, Reflexionen der empfangenen Strahlung, beispielsweise in einer Frontscheibe des Laufzeitsensors, o. dgl. auftreten. Vorteilhaft können mittels der Rechenvorrichtung auch Erfassungsdatensätze von Laufzeitsensoren mit suboptimaler Empfangskanaltrennung sinnvoll genutzt werden.Furthermore, it is proposed that the artifacts arise when there is crosstalk between at least two reception channels of the transit time sensor. In particular, the transit time sensor has at least two reception channels, on which reception takes place in particular at the same time. The transit time sensor is preferably provided for receiving reflected radiation on at least two reception channels simultaneously, in particular synchronously. The transit time sensor is preferably provided to emit radiation, in particular radiation pulses, on at least two transmission channels simultaneously, in particular synchronously. In the case of crosstalk, in particular at least part of the radiation received in one receiving channel reaches a further receiving channel. Accordingly, the signals in both receiving channels in particular have the same time stamp and distance information. Crosstalk can occur in particular due to insufficient optical separation of the receiving channels from one another, due to, in particular multiple, reflections of the received radiation, for example in a front pane of the time-of-flight sensor, or the like. Advantageously, the computing device can also be used to make sensible use of acquisition data records from transit time sensors with suboptimal reception channel separation.
Ferner wird vorgeschlagen, dass eine Objekterfassung eines realen Objekts und eine Objekterfassung eines herauszufilternden falsch-positiven Objekts einen gleichen Zeitstempel aufweisen. Vorteilhaft können falsch-positive Objekte anhand der Zeitstempel identifiziert werden.Furthermore, it is proposed that an object detection of a real object and an object detection of a false positive object to be filtered out have the same time stamp. False-positive objects can advantageously be identified using the time stamp.
Weiterhin wird vorgeschlagen, dass das Herausfiltern der realen Objekte aus dem Erfassungsdatensatz bei der Filterung in Abhängigkeit von einer Berücksichtigung einer räumlichen Information, insbesondere einer Entfernungsinformation, einer Objekterfassung erfolgen würde. Insbesondere ist das Rechenmodul dazu vorgesehen, bei der Filterung des Erfassungsdatensatzes die räumliche Information, insbesondere die Entfernungsinformation, der Objekterfassung zu berücksichtigen, um Artefakte, insbesondere falsch-positive Objekte, aus dem Erfassungsdatensatz herauszufiltern. Insbesondere weist die Objekterfassung eines falsch-positiven Objekts eine gleiche Entfernungsinformation auf wie die Objekterfassung eines entsprechenden realen Objekts. Insbesondere wird das falsch-positive Objekt als in der gleichen Entfernung von dem Laufzeitsensor angeordnet wie das reale Objekt erfasst. Das Rechenmodul ist insbesondere dazu vorgesehen, Objekte mit der gleichen Entfernungsinformation wie ein reales Objekt als falsch-positive Objekte zu erkennen und insbesondere aus dem Erfassungsdatensatz herauszufiltern. Es besteht aber insbesondere die Möglichkeit, dass weitere reale Objekte in gleicher Entfernung von dem Laufzeitsensor angeordnet sind wie das reale Objekt. Die weiteren realen Objekte würden insbesondere bei Berücksichtigung ausschließlich der Entfernungsinformation fälschlicherweise aus dem Erfassungsdatensatz herausgefiltert. Durch die zusätzliche Berücksichtigung der zeitlichen Information, insbesondere des Zeitstempels, kann das Rechenmodul das Herausfiltern der weiteren realen Objekte aus dem Erfassungsdatensatz zumindest verringern.Furthermore, it is proposed that the filtering out of the real objects from the detection data set would take place during the filtering depending on spatial information, in particular distance information, of an object detection being taken into account. In particular, the computing module is provided to take into account the spatial information, in particular the distance information, of the object detection when filtering the detection data set in order to filter out artifacts, in particular false-positive objects, from the detection data set. In particular, the object detection of a false positive object has the same distance information as the object detection of a corresponding real object. In particular, the false positive object is detected as being located at the same distance from the time-of-flight sensor as the real object. The computing module is intended in particular to identify objects with the same distance information as a real object as false-positive objects and in particular to filter them out of the acquisition data set. In particular, however, there is the possibility that further real objects are arranged at the same distance from the transit time sensor as the real object. The other real objects would be incorrectly filtered out of the acquisition data set, particularly if only the distance information was taken into account. By additionally taking into account the temporal information, in particular the time stamp, the computing module can at least reduce the filtering out of the other real objects from the acquisition data record.
Des Weiteren wird vorgeschlagen, dass das Rechenmodul dazu vorgesehen ist, bei der Filterung des Erfassungsdatensatzes die räumliche Information, insbesondere die Entfernungsinformation, und die zeitliche Information, insbesondere den Zeitstempel, zu berücksichtigen, um Artefakte, insbesondere falsch-positive Objekte, aus dem Erfassungsdatensatz herauszufiltern. Vorteilhaft kann eine Filterleistung hinsichtlich falsch-positiver Objekte durch die zusätzliche Berücksichtigung der zeitlichen Information, insbesondere des Zeitstempels, im Vergleich zur Berücksichtigung lediglich der räumlichen Information, insbesondere der Entfernungsinformation, verbessert werden. Vorteilhaft kann eine Filterleistung hinsichtlich einer Verhinderung von falsch-negativen Datenpunkten durch die zusätzliche Berücksichtigung der zeitlichen Information, insbesondere des Zeitstempels, im Vergleich zur Berücksichtigung lediglich der räumlichen Information, insbesondere der Entfernungsinformation, verbessert werden.Furthermore, it is proposed that the computing module is provided to take into account the spatial information, in particular the distance information, and the temporal information, in particular the time stamp, when filtering the acquisition data set, in order to filter out artifacts, in particular false-positive objects, from the acquisition data set . A filter performance with regard to false-positive objects can advantageously be improved by additionally taking into account the temporal information, in particular the time stamp, compared to taking into account only the spatial information, in particular the distance information. A filter performance can advantageously be improved in terms of preventing false-negative data points by additionally taking into account the temporal information, in particular the time stamp, compared to taking into account only the spatial information, in particular the distance information.
Ferner wird ein Laufzeitsensor, insbesondere ein Lidarsensor, vorgeschlagen. Der Laufzeitsensor umfasst zumindest eine erfindungsgemäße Rechenvorrichtung. Die Rechenvorrichtung kann beispielsweise in einem Gehäuse des Laufzeitsensors integriert sein, zumindest teilweise eine Steuereinheit des Laufzeitsensors ausbilden o. dgl. Vorteilhaft kann ein Laufzeitsensor mit einer hohen Filterleistung bereitgestellt werden. Es kann ein Laufzeitsensor mit einer suboptimalen Empfangskanaltrennung, der beispielsweise vorteilhaft kompakt und/oder kostengünstig ausgebildet ist, bereitgestellt werden, der dennoch eine vorteilhaft hohe Verkehrs- und Insassensicherheit ermöglicht.A transit time sensor, in particular a lidar sensor, is also proposed. The transit time sensor comprises at least one computing device according to the invention. The computing device can be integrated, for example, in a housing of the transit time sensor, at least partially form a control unit of the transit time sensor, or the like. A transit time sensor with a high filter performance can advantageously be provided. It can be a time-of-flight sensor with sub-optimal receive channel separation For example, is advantageously formed compact and / or inexpensive, can be provided, which nevertheless allows an advantageously high level of traffic and occupant safety.
Weiterhin wird ein automatisiert betreibbares Fahrzeug vorgeschlagen. Das automatisiert betreibbare Fahrzeug umfasst zumindest eine erfindungsgemäße Rechenvorrichtung und/oder zumindest einen erfindungsgemäßen Laufzeitsensor. Insbesondere kann das automatisiert betreibbare Fahrzeug eine Mehrzahl von Laufzeitsensoren und/oder Rechenvorrichtungen umfassen. Unter einem „automatisiert betreibbaren Fahrzeug“ soll insbesondere ein Fahrzeug mit einer der Automatisierungsstufen 1 bis 5 der Norm SAE J3016 verstanden werden. Insbesondere weist das automatisiert betreibbare Fahrzeug eine technische Ausrüstung auf, die für diese Automatisierungsstufen gefordert ist. Die technische Ausrüstung umfasst insbesondere Umfelderkennungssensoren, wie beispielsweise zumindest einen erfindungsgemäßen Laufzeitsensor, Radarsensoren, Lidarsensoren, Kameras und/oder Akustik-Sensoren, Steuergeräte o. dgl. Bevorzugt ist das automatisiert betreibbare Fahrzeug als ein Landfahrzeug ausgebildet. Das automatisiert betreibbare Fahrzeug kann insbesondere als ein PKW, bevorzugt als ein Personentransportfahrzeug, als ein LKW, als ein Baustellenfahrzeug, als ein Agrarfahrzeug oder als ein anderes, einem Fachmann als sinnvoll erscheinendes Fahrzeug ausgebildet sein. Das automatisiert betreibbare Fahrzeug kann alternativ auch als ein Luftfahrzeug, beispielsweise als eine Drohne, als ein Flugzeug, als ein Helikopter, als ein Senkrechtstart- und -landungsflugzeug o. dgl., oder als ein Wasserfahrzeug, beispielsweise als ein Schiff, ausgebildet sein. Es kann ein vorteilhaft verkehrs- und insassensicheres automatisiert betreibbares Fahrzeug bereitgestellt werden.Furthermore, a vehicle that can be operated automatically is proposed. The vehicle that can be operated automatically comprises at least one computing device according to the invention and/or at least one runtime sensor according to the invention. In particular, the vehicle that can be operated automatically can comprise a plurality of transit time sensors and/or computing devices. A “vehicle that can be operated automatically” is to be understood in particular as a vehicle with one of the
Zudem wird ein computerimplementiertes Verfahren vorgeschlagen. Bei einer Filterung zumindest eines Erfassungsdatensatzes zumindest eines, insbesondere des vorgenannten, Laufzeitsensors wird zumindest eine zeitliche Information, insbesondere ein Zeitstempel, einer Objekterfassung berücksichtigt, um Artefakte, insbesondere falsch-positive Objekte, aus dem Erfassungsdatensatz herauszufiltern. Vorzugsweise wird das computerimplementierte Verfahren von der Rechenvorrichtung, insbesondere von dem Rechenmodul, ausgeführt. Vorteilhaft kann ein computerimplementiertes Verfahren bereitgestellt werden, das eine hohe Insassen- und Verkehrssicherheit ermöglicht.A computer-implemented method is also proposed. When filtering at least one acquisition data set of at least one, in particular the aforementioned, transit time sensor, at least one piece of temporal information, in particular a time stamp, of an object acquisition is taken into account in order to filter out artifacts, in particular false-positive objects, from the acquisition data set. The computer-implemented method is preferably executed by the computing device, in particular by the computing module. A computer-implemented method can advantageously be provided, which enables a high level of occupant and traffic safety.
Des Weiteren wird ein Computerprogrammprodukt vorgeschlagen. Das Computerprogrammprodukt umfasst Ausführungsbefehle, die bei der Ausführung des Programms durch eine erfindungsgemäße Rechenvorrichtung diese veranlassen, ein erfindungsgemäßes Verfahren auszuführen. Vorteilhaft kann ein Computerprogrammprodukt bereitgestellt werden, das eine hohe Insassen- und Verkehrssicherheit ermöglicht.Furthermore, a computer program product is proposed. The computer program product comprises execution instructions which, when the program is executed by a computing device according to the invention, cause the latter to carry out a method according to the invention. A computer program product can advantageously be provided which enables a high level of occupant and traffic safety.
Die Erfindung wird an einem Ausführungsbeispiel in den folgenden Figuren verdeutlicht. Es zeigen:
-
1 ein erfindungsgemäßes automatisiert betreibbares Fahrzeug in einer schematischen Darstellung, -
2 einen erfindungsgemäßen Laufzeitsensor des erfindungsgemäßen automatisiert betreibbaren Fahrzeugs aus1 in einer schematischen Darstellung, -
3 eine erfindungsgemäße Rechenvorrichtung des erfindungsgemäßen Laufzeitsensors aus2 in einer schematischen Darstellung und -
4 ein Ablaufdiagramm eines erfindungsgemäßen computerimplementierten Verfahrens in einer schematischen Darstellung.
-
1 an automated vehicle according to the invention in a schematic representation, -
2 a runtime sensor according to the invention of the vehicle according to the invention that can be operated automatically1 in a schematic representation, -
3 a computing device according to the invention of the runtime sensor according to theinvention 2 in a schematic representation and -
4 a flowchart of a computer-implemented method according to the invention in a schematic representation.
In
Der Laufzeitsensor 2 umfasst eine Empfangseinheit 8, um von den realen Objekten 5, 6 reflektierte Strahlung zu erfassen. Die Empfangseinheit 8 ist dazu vorgesehen, in Abhängigkeit von der erfassten reflektierten Strahlung den Erfassungsdatensatz zu generieren. Der Erfassungsdatensatz ist als eine Punktwolke ausgebildet. Im vorliegenden Ausführungsbeispiel ist die Empfangseinheit 8 beispielhaft als eine kombinierte Sende- und Empfangseinheit ausgebildet. Der Laufzeitsensor 2, insbesondere die Empfangseinheit 8, weist eine Ausgabeschnittstelle 9 auf, um der Rechenvorrichtung 1 den Erfassungsdatensatz bereitzustellen. Die Rechenvorrichtung 1 weist eine Eingangsschnittstelle 10 zu einem Empfang des Erfassungsdatensatzes von dem Laufzeitsensor 2, insbesondere von der Ausgabeschnittstelle 9 des Laufzeitsensors 2, auf. Der Laufzeitsensor 2 und die Rechenvorrichtung 1 sind über die Ausgabeschnittstelle 9 des Laufzeitsensors 2 und die Eingangsschnittstelle 10 der Rechenvorrichtung 1 datenübertragungstechnisch verbunden. Die Eingangsschnittstelle 10 ist dazu vorgesehen, den Erfassungsdatensatz dem Rechenmodul 3 bereitzustellen. Die Rechenvorrichtung 1 weist eine Ausgabeschnittstelle 11 auf, um den von dem Rechenmodul 3 verarbeiteten, insbesondere gefilterten, Erfassungsdatensatz auszugeben, beispielsweise an ein zentrales Steuergerät des Fahrzeugs 7 (hier nicht dargestellt).The
Das Rechenmodul 3 ist dazu vorgesehen, das falsch-positive Objekt 4 anhand der zeitlichen Information zu erkennen. Das Rechenmodul 3 ist dazu vorgesehen, das als falsch-positiv erkannte Objekt 4 aus dem Erfassungsdatensatz herauszufiltern. Das Rechenmodul 3 ist dazu vorgesehen, zumindest einen Datenpunkt entsprechend dem falsch-positiven Objekt 4 aus dem Erfassungsdatensatz zu löschen oder zu ersetzen.The
Das Herausfiltern der realen Objekte 5, 6 aus dem Erfassungsdatensatz bei der Filterung würde in Abhängigkeit von einer Berücksichtigung der räumlichen Information, insbesondere der Entfernungsinformation, der Objekterfassung erfolgen. Das Rechenmodul 3 ist dazu vorgesehen, bei der Filterung des Erfassungsdatensatzes die räumliche Information, insbesondere die Entfernungsinformation, der Objekterfassung zu berücksichtigen, um Artefakte, insbesondere falsch-positive Objekte 4, aus dem Erfassungsdatensatz herauszufiltern. Die Objekterfassung des falsch-positiven Objekts 4 weist die gleiche Entfernungsinformation auf wie die Objekterfassung des entsprechenden realen Objekts 5. Das falsch-positive Objekt 4 wird als in der gleichen Entfernung von dem Laufzeitsensor 7 angeordnet wie das reale Objekt 5 erfasst. Das Rechenmodul 3 ist dazu vorgesehen, Objekte 4, 6 mit der gleichen Entfernungsinformation wie ein reales Objekt 5 als falsch-positive Objekte 4 zu erkennen und insbesondere aus dem Erfassungsdatensatz herauszufiltern. Es besteht aber insbesondere die Möglichkeit, dass weitere reale Objekte 6 in gleicher Entfernung von dem Laufzeitsensor 7 angeordnet sind wie das reale Objekt 5. Im vorliegenden Ausführungsbeispiel würde beispielhaft das weitere reale Objekt 6 bei Berücksichtigung ausschließlich der Entfernungsinformation fälschlicherweise aus dem Erfassungsdatensatz herausgefiltert. Durch die zusätzliche Berücksichtigung der zeitlichen Information, insbesondere des Zeitstempels, kann das Rechenmodul 3 das Herausfiltern von weiteren realen Objekten 6 aus dem Erfassungsdatensatz zumindest verringern.The filtering out of the
Das Rechenmodul 3 ist dazu vorgesehen, bei der Filterung des Erfassungsdatensatzes die räumliche Information, insbesondere die Entfernungsinformation, und die zeitliche Information, insbesondere den Zeitstempel, zu berücksichtigen, um Artefakte, insbesondere falsch-positive Objekte, aus dem Erfassungsdatensatz herauszufiltern.The
Das Rechenmodul 3 ist dazu vorgesehen, die zeitliche Information, insbesondere den Zeitstempel, der Objekterfassung des im vorliegenden Ausführungsbeispiel beispielhaft durch die Berücksichtigung der räumlichen Information als falsch-positiv erkannten Objekts 6 mit der zeitlichen Information, insbesondere dem Zeitstempel, einer Objekterfassung des entsprechenden realen Objekts 5 zu vergleichen. Das Rechenmodul 3 ist dazu vorgesehen, in Abhängigkeit von unterschiedlichen Zeitstempeln der Objekterfassung des vermeintlich falsch-positiven Objekts 6 und des entsprechenden realen Objekts 5 das vermeintlich falsch-positive Objekt 6 als ein weiteres reales Objekt 6 zu identifizieren und insbesondere ein Herausfiltern des vermeintlich falsch-positiven Objekts 6 aus dem Erfassungsdatensatz zu unterbinden.The
Ein Computerprogrammprodukt umfasst Ausführungsbefehle, die bei der Ausführung des Programms durch die Rechenvorrichtung 1 diese veranlassen, das Verfahren auszuführen.A computer program product comprises execution instructions which, when the program is executed by the
Bezugszeichenlistereference list
- 11
- Rechenvorrichtungcomputing device
- 22
- Laufzeitsensorruntime sensor
- 33
- Rechenmodulcalculation module
- 44
- falsch-positives Objektfalse positive object
- 55
- reales Objektreal object
- 66
- reales Objektreal object
- 77
- Fahrzeugvehicle
- 88th
- Empfangseinheitreceiving unit
- 99
- Ausgabeschnittstelleoutput interface
- 1010
- Eingangsschnittstelleinput interface
- 1111
- Ausgabeschnittstelleoutput interface
- 1212
- Verfahrensschrittprocess step
- 1313
- Verfahrensschrittprocess step
- 1414
- Verfahrensschrittprocess step
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021207192.9A DE102021207192A1 (en) | 2021-07-08 | 2021-07-08 | Computing device for a time-of-flight sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021207192.9A DE102021207192A1 (en) | 2021-07-08 | 2021-07-08 | Computing device for a time-of-flight sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021207192A1 true DE102021207192A1 (en) | 2023-01-12 |
Family
ID=84534309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021207192.9A Pending DE102021207192A1 (en) | 2021-07-08 | 2021-07-08 | Computing device for a time-of-flight sensor |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021207192A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018201849A1 (en) | 2018-02-07 | 2019-08-08 | Continental Automotive Gmbh | Method for reducing the error rate in an object recognition system |
DE102020203829A1 (en) | 2020-03-25 | 2021-09-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Method for monitoring a vehicle system for recognizing the surroundings of a vehicle |
-
2021
- 2021-07-08 DE DE102021207192.9A patent/DE102021207192A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018201849A1 (en) | 2018-02-07 | 2019-08-08 | Continental Automotive Gmbh | Method for reducing the error rate in an object recognition system |
DE102020203829A1 (en) | 2020-03-25 | 2021-09-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Method for monitoring a vehicle system for recognizing the surroundings of a vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102015109832A1 (en) | Object classification for vehicle radar systems | |
DE102006038151A1 (en) | Method and device for controlling personal protective equipment | |
DE102017208718A1 (en) | Method of detecting objects in an image of a camera | |
DE102020212799A1 (en) | PERFORMING OBJECT AND ACTIVITY DETECTION BASED ON DATA FROM A CAMERA AND A RADAR SENSOR | |
DE102019115665A1 (en) | OPTIMIZATION OF DEEP NEURONAL NETWORKS, WITH THE PRINCIPLE | |
DE102017207442A1 (en) | Method and device for classifying objects in the environment of a motor vehicle | |
DE102020206755A1 (en) | REDUNDANCY INFORMATION FOR OBJECT INTERFACE FOR HIGHLY AND FULLY AUTOMATED DRIVING | |
EP3904833A1 (en) | Device and method for evaluating signals from sensors for trajectory control and / or control of an automated vehicle | |
DE102017108255A1 (en) | PARALLEL DETECTION OF PRIMITIVES IN A SCENE USING A ROUNDUM CAMERA SYSTEM | |
DE102019202634B3 (en) | Method, control device for an automated road vehicle, computer program product for recognizing objects in road traffic and automated road vehicle for mobility services | |
EP4003823B1 (en) | Method for initializing a motor vehicle | |
DE102019202302B3 (en) | Method, control device and computer program product for determining a head orientation and / or position of a vehicle occupant | |
DE102018128583A1 (en) | VEHICLE RADAR CONTROL | |
DE102021207192A1 (en) | Computing device for a time-of-flight sensor | |
WO2020169386A1 (en) | Method and computer program product for adapting the resolution of a multisensor system of a road vehicle, and controller for a multisensor system and computer program product | |
EP2966576B1 (en) | System for monitoring surroundings and method for operating a system for monitoring surroundings | |
DE102021207194A1 (en) | runtime sensor | |
DE102020216304B4 (en) | Computing device for a vehicle | |
DE102020128461A1 (en) | System and method for detecting the surroundings of a vehicle | |
DE102022207684A1 (en) | Computing device for an automated vehicle | |
DE102022200046A1 (en) | Computing device for a radar sensor | |
DE102019217257A1 (en) | Method, device and computer program for releasing a sensor system for detecting objects in the surroundings of a vehicle | |
DE102019135431A1 (en) | Use of an external vehicle display for vehicle communication | |
DE102020216303A1 (en) | Computing device for a vehicle | |
DE102020216310A1 (en) | Procedure for commissioning a multi-sensor network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G01S0013020000 Ipc: G01S0007020000 |
|
R163 | Identified publications notified |