EP4588023A1 - Verfahren und vorrichtung zum erkennen einer linie in einem kamerabild für eine maschine oder ein übermittlungssystem und erkennsystem für eine maschine oder ein übermittlungssystem - Google Patents

Verfahren und vorrichtung zum erkennen einer linie in einem kamerabild für eine maschine oder ein übermittlungssystem und erkennsystem für eine maschine oder ein übermittlungssystem

Info

Publication number
EP4588023A1
EP4588023A1 EP23764603.9A EP23764603A EP4588023A1 EP 4588023 A1 EP4588023 A1 EP 4588023A1 EP 23764603 A EP23764603 A EP 23764603A EP 4588023 A1 EP4588023 A1 EP 4588023A1
Authority
EP
European Patent Office
Prior art keywords
line
regression
camera
point
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23764603.9A
Other languages
English (en)
French (fr)
Inventor
Joel Janai
Thomas Wenzel
Tamas Kapelner
Azhar Sultan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4588023A1 publication Critical patent/EP4588023A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes

Definitions

  • Driving assistance systems for example, use lane detection for a lane assistant.
  • the approach presented here provides a method for recognizing a line in a camera image for a machine or a transmission system, a device that uses this method, a corresponding computer program and finally a recognition system for a machine or a transmission system according to the main claims presented.
  • the measures listed in the dependent claims make advantageous developments and improvements to the method specified in the independent claim possible.
  • a method for recognizing a line in a camera image for a machine or a transmission system has a reading step, a recognizing step and a generating step.
  • a camera signal is read from an interface to a camera, the camera signal representing the camera image of the camera.
  • the presence of the line in the camera image is recognized using at least one anchor, according to one embodiment using multiple anchors, each with at least one base anchor point.
  • the anchor or anchors can have a template or a pattern that is searched for in the camera image. For example, different anchors can be used to recognize different lines in the camera image.
  • the line regression can be created, which compensates for an offset, also called “offset”.
  • the line regression can be generated if the base anchor point was detected in a cell center of a cell of the grid and/or on a line.
  • the line regression can be generated, with the first regression point being displaced relative to the base anchor point on an x-axis and the first further regression point being displaced relative to the first regression point on the x-axis and perpendicular to the x-axis y-axis was created offset, and the following further regression point was created offset relative to the previously generated regression point on the x-axis and the y-axis in order to recognize the line.
  • line regression which can also be called “regression representation,” in lane detection by predicting the offsets/deviation of each point along the line/lane relative to the previous point rather than relative to the anchor. This advantageously leads to a particularly uniform prediction of the line.
  • the prediction describes the offset in the image coordinates that must be applied to the anchor to fit the line into the image.
  • the approach presented here also creates a device that is designed to carry out, control or implement the steps of a variant of a method presented here in corresponding devices.
  • This embodiment variant of the approach in the form of a device can also solve the task on which the approach is based quickly and efficiently.
  • the communication interface can be designed to read in data wirelessly and/or by wire output, wherein a communication interface that can read or output wired data can, for example, read this data electrically or optically from a corresponding data transmission line or output it into a corresponding data transmission line.
  • a recognition system for a machine or a transmission system has the device described above and a camera for providing the camera signal.
  • a recognition system can serve as a comprehensive system for the automated recognition of lines such as lanes, and thanks to the device, lines such as lanes can be predicted particularly uniformly.
  • the detection system can be part of a driving assistance system for a vehicle. Exemplary embodiments of the approach presented here are shown in the drawings and explained in more detail in the following description. It shows:
  • FIG. 1 shows a schematic representation of a machine with a device according to an exemplary embodiment for recognizing a line in a camera image
  • FIG. 2 shows a schematic representation of a line regression that was generated using a generating device of a device according to an exemplary embodiment
  • FIG. 3 shows a schematic representation of a camera image for use with a device according to an exemplary embodiment
  • FIG. 1 shows a schematic representation of a machine 100 with a device 105 according to an exemplary embodiment for recognizing a line 110 in a camera image.
  • the device 105 is arranged on or in the machine 100, which is here designed as a vehicle by way of example.
  • the device 105 is implemented in a control unit of the machine 100.
  • the machine 100 also has a camera 120, which is used here, for example, as an environment detection camera for detecting an environment of the machine 100 is formed.
  • the device 105 can be used with a transmission system.
  • the device 105 has a reading interface 125, a recognition device 130 and a generating device 135.
  • the read-in interface 125 is designed to read in a camera signal 140 from an interface to the camera 120, the camera signal 140 representing the camera image of the camera 120.
  • the detection device 130 is designed to detect the presence of the line 110 in the camera image using an anchor 145 with at least one base anchor point 150.
  • the generating device 135 is designed to generate a line regression 155 of the line 110 using at least the base anchor point 150, the line regression 155 having a first regression point that has been shifted relative to the base anchor point and a second regression point that has been moved relative to the first regression point was generated, and corresponding to the second regression point has at least one further regression point that was generated relative to a previously generated regression point in order to recognize the line 110.
  • a more detailed representation of line regression 155 is shown in Figure 2.
  • the camera 120 is designed as a vehicle camera, for example a vehicle camera of an environment detection system of the vehicle.
  • the anchor 145 includes a template or a pattern, which is searched for in the camera image by the recognition device 130 in order to recognize the line 110.
  • the generating device 135 is designed according to this exemplary embodiment to generate the line regression 155, which compensates for an offset, also called “offset”.
  • the device 105 presented here enables line regression 155, which can also be referred to as “regression representation”, in lane detection by determining the offsets/deviations of each point along the line 110, which is a lane according to this exemplary embodiment, relative to the previous point and not can be predicted relative to the anchor 145.
  • the recognition device 130 is designed to recognize the line 110 in an edge region of the camera image and/or in a cell of the camera image divided into a plurality of cells using the anchor 145, see also FIG. 3.
  • the recognition device 130 is designed to recognize the line 110 in the camera image when at least the base anchor point 150 of the anchor 145 runs through the line 110. Or, according to an exemplary embodiment, the recognition device 130 is designed to recognize the line 110 in the camera image if only the base anchor point 150 runs through the line 110 or runs close to the line 110. According to one exemplary embodiment, an anchorless method is used to recognize the line 110, in which only the base anchor point 150 is necessary as the anchor 145. According to an alternative embodiment, the detection device 130 is designed to detect the line 110 in the camera image when the entire anchor runs through the line 110 or in the vicinity of the line 110. According to another exemplary embodiment, an anchor-based method is used to recognize the line 110. The entire anchor 145 is to be understood as an anchor 145 that has more than the base anchor point 150, for example a linear anchor. “Nearby” means a deviation of, for example, a maximum of 5 millimeters.
  • the device 105 presented here can also be referred to as a recognition system 175.
  • the detection system 175 is part of a driving assistance system 180 of the vehicle.
  • the device 105 presented here enables delta regression/feedback for lane detection.
  • anchors i.e. H. So-called “prior boxes” are used as prototypes for recognition. In this context, the detectors predict displacements/offsets of the boxes relative to the respective anchors.
  • the detection of lanes is a special case of object detection, in which the objects are not marked by boxes, but by lines. Therefore, in addition to traditional instance segmentation methods, anchor-based object detection methods are also used.
  • the device 105 presented here modifies the regression representation of the lane detection task by predicting the offsets/deviation of each point along the lane relative to the previous point rather than relative to the anchor 145.
  • the approach presented here can be formulated as both an anchor-based and an anchorless method. In both cases, only the base anchor point 150 of the anchor 145 is used (cell centers), the difference lies only in the adjustment step.
  • the device 105 presented here operates on data of the following types, which, according to one embodiment, are obtained by receiving digital images and/or videos, to calculate the control signal 165 for controlling a physical system, such as: B. a computer-controlled machine 100, such as. B. a robot, a vehicle, a household appliance, a power tool, a manufacturing machine, a personal assistant or an access control system, or a system for transmitting information, such as B. a monitoring system or a medical, for example imaging, system.
  • a computer-controlled machine 100 such as. B. a robot, a vehicle, a household appliance, a power tool, a manufacturing machine, a personal assistant or an access control system, or a system for transmitting information, such as B. a monitoring system or a medical, for example imaging, system.
  • the device 105 does this by detecting the presence of objects in the sensor data, particularly lanes or other types of line-based road markings.
  • the device 105 works with images, so there must be an image capture in the form of the camera image that serves as input for the approach presented here.
  • FIG. 2 shows a schematic representation of a line regression 155 that was generated using a generating device of a device according to an exemplary embodiment. This can be the device described in FIG. 1.
  • the line regression 155 has the first regression point 200 moved relative to the base anchor point 150 of the anchor. Starting from the first regression point 200, further regression points 210 were generated, each relative to a directly previously generated regression point 200, 210.
  • the generating device is designed to generate the line regression 155, the first regression point 200 being relative to the base anchor point 150 was shifted on an x-axis, the first further regression point 210 was generated shifted relative to the previously generated first regression point 200 on the x-axis and the y-axis, and the subsequent further regression points 210 relative to the previously generated further regression point 210 were generated shifted on the x-axis and the y-axis to recognize the line 110.
  • an anchorless method can be implemented in which only the base anchor points 150 are used for both the line regression 155 and for the classification. That is, a line 110 in the form of a ground truth line matches an anchor when it passes through or near its base anchor point 150, and there is no “match” of an anchor line to a ground truth line, or
  • a network predicts for each cell 310, 311, 312 whether there is a line 110 in the cell 310, 311, 312 that is similar to an anchor 145 assigned to the respective cell 310, 311, 312.
  • the grid 305 comprises eight uniformly sized cells 310, 311, 312 arranged one above the other along the edge of second opposite image sides of the camera image 300.
  • the grid 305 has twelve uniformly sized cells arranged adjacently Cells 310, 311, 312. Cells 310 stand for a positive prediction of a line 110, cells 311 for a negative prediction and cells 312 for a borderline case.
  • FIG. 4 shows a flowchart of a method 400 according to an exemplary embodiment for recognizing a line in a camera image for a machine or a transmission system. This can be a method 400 that can be carried out by one of the devices described with reference to the previous figures.
  • the method 400 further comprises a step 420 of outputting.
  • step 420 of outputting a control signal for controlling a function of the machine, in particular a vehicle, or the transmission system is output using line regression.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Der hier vorgestellte Ansatz betrifft ein Verfahren zum Erkennen einer Linie (110) in einem Kamerabild für eine Maschine (100). Das Verfahren weist einen Schritt des Einlesens, einen Schritt des Erkennens und einen Schritt des Erzeugens auf. Im Schritt des Einlesens wird ein Kamerasignal (140) von einer Schnittstelle zu einer Kamera (120) eingelesen, wobei das Kamerasignal (140) das Kamerabild der Kamera (120) repräsentiert. Im Schritt des Erkennens wird ein Vorhandensein der Linie (110) in dem Kamerabild unter Verwendung zumindest eines Ankers (145) mit zumindest einem Basisankerpunkt (150) erkannt. Im Schritt des Erzeugens wird eine Linienregression (155) der Linie (110) unter Verwendung zumindest des Basisankerpunkts (150) erzeugt, wobei die Linienregression (155) einen ersten Regressionspunkt aufweist, der relativ zu dem Basisankerpunkt (150) verschoben wurde und zumindest einen weiteren Regressionspunkt aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie (110) zu erkennen.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem und Erkennsystem für eine Maschine oder ein Übermittlungssystem
Stand der Technik
Der Ansatz geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
Fahrassistenzsysteme nutzen beispielsweise für einen Fahrspurassistenten eine Fahrspurerkennung.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, ein entsprechendes Computerprogramm sowie schließlich ein Erkennsystem für eine Maschine oder ein Übermittlungssystem gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Verfahrens möglich.
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass eine besonders gleichmäßige Vorhersage einer Linie ermöglicht wird. Es wird ein Verfahren zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem vorgestellt. Das Verfahren weist einen Schritt des Einlesens, einen Schritt des Erkennens und einen Schritt des Erzeugens auf. Im Schritt des Einlesens wird ein Kamerasignal von einer Schnittstelle zu einer Kamera eingelesen, wobei das Kamerasignal das Kamerabild der Kamera repräsentiert. Im Schritt des Erkennens wird ein Vorhandensein der Linie in dem Kamerabild unter Verwendung zumindest eines Ankers, gemäß einer Ausführungsform unter Verwendung von mehreren Ankern mit jeweils zumindest einem Basisankerpunkt erkannt. Im Schritt des Erzeugens wird eine Linienregression der Linie unter Verwendung zumindest des Basisankerpunkts erzeugt, wobei die Linienregression einen ersten Regressionspunkt aufweist, der relativ zu dem Basisankerpunkt verschoben wurde und zumindest einen weiteren Regressionspunkt aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie zu erkennen.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Die Maschine kann eine vollständig oder teilweise computergesteuerte Maschine sein, beispielsweise ein Fahrzeug. Das Übermittlungssystem kann ein System zur Übermittlung von Informationen, wie z. B. ein Überwachungssystem oder ein medizinisches, beispielsweise bildgebendes, System sein. Die Kamera kann eine Fahrzeugkamera, beispielsweise eine Fahrzeugkamera eines Umfelderfassungssystems des Fahrzeugs sein. Im Schritt des Erkennens kann beispielsweise ein Gitter über das Kamerabild gelegt werden, und das Vorhandensein der Linie erkannt werden, wenn in zumindest einer Zelle des Gitters die Linie erkannt wird. Im Schritt des Erkennens kann beispielsweise ein Klassifizieren eines erkannten Objekts durchgeführt werden, um die Linie zu erkennen, beispielsweise unter Verwendung eines Merkmalsextraktors. Die Linie kann eine Fahrbahnmarkierung oder eine Kante eines Objekts repräsentieren. Beispielsweise kann die Linie einen Teil einer Fahrspur repräsentieren. Der oder die Anker können eine Vorlage oder ein Muster aufweisen, nach welchem in dem Kamerabild gesucht wird. Beispielsweise können unterschiedliche Anker verwendet werden, um unterschiedliche Linien im Kamerabild zu erkennen. Im Schritt des Erzeugens kann die Linienregression erzeugt werden, die einen Versatz, auch „Offset“ genannt, ausgleicht. Beispielsweise kann im Schritt des Erzeugens die Linienregression erzeugt werden, wenn der Basisankerpunkt in einer Zellmitte einer Zelle des Gitters und/oder auf einer Linie erkannt wurde. Beispielsweise kann im Schritt des Erzeugens die Linienregression erzeugt werden, wobei der erste Regressionspunkt relativ zu dem Basisankerpunkt auf einer x-Achse verschoben wurde und der erste weitere Regressionspunkt relativ zu dem ersten Regressionspunkt auf der x-Achse und einer senkrecht zu der x- Achse verlaufenden y-Achse verschoben erzeugt wurde, und folgende weitere Regressionspunkt relativ zu dem jeweils zuvor erzeugten Regressionspunkt auf der x-Achse und der y-Achse verschoben erzeugt wurde, um die Linie zu erkennen. Ein solches Verfahren ermöglicht die Linienregression, die auch als „Regressionsdarstellung“ bezeichnet werden kann, bei der Fahrspurerkennung, indem es die Offsets/Abweichung jedes Punktes entlang der Linie/Fahrspur relativ zum vorherigen Punkt und nicht relativ zum Anker vorhersagt. Dies führt vorteilhafterweise zu einer besonders gleichmäßigen Vorhersage der Linie. Die Vorhersage beschreibt den Versatz in den Bildkoordinaten, der auf den Anker angewendet werden muss, um die Linie in das Bild einzupassen.
Das Verfahren kann ferner einen Schritt des Ausgebens aufweisen, in dem unter Verwendung der Linienregression ein Steuersignal zum Ansteuern einer Funktion der Maschine, insbesondere eines Fahrzeugs, oder des Übermittlungssystems ausgegeben wird. So kann unter Verwendung der Linienregression, welche einen Verlauf der Linie beispielsweise in Form einer Fahrspur Vorhersagen kann, ein Fahrzeug gesteuert werden, beispielsweise, um das Fahrzeug innerhalb der Fahrspur zu halten.
Gemäß einer Ausführungsform kann im Schritt des Erkennens die Linie in einem Randbereich des Kamerabilds unter Verwendung des zumindest einen Ankers und/oder in einer Zelle des in eine Vielzahl von Zellen eingeteilten Kamerabilds unter Verwendung des Ankers der jeweiligen Zelle erkannt werden. Beispielsweise kann im Schritt des Erkennens die Linie in einer Zellmitte der Zelle erkannt werden. So kann schnell und einfach der Randbereich des Kamerabilds in einzelnen Zellen nach Linien abgesucht werden. Es ist weiterhin von Vorteil, wenn gemäß einer Ausführungsform im Schritt des Erkennens die Linie in dem Kamerabild erkannt wird, wenn zumindest der Basisankerpunkt des Ankers durch die Linie verläuft. Im Schritt des Erkennens kann die Linie in dem Kamerabild aber auch erkannt werden, wenn nur der Basisankerpunkt durch die Linie verläuft oder in der Nähe der Linie verläuft. So kann zum Erkennen der Linie eine ankerlose Methode eingesetzt werden, bei der als Anker lediglich der Basisankerpunkt notwendig ist.
Alternativ kann im Schritt des Erkennens die Linie in dem Kamerabild erkannt werden, wenn der gesamte Anker durch die Linie oder in der Nähe der Linie verläuft. So kann eine ankerbasierte Methode zum Erkennen der Linie dienen. Als gesamter Anker ist ein Anker zu verstehen, der mehr als einen Basisankerpunkt aufweist, beispielsweise ein linienförmiger Anker.
Als „in der Nähe“ ist beispielsweise eine Abweichung von wenigen Pixeln verstanden werden.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ein Erkennsystem für eine Maschine oder ein Übermittlungssystem weist die vorangehend beschriebene Vorrichtung und eine Kamera zum Bereitstellen des Kamerasignals auf. Ein solches Erkennsystem kann als vollumfängliches System zum automatisierten Erkennen von Linien wie Fahrspuren dienen, wobei dank der Vorrichtung Linien wie Fahrspuren besonders gleichmäßig vorhergesagt werden können. Das Erkennsystem kann Teil eines Fahrassistenzsystems für ein Fahrzeug sein. Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 eine schematische Darstellung einer Maschine mit einer Vorrichtung gemäß einem Ausführungsbeispiel zum Erkennen einer Linie in einem Kamerabild;
Fig. 2 eine schematische Darstellung einer Linienregression, die unter Verwendung einer Erzeugungseinrichtung einer Vorrichtung gemäß einem Ausführungsbeispiel erzeugt wurde;
Fig. 3 eine schematische Darstellung eines Kamerabilds zur Verwendung mit einer Vorrichtung gemäß einem Ausführungsbeispiel; und
Fig. 4 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt eine schematische Darstellung einer Maschine 100 mit einer Vorrichtung 105 gemäß einem Ausführungsbeispiel zum Erkennen einer Linie 110 in einem Kamerabild.
Lediglich beispielhaft ist die Vorrichtung 105 gemäß diesem Ausführungsbeispiel an oder in der Maschine 100 angeordnet, die hier beispielhaft als ein Fahrzeug ausgeformt ist. Gemäß einem Ausführungsbeispiel ist die Vorrichtung 105 in ein Steuergerät der Maschine 100 implementiert. Die Maschine 100 weist ferner gemäß diesem Ausführungsbeispiel eine Kamera 120 auf, die hier beispielhaft als eine Umfelderfassungskamera zum Erfassen eines Umfelds der Maschine 100 ausgeformt ist. Gemäß einem alternativen Ausführungsbeispiel ist die Vorrichtung 105 entsprechend mit einem Übermittlungssystem einsetzbar.
Die Vorrichtung 105 weist eine Einleseschnittstelle 125, eine Erkenneinrichtung 130 und eine Erzeugungseinrichtung 135 auf. Die Einleseschnittstelle 125 ist ausgebildet, um ein Kamerasignal 140 von einer Schnittstelle zu der Kamera 120 einzulesen, wobei das Kamerasignal 140 das Kamerabild der Kamera 120 repräsentiert. Die Erkenneinrichtung 130 ist ausgebildet, um ein Vorhandensein der Linie 110 in dem Kamerabild unter Verwendung eines Ankers 145 mit zumindest einem Basisankerpunkt 150 zu erkennen. Die Erzeugungseinrichtung 135 ist ausgebildet, um eine Linienregression 155 der Linie 110 unter Verwendung zumindest des Basisankerpunkts 150 zu erzeugen, wobei die Linienregression 155 einen ersten Regressionspunkt aufweist, der relativ zu dem Basisankerpunkt verschoben wurde und einen zweiten Regressionspunkt aufweist, der relativ zu dem ersten Regressionspunkt erzeugt wurde, und entsprechend zu dem zweiten Regressionspunkt zumindest einen weiteren Regressionspunkt aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie 110 zu erkennen. Eine genauere Darstellung der Linienregression 155 ist in Fig. 2 gezeigt.
Die Kamera 120 ist gemäß diesem Ausführungsbeispiel als eine Fahrzeugkamera, beispielsweise eine Fahrzeugkamera eines Umfelderfassungssystems des Fahrzeugs ausgeformt. Der Anker 145 umfasst eine Vorlage oder ein Muster, nach welchem mittels der Erkenneinrichtung 130 in dem Kamerabild gesucht wird, um die Linie 110 zu erkennen. Die Erzeugungseinrichtung 135 ist gemäß diesem Ausführungsbeispiel ausgebildet, um die Linienregression 155 zu erzeugen, die einen Versatz, auch „Offset“ genannt, ausgleicht. Die hier vorgestellte Vorrichtung 105 ermöglicht die Linienregression 155, die auch als „Regressionsdarstellung“ bezeichnet werden kann, bei der Fahrspurerkennung, indem die Offsets/Abweichungen jedes Punktes entlang der Linie 110, die gemäß diesem Ausführungsbeispiel eine Fahrspur ist, relativ zum vorherigen Punkt und nicht relativ zum Anker 145 vorhersagt werden. Dies führt vorteilhafterweise zu einer besonders gleichmäßigen Vorhersage der Linie 110, siehe auch Fig. 2. Optional weist die Vorrichtung 105 gemäß diesem Ausführungsbeispiel ferner eine Ausgabeeinrichtung 160 auf, die ausgebildet ist, um unter Verwendung der Linienregression 155 ein Steuersignal 165 zum Ansteuern einer Funktion 170 der Maschine 100, hier des Fahrzeugs, oder alternativ des Übermittlungssystems auszugeben. So kann unter Verwendung der Linienregression 155, welche einen Verlauf der Linie 110 beispielsweise in Form einer Fahrspur Vorhersagen kann, die Maschine 100 gesteuert werden, beispielsweise das Fahrzeug innerhalb der Fahrspur gehalten werden.
Gemäß diesem Ausführungsbeispiel ist die Erkenneinrichtung 130 ausgebildet, um die Linie 110 in einem Randbereich des Kamerabilds und/oder in einer Zelle des in eine Vielzahl von Zellen eingeteilten Kamerabilds unter Verwendung des Ankers 145 zu erkennen, siehe hierzu auch Fig. 3.
Gemäß diesem Ausführungsbeispiel ist die Erkenneinrichtung 130 ausgebildet, um die Linie 110 in dem Kamerabild zu erkennen, wenn zumindest der Basisankerpunkt 150 des Ankers 145 durch die Linie 110 verläuft. Oder die Erkenneinrichtung 130 ist gemäß einem Ausführungsbeispiel ausgebildet, um die Linie 110 in dem Kamerabild zu erkennen, wenn nur der Basisankerpunkt 150 durch die Linie 110 verläuft oder in der Nähe der Linie 110 verläuft. So wird gemäß einem Ausführungsbeispiel zum Erkennen der Linie 110 eine ankerlose Methode eingesetzt, bei der als Anker 145 lediglich der Basisankerpunkt 150 notwendig ist. Gemäß einem alternativen Ausführungsbeispiel ist die Erkenneinrichtung 130 ausgebildet, um die Linie 110 in dem Kamerabild zu erkennen, wenn der gesamte Anker durch die Linie 110 oder in der Nähe der Linie 110 verläuft. So wird gemäß einem anderen Ausführungsbeispiel zum Erkennen der Linie 110 eine ankerbasierte Methode eingesetzt. Als gesamter Anker 145 ist ein Anker 145 zu verstehen, der mehr als den Basisankerpunkt 150 aufweist, beispielsweise ein linienförmiger Anker. Als „in der Nähe“ ist eine Abweichung von beispielsweise höchstens 5 Millimetern zu verstehen.
Zusammen mit der Kamera 120 kann die hier vorgestellte Vorrichtung 105 auch als ein Erkennsystem 175 bezeichnet werden. Das Erkennsystem 175 ist gemäß einem Ausführungsbeispiel Teil eines Fahrassistenzsystems 180 des Fahrzeugs. Die hier vorgestellte Vorrichtung 105 ermöglich eine Delta- Regression/- Rückführung zur Fahrspurerkennung.
Traditionell basieren tiefe Objektdetektoren, die in der Computer Vision verwendet werden, auf einem Konzept namens „Anker“, d. h. sogenannte „Prior- Boxen“ werden als Prototypen für die Erkennung verwendet. In diesem Zusammenhang sagen die Detektoren Verschiebungen/Offsets der Boxen relativ zu den jeweiligen Ankern voraus. Die Erkennung von Fahrspuren ist ein Spezialfall der Objekterkennung, bei der die Objekte nicht durch Boxen, sondern durch Linienzüge gekennzeichnet sind. Daher werden neben traditionellen Instanzsegmentierungsmethoden auch ankerbasierte Objekterkennungsmethoden eingesetzt.
Die hier vorgestellte Vorrichtung 105 ändert die Regressionsdarstellung der Fahrspurerkennungsaufgabe, indem sie die Offsets/Abweichung jedes Punktes entlang der Fahrspur relativ zum vorherigen Punkt und nicht relativ zum Anker 145 vorhersagt. Der hier vorgestellte Ansatz kann sowohl als ankerbasierte als auch als ankerlose Methode formuliert werden. In beiden Fällen wird nur der Basisankerpunkt 150 der Anker 145 aus verwendet (Zellmitten), der Unterschied liegt lediglich im Anpassungsschritt.
Diese Formulierung führt zu einer gleichmäßigeren Vorhersage der Linie 110 im Vergleich zu einer ebenfalls möglichen Regressionsdarstellung, bei der alle Regressionspunkte relativ zum Anker erzeugt werden. Da die Anker 145 überflüssig werden, führt dies auch zu einem kleineren neuronalen Netz.
Die hier vorgestellte Vorrichtung 105 arbeitet mit Daten der folgenden Typen, die gemäß einem Ausführungsbeispiel durch den Empfang von digitalen Bildern und/oder Videos erhalten werden, um das Steuersignal 165 zur Steuerung eines physikalischen Systems zu berechnen, wie z. B. eine computergesteuerte Maschine 100, wie z. B. ein Roboter, ein Fahrzeug, ein Haushaltsgerät, ein Elektrowerkzeug, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem, oder ein System zur Übermittlung von Informationen, wie z. B. ein Überwachungssystem oder ein medizinisches, beispielsweise bildgebendes, System.
Die Vorrichtung 105 tut dies, indem sie das Vorhandensein von Objekten in den Sensordaten erkennt, insbesondere Fahrspuren oder andere Arten von linienbasierten Straßenmarkierungen.
Die Vorrichtung 105 arbeitet mit Bildern, daher muss eine Bildaufnahme in Form des Kamerabilds vorhanden sein, die als Eingabe für den hier vorgestellten Ansatz dient.
Fig. 2 zeigt eine schematische Darstellung einer Linienregression 155, die unter Verwendung einer Erzeugungseinrichtung einer Vorrichtung gemäß einem Ausführungsbeispiel erzeugt wurde. Dabei kann es sich um die in Fig. 1 beschriebene Vorrichtung handeln.
Die Linienregression 155 weist den ersten Regressionspunkt 200 auf, der relativ zu dem Basisankerpunkt 150 des Ankers verschoben wurde. Ausgehend von dem ersten Regressionspunkt 200 wurden weitere Regressionspunkte 210 erzeugt, jeweils relativ zu einem direkt zuvor erzeugten Regressionspunkt 200, 210. Beispielsweise ist die Erzeugungseinrichtung gemäß diesem Ausführungsbeispiel ausgebildet, um die Linienregression 155 zu erzeugen, wobei der erste Regressionspunkt 200 relativ zu dem Basisankerpunkt 150 auf einer x-Achse verschoben wurde, der erste weitere Regressionspunkt 210 relativ zu dem zuvor erzeugten ersten Regressionspunkt 200 auf der x-Achse und der y-Achse verschoben erzeugt wurde, und die nachfolgenden weiteren Regressionspunkte 210 relativ zu dem jeweils zuvor erzeugten weiteren Regressionspunkt 210 auf der x-Achse und der y-Achse verschoben erzeugt wurden, um die Linie 110 zu erkennen. Gemäß diesem Ausführungsbeispiel weist die Linienregression 155 zumindest fünf weitere Regressionspunkte 210 auf, die je relativ zu dem zuvor erzeugten Regressionspunkt 200, 210 auf der x- Achse und der y-Achse verschoben erzeugt wurden. Bei bekannten Regressionen werden die Koordinaten relativ zu den Ankern vorausgesagt, d. h. die Vorhersage beschreibt einen Versatz in den Bildkoordinaten, der auf den Anker angewendet werden muss, um die Linie lediglich auf der x-Achse in das Bild einzupassen. Anders als die bekannte Regressionsmethode ist der hier vorgesellte Ansatz so realisiert, dass nicht nur die x-Koordinaten vorhergesagt werden, sondern auch die y-Koordinaten nicht fixiert/fest sind. Der hier vorgestellte Ansatz unterscheidet sich von bekannten Regressionsmethoden also dadurch, dass die Referenzen für die Regression nicht Linien, sondern Punkte 150, 200, 210 sind, und für jede Zelle, siehe Fig. 3, durch die eine Linie auf dem Bild erkannt wurde, die Regressionskoordinaten relativ zur vorherigen Koordinate vorhergesagt werden. Das heißt, für den ersten Punkt 200 in der Linie ist die Vorhersage relativ zum Basisankerpunkt 150, für den ersten weiteren Punkt 210 relativ zum ersten Punkt 200 und so weiter. Im Gegensatz zu bekannten Ansätzen wird diese Regression formuliert, indem nicht nur die x-Koordinate, sondern auch die y-Koordinate vorhergesagt wird.
Der hier beschriebene Ansatz ist auf zwei Arten formulierbar, je nachdem, wie das Klassifikationsziel gewählt wird.
Zum einen ist eine ankerlose Methode realisierbar, bei der nur die Basisankerpunkte 150 sowohl für die Linienregression 155 als auch für die Klassifizierung verwendet werden. Das heißt, dass eine Linie 110 in Form einer Grundwahrheitslinie mit einem Anker übereinstimmt, wenn sie durch ihren Basisankerpunkt 150 oder in der Nähe davon verläuft, und dass es keine „Übereinstimmung“ einer Ankerlinie mit einer Grundwahrheitslinie gibt, oder
Zum anderen ist eine ankerbasierte Methode realisierbar, bei der nur die Basisankerpunkte 150 für die Linienregression 155 verwendet werden, aber der gesamte Anker mit mehr als einem Basisankerpunkt 150 wird für die Klassifizierung verwendet. Das heißt, eine Linie 110 in Form einer Grundwahrheitslinie wird mit einem Anker abgeglichen, wenn die Ähnlichkeit zwischen Anker und der Linie 110 hoch genug ist.
Anders als bei Vorhersagen der Regression, die eine linienförmige Verschiebung relativ zu einem linienförmigen Anker beschreibt und die Anwendung des Offsets auf die Ankerkoordinaten zu einer Linienvorhersage führt, ändert der vorliegende Ansatz dies dahingehend, dass der Anker nur ein Punkt 150 und keine Linie ist, und die Vorhersagen eine Verschiebung relativ zum vorherigen Punkt beschreiben, im Gegensatz zu dem entsprechenden Ankerpunkt. Die Linienregression 155 repräsentiert somit insgesamt keine gerade Linie.
Fig. 3 zeigt eine schematische Darstellung eines Kamerabilds 300 zur Verwendung mit einer Vorrichtung gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in Fig. 1 oder 2 beschriebene Vorrichtung handeln.
Die Erkenneinrichtung der Vorrichtung ist gemäß diesem Ausführungsbeispiel ausgebildet, um ein Gitter 305 über das Kamerabild 300 zu legen, und das Vorhandensein der Linie 110 zu erkennen, wenn in zumindest einer Zelle 310, 311, 312 des Gitters 305 die Linie 110 erkannt wird. Die Erkenneinrichtung ist gemäß diesem Ausführungsbeispiel ausgebildet, um ein Klassifizieren eines erkannten Objekts durchzuführen, um die Linie 110 zu erkennen, beispielsweise unter Verwendung eines Merkmalsextraktors. Die Linie 110 repräsentiert gemäß diesem Ausführungsbeispiel eine Fahrbahnmarkierung oder gemäß einem alternativen Ausführungsbeispiel eine Kante eines Objekts. Beispielsweise repräsentiert die Linie 110 gemäß diesem Ausführungsbeispiel einen Teil einer Fahrspur. Beispielsweise ist die Erzeugungseinrichtung gemäß diesem Ausführungsbeispiel ausgebildet, um die Linienregression zu erzeugen, wenn der Basisankerpunkt in einer Zellmitte 315 einer Zelle 310, 311, 312 des Gitters 305 auf einer Linie 110 erkannt wurde.
Zusammengefasst werden gemäß einem Ausführungsbeispiel entsprechend dem Anker 145 in der Zelle 310 oder lediglich dem Basisankerpunkt des Ankers 145 in der Zelle 310 weitere Anker in Zellen 310, 311, 312 entlang der Grenzen des Bildes 300 definiert, und die Klassifizierungsausgabe sagt für jede Zelle 310, 311, 312 voraus, ob die Zelle 310, 311, 312 eine entsprechende Linie 110, beispielsweise eine Spur, enthält oder nicht, die einem der Anker 145 auf dieser Zelle 310, 311, 312 ähnlich ist. In Fig. 3 ist der Übersichtlichkeit halber nur ein entsprechender Anker 145 durch eine der Zellen 310 eingezeichnet. Anders ausgedrückt sagt ein Netzwerk gemäß einem Ausführungsbeispiel für jede Zelle 310, 311, 312 voraus, ob es in der Zelle 310, 311, 312 eine Linie 110 gibt, die einem der jeweiligen Zelle 310, 311, 312 zugeordneten Anker 145 ähnlich ist. Gemäß diesem Ausführungsbeispiel umfasst das Gitter 305 an entlang des Rands zweiter gegenüberliegender Bildseiten des Kamerabilds 300 jeweils acht übereinander angeordnete gleichmäßig große Zellen 310, 311, 312. Entlang des Rands einer Unterseite des Kamerabilds 300 weist das Gitter 305 gemäß diesem Ausführungsbeispiel zwölf benachbart angeordnete gleichmäßig große Zellen 310, 311, 312 auf. Zellen 310 stehen dabei für eine positive Vorhersage einer Linie 110, Zellen 311 für eine negative Vorhersage und Zellen 312 für einen Grenzfall.
Fig. 4 zeigt ein Ablaufdiagramm eines Verfahrens 400 gemäß einem Ausführungsbeispiel zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem. Dabei kann es sich um ein Verfahren 400 handeln, das von einer der anhand der vorangegangenen Figuren beschriebenen Vorrichtungen ausführbar ist.
Das Verfahren 400 weist einen Schritt 405 des Einlesens, einen Schritt 410 des Erkennens und einen Schritt 415 des Erzeugens auf. Im Schritt 405 des Einlesens wird ein Kamerasignal von einer Schnittstelle zu einer Kamera eingelesen, wobei das Kamerasignal das Kamerabild der Kamera repräsentiert. Im Schritt 410 des Erkennens wird ein Vorhandensein der Linie in dem Kamerabild unter Verwendung eines Ankers mit zumindest einem Basisankerpunkt erkannt. Im Schritt 415 des Erzeugens wird eine Linienregression der Linie unter Verwendung zumindest des Basisankerpunkts erzeugt, wobei die Linienregression einen ersten Regressionspunkt aufweist, der relativ zu dem Basisankerpunkt verschoben wurde und zumindest einen weiteren Regressionspunkt aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie zu erkennen.
Wenn mehrere Anker vorhanden sind, können diese zum Erkennen der Linie oder zum Erkennen unterschiedlicher Linien auf entsprechende Weise verwendet werden. Optional weist das Verfahren 400 gemäß diesem Ausführungsbeispiel ferner einen Schritt 420 des Ausgebens auf. Im Schritt 420 des Ausgebens wird unter Verwendung der Linienregression ein Steuersignal zum Ansteuern einer Funktion der Maschine, insbesondere eines Fahrzeugs, oder des Übermittlungssystems ausgegeben.

Claims

Ansprüche
1. Verfahren (400) zum Erkennen einer Linie (110) in einem Kamerabild (300) für eine Maschine (100) oder für ein Übermittlungssystem, wobei das Verfahren (400) die folgenden Schritte aufweist:
Einlesen (405) eines Kamerasignals (140) von einer Schnittstelle zu einer Kamera (120), wobei das Kamerasignal (140) das Kamerabild (300) der Kamera (120) repräsentiert;
Erkennen (410) eines Vorhandenseins der Linie (110) in dem Kamerabild (300) unter Verwendung zumindest eines Ankers (145) mit zumindest einem Basisankerpunkt (150); und
Erzeugen (415) einer Linienregression (155) der Linie (110) unter Verwendung zumindest des Basisankerpunkts (150), wobei die Linienregression (155) einen ersten Regressionspunkt (200) aufweist, der relativ zu dem Basisankerpunkt (150) verschoben wurde, und zumindest einen weiteren Regressionspunkt (210) aufweist, der relativ zu einem zuvor erzeugten Regressionspunkt erzeugt wurde, um die Linie (110) zu erkennen.
2. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (420) des Ausgebens, in dem unter Verwendung der Linienregression (155) ein Steuersignal (165) zum Ansteuern einer Funktion (170) der Maschine (100), insbesondere eines Fahrzeugs, oder des Übermittlungssystems ausgegeben wird.
3. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (410) des Erkennens die Linie (110) in einem Randbereich des Kamerabilds (300) unter Verwendung des zumindest einen Ankers (145) erkannt wird und/oder in einer Zelle (310) des in eine Vielzahl von Zellen (310, 311, 312) eingeteilten Kamerabilds (300) unter Verwendung des Ankers (145) der jeweiligen Zelle (310) erkannt wird. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (410) des Erkennens die Linie (110) in dem Kamerabild (300) erkannt wird, wenn zumindest der Basisankerpunkt (150) des Ankers (145) durch die Linie (110) verläuft. Verfahren (400) gemäß Anspruch 4, bei dem im Schritt (410) des Erkennens die Linie (110) in dem Kamerabild (300) erkannt wird, wenn der gesamte Anker durch die Linie (110) verläuft. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, wobei die Linie (110) eine Fahrbahnmarkierung oder eine Kante eines Objekts repräsentiert. Vorrichtung (105), die eingerichtet ist, um die Schritte (405, 410, 415, 420) des Verfahrens (400) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (125, 130, 135, 160) auszuführen und/oder anzusteuern. Erkennsystem (175) für eine Maschine (100) oder ein Übermittlungssystem, wobei das Erkennsystem (175) eine Vorrichtung (105) gemäß Anspruch 7 und eine Kamera (120) zum Bereitstellen des Kamerasignals (140) aufweist. Computerprogramm, das dazu eingerichtet ist, die Schritte (405, 410, 415, 420) des Verfahrens (400) gemäß einem der Ansprüche 1 bis 6 auszuführen und/oder anzusteuern. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.
EP23764603.9A 2022-09-12 2023-08-31 Verfahren und vorrichtung zum erkennen einer linie in einem kamerabild für eine maschine oder ein übermittlungssystem und erkennsystem für eine maschine oder ein übermittlungssystem Pending EP4588023A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022209504.9A DE102022209504A1 (de) 2022-09-12 2022-09-12 Verfahren und Vorrichtung zum Erkennen einer Linie in einem Kamerabild für eine Maschine oder ein Übermittlungssystem und Erkennsystem für eine Maschine oder ein Übermittlungssystem
PCT/EP2023/073873 WO2024056389A1 (de) 2022-09-12 2023-08-31 Verfahren und vorrichtung zum erkennen einer linie in einem kamerabild für eine maschine oder ein übermittlungssystem und erkennsystem für eine maschine oder ein übermittlungssystem

Publications (1)

Publication Number Publication Date
EP4588023A1 true EP4588023A1 (de) 2025-07-23

Family

ID=87929273

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23764603.9A Pending EP4588023A1 (de) 2022-09-12 2023-08-31 Verfahren und vorrichtung zum erkennen einer linie in einem kamerabild für eine maschine oder ein übermittlungssystem und erkennsystem für eine maschine oder ein übermittlungssystem

Country Status (5)

Country Link
EP (1) EP4588023A1 (de)
JP (1) JP2025529993A (de)
CN (1) CN119907998A (de)
DE (1) DE102022209504A1 (de)
WO (1) WO2024056389A1 (de)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213191A1 (de) * 2018-05-09 2019-11-14 Conti Temic Microelectronic Gmbh Verfahren zur Fahrspur- und Fahrbahndetektion
US11604944B2 (en) * 2018-07-17 2023-03-14 Nvidia Corporation Regression-based line detection for autonomous driving machines

Also Published As

Publication number Publication date
WO2024056389A1 (de) 2024-03-21
CN119907998A (zh) 2025-04-29
JP2025529993A (ja) 2025-09-09
DE102022209504A1 (de) 2024-03-14

Similar Documents

Publication Publication Date Title
DE102020000964B4 (de) Objekterkennungsvorrichtung, Steuervorrichtung und Objekterkennungscomputerprogramm
DE112019002310T5 (de) Ausführen einer "peg in hole"-aufgabe mit unbekannter neigung
DE102017219282A1 (de) Verfahren und Vorrichtung zum automatischen Erzeugen eines künstlichen neuronalen Netzes
EP3782081B1 (de) Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung
DE112021006776B4 (de) Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE102024104640B3 (de) Betreiben eines Roboters mithilfe einer Datenverarbeitung und Trainieren dieser Datenverarbeitung
WO2024056389A1 (de) Verfahren und vorrichtung zum erkennen einer linie in einem kamerabild für eine maschine oder ein übermittlungssystem und erkennsystem für eine maschine oder ein übermittlungssystem
WO2020064209A1 (de) Maschinelles lernsystem, sowie ein verfahren, ein computerprogramm und eine vorrichtung zum erstellen des maschinellen lernsystems
EP3581935B1 (de) System zur automatischen erkennung von laborarbeitsgegenständen sowie verfahren zum betrieb eines systems zur automatischen erkennung von laborarbeitsgegenständen
EP4526842B1 (de) Verfahren zum steuern einer robotervorrichtung
DE102023109651A1 (de) Verfahren zum Erzeugen einer Umgebungsdarstellung
DE102020101911A1 (de) Computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, computerimplementiertes Verfahren zur visuellen Objekterkennung, Verfahren zum Steuern eines Kraftfahrzeugs, Computerprogramm sowie computerlesbares Speichermedium
EP3582140A1 (de) System zur automatischen erkennung von laborarbeitsgegenständen sowie verfahren zum betrieb eines systems zur automatischen erkennung von laborgegenständen
DE102012208025A1 (de) Verfahren und Vorrichtung zur rechnergestützten Segmentierung wenigstens eines einen Code mit wenigstens einer Codezeile enthaltenden Bildes
DE102022121839A1 (de) Texterkennung basierend auf einem verzeichneten Kamerabild
DE112020006708T5 (de) Objekterkennungsvorrichtung, Fahrassistenzvorrichtung, Server und Objekterkennungsverfahren
DE102004050942B4 (de) Bootstrap-Verfahren zum überwachten Einlernen eines Mustererkennungssystems
EP4485348B1 (de) Computer-implementiertes verfahren und werkzeug zur optischen qualitätskontrolle von zwischen- oder endprodukten von produktionsanlagen sowie produktionsanlagensteuerung
EP2808843A2 (de) Verfahren zur Parametrierung eines Bildverarbeitungssystems für die Überwachung einer Werkzeugmaschine
DE102022114178A1 (de) Kalibrierung eines Umfeldsensorsystems einer Infrastrukturvorrichtung
EP4489924A1 (de) Computer-implementiertes verfahren und systeme zur umpositionierung von fehlerhaften produkten
DE102022209499A1 (de) Verfahren und Vorrichtung zum Erkennen einer Fahrspur für ein Fahrassistenzsystem für ein Fahrzeug mit einer Fahrzeugkamera und Erkennsystem für ein Fahrzeug
DE102023207671A1 (de) Verfahren zum Verarbeiten und Fusionieren Radarsensor-Rohdaten und Kamera-Rohdaten
DE102022211951A1 (de) Verfahren und Klassifikationsvorrichtung zum Verwenden eines Klassifikators zum Klassifizieren eines Objekts im Bereich einer Baumaschine und Baumaschine mit einer Klassifikationsvorrichtung
DE112023006096T5 (de) Robotersteuervorrichtung und Bildverarbeitungssystem

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250414

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)