DE102022210288A1

DE102022210288A1 - Method and device for determining a control state of a traffic light

Info

Publication number: DE102022210288A1
Application number: DE102022210288.6A
Authority: DE
Inventors: Peter Golya; Max Neuner; Jose Domingo Esparza Garcia
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-09-28
Filing date: 2022-09-28
Publication date: 2024-03-28

Abstract

Die vorliegende Erfindung betrifft ein Verfahren für ein Kraftfahrzeug zur Ermittlung eines Regelungszustandes einer ersten Ampel einer Ampelanlage, mittels welcher der Verkehr in eine Fahrtrichtung des Kraftfahrzeugs geregelt wird und ist gekennzeichnet durch den Verfahrensschritt: Ermittlung des Regelungszustandes unter Berücksichtigung einer visuellen Information und einer akustischen Information. Weiterhin umfasst die Erfindung eine Vorrichtung, die eingerichtet ist, das Verfahren auszuführen, sowie eine entsprechendes ComputerprogrammThe present invention relates to a method for a motor vehicle for determining a control state of a first traffic light of a traffic light system, by means of which the traffic is regulated in a direction of travel of the motor vehicle and is characterized by the method step: determining the control state taking into account visual information and acoustic information. Furthermore, the invention comprises a device which is set up to carry out the method, as well as a corresponding computer program

Description

Die vorliegende Erfindung betrifft ein Verfahren für ein Kraftfahrzeug zur Ermittlung eines Regelungszustandes einer ersten Ampel einer Ampelanlage, mittels welcher der Verkehr in eine Fahrtrichtung des Kraftfahrzeugs geregelt wird und ist gekennzeichnet durch den Verfahrensschritt: Ermittlung des Regelungszustandes unter Berücksichtigung einer visuellen Information und einer akustischen Information. Weiterhin umfasst die Erfindung eine Vorrichtung, die eingerichtet ist, das Verfahren auszuführen, sowie eine entsprechendes ComputerprogrammThe present invention relates to a method for a motor vehicle for determining a control state of a first traffic light of a traffic light system, by means of which traffic in a direction of travel of the motor vehicle is regulated and is characterized by the method step: Determination of the control state taking into account visual information and acoustic information. The invention further includes a device that is set up to carry out the method, as well as a corresponding computer program

Stand der TechnikState of the art

Aus dem Stand der Technik ist beispielsweise die Patentanmeldung DE 10 2021 103 732 A1 bekannt. Diese Schrift betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug, wobei das Fahrerassistenzsystem zur automatischen Längsführung des Kraftfahrzeugs ausgelegt ist, und dazu ausgelegt ist, in Abhängigkeit von einer erfassten aktuellen Ampelfarbe einer dem Kraftfahrzeug in Fahrtrichtung vorausliegenden Ampel die Längsführung des Kraftfahrzeugs durchzuführen. Dabei ist das Fahrerassistenzsystem derart eingerichtet, dass unter der ersten Bedingung, dass eine bestimmte Ampelfarbe, die eine Halteaufforderung signalisiert, mittels einer ersten Erfassungseinrichtung des Kraftfahrzeugs erfasst wurde, und unter der zweiten Bedingung, dass eine Bestätigung eines Fahrers des Kraftfahrzeugs erfasst wurde, das Kraftfahrzeug automatisch verzögert wird.For example, the patent application is from the prior art DE 10 2021 103 732 A1 known. This document relates to a driver assistance system for a motor vehicle, wherein the driver assistance system is designed for automatic longitudinal guidance of the motor vehicle and is designed to carry out the longitudinal guidance of the motor vehicle depending on a detected current traffic light color of a traffic light in front of the motor vehicle in the direction of travel. The driver assistance system is set up in such a way that under the first condition that a specific traffic light color, which signals a request to stop, was detected by a first detection device of the motor vehicle, and under the second condition that a confirmation from a driver of the motor vehicle was detected, the motor vehicle is automatically delayed.

Weiterhin ist aus dem Stand der Technik die Patentanmeldung US 2021 107 477 bekannt. Diese Schrift betrifft ein Verfahren zum Verhindern eines Unfalls eines Fahrzeugs unter Verwendung von Schall, wobei das Verfahren zumindest die folgenden Schritte umfasst: Empfangen von einem ersten im Fahrzeug installierten Mikrofon von Umgebungsgeräuschen innerhalb einer festgelegten Entfernung um das Fahrzeug herum; Vorhersagen einer von einem Objekt erzeugten Geräuschart aus dem Umgebungsgeräusch und Bestimmen eines Unfallrisikos zwischen dem Fahrzeug und dem Objekt basierend auf der vorhergesagten Geräuschart und zusätzlichen Informationen über das Geräusch; und Steuern des Fahrens des Fahrzeugs, um dem Fahrzeug zu ermöglichen, das Objekt zu vermeiden, basierend auf der Bestimmung, dass ein Unfallrisiko besteht.Furthermore, the patent application is from the prior art US 2021 107 477 known. This document relates to a method for preventing an accident of a vehicle using sound, the method comprising at least the following steps: receiving, from a first microphone installed in the vehicle, ambient noise within a specified distance around the vehicle; Predicting a type of noise produced by an object from the ambient noise and determining a risk of an accident between the vehicle and the object based on the predicted type of noise and additional information about the noise; and controlling driving of the vehicle to allow the vehicle to avoid the object based on the determination that a risk of an accident exists.

Offenbarung der ErfindungDisclosure of the invention

Vorteilhaft ermöglicht hingegen das erfindungsgemäße Verfahren eine hohe Validität bei der Erkennung der aktuellen Ampelphase. Insbesondere wird eine Freigabephase für das Kraftfahrzeug frühzeitig und sicher erkannt. Ermöglicht wird dies gemäß der Erfindung durch die in den unabhängigen Patentansprüchen angegebenen Merkmale. Weitere Ausgestaltungen der Erfindung sind Gegenstand von Unteransprüchen.However, the method according to the invention advantageously enables a high level of validity in recognizing the current traffic light phase. In particular, a release phase for the motor vehicle is recognized early and reliably. This is made possible according to the invention by the features specified in the independent patent claims. Further refinements of the invention are the subject of subclaims.

Das erfindungsgemäße für ein Kraftfahrzeug zur Ermittlung eines Regelungszustandes einer ersten Ampel einer Ampelanlage, mittels welcher der Verkehr in eine Fahrtrichtung des Kraftfahrzeugs geregelt wird, ist gekennzeichnet durch den Verfahrensschritt: Ermittlung des Regelungszustandes unter Berücksichtigung einer visuellen Information und einer akustischen Information.The method according to the invention for a motor vehicle for determining a control state of a first traffic light of a traffic light system, by means of which traffic is regulated in a direction of travel of the motor vehicle, is characterized by the method step: determining the control state taking into account visual information and acoustic information.

Unter dem Begriff „Regelungszustand“ einer Ampel soll der durch die Ampel repräsentierte Regelungsbefehl bzgl. des entsprechenden Verkehrskreises verstanden werden. Dies ist bspw. ein Stopp-Befehl, oder eine Freigabe des Verkehrs durch die Ampel, bzw. eine Vorbereitung zur Freigabe, sowie alternativ eine Vorbereitung zum Stop vor der Ampel. Das beschriebene Verfahren ermittelt in diesem Sinne bspw. eine Freigabe des Verkehrs - oder alternativ einen Stopp-Befehl - in Bezug auf das entsprechende Kraftfahrzeug. Das Verfahren ist jedoch nicht auf das Erkennen einer entsprechenden statischen Zustandes beschränkt, sondern kann vielmehr als ein Verfahren zum Ermitteln eines Wechsels eines Signalzustandes einer ersten Ampel verstanden werden. Bspw. kann ein Wechsel von einem ersten Regelungszustand, der einen Stopp-Befehl für den Verkehr bzgl. der ersten Ampel repräsentiert hin zu einem zweiten Regelungszustandes, der eine Freigabe für den Verkehr bzgl. der ersten Ampel repräsentiert erkannt werden (Freigabe-Wechsel). Dies ermöglicht eine schnelle Reaktion auf den zukünftigen Regelungszustand, bspw. mittels Aktivierung oder Anpassung einer entsprechenden Fahrassistenzfunktion.The term “control status” of a traffic light should be understood to mean the control command represented by the traffic light with regard to the corresponding traffic group. This is, for example, a stop command, or a release of traffic through the traffic lights, or a preparation for release, or alternatively a preparation for a stop in front of the traffic lights. In this sense, the method described determines, for example, a release of traffic - or alternatively a stop command - in relation to the corresponding motor vehicle. However, the method is not limited to detecting a corresponding static state, but rather can be understood as a method for determining a change in a signal state of a first traffic light. For example, a change from a first control state, which represents a stop command for traffic regarding the first traffic light, to a second control state, which represents a release for traffic regarding the first traffic light can be recognized (release change). This enables a quick response to the future control state, for example by activating or adapting a corresponding driving assistance function.

Im diesem Sinne kann das Verfahren auch als ein Verfahren zum Betreiben eines Fahrassistenzsystems eines Kraftfahrzeugs verstanden werden, mittels welchem eine Ampelphase ermittelt werden soll. Hierbei werden sowohl visuelle Informationen als auch akustischen Informationen zur Ermittlung der Ampelphase berücksichtigt. Das Fahrassistenzsystem unterstützt den Fahrer weiterhin bspw. durch eine Anzeige der ermittelten Ampelphase. Alternativ oder zusätzlich führt das Fahrassistenzsystem basierend auf der ermittelten Ampelphase - bspw. in der Ausgestaltung eines automatisierten Fahrsystems -automatisiert eine entsprechende Fahrmanöver aus, wie ein Anfahrmanöver bei einer ermittelten Freigabephase, oder ein Abbremsmanöver bei einer ermittelten Stopp-Phase.In this sense, the method can also be understood as a method for operating a driving assistance system of a motor vehicle, by means of which a traffic light phase is to be determined. Both visual information and acoustic information are taken into account to determine the traffic light phase. The driving assistance system continues to support the driver, for example by displaying the determined traffic light phase. Alternatively or additionally, the driving assistance system automatically carries out a corresponding driving maneuver based on the determined traffic light phase - for example in the configuration of an automated driving system - such as a starting maneuver in a determined release phase, or a braking maneuver in a determined stop phase.

Unter dem Begriff „visuelle Information“, wird jede Information verstanden, die ein optisches Erkennen des Regelungszustandes der ersten Ampel ermöglicht. Bspw. wird hierfür der Signalzustand der ersten Ampel ermittelt. Dies kann bspw. mittels einem Erkennen und Auswerten aktivierter Ampelleuchten in Videodaten erfolgen. In der Regel bestehen vier Signalzustände bei einer Ampel: eine aktivierte grüne Ampelleuchte, eine aktivierte orangene Ampelleuchte, eine aktivierte rote Ampelleuchte sowie eine parallel aktivierte rote und orangene Ampelleuchte. Eine erkannte rote Ampelleuchte repräsentiert dabei einen Stopp-Befehl als Regelungszustand der Ampel. Eine erkannte grüne Ampelleuchte repräsentiert hingegen eine Freigabe des Verkehrs als Regelungszustand der Ampel. Eine erkannte parallele Aktivierung der roten und orangenen Ampelleuchte beschreibt einen Hinweis zur Vorbereitung des Verkehrs auf eine Freigabe. Eine erkannte orangene Ampelleuchte beschreibt wiederum einen Hinweis zur Vorbereitung des Verkehrs auf einen Stop-Befehl als Regelungszustand.The term “visual information” means any information that enables the control status of the first traffic light to be visually recognized. For example, the signal status of the first traffic light is determined for this purpose. This can be done, for example, by detecting and evaluating activated traffic lights in video data. As a rule, there are four signal states for a traffic light: an activated green traffic light, an activated orange traffic light, an activated red traffic light and a parallel activated red and orange traffic light. A detected red traffic light represents a stop command as the control status of the traffic light. A detected green traffic light light, on the other hand, represents a release of traffic as a control status of the traffic light. A detected parallel activation of the red and orange traffic lights describes an indication to prepare traffic for a release. A detected orange traffic light light in turn describes an indication to prepare the traffic for a stop command as a control state.

Unter dem Begriff „akustische Information“, wird hingegen jede Information verstanden, die ein auditives Erkennen eines Signalzustandes der ersten Ampel ermöglich. Bspw. ein Erkennen und Auswerten von Umgebungsgeräuschen erfolgen. Die Umgebungsgeräusche können dabei in direkten oder indirektem Bezug zu dem Regelungszustand der ersten Ampel stehen. Hierbei kann beispielsweise ein Geräusch eines Blinden-Tasters, bzw. Blinden-Summers einer die Fahrbahn des Kraftfahrzeugs kreuzenden Fußgängerampel berücksichtigt werden. Ein erkanntes Freigabesignal des Blinden-Summers einer kreuzenden Fußgängerampel kann dabei als Anzeichen für eine rote Ampelphase der relevanten Verkehrsampel für das Kraftfahrzeug verstanden werden.The term “acoustic information”, on the other hand, refers to any information that enables an auditory recognition of a signal status of the first traffic light. For example, ambient noise can be recognized and evaluated. The ambient noise can be directly or indirectly related to the control status of the first traffic light. Here, for example, a noise from a blind button or a blind buzzer from a pedestrian traffic light crossing the road of the motor vehicle can be taken into account. A recognized release signal from the blind buzzer of a crossing pedestrian traffic light can be understood as an indication of a red traffic light phase of the relevant traffic light for the motor vehicle.

Bei der Berücksichtigung der visuellen sowie akustischen Information zur Ermittlung des Regelungszustandes ist weiterhin eine Gewichtung der Informationen denkbar, bspw. basierend auf einer zuvor definierten Verteilung oder dynamisch angepasst an weitere verfügbare Daten bzgl. der Verkehrssituation. Weiterhin ist eine sequenzielle Erfassung der Informationen denkbar, so dass bspw. eine akustische Information bzgl. einer Ampel nur dann ermittelt wird, wenn zuvor eine visuelle Information bzgl. der Ampel ermittelt wurde.When taking into account the visual and acoustic information to determine the control state, a weighting of the information is also conceivable, for example based on a previously defined distribution or dynamically adapted to other available data regarding the traffic situation. Furthermore, a sequential acquisition of the information is conceivable, so that, for example, acoustic information regarding a traffic light is only determined if visual information regarding the traffic light was previously determined.

In einer vorteilhaften Ausführungsform ist das Verfahren gekennzeichnet durch den Verfahrensschritt: Ermittlung eines temporären Haltens des Kraftfahrzeugs, insb. eines Haltens des Kraftfahrzeugs an der ersten Ampel.In an advantageous embodiment, the method is characterized by the method step: determining a temporary stopping of the motor vehicle, in particular a stopping of the motor vehicle at the first traffic light.

Hierunter wird verstanden, dass überprüft wird, ob ein Halt des Kraftfahrzeuges vorliegt oder bevorsteht. Für das Verfahren ist insb. ein zeitweises Halten relevant. So kann das Verfahren bspw. nur dann ausgeführt werden, wenn ein zeitweises Halten erkannt wird. Ein solches Halten liegt insbesondere in Stausituationen vor oder bei dem Halten an einer Ampel. So kann bspw. bei einem erkannten bevorstehenden Halten eine spezifische Suche in den Videodaten nach visuellen Informationen bezüglich einer Ampel erfolgen.This means that it is checked whether the motor vehicle has stopped or is about to stop. A temporary hold is particularly relevant to the procedure. For example, the method can only be carried out if a temporary hold is detected. Such stopping occurs particularly in traffic jams or when stopping at a traffic light. For example, if an impending stop is detected, a specific search can be carried out in the video data for visual information regarding a traffic light.

In einer möglichen Ausgestaltung ist das Verfahren gekennzeichnet durch den Verfahrensschritt: Ermittlung einer visuellen Information bzgl. der ersten Ampel der Ampelanlage, insb. Ermittlung eines Signalzustand der Ampelleuchten der ersten Ampel und/oder Ermittlung der Position der ersten Ampel.In a possible embodiment, the method is characterized by the method step: determining visual information regarding the first traffic light of the traffic light system, in particular determining a signal state of the traffic light lights of the first traffic light and/or determining the position of the first traffic light.

Hierunter wird verstanden, dass bei einer erkannten Ampel die Position der Ampel ermittelt, bzw. geschätzt und gespeichert wird. Sollte das Kraftfahrzeug im Anschluss daran zu einem Halt gelangen, jedoch keine Ampel mehr erkannt werden, kann mittels der gespeicherten Position überprüft werden, ob eine Wahrscheinlichkeit für eine Verdeckungssituation besteht. Eine Verdeckungssituation beschreibt eine Verkehrssituation, in welcher die Ampel bspw. durch einen weiteren Verkehrsteilnehmer verdeckt und daher für das Videosystem des Kraftfahrzeugs nicht sichtbar ist. In einem solchen Fall kann eine nicht erkannte Ampel nicht als ein Anzeichen dafür herangezogen werden, dass keine Ampel besteht. Vielmehr wird davon ausgegangen, dass eine Ampel vorliegt, jedoch nur keine visuellen Informationen verfügbar sind. Entsprechend kann eine Gewichtung der visuellen Daten reduziert sowie eine Gewichtung der akustischen Information erhöht werden.This means that when a traffic light is detected, the position of the traffic light is determined or estimated and saved. If the vehicle then comes to a stop but no traffic light is detected, the saved position can be used to check whether there is a probability of an obscuration situation. An obscuration situation describes a traffic situation in which the traffic light is, for example, obscured by another road user and is therefore not visible to the vehicle's video system. In such a case, an unrecognized traffic light cannot be used as an indication that there is no traffic light. Rather, it is assumed that there is a traffic light, but that no visual information is available. Accordingly, the weighting of the visual data can be reduced and the weighting of the acoustic information can be increased.

In einer bevorzugten Ausführung ist das Verfahren gekennzeichnet durch den Verfahrensschritt: Ermittlung einer akustischen Information bzgl. des Regelungszustandes der ersten Ampel der Ampelanlage, wobei insb. als akustische Information ein akustisches Signal einer zweiten Ampel der Ampelanlage berücksichtigt wird.In a preferred embodiment, the method is characterized by the method step: determining acoustic information regarding the control state of the first traffic light of the traffic light system, in particular an acoustic signal from a second traffic light of the traffic light system being taken into account as acoustic information.

Hierunter wird verstanden, dass zur Ermittlung des Regelungszustands einer ersten Ampel bspw. definierte Umgebungsgeräusche des Kraftfahrzeugs berücksichtigt werden, welche direkt oder indirekt eine Information bzgl. des Regelungszustands der ersten Ampel repräsentieren. Vorteilhaft wird zur Ermittlung des Regelungszustandes einer ersten Ampel ein Geräusch berücksichtig, welches mit dem Regelungszustand einer zweiten Ampel verknüpft ist. So wird bspw. das akustische Signal einer Fußgängerampel berücksichtigt wird, welche zusammen mit der ersten Ampel in einer Ampelanlage verbunden ist. Bspw. kann hierzu vorteilhaft die Fußgängerampel berücksichtigt werden, welche den Verkehr bzgl. der ersten Ampel kreuzt.This means that to determine the control state of a first traffic light, for example, defined ambient noises of the motor vehicle are taken into account, which directly or indirectly represent information regarding the control state of the first traffic light. To determine the control state of a first traffic light, a noise is advantageously taken into account, which is linked to the control state of a second traffic light. For example, the acoustic signal of a pedestrian traffic light is taken into account, which is used together with the first traffic light in a traffic light system is bound. For example, the pedestrian traffic light that crosses the traffic in relation to the first traffic light can advantageously be taken into account.

In einer alternativen Weiterbildung ist das Verfahren dadurch gekennzeichnet, dass als akustisches Signal der zweiten Ampel ein akustisches Signal einer Fußgängerampel berücksichtigt wird, welches eine Freigabe der zweiten Ampel für Fußgänger repräsentiert, und/oder ein Auffindesignal der zweiten Ampel für Fußgänger repräsentiert.In an alternative development, the method is characterized in that an acoustic signal from a pedestrian traffic light is taken into account as the acoustic signal of the second traffic light, which represents a release of the second traffic light for pedestrians, and / or represents a locating signal of the second traffic light for pedestrians.

Hierunter wird verstanden, dass es sich bei der zweiten Ampel um eine Fußgängerampel handelt. Das zu berücksichtigende akustische Signal regelt oder unterstützt die Regelung der Ampel für den Fußgänger-Verkehr. Ein derartiges akustisches Signal kann bspw. von einem Blinden-Tasters, bzw. einem Blinden-Summers erzeugt werden. Das heißt, die Geräusche des Blinden-Summers einer Fußgängerampel werden bei der Ermittlung des Regelungszustandes der Ampel für die Kraftfahrzeuge berücksichtigt. Bei der zweiten Ampel kann es sich bspw. um eine Fußgängerampel handeln, die parallel zur Fahrtrichtung des Kraftfahrzeugs ausgerichtet ist. In diesem Fall wird die Fußgängerampel einen Regelungszustand aufweisen, welcher im Wesentlichen gleichgerichtet zur ersten Ampel für den Verkehr ist. Alternativ und vorteilhaft handelt es sich bei der zweiten Ampel jedoch um eine Fußgängerampel, die gekreuzt zur Fahrtrichtung des Kraftfahrzeugs verläuft. In diesem Fall muss stets eine Freigabe der Fußgängerampel für den Fußgänger-Verkehr, einhergehen mit einem Stopp-Befehl der ersten Ampel für das Kraftfahrzeug.This means that the second traffic light is a pedestrian traffic light. The acoustic signal to be taken into account regulates or supports the regulation of the traffic light for pedestrian traffic. Such an acoustic signal can be generated, for example, by a blind button or a blind buzzer. This means that the noise of the blind buzzer of a pedestrian traffic light is taken into account when determining the control status of the traffic light for motor vehicles. The second traffic light can be, for example, a pedestrian traffic light that is aligned parallel to the direction of travel of the motor vehicle. In this case, the pedestrian traffic light will have a control state that is essentially the same direction as the first traffic light. Alternatively and advantageously, however, the second traffic light is a pedestrian traffic light that crosses the direction of travel of the motor vehicle. In this case, the pedestrian traffic light must always be released for pedestrian traffic, accompanied by a stop command from the first traffic light for the motor vehicle.

In einer vorteilhaften Ausgestaltung ist das Verfahren dadurch gekennzeichnet, dass eine Ermittlung der akustischen Information erfolgt, wenn: eine visuelle Information vorliegt, die einen Stopp-Befehl als Signalzustand der Ampelleuchten der ersten Ampel repräsentiert und/oder ein temporäres Halten des Kraftfahrzeugs erkannt wird.In an advantageous embodiment, the method is characterized in that the acoustic information is determined when: there is visual information which represents a stop command as a signal state of the traffic light lights of the first traffic light and/or a temporary stop of the motor vehicle is detected.

Hierunter wird verstanden, dass vorteilhaft eine Ermittlung der akustischen Information nur dann erfolgt, wenn bspw. eine visuelle Information ermittelt ist, die einen Stopp-Befehl bzgl. des Kraftfahrzeugs beschreibt.This is understood to mean that the acoustic information is advantageously only determined if, for example, visual information is determined that describes a stop command regarding the motor vehicle.

In einer möglichen Ausführungsform ist das Verfahren dadurch gekennzeichnet, dass als Regelungszustand der ersten Ampel ein Stopp-Befehl erkannt wird, wenn: eine visuelle Information bzgl. des Signalzustandes der Ampelleuchten der ersten Ampel nicht verfügbar ist und eine akustische Information einen Stopp-Befehl bzgl. der ersten Ampel repräsentiert.In a possible embodiment, the method is characterized in that a stop command is recognized as the control state of the first traffic light if: visual information regarding the signal state of the traffic light lights of the first traffic light is not available and acoustic information represents a stop command regarding. represented by the first traffic light.

Hierunter wird verstanden, dass eine definierte visuelle Information bzgl. der ersten Ampel zum entsprechenden Zeitpunkt nicht ermittelt werden kann. Bspw. wird bei der Annäherung des Kraftfahrzeugs an eine Kreuzung eine Ampel und ein früherer Regelungszustand der Ampel erkannt. Nachdem das Fahrzeug zum Halten gekommen ist, kann jedoch eine visuelle Information bezüglich der ersten Ampel nicht mehr ermittelt werden. Dies ist bspw. bei dann der Fall, wenn die Sicht aus dem Kraftfahrzeug auf die erste Ampel durch einen anderen Verkehrsteilnehmer blockiert ist. Wird in dieser Situation jedoch ein Stopp-Befehl bzgl. der ersten Ampel aufgrund einer akustischen Information ermittelt, wird dennoch auf eine Regelungszustand in Form eines Stopp-Befehls erkannt. Wie an anderer Stelle ausgeführt, kann ein Stopp-Befehl bzgl. der ersten Ampel bspw. aus einem akustischen Information bzgl. einer zweiten Ampel (bspw. dem Freigabezeichen eines Blinden-Summer einer kreuzenden Fußgängerampel) abgeleitet werden.This means that defined visual information regarding the first traffic light cannot be determined at the corresponding time. For example, when the motor vehicle approaches an intersection, a traffic light and an earlier control state of the traffic light are recognized. After the vehicle has come to a stop, however, visual information regarding the first traffic light can no longer be determined. This is the case, for example, if the view of the first traffic light from the motor vehicle is blocked by another road user. If, however, a stop command regarding the first traffic light is determined on the basis of acoustic information in this situation, a control state in the form of a stop command is still recognized. As explained elsewhere, a stop command regarding the first traffic light can, for example, be derived from acoustic information regarding a second traffic light (e.g. the release signal of a blind person's buzzer at a crossing pedestrian traffic light).

In einer bevorzugten Ausgestaltung ist das Verfahren dadurch gekennzeichnet, dass als Regelungszustand der ersten Ampel ein erkannter Stopp-Befehl verworfen wird, wenn: eine visuelle Information bzgl. des Signalzustandes der Ampelleuchten der ersten Ampel nicht verfügbar ist und eine akustische Information eine Deaktivierung eines Stopp-Befehls bzgl. der ersten Ampel repräsentiert.In a preferred embodiment, the method is characterized in that a recognized stop command is rejected as the control state of the first traffic light if: visual information regarding the signal status of the traffic light lights of the first traffic light is not available and acoustic information indicates a deactivation of a stop signal. Command regarding the first traffic light is represented.

Hierunter wird verstanden, dass ein Wechsel des Regelungszustandes von einem Stopp-Befehl hin zu einer Freigabe auch dann erkannt wird, wenn zwar keine visuelle Information bzgl. der ersten Ampel vorliegt, jedoch eine akustische Information einen entsprechenden Zustand der ersten Ampel darstellt. Hierzu kann - wie bereits zuvor ausgeführt - eine Information bzgl. einer zweiten Ampel herangezogen werden. Als zweite Ampel kann bspw. eine Fußgängerampel herangezogen werden, die die Fahrtrichtung des Kraftfahrzeugs kreuzt. Als entsprechende akustische Information bzgl. einer Deaktivierung eines Stopp-Befehl der ersten Ampel kann bspw. die Deaktivierung eines zuvor erkannten Freigabesignals eines Blinden-Summers der Fußgängerampel dienen. In einer alternativen oder zusätzlichen Ausgestaltung kann als entsprechendes Signal auch ein erkannter Wechsel von einem Freigabesignal zu einem Auffindesignal des Blinden-Tasters der Fußgängerampel dienen.This means that a change in the control state from a stop command to a release is recognized even if there is no visual information regarding the first traffic light, but acoustic information represents a corresponding state of the first traffic light. For this purpose - as already explained above - information regarding a second traffic light can be used. For example, a pedestrian traffic light that crosses the direction of travel of the motor vehicle can be used as the second traffic light. The corresponding acoustic information regarding a deactivation of a stop command of the first traffic light can, for example, be the deactivation of a previously recognized release signal of a blind buzzer of the pedestrian traffic light. In an alternative or additional embodiment, a detected change from a release signal to a locating signal of the blind button of the pedestrian traffic light can also serve as a corresponding signal.

In einer alternativen Ausführung ist das Verfahren dadurch gekennzeichnet, dass als Regelungszustand der ersten Ampel ein Wechsel von einem Stopp-Befehl zu einer Freigabe des Verkehrs erkannt wird, wenn: eine visuelle Information bzgl. des Signalzustandes der Ampelleuchten der ersten Ampel einen Wechsel von einem Stopp-Befehl zu einer Freigabe des Verkehrs in Fahrtrichtung des Kraftfahrzeugs repräsentiert und eine akustische Information keinen Stopp-Befehl bzgl. der ersten Ampel repräsentiert.In an alternative embodiment, the method is characterized in that a change from a stop command to a release of traffic is recognized as the control state of the first traffic light if: visual information regarding the signal state of the traffic light lights of the first traffic light indicates a change from a stop -Command to release traffic in the direction of travel Motor vehicle represents and acoustic information does not represent a stop command regarding the first traffic light.

Hierunter wird verstanden, dass die Ermittlung des Regelungszustandes der ersten Ampel nicht ausschließlich auf die visuelle Information gestützt wird - auch nicht bei eine positiven visuellen Information. D.h. selbst dann, wenn bspw. in den Videodaten ein Wechsel des Stopp-Befehl der ersten Ampel hin zu einer Freigabe des Verkehrs identifiziert wird, wird weiterhin eine definierte akustische Information ermittelt, bzw. berücksichtigt. Hierbei wird insb. überprüft, ob die akustischen Information die ermittelte visuelle Information bestätigt, bzw. zumindest keine Widersprüche erzeugt. Falls die ermittelte akustische Information keine gegensätzlichen Informationen repräsentiert, kann der Regelungszustand entsprechend der visuellen Information erkannt, d.h. definiert werden.This means that the determination of the control status of the first traffic light is not based exclusively on the visual information - not even in the case of positive visual information. This means that even if, for example, a change in the stop command of the first traffic light to a release of traffic is identified in the video data, defined acoustic information is still determined or taken into account. In particular, it is checked whether the acoustic information confirms the determined visual information or at least does not generate any contradictions. If the determined acoustic information does not represent any conflicting information, the control state can be recognized, i.e. defined, according to the visual information.

Ein Wechsel des Regelungszustandes von einem Stopp-Befehl der ersten Ampel hin zu einer Freigabe wird insbesondere bei einer der folgenden visuellen Informationen erkannt: Erkennen einer Deaktivierung einer roten Ampelleuchte. Erkennen einer simultan aktivierten roten und orangenen Ampelleuchte der ersten Ampel. Erkennen einer aktivierten grünen Ampelleuchte der ersten Ampel nach einer früher erkannten aktivierten roten Ampelleuchte oder nach einer früher erkannten simultan aktivierten roten und orangenen Ampelleuchte der ersten Ampel.A change in the control state from a stop command of the first traffic light to a release is recognized in particular with one of the following visual information: Detection of a deactivation of a red traffic light. Detecting a simultaneously activated red and orange traffic light of the first traffic light. Detecting an activated green traffic light of the first traffic light after a previously detected activated red traffic light or after an earlier detected simultaneously activated red and orange traffic light of the first traffic light.

Eine akustische Information repräsentiert insbesondere dann keinen Stopp-Befehl der ersten Ampel, wenn diese bspw. eine der folgenden Situationen beschreibt: Es wird eine akustische positive Information ermittelt; d.h. es wird ein tatsächliches Geräusch ermittelt und dieses repräsentiert einen anderen Status, bspw. ein Auffindesignal eines Blinden-Summers einer zweiten Ampel. Alternativ kann auch eine akustisch negative Information ermittelt werden, d.h. es wird bspw. ermittelt, dass ein mögliches Freigabesignal des Blinden-Summers der zweiten Ampel nicht aktiviert ist. Hierzu muss insb. bekannt sein, dass bei der relevante Ampelanlage eine derartige akustische Information (d.h. ein Freigabesignal eines Blinden-Summers) technisch verfügbar ist sowie eine solche Information auch erkennbar wäre. Dies ist zum einen dann der Fall, wenn während des Stopps des Kraftfahrzeugs bereits eine entsprechende positive akustische Information ermittelt werden konnte. Jedoch ist auch denkbar, dass in einer digitalen Straßenkarte die Information entnommen wird, dass ein Blinden-Summer an der Ampelanlage verfügbar ist sowie die Umgebungsgeräusche unter einer definierten Schwelle liegen, so dass eine definierte Wahrscheinlichkeit besteht, dass ein aktiver Blinden-Summer mittels eines Mikrophons des Kraftfahrzeugs erkannt werden würde. Weiterhin muss die technische Funktionsfähigkeit des nach außen gerichteten Mikrofons des Kraftfahrzeugs gegeben sein, bzw. erkannt werden.In particular, acoustic information does not represent a stop command from the first traffic light if, for example, it describes one of the following situations: positive acoustic information is determined; i.e. an actual noise is determined and this represents a different status, for example a detection signal from a blind buzzer of a second traffic light. Alternatively, acoustically negative information can also be determined, i.e. it is determined, for example, that a possible enable signal of the blind buzzer of the second traffic light is not activated. For this purpose, it must be known in particular that such acoustic information (i.e. a release signal from a blind buzzer) is technically available in the relevant traffic light system and that such information would also be recognizable. On the one hand, this is the case if corresponding positive acoustic information could already be determined while the motor vehicle was stopped. However, it is also conceivable that the information is taken from a digital street map that a blind buzzer is available at the traffic lights and that the ambient noise is below a defined threshold, so that there is a defined probability that an active blind buzzer is activated using a microphone of the motor vehicle would be recognized. Furthermore, the technical functionality of the outward-facing microphone of the motor vehicle must be ensured or recognized.

In einer vorteilhaften Weiterbildung ist das Verfahren dadurch gekennzeichnet, dass als Regelungszustand der ersten Ampel eine Freigabe des Verkehrs erkannt wird, wenn: eine visuelle Information bzgl. des Signalzustandes der Ampelleuchten der ersten Ampel eine Freigabe des Verkehrs in Fahrtrichtung des Kraftfahrzeugs mit geringer Konfidenz repräsentiert und eine akustische Information keinen Stopp-Befehl bzgl. der ersten Ampel repräsentiert.In an advantageous development, the method is characterized in that a release of traffic is recognized as the control state of the first traffic light if: visual information regarding the signal state of the traffic lights of the first traffic light represents a release of traffic in the direction of travel of the motor vehicle with low confidence and an acoustic information does not represent a stop command regarding the first traffic light.

Hierunter wird verstanden, dass aufgrund der visuellen Information, bspw. in den Videodaten ein definierter Regelungszustand der ersten Ampel erkannt wird. Jedoch kann das ermittelte Objekt, bzw. der ermittelte Zustand eine geringe Konfidenz (Vertrauenswürdigkeit oder Validität) aufweisen. Gründe hierfür können bspw. in der Datenqualität liegen. Bestätigt in einer solchen Situation jedoch die akustischen Informationen den erkannten Regelungszustand der ersten Ampel, bzw. widerspricht einem solchen zumindest nicht, kann die Konfidenz für das entsprechende Objekt, bzw. dem ermittelten Regelungszustand erhöht werden.This means that a defined control state of the first traffic light is recognized based on the visual information, for example in the video data. However, the object or state determined may have low confidence (trustworthiness or validity). Reasons for this may lie in the data quality, for example. However, if in such a situation the acoustic information confirms the detected control state of the first traffic light, or at least does not contradict it, the confidence for the corresponding object or the determined control state can be increased.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control device.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung, kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.The approach presented here also creates a device that is designed to carry out, control or implement the steps of a variant of a method presented here in corresponding devices. This embodiment of the invention in the form of a device also allows the problem underlying the invention to be solved quickly and efficiently.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedene Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood to mean an electrical device that processes sensor signals and, depending on them, outputs control and/or data signals. The device can have an interface that can be designed in hardware and/or software. In the case of a hardware design, the interfaces can, for example, be part of a so-called system ASIC, which contains various functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In the case of software training, the interfaces can be software modules, for example on a Microcontrollers are present alongside other software modules.

Als Vorrichtung kann daher zählen ein Assistenzsystem zur Erkennung eines Ampelsignals für ein Kraftfahrzeug, ein Assistenzsystem zur Unterstützung des Fahrers durch Anzeige des aktuellen Regelungszustandes einer Ampel, sowie ggf. Hinweise zur Fahrzeugführung oder auch ein Assistenzsystem zur automatisierten Regelung der Längsführung. Weiterhin kann als Vorrichtung angesehen werden: eine Umfeld-Erfassungsvorrichtung, insb. eine Kamera oder sonstige optische AufnahmeVorrichtung und/oder ein zentrales oder dezentrales Steuergerät, welches eingerichtet ist zur Steuerung einer der genannten Vorrichtungen, bzw. zur Ausführung des beschriebenen Verfahrens. Weiterhin kann ein entsprechendes Mikrofon zur Aufnahme von Umgebungsgeräuschen für das Kraftfahrzeug als entsprechende Vorrichtung ausgestaltet sein.The device can therefore include an assistance system for recognizing a traffic light signal for a motor vehicle, an assistance system for supporting the driver by displaying the current control status of a traffic light, as well as, if necessary, information on vehicle guidance or an assistance system for automated control of longitudinal guidance. Furthermore, the following can be viewed as a device: an environment detection device, in particular a camera or other optical recording device and/or a central or decentralized control device, which is set up to control one of the devices mentioned or to carry out the method described. Furthermore, a corresponding microphone for recording ambient noise for the motor vehicle can be designed as a corresponding device.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also advantageous is a computer program product or computer program with program code, which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard drive memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, particularly if the program product or program is executed on a computer or device.

AusführungsformenEmbodiments

Es ist darauf hinzuweisen, dass die in der Beschreibung einzeln aufgeführten Merkmale in beliebiger, technisch sinnvoller Weise miteinander kombiniert werden können und weitere Ausgestaltungen der Erfindung aufzeigen. Weitere Merkmale und Zweckmäßigkeit der Erfindung ergeben sich aus der Beschreibung von Ausführungsbeispielen anhand der beigefügten Figuren.It should be noted that the features listed individually in the description can be combined with one another in any technically sensible manner and show further refinements of the invention. Further features and expediency of the invention emerge from the description of exemplary embodiments using the attached figures.

Von den Figuren zeigt:

1 eine schematische Darstellung einer Ausgestaltung der Erfindung in einer ersten Umgebungssituation; und
2 eine schematische Darstellung einer Anwendung einer Ausgestaltung der Erfindung in einer zweiten Umgebungssituation; und
3 eine schematische Darstellung einer Anwendung einer Ausgestaltung der Erfindung in einer dritten Umgebungssituation.

Of the figures shows:

1 a schematic representation of an embodiment of the invention in a first environmental situation; and
2 a schematic representation of an application of an embodiment of the invention in a second environmental situation; and
3 a schematic representation of an application of an embodiment of the invention in a third environmental situation.

1 zeigt eine schematische Darstellung einer Ausführungsform der Erfindung in einer ersten Umgebungssituation. Gezeigt ist hierbei ein Kraftfahrzeug 1 in der Umgebung 10. Das Kraftfahrzeug 1 weist dabei eine Videosystem 2 auf. Mittels des Videosystems 2 werden Bilddaten der Umgebung 10 des Kraftfahrzeugs 1 aufgenommen. Diese Bilddaten werden von einer Auswertevorrichtung 3 mittels einer Auswerte-Software ausgewertet. Hierbei werden Signale generiert und an das Fahrassistenzsystem 4 weitergeleitet. Das Fahrassistenzsystem 4 kann bspw. automatisierte Fahrmanöver ausführen, bspw. ein automatisiertes Abbremsen oder ein automatisiertes Anfahren. Auch kann das Fahrassistenzsystem 4 bei Bedarf spezifische Informationen, an den Fahrer kommunizieren - bspw. den aktuellen Phasenzustand der für ihn relevanten nächsten Ampel oder/und eine Information, bzw. Aufforderung zur rechtzeitigen Abbremsung des Kraftfahrzeugs. Weiterhin kann eine Vorrichtung 5 zur Ermittlung eines Regelungszustandes einer Ampel oder Ampelanlage für ein Kraftfahrzeug als Stand-Alone-Vorrichtung ausgebildet sein. Diese Vorrichtung 5 kann jedoch auch in die Auswertevorrichtung 3 integriert sein. Selbstverständlich ist auch eine Integration direkt in das Videosystem 2 oder in das Fahrassistenzsystem 4 denkbar. Weiterhin ist ein im Kraftfahrzeug 1 befindlicher digitaler Speicher 6 dargestellt. In dem digitalen Speicher können bspw. ermittelte Informationen bzgl. einer aktivierten Ampelleuchten zur Beschreibung der Relation zu einer anderen aktivierten Ampelleuchten zeitlich begrenzt gespeichert werden. Weiterhin umfasst das Kraftfahrzeug 1 ein nach außen gerichtetes Mikrofon 7 zur Aufnahme von Umgebungsgeräuschen. Das so ermittelte Signal kann bspw. in die Auswertevorrichtung 3 ausgewertet werden. 1 shows a schematic representation of an embodiment of the invention in a first environmental situation. What is shown here is a motor vehicle 1 in the environment 10. The motor vehicle 1 has a video system 2. Image data of the surroundings 10 of the motor vehicle 1 are recorded using the video system 2. This image data is evaluated by an evaluation device 3 using evaluation software. Signals are generated and forwarded to the driving assistance system 4. The driving assistance system 4 can, for example, carry out automated driving maneuvers, for example automated braking or automated starting. If necessary, the driving assistance system 4 can also communicate specific information to the driver - for example the current phase state of the next traffic light relevant to him and/or information or a request to brake the motor vehicle in a timely manner. Furthermore, a device 5 for determining a control state of a traffic light or traffic light system for a motor vehicle can be designed as a stand-alone device. However, this device 5 can also be integrated into the evaluation device 3. Of course, integration directly into the video system 2 or into the driving assistance system 4 is also conceivable. Furthermore, a digital memory 6 located in the motor vehicle 1 is shown. For example, determined information regarding an activated traffic light can be stored in the digital memory for a limited time in order to describe the relationship to another activated traffic light. Furthermore, the motor vehicle 1 includes an outward-facing microphone 7 for recording ambient noise. The signal determined in this way can be evaluated, for example, in the evaluation device 3.

Weiterhin ist eine Ampelanlage 11 (auch Lichtzeichenanlage oder Lichtsignalanlage) in der Umgebung 10 des Kraftfahrzeugs 1 darstellt, welche eine Fahrtrichtung des Kraftfahrzeugs 1 regelt. Die Ampelanlage 11 umfasst dabei eine erste Ampel (auch Signalgeber) 11a mit drei Ampelleuchten (auch Lichtsignalgebern). Die obere Ampelleuchte ist eine rote Leuchte. Die mittlere Ampelleuchte ist eine gelbe Leuchte. Die untere Ampelleuchte ist eine grüne Leuchte. Diese Ampelleuchten stellen bei Aktivierung einen definierten Regelungszustand der Ampel 11a dar. Hierbei werden vier Regelungszustände definiert (Halt, auf Weiterfahrt vorbereiten, Verkehr freigegeben, auf Halt vorbereiten).Furthermore, a traffic light system 11 (also traffic light system or traffic light system) is represented in the area 10 of the motor vehicle 1, which regulates the direction of travel of the motor vehicle 1. The traffic light system 11 includes a first traffic light (also signal generator) 11a with three traffic light lights (also light signal generators). The upper traffic light is a red light. The middle traffic light is a yellow light. The lower traffic light is a green light. When activated, these traffic light lights represent a defined control state of the traffic light 11a. Four control states are defined here (stop, prepare to continue driving, traffic released, prepare to stop).

Die Ampelanlage 11 umfasst weiterhin eine zweite Ampel 13. Hierbei handelt es sich um eine Fußgängerampel, welche quer zur ersten Fahrtrichtung des Kraftfahrzeugs 1 verläuft, d.h. den Fußgängerverkehr regelt, welcher die Fahrbahn des Kraftfahrzeugs 1 kreuzt. Die Fußgängerampel umfasst ferner einen akustischen Signalgeber 14. Dieser ist bspw. als Blinden-Taster mit einem integrierten Blinden-Summer ausgestaltet. Ein derartiger akustische Signalgeber kann bspw. zwei verschiedene Signale ausgeben: Zum einen ein Freigabesignal (in der Regel als schnelles Piepen ausgestaltet), welches signalisiert, dass die Überquerung für Fußgänger freigegeben ist. Dieses Signal muss zumeist durch Drücken des Blinden-Tasters zunächst angefordert werden. Zum anderen können neuere Blinden-Summer zum Teil auch ein Auffindesignal (in der Regel ein langsames Tacken) ausgeben, um den Ampelmast, bzw. den Blinden-Taster zu finden. Dieses Signal ist bei eingeschalteter Ampel dauerhaft in Betrieb.The traffic light system 11 further includes a second traffic light 13. This is a pedestrian traffic light which runs transversely to the first direction of travel of the motor vehicle 1, ie regulates the pedestrian traffic that crosses the roadway of the motor vehicle 1. The pedestrian traffic light also includes an acoustic signal generator 14. This is designed, for example, as a blind button with an integrated blind buzzer. Such an acoustic signal generator can, for example, produce two different signals Output: On the one hand, a release signal (usually designed as a quick beep), which signals that the crossing is open to pedestrians. This signal usually has to be requested first by pressing the blind button. On the other hand, newer blind buzzers can sometimes also emit a locating signal (usually a slow ticking) in order to find the traffic light pole or the blind button. This signal is permanently in operation when the traffic light is switched on.

Durch Auswertung des optischen Signals bzgl. der Ampel 12 sowie des akustischen Signals bzgl. der Fußgängerampel 13 kann mit einer hohen Sicherheit der Regelungszustand der Ampel 12 für das Kraftfahrzeug 1 ermittelt werden. Bspw. auch dann, wenn die Datenqualität der visuellen Information bzgl. der Ampel 12 - bspw. wegen Gegenlicht aufgrund einer niedrigstehenden Sonne - beeinträchtigt ist.By evaluating the optical signal relating to the traffic light 12 and the acoustic signal relating to the pedestrian traffic light 13, the control state of the traffic light 12 for the motor vehicle 1 can be determined with a high degree of certainty. For example, even if the data quality of the visual information regarding the traffic light 12 is impaired - for example due to backlighting due to a low sun.

2 zeigt eine schematische Darstellung einer Anwendung einer Ausgestaltung der Erfindung in einer zweiten Umgebungssituation. Hierbei besteht die Ampelanlage aus einer ersten Ampel 12 für das Kraftfahrzeug sowie einer räumlich separierten Ampel 13 für Fußgänger. Des Weiteren ist ein Fußgänger beispielhaft als möglicher Verkehrsteilnehmer 16 dargestellt. 2 shows a schematic representation of an application of an embodiment of the invention in a second environmental situation. The traffic light system consists of a first traffic light 12 for the motor vehicle and a spatially separated traffic light 13 for pedestrians. Furthermore, a pedestrian is shown as an example as a possible road user 16.

3 zeigt eine schematische Darstellung einer Anwendung einer Ausgestaltung der Erfindung in einer dritten Umgebungssituation. Hierbei ist eine Situation dargestellt mit einem weiteren Verkehrsteilnehmer 15, einem LKW. In der dargestellten Situation kann das Videosystem 2 des an der Ampel 12 haltenden Kraftfahrzeugs 1 kein visuelle Information bzgl. des Regelungszustandes der Ampel 12 erlangen, da eine Verdeckung der Ampel 12 durch den LKW 15 vorliegt. Jedoch kann mittels des Mikrofons 7 ein Signal des akustischen Signalgebers 14 der Fußgängerampel 13 ermittelt werden. Durch Auswertung des akustischen Signals kann direkt ein Rückschluss auf den Regelungszustand der Fußgängerampel 13 gezogen werden. Hieraus kann indirekt ein Rückschluss auf den Regelungszustand der Ampel 12 abgeleitet werden. 3 shows a schematic representation of an application of an embodiment of the invention in a third environmental situation. A situation is shown here with another road user 15, a truck. In the situation shown, the video system 2 of the motor vehicle 1 stopped at the traffic light 12 cannot obtain any visual information regarding the control status of the traffic light 12, since the traffic light 12 is obscured by the truck 15. However, a signal from the acoustic signal generator 14 of the pedestrian traffic light 13 can be determined using the microphone 7. By evaluating the acoustic signal, a direct conclusion can be drawn about the control status of the pedestrian traffic light 13. From this, an indirect conclusion can be drawn about the control status of the traffic light 12.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102021103732 A1 [0002]
US 2021107477 [0003]

Claims

Method for a motor vehicle (1) for determining a control state of a first traffic light (12) of a traffic light system (11), by means of which traffic in a direction of travel of the motor vehicle (1) is regulated, characterized by the method step: • Determination of the control state taking into account a visual information and acoustic information.

Procedure according to Claim 1 , characterized by the method step: • Determination of a temporary stop of the motor vehicle (1), in particular a stop of the motor vehicle (1) at the first traffic light (12).

Method according to one of the preceding claims, characterized by the method step: • Determination of visual information regarding the first traffic light (12) of the traffic light system (11), in particular determination of a signal state of the traffic light lights of the first traffic light (12) with respect to the first direction of travel and /or determining the position of the first traffic light (12).

Method according to one of the preceding claims, characterized by the method step: • Determination of acoustic information regarding the control state of the first traffic light (12) of the traffic light system (11), in particular an acoustic signal from a second traffic light (13) of the traffic light system as acoustic information (11) is taken into account.

Procedure according to Claim 4 , characterized in that an acoustic signal of a pedestrian traffic light is taken into account as the acoustic signal of the second traffic light (13), which represents an opening of the second traffic light (13) for pedestrians, and/or represents a detection signal of the second traffic light (13) for pedestrians.

Method according to one of the preceding claims, characterized in that the acoustic information is determined when: • visual information is present which represents a stop command as a signal state of the traffic lights of the first traffic light (12) and/or • a temporary stop of the motor vehicle (1) is detected.

Method according to one of the preceding claims, characterized in that a stop command is recognized as the control state of the first traffic light (12) if: • visual information regarding the signal status of the traffic light lights of the first traffic light (12) is not available and • a acoustic information represents a stop command regarding the first traffic light (12).

Method according to one of the preceding claims, characterized in that a recognized stop command is rejected as the control state of the first traffic light (12) if: • visual information regarding the signal status of the traffic light lights of the first traffic light (12) is not available and • an acoustic information represents a deactivation of a stop command regarding the first traffic light (12).

Method according to one of the preceding claims, characterized in that a change from a stop command to a release of traffic is recognized as the control state of the first traffic light (12) if: • visual information regarding the signal state of the traffic light lamps of the first traffic light (12) represents a change from a stop command to a release of traffic in the direction of travel of the motor vehicle (1) and • acoustic information does not represent a stop command regarding the first traffic light (12).

Method according to one of the preceding claims, characterized in that a release of traffic is recognized as the control state of the first traffic light (12) if: • visual information regarding the signal state of the traffic light lights of the first traffic light (12) a release of traffic in the direction of travel of the motor vehicle (1) with low confidence and • acoustic information does not represent a stop command regarding the first traffic light (12).

Device (1, 2, 3, 4, 5, 6, 7, 11, 12) which is set up to carry out the method according to one of Claims 1 until 10 to carry out.

Computer program that when the program is executed by a device Claim 11 is designed to carry out the procedure according to one of the Claims 1 until 10 to carry out.