EP3243196A1 - Method and device for detecting the passage of a motor vehicle through a road sign gantry - Google Patents

Method and device for detecting the passage of a motor vehicle through a road sign gantry

Info

Publication number
EP3243196A1
EP3243196A1 EP15794546.0A EP15794546A EP3243196A1 EP 3243196 A1 EP3243196 A1 EP 3243196A1 EP 15794546 A EP15794546 A EP 15794546A EP 3243196 A1 EP3243196 A1 EP 3243196A1
Authority
EP
European Patent Office
Prior art keywords
traffic sign
motor vehicle
gate
distance
passage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP15794546.0A
Other languages
German (de)
French (fr)
Other versions
EP3243196B1 (en
Inventor
Christian Braeuchle
Christian Jeschke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3243196A1 publication Critical patent/EP3243196A1/en
Application granted granted Critical
Publication of EP3243196B1 publication Critical patent/EP3243196B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Definitions

  • the present invention relates to a method for detecting a passage of a motor vehicle through a traffic sign gate.
  • the invention further relates to a corresponding control and evaluation device.
  • the invention relates to a corresponding computer program and a machine-readable storage medium.
  • False drivers on traffic routes so-called "ghost drivers" represent a high risk in road traffic. In the event of an accident, you will cause death, injuries and significant property damage. In order to counteract this risk, a general endeavor in the automotive industry is to recognize wrong-way drivers as early as possible in order to be able to take appropriate countermeasures.
  • a first approach is the detection of a wrong-way driver based solely on navigation devices by monitoring a road class and a direction of travel of their own motor vehicle and checked for a wrong-way. In most cases, this procedure leads to late detection of wrong-way driving, since the wrong-hand driver is already driving on a wrong driving lane at high speed at the time of detection. At this time, he already causes a great risk of collision.
  • motor vehicles usually have inertial sensors, that is to say at least one acceleration sensor, and steering angle sensors for determining states of the motor vehicle in order to implement safety and comfort systems.
  • inertial sensors that is to say at least one acceleration sensor
  • steering angle sensors for determining states of the motor vehicle in order to implement safety and comfort systems.
  • a large number of modern motor vehicles today have an integrated navigation system with position determination.
  • map material is already available for these navigation systems, which contains additional information about the map data, such as curve radii and traffic sign information.
  • motor vehicles are already available which are equipped with a video sensor system which is designed to detect traffic signs, curve radii and other objects and to output a corresponding information.
  • a method for detecting a passage of a motor vehicle through a traffic sign gate is provided, with the steps:
  • the invention relates to a control and evaluation unit which is designed to detect a passage of a motor vehicle through a traffic sign gate, wherein it is designed to receive surroundings information, to recognize traffic signs in the surroundings information, to select a first traffic sign and a second traffic sign, together form a traffic sign gate to determine position data for the first traffic sign and the second traffic sign from the surrounding information, to determine a gate width between the first traffic sign and the second traffic sign, to determine a first distance of the motor vehicle to the first traffic sign, a second distance of Motor vehicle to determine the second traffic sign, and to detect the passage in dependence of the door width, the first distance and the second distance.
  • the new method and the new device are based on the idea that wrong-way driving can be recognized particularly well by the fact that a wrong-way driver must first drive through a traffic sign gate at a connection point in order to get onto the federal highway.
  • a traffic sign gate at a connection point in order to get onto the federal highway.
  • the detection of such a passage is at least an indicator for a wrong-way and can serve to either recognize the wrong trip itself, to establish the thesis of a wrong-way or to verify the wrong-way.
  • an efficient method is provided by the invention, which allows detection or verification of a wrong drive based on environmental information.
  • the receiving of environmental information is preferably carried out by a camera of the motor vehicle, in particular a video camera.
  • the environment information is then either video data or information extracted from video data from the camera.
  • Detecting traffic signs in environment information involves identifying and verifying an object within the environment information as a traffic sign. It is particularly preferred if the type of traffic sign can be recognized and evaluated. Further, it is preferable if the traffic sign number 267, or corresponding traffic signs, is uniquely identified. The traffic sign number 267 contains the information "entrance forbidden".
  • the traffic sign gate consists of at least two traffic signs, which are arranged horizontally spaced apart.
  • the position data for the traffic signs are determined from the surroundings information. This may be absolute position data of the traffic signs, such as GPS coordinates, or even relative position data of the traffic signs relative to the motor vehicle.
  • the gate width can then be determined from the position data itself by simple mathematical operations. Similarly, the first and the second distance of the motor vehicle to the respective traffic signs can then be determined.
  • the detection of the passage itself finally takes place as a function of these three dimensions: door width, first distance and second distance.
  • suitable mathematical link can be determined when the vehicle, seen in the direction of travel, before, inside, beside or behind the gate.
  • ty is the gate width between the traffic sign i and the traffic sign j.
  • Xi, Xj, yi, yj represent corresponding x coordinates and y coordinates of the respective traffic signs i and j.
  • theorem of Pythagoras it may also be assumed that the length of the longer catheters plus half the length of the shorter catheters is approximately the same length corresponds to the hypotenuse. This can save additional computing power.
  • the calculation of the first and second distances of the vehicle to the respective traffic signs can also be determined.
  • df, k the distance of the vehicle to the shield k.
  • Xf and yt are coordinates of the vehicle and Xk and yk coordinates of the plate k.
  • Such a method can determine very early in a very safe way a passage of the motor vehicle through a traffic sign gate. As already stated, it is particularly preferred if this is associated with additional information, such as a type of traffic sign, which can indicate a transit ban, or even navigation data that can show proximity to a motorway ramp.
  • additional information such as a type of traffic sign, which can indicate a transit ban, or even navigation data that can show proximity to a motorway ramp.
  • the additional step is provided: checking the door width for plausibility, wherein a traffic sign gate with implausible door width is discarded.
  • the method is optimized in such a way that traffic sign gates that are implausible are discarded so that a check is saved.
  • the gate width itself is used. Discarding here means, in particular, that the relevant traffic sign gate is no longer taken into account for a detection of a transit. Only a door width that fulfills a predefined minimum and / or a maximum can be meaningfully used for the method. This is particularly advantageous because the traffic signs gates can be composed arbitrarily from several traffic signs. As a minimum for a door width, for example, a vehicle width, or a road width can be used.
  • the method has the additional steps of determining an angle between a straight line defined by a traffic sign gate and an axis of the motor vehicle, and checking the angle for plausibility, discarding an implausible traffic sign gate.
  • an efficiency of the method is also increased by checking a plausibility of the traffic sign gates.
  • a criterion for plausibility an orientation of the traffic sign gate relative to the motor vehicle is used here.
  • the straight line is defined by the traffic sign gate in that this virtual straight line extends from the first traffic sign to the second traffic sign.
  • the axis of the motor vehicle is preferably a longitudinal or transverse axis.
  • a corresponding criterion of the plausibility of the corresponding angle then depends on the type of axis. For example, in the case of using a longitudinal axis of the motor vehicle, a traffic sign gate would be plausible if the longitudinal axis of the motor vehicle were arranged substantially parallel or at a very acute angle to the straight line.
  • the passage is detected as a function of the following formula:
  • a concrete equation which describes the dependence between the gate width t, j the first distance dfj and the second distance d.
  • the formula says that the passage must be made when the two distances in total correspond to the gate width itself. This case occurs when the motor vehicle, more specifically the sensor of the motor vehicle, which has detected the environmental information, is located exactly between the first traffic sign and the second traffic sign. The passage is therefore detected when the above formula contains a true statement. Thus, a very multiple calculation of the passage possible. It is particularly preferred if, in order to check the plausibility of the formula, several time-staggered checks of this formula take place, which can show a plausible time course.
  • a time course he sum of the first and second distance is checked, wherein a passage is detected when a minimum and / or a turning point is determined.
  • the door width can also be taken into account here so that the time course can be determined by the following formula:
  • the parameters ty, dfj and d are each dependent on the time t.
  • a particular advantage here is that no exact fulfillment of the condition is necessary, but a time course is made possible by a minimum-maximum viewing and / or inflection point analysis.
  • the position data are additionally determined as a function of a trajectory of the motor vehicle.
  • the determination of the position data is improved to the effect that the direction of travel and speed of the motor vehicle is taken into account.
  • position data from the environmental data may be outdated because seconds may pass until it is actually used.
  • the trajectory of the motor vehicle can be taken into account, so that after determining the position data, the position data actually present at the time of the result are determined directly. This allows a particularly accurate determination of the position data.
  • the trajectory is determined by means of initial sensors.
  • the trajectory of the motor vehicle is determined on the basis of measurement data from inertial sensors. As already explained at the beginning, today's motor vehicles often already have inertial sensors, so that this represents a particularly economical possibility for determining the trajectory of a motor vehicle.
  • a future trajectory of the motor vehicle is predicted and a future passage determined as a function of the future trajectory.
  • a particularly secure detection of the passage is provided, which takes place before the passage itself takes place.
  • Figure 1 shows a potential wrong driving situation
  • FIG. 3 shows a flowchart of the method according to the invention.
  • FIG. 1 shows a road 10 on which a motor vehicle 12 travels.
  • the road 10 represents a motorway exit on which the motor vehicle 12 is traveling in the wrong direction of travel.
  • the motor vehicle 12 has a camera 14 which receives environmental information from an environment of the motor vehicle 12. This environment information is then processed within a control and evaluation unit 15.
  • the motor vehicle 12 moves along a trajectory 16 along the road 10. Furthermore, the motor vehicle has a vehicle longitudinal axis 17, which defines the instantaneous orientation of the trajectory 16.
  • the trajectory 16 leads between a first traffic sign 18 and a second traffic sign 20 therethrough.
  • the first traffic sign 18 and the second traffic sign 20 jointly form a traffic sign gate 22.
  • the traffic sign gate 22 has a gate width 24.
  • the motor vehicle 12 has a first distance 26 from the first traffic sign 18 and a second distance 28 from the second traffic sign 20.
  • the reference point of the motor vehicle 12 is the camera 14. Starting from this reference point, the distances 26 and 28 are determined here.
  • a passage through the traffic sign gate 22 can be recognized by the fact that the distances 26 and 28 in total correspond to the door width 24.
  • the camera 14 is located exactly at the height of the door 24.
  • a plausibility of the passage through an imaginary angle 29 between the vehicle longitudinal axis 17 and the straight line 24 is possible.
  • a plausibility check is possible in that the vehicle longitudinal axis 17 must be arranged substantially 90 ° to the straight line 24 between the first traffic sign 18 and the second traffic sign 20. If this is not the case, or if the vehicle longitudinal axis 17 is arranged substantially parallel or at a very acute angle to this straight line 24, a passage is not to be expected and the traffic sign gate 22 would be rejected as implausible.
  • FIG. 2 shows a Cartesian coordinate system 30 with an abscissa 32, on which the time t is plotted.
  • the time course of this function is shown by the curve 36.
  • the global minimum 38 indicates here the time of passage of the motor vehicle 12 through the traffic sign gate 22. In an ideal case, the minimum would be zero. However, this does not necessarily have to be the case, for example due to measurement uncertainties or time delays.
  • FIG. 3 shows a flow diagram 40 of the method according to the invention.
  • the method begins in a step 42 in which environmental information from the camera 14 is detected by the control and evaluation unit 15.
  • a step 44 the traffic signs 18 and 20 in the environmental information are recognized by the control and evaluation unit 15.
  • the control and evaluation unit 15 selects the first traffic sign 18 and the second traffic sign 20, which thereby form the traffic sign gate 22.
  • the traffic sign gate 22 is made plausible.
  • the angle 29 between the vehicle longitudinal axis 17 and the straight line 24 between the first traffic sign 18 and the second traffic sign 20 is determined. If this angle 29 is substantially a 90 ° angle, or does not exceed a too acute angle threshold, the traffic sign gate 22 is not discarded and the process proceeds to step 50.
  • the traffic sign gate 22 is then measured by the gate width 24 between the first traffic sign 18 and the second traffic sign 20 is determined.
  • the door width 24 is then forwarded to step 52.
  • the door width 24 is then made plausible. This is done by comparing the gate width 24 with a parameter stored in the control and evaluation unit 15.
  • the parameter is a minimum gate width that must be present. If the minimum gate width is not available, then the procedure is aborted at this point.
  • the method may end prematurely in steps 48 and 52.
  • provision may also be made for the method to be put into step 46 again via the arrows 53, and a further traffic sign gate to be determined there. This can be done until all possible traffic sign gates have been checked.
  • step 54 the first distance 26 of the motor vehicle 12 to the first traffic sign 18 is then determined. Accordingly, in step 56, the second distance 28 of the motor vehicle 12 to the second traffic sign 20 is determined.
  • step 58 the passage is then determined as a function of this three information.
  • the method can again be returned to step 46 via arrow 60, where a further traffic sign gate can then be checked.

Abstract

The invention relates to a method for detecting the passing of a motor vehicle (12) through a road sign gantry (22), having the steps: – receiving information on the surroundings, – detecting road signs (18, 20) in the information on the surroundings, – selecting a first road sign (18) and a second road sign (20) which together form a road sign gantry (22), – acquiring position data for the first road sign (18 )and for the second road sign (20) from the information on the surroundings, – determining a gantry width (24) between the first road sign (18) and the second road sign (20), – determining a first distance (26) of the motor vehicle (12) from the first road sign (18), – determining a second distance (28) of the motor vehicle (12) from the second road sign (20), and – detecting the passing through of the vehicle as a function of the gantry width (24), the first distance (26) and the second distance (28).

Description

Beschreibung  description
Titel title
Verfahren und Vorrichtung zur Detektion einer Durchfahrt eines Kraftfahrzeuges durch ein Verkehrszeichentor  Method and device for detecting a passage of a motor vehicle through a traffic sign gate
Technisches Gebiet Technical area
Die vorliegende Erfindung betrifft ein Verfahren zur Detektion einer Durchfahrt eines Kraftfahrzeugs durch ein Verkehrszeichentor. Die Erfindung betrifft ferner eine entspre- chende Steuer-und Auswerteeinrichtung. Zudem betrifft die Erfindung ein entsprechendes Computerprogramm und ein maschinenlesbares Speichermedium. The present invention relates to a method for detecting a passage of a motor vehicle through a traffic sign gate. The invention further relates to a corresponding control and evaluation device. In addition, the invention relates to a corresponding computer program and a machine-readable storage medium.
Stand der Technik Falschfahrer auf Verkehrswegen, sogenannte Geisterfahrer, stellen ein hohes Risiko im Straßenverkehr dar. Im Falle eines Unfalls verursachen Sie Tote, Verletzte und erheblichen Sachschaden. Um diesem Risiko entgegenzuwirken geht ein allgemeines Bestreben in der Automobilindustrie dahin, Falschfahrer möglichst frühzeitig erkennen zu können, um geeignete Gegenmaßnahmen treffen zu können. Ein erster Ansatz ist die Erkennung eines Falschfahrers allein auf Basis von Navigationsgeräten, indem eine Straßenklasse sowie eine Fahrtrichtung des eigenen Kraftfahrzeugs überwacht und auf eine Falschfahrt hin überprüft wird. Diese Vorgehensweise führt in den meisten Fälle zu einer zu späten Erkennung der Falschfahrt, da hier der Falschfahrer zum Zeitpunkt der Erkennung bereits mit hoher Fahrgeschwindigkeit auf einer falschen Fahr- bahn fährt. Zu diesem Zeitpunkt bewirkt er bereits ein großes Risiko einer Kollision.PRIOR ART False drivers on traffic routes, so-called "ghost drivers", represent a high risk in road traffic. In the event of an accident, you will cause death, injuries and significant property damage. In order to counteract this risk, a general endeavor in the automotive industry is to recognize wrong-way drivers as early as possible in order to be able to take appropriate countermeasures. A first approach is the detection of a wrong-way driver based solely on navigation devices by monitoring a road class and a direction of travel of their own motor vehicle and checked for a wrong-way. In most cases, this procedure leads to late detection of wrong-way driving, since the wrong-hand driver is already driving on a wrong driving lane at high speed at the time of detection. At this time, he already causes a great risk of collision.
Gerade bei Falschfahrt auf Autobahnen ist ein besonders hohes Verkehrsrisiko gegeben, da aufgrund der hohen Fahrzeuggeschwindigkeiten besonders schwere Unfälle und damit zu schweren Verletzungen, zum Teil mit Todesfolge, kommen kann. Über 50 % der Falschfahrten beginnen auf Anschlussstellen der Bundesautobahnen. Daher folgen viele Ansätze zur Erkennung eines Falschfahrers der Idee, möglichst früh eine Auffahrt auf die Bundesautobahn an einer Anschlussstelle in die falsche Richtung zu detektieren. Hierzu stehen in modernen Kraftfahrzeugen unterschiedliche Sensoren zur Verfügung. Zum Beispiel verfügen Kraftfahrzeuge meist über Inertialsensoren, also mindestens einen Beschleunigungssensor, sowie Lenkwinkelsensoren zur Bestimmung von Zuständen des Kraftfahrzeugs um Sicherheits- und Komfortsysteme zu realisieren. Des Weiteren verfügt eine Vielzahl an modernen Kraftfahrzeugen heutzutage über ein integriertes Navigationssystem mit Positionsbestimmung. Auch ist bereits Kar- tenmaterial für diese Navigationssysteme verfügbar, welches Zusatzinformationen zu den Kartendaten enthält, wie beispielsweise Kurvenradien und Verkehrsschildinformationen. Ferner sind bereits Kraftfahrzeuge verfügbar, die mit einer Videosensorik ausgestattet sind, die dazu ausgebildet ist, Verkehrsschilder, Kurvenradien und sonstige Objekte zu detektieren und eine entsprechende Information auszugeben. Especially when driving wrong on highways a particularly high traffic risk is given, because of the high vehicle speeds particularly serious accidents and thus serious injuries, sometimes with fatal consequences. Over 50% of wrong-journeys begin at junctions of the federal motorways. Therefore, many approaches to detect a wrong-way driver of the idea to detect as early as possible a driveway on the federal highway at a junction in the wrong direction. For this purpose, different sensors are available in modern motor vehicles. For example, motor vehicles usually have inertial sensors, that is to say at least one acceleration sensor, and steering angle sensors for determining states of the motor vehicle in order to implement safety and comfort systems. Furthermore, a large number of modern motor vehicles today have an integrated navigation system with position determination. Also, map material is already available for these navigation systems, which contains additional information about the map data, such as curve radii and traffic sign information. Furthermore, motor vehicles are already available which are equipped with a video sensor system which is designed to detect traffic signs, curve radii and other objects and to output a corresponding information.
Offenbarung der Erfindung Disclosure of the invention
Erfindungsgemäß ist ein Verfahren zur Detektion einer Durchfahrt eines Kraftfahrzeugs durch ein Verkehrszeichentor vorgesehen, mit den Schritten: According to the invention, a method for detecting a passage of a motor vehicle through a traffic sign gate is provided, with the steps:
- Empfangen von Umgebungsinformationen, - receiving environmental information,
Erkennen von Verkehrszeichen in den Umgebungsinformationen,  Detecting traffic signs in the environment information,
Auswählen eines ersten Verkehrszeichens und eines zweiten Verkehrszeichens , die zusammen ein Verkehrszeichentor bilden,  Selecting a first traffic sign and a second traffic sign, which together form a traffic sign gate,
Ermitteln von Positionsdaten für das erste Verkehrszeichen und für das zweite Verkehrszeichen, aus den Umgebungsinformationen,  Determining position data for the first traffic sign and for the second traffic sign, from the environment information,
Bestimmen einer Torbreite zwischen dem ersten Verkehrszeichen und dem zweiten Verkehrszeichen,  Determining a gate width between the first traffic sign and the second traffic sign,
Bestimmen eines ersten Abstandes des Kraftfahrzeugs zu dem ersten Verkehrszeichen,  Determining a first distance of the motor vehicle to the first traffic sign,
- Bestimmen eines zweiten Abstands des Kraftfahrzeugs zu dem zweiten Verkehrszeichen, und Determining a second distance of the motor vehicle to the second traffic sign, and
Detektieren der Durchfahrt in Abhängigkeit der Torbreite, des ersten Abstands und des zweiten Abstands. Ferner betrifft die Erfindung eine Steuer- und Auswerteeinheit, die dazu ausgebildet ist eine Durchfahrt eines Kraftfahrzeugs durch ein Verkehrszeichentor zu detektieren, wobei sie dazu ausgebildet ist, Umgebungsinformationen zu empfangen, Verkehrszeichen in den Umgebungsinformationen zu erkennen, ein erstes Verkehrszeichen und ein zweites Verkehrszeichen auszuwählen, die zusammen ein Verkehrszeichentor bilden, Positionsdaten für das erste Verkehrszeichen und das zweite Verkehrszeichen aus den Umgebungsinformationen zu ermitteln, eine Torbreite zwischen dem ersten Verkehrszeichen und dem zweiten Verkehrszeichen zu bestimmen, einen ersten Abstand des Kraftfahrzeugs zu dem ersten Verkehrszeichen zu bestimmen, einen zweiten Abstand des Kraftfahrzeugs zu dem zweiten Verkehrszeichen zu bestimmen, und die Durchfahrt in Abhängigkeit der Torbreite, des ersten Abstands und des zweiten Abstands zu detektieren. Detecting the passage as a function of the door width, the first distance and the second distance. Furthermore, the invention relates to a control and evaluation unit which is designed to detect a passage of a motor vehicle through a traffic sign gate, wherein it is designed to receive surroundings information, to recognize traffic signs in the surroundings information, to select a first traffic sign and a second traffic sign, together form a traffic sign gate to determine position data for the first traffic sign and the second traffic sign from the surrounding information, to determine a gate width between the first traffic sign and the second traffic sign, to determine a first distance of the motor vehicle to the first traffic sign, a second distance of Motor vehicle to determine the second traffic sign, and to detect the passage in dependence of the door width, the first distance and the second distance.
Das neue Verfahren und die neue Vorrichtung basieren auf der Idee, dass Falschfahrten besonders gut dadurch erkannt werden können, dass ein Falschfahrer an einer Anschlussstelle zunächst durch ein Verkehrszeichentor hindurch fahren muss, um auf die Bundesautobahn zu gelangen. Bereits die Detektion einer solchen Durchfahrt ist zumindest ein Indikator für eine Falschfahrt und kann dazu dienen, entweder die Falschfahrt selbst zu erkennen, die These einer Falschfahrt aufzustellen oder die Falschfahrt zu verifizieren. Somit wird durch die Erfindung ein effizientes Verfahren bereitgestellt, das eine Erkennung oder Verifikation einer Falschfahrt auf Basis von Umfeldinformationen ermöglicht. The new method and the new device are based on the idea that wrong-way driving can be recognized particularly well by the fact that a wrong-way driver must first drive through a traffic sign gate at a connection point in order to get onto the federal highway. Already the detection of such a passage is at least an indicator for a wrong-way and can serve to either recognize the wrong trip itself, to establish the thesis of a wrong-way or to verify the wrong-way. Thus, an efficient method is provided by the invention, which allows detection or verification of a wrong drive based on environmental information.
Das Empfangen von Umgebungsinformationen erfolgt vorzugsweise von einer Kamera des Kraftfahrzeugs, insbesondere einer Videokamera. Die Umgebungsinformationen sind dann entweder Videodaten, oder Informationen, die aus Videodaten der Kamera extrahiert worden sind. The receiving of environmental information is preferably carried out by a camera of the motor vehicle, in particular a video camera. The environment information is then either video data or information extracted from video data from the camera.
Das Erkennen von Verkehrszeichen in Umgebungsinformationen beinhaltet das Identifizieren und Verifizieren eines Objekts innerhalb der Umgebungsinformationen als Verkehrszeichen. Besonders bevorzugt ist es, wenn die Art des Verkehrszeichens erkannt und ausgewertet werden kann. Weiter ist es bevorzugt, wenn das Verkehrszeichen Nummer 267, oder entsprechende Verkehrszeichen, eindeutig identifiziert wird. Das Verkehrszeichen Nummer 267 enthält die Information„Einfahrt verboten". Das Verkehrszeichentor besteht aus mindestens zwei Verkehrszeichen, die horizontal zueinander beabstandet angeordnet sind. Detecting traffic signs in environment information involves identifying and verifying an object within the environment information as a traffic sign. It is particularly preferred if the type of traffic sign can be recognized and evaluated. Further, it is preferable if the traffic sign number 267, or corresponding traffic signs, is uniquely identified. The traffic sign number 267 contains the information "entrance forbidden". The traffic sign gate consists of at least two traffic signs, which are arranged horizontally spaced apart.
Zusätzlich zu den Verkehrszeichen ist es vorgesehen, dass die Positionsdaten für die Verkehrszeichen aus den Umgebungsinformationen ermittelt werden. Hierbei kann es sich um absolute Positionsdaten der Verkehrszeichen, wie beispielsweise GPS- Koordinaten, oder auch um relative Positionsdaten der Verkehrszeichen relativ zu dem Kraftfahrzeug handeln. Die Torbreite kann dann aus den Positionsdaten selbst durch einfache mathematische Operationen ermittelt werden. In ähnlicher Weise lassen sich dann auch der erste und der zweite Abstand des Kraftfahrzeugs zu den jeweiligen Verkehrszeichen ermitteln. In addition to the traffic signs, it is provided that the position data for the traffic signs are determined from the surroundings information. This may be absolute position data of the traffic signs, such as GPS coordinates, or even relative position data of the traffic signs relative to the motor vehicle. The gate width can then be determined from the position data itself by simple mathematical operations. Similarly, the first and the second distance of the motor vehicle to the respective traffic signs can then be determined.
Die Detektion der Durchfahrt selbst erfolgt schließlich in Abhängigkeit dieser drei Maße: Torbreite, erster Abstand und zweiter Abstand. Durch geeignete mathematische Verknüpfung kann ermittelt werden, wann sich das Fahrzeug, in Fahrtrichtung gesehen, vor, innerhalb, neben oder hinter dem Tor befindet. The detection of the passage itself finally takes place as a function of these three dimensions: door width, first distance and second distance. By suitable mathematical link can be determined when the vehicle, seen in the direction of travel, before, inside, beside or behind the gate.
Für den Fall, dass mehr als zwei Verkehrszeichen innerhalb der Umgebungsinformationen erkannt werden, werden auch mehrere Verkehrszeichentore gebildet, die einzeln verarbeitet werden können. In the event that more than two traffic signs are detected within the environment information, several traffic sign gates are formed, which can be processed individually.
Zur Bestimmung der Torbreite kann beispielsweise eine Variante des Satz des Pythagoras verwendet werden. Dann gilt: To determine the gate width, for example, a variant of the Pythagorean theorem can be used. Then:
In diesem Fall ist t y die Torbreite zwischen dem Verkehrszeichen i und dem Verkehrszeichen j. Xi, Xj, yi, yj stellen entsprechend x-Koordinaten und y Koordinaten der jeweiligen Verkehrszeichen i und j dar. Alternativ sind auch Approximationen des Satz des Pythagoras denkbar. Beispielsweise kann auch angenommen werden, dass die Länge der längeren Kathete plus die halbe Länge der kürzeren Kathete ungefähr die Länge der Hypotenuse entspricht. Hierdurch kann zusätzliche Rechenkraft eingespart werden. In this case, ty is the gate width between the traffic sign i and the traffic sign j. Xi, Xj, yi, yj represent corresponding x coordinates and y coordinates of the respective traffic signs i and j. Alternatively, approximations of the theorem of Pythagoras are also conceivable. For example, it may also be assumed that the length of the longer catheters plus half the length of the shorter catheters is approximately the same length corresponds to the hypotenuse. This can save additional computing power.
In entsprechender Weise kann auch die Berechnung des ersten und zweiten Abstands des Fahrzeugs zu den jeweiligen Verkehrszeichen ermittelt werden. Hier gilt dann: wobei d f, k = der Abstand des Fahrzeugs zum Schild k. Entsprechend sind Xf und yt Koordinaten des Kraftfahrzeugs und Xk und yk Koordinaten des Schildes k. In a corresponding manner, the calculation of the first and second distances of the vehicle to the respective traffic signs can also be determined. Here then applies: where df, k = the distance of the vehicle to the shield k. Accordingly, Xf and yt are coordinates of the vehicle and Xk and yk coordinates of the plate k.
Insgesamt wird so ein Verfahren bereitgestellt, das frühzeitig auf sehr sichere Weise eine Durchfahrt des Kraftfahrzeugs durch ein Verkehrszeichentor ermitteln kann. Wie bereits ausgeführt ist es besonders bevorzugt, wenn dies mit zusätzlichen Informationen verknüpft wird, wie beispielsweise einer Art der Verkehrszeichen, die ein Durchfahrtverbot anzeigen kann, oder auch Navigationsdaten, die eine Nähe zu einer Autobahnauffahrt aufzeigen können. Overall, such a method is provided, which can determine very early in a very safe way a passage of the motor vehicle through a traffic sign gate. As already stated, it is particularly preferred if this is associated with additional information, such as a type of traffic sign, which can indicate a transit ban, or even navigation data that can show proximity to a motorway ramp.
In einer weiteren Ausgestaltung der Erfindung ist der zusätzliche Schritt vorgesehen: Prüfen der Torbreite auf Plausibilität, wobei ein Verkehrszeichentor mit unplausibler Torbreite verworfen wird. In a further embodiment of the invention, the additional step is provided: checking the door width for plausibility, wherein a traffic sign gate with implausible door width is discarded.
In dieser Ausgestaltung wird das Verfahren dahingehend optimiert, dass Verkehrszeichentore, die unplausibel sind verworfen werden, so dass eine Überprüfung eingespart wird. Als Kriterium für die Plausibilität wird die Torbreite selbst verwendet. Verwerfen bedeutet hier insbesondere, dass das betreffende Verkehrszeichentor nicht weiter für eine Detektion einer Durchfahrt berücksichtigt wird. Nur eine Torbreite, die ein vordefiniertes Minimum und/oder ein Maximum erfüllt, kann sinnvoll für das Verfahren eingesetzt werden. Dies ist insbesondere daher von Vorteil, da die Verkehrszeichentore willkürlich aus mehreren Verkehrszeichen zusammengestellt werden können. Als Minimum für eine Torbreite kann beispielsweise eine Fahrzeugbreite, oder eine Straßenbreite verwendet werden. In einer weiteren Ausgestaltung der Erfindung weist das Verfahren die zusätzlichen Schritte auf: Ermitteln eines Winkels zwischen einer Geraden, die von einem Verkehrszeichentor definiert wird und einer Achse des Kraftfahrzeugs, und Prüfen des Winkels auf Plausibilität, wobei ein Verkehrszeichentor mit unplausiblem Winkel verworfen wird. In this embodiment, the method is optimized in such a way that traffic sign gates that are implausible are discarded so that a check is saved. As a criterion for plausibility, the gate width itself is used. Discarding here means, in particular, that the relevant traffic sign gate is no longer taken into account for a detection of a transit. Only a door width that fulfills a predefined minimum and / or a maximum can be meaningfully used for the method. This is particularly advantageous because the traffic signs gates can be composed arbitrarily from several traffic signs. As a minimum for a door width, for example, a vehicle width, or a road width can be used. In a further embodiment of the invention, the method has the additional steps of determining an angle between a straight line defined by a traffic sign gate and an axis of the motor vehicle, and checking the angle for plausibility, discarding an implausible traffic sign gate.
In dieser Ausgestaltung wird ebenfalls eine Effizienz des Verfahrens durch Prüfung einer Plausibilität der Verkehrszeichentore gesteigert. Als Kriterium für die Plausibilität wird hier eine Ausrichtung des Verkehrszeichentors relativ zu dem Kraftfahrzeug verwendet. Die Gerade, wird durch das Verkehrszeichentor dadurch definiert, dass sich diese virtuelle Gerade von dem ersten Verkehrszeichen zu dem zweiten Verkehrszeichen erstreckt. Weiterhin handelt es sich bei der Achse des Kraftfahrzeugs vorzugsweise um eine Längs-oder Querachse. Ein entsprechendes Kriterium der Plausibilität des entsprechenden Winkels hängt dann von der Art der Achse ab. Beispielsweise im Falle der Verwendung einer Längsachse des Kraftfahrzeugs wäre ein Verkehrszeichentor dann plausibel, wenn die Längsachse des Kraftfahrzeugs im Wesentlichen parallel oder einem sehr spitzen Winkel zu der Gerade angeordnet wäre. Ein relativ stumpfer Winkel oder insbesondere ein 90°-Winkel wären dagegen ein Hinweis darauf, dass sich das Fahrzeug auf das Verkehrszeichentor ausgerichtet ist. Im erstgenannten Fall wäre das Verkehrszeichentor unplausibel, wohingegen es im zweiten Fall plausibel wäre. Bezüglich des Verwerfens wird auf obige Ausführungen verwiesen. In this embodiment, an efficiency of the method is also increased by checking a plausibility of the traffic sign gates. As a criterion for plausibility, an orientation of the traffic sign gate relative to the motor vehicle is used here. The straight line is defined by the traffic sign gate in that this virtual straight line extends from the first traffic sign to the second traffic sign. Furthermore, the axis of the motor vehicle is preferably a longitudinal or transverse axis. A corresponding criterion of the plausibility of the corresponding angle then depends on the type of axis. For example, in the case of using a longitudinal axis of the motor vehicle, a traffic sign gate would be plausible if the longitudinal axis of the motor vehicle were arranged substantially parallel or at a very acute angle to the straight line. By contrast, a relatively obtuse angle or in particular a 90 ° angle would be an indication that the vehicle is aligned with the traffic sign gate. In the former case, the sign would be implausible, whereas in the second case it would be plausible. With regard to the rejection, reference is made to the above statements.
In einer weiteren Ausgestaltung der Erfindung wird die Durchfahrt in Abhängigkeit der folgenden Formel detektiert: In a further embodiment of the invention, the passage is detected as a function of the following formula:
ti,j = df,i + df,j ti, j = df, i + df, j
wobei gilt: t,j = Torbreite; dfj = der erste Abstand (26); d = zweiter Abstand (28). where: t, j = gate width; dfj = the first distance (26); d = second distance (28).
In dieser Ausgestaltung wird eine konkrete Gleichung bereitgestellt, die die Abhängigkeit zwischen der Torbreite t,j dem ersten Abstand dfj und dem zweiten Abstand d beschreibt. Die Formel besagt, dass die Durchfahrt dann erfolgen muss, wenn die beiden Abstände in Summe der Torbreite selbst entsprechen. Dieser Fall liegt dann vor, wenn das Kraftfahrzeug, genauer gesagt der Sensor des Kraftfahrzeugs, der die Umgebungsinformationen erfasst hat, genau zwischen dem ersten Verkehrszeichen und dem zweiten Verkehrszeichen angeordnet ist. Die Durchfahrt wird also dann detektiert, wenn die oben genannte Formel eine wahre Aussage enthält. Somit ist eine sehr ein- fache Berechnung der Durchfahrt möglich. Besonders bevorzugt ist es, wenn zur Plausibilisierung der Formel mehrere zeitlich gestaffelte Überprüfungen dieser Formel erfolgen, die einen plausiblen zeitlichen Verlauf aufzeigen können. In this embodiment, a concrete equation is provided which describes the dependence between the gate width t, j the first distance dfj and the second distance d. The formula says that the passage must be made when the two distances in total correspond to the gate width itself. This case occurs when the motor vehicle, more specifically the sensor of the motor vehicle, which has detected the environmental information, is located exactly between the first traffic sign and the second traffic sign. The passage is therefore detected when the above formula contains a true statement. Thus, a very multiple calculation of the passage possible. It is particularly preferred if, in order to check the plausibility of the formula, several time-staggered checks of this formula take place, which can show a plausible time course.
In einer weiteren Ausgestaltung der Erfindung wird ein Zeitverlauf er Summe des ersten und zweiten Abstandes geprüft wird, wobei eine Durchfahrt dann detektiert wird, wenn ein Minimum und/oder ein Wendepunkt ermittelt wird. In a further embodiment of the invention, a time course he sum of the first and second distance is checked, wherein a passage is detected when a minimum and / or a turning point is determined.
In dieser Ausgestaltung wird nicht nur der exakte Zeitpunkt der Durchfahrt detektiert, sondern es wird der gesamte Verlauf von der Anfahrt über die Durchfahrt zur Wegfahrt von dem Verkehrszeichentor erfasst. Zudem kann auch hier die Torbreite berücksichtigt werden, sodass der Zeitverlauf durch die folgende Formel ermittelt werden kann:In this embodiment, not only the exact time of transit is detected, but it is the entire history of the approach on the passage to the drive from the traffic sign gate detected. In addition, the door width can also be taken into account here so that the time course can be determined by the following formula:
Die Parameter ty, dfj und d sind jeweils von der Zeit t abhängig. Ein besonderer Vorteil hierbei ist, dass keine exakte Erfüllung der Bedingung notwendig ist, sondern ein Zeitverlauf durch eine Minimum-Maximum-Betrachtung und/oder Wendepunktanalyse ermöglicht wird.  The parameters ty, dfj and d are each dependent on the time t. A particular advantage here is that no exact fulfillment of the condition is necessary, but a time course is made possible by a minimum-maximum viewing and / or inflection point analysis.
In einer weiteren Ausgestaltung der Erfindung werden die Positionsdaten zusätzlich in Abhängigkeit einer Trajektorie des Kraftfahrzeugs bestimmt. In a further embodiment of the invention, the position data are additionally determined as a function of a trajectory of the motor vehicle.
In dieser Ausgestaltung wird die Bestimmung der Positionsdaten dahingehend verbessert, dass die Fahrtrichtung und Geschwindigkeit des Kraftfahrzeugs dabei berücksichtigt wird. Beispielsweise können Positionsdaten aus den Umgebungsdaten veraltet sein, da bis zu ihrem eigentlichen Einsatz Sekunden vergehen können. Die Trajektorie des Kraftfahrzeugs kann dabei berücksichtigt werden, so dass nach Ermittlung der Positionsdaten, die zum Zeitpunkt des Ergebnisses tatsächlich vorliegenden Positionsdaten direkt ermittelt werden. Hierdurch wird eine besonders genaue Ermittlung der Positionsdaten ermöglicht. In this embodiment, the determination of the position data is improved to the effect that the direction of travel and speed of the motor vehicle is taken into account. For example, position data from the environmental data may be outdated because seconds may pass until it is actually used. The trajectory of the motor vehicle can be taken into account, so that after determining the position data, the position data actually present at the time of the result are determined directly. This allows a particularly accurate determination of the position data.
In einer weiteren Ausgestaltung der Erfindung wird die Trajektorie mittels Initialsensoren ermittelt. In dieser Ausgestaltung wird die Trajektorie des Kraftfahrzeugs auf Basis von Messdaten von Inertialsensoren ermittelt. Wie bereits eingangs ausgeführt, weisen heutige Kraftfahrzeuge häufig bereits Inertialsensoren bereits auf, so dass dies eine besonders wirtschaftliche Möglichkeit darstellt, um die Trajektorie eines Kraftfahrzeugs zu ermit- teln. In a further embodiment of the invention, the trajectory is determined by means of initial sensors. In this embodiment, the trajectory of the motor vehicle is determined on the basis of measurement data from inertial sensors. As already explained at the beginning, today's motor vehicles often already have inertial sensors, so that this represents a particularly economical possibility for determining the trajectory of a motor vehicle.
In einer weiteren Ausgestaltung Erfindung wird eine zukünftige Trajektorie des Kraftfahrzeugs prädiziert und eine zukünftige Durchfahrt in Abhängigkeit der zukünftigen Trajektorie bestimmt. In a further embodiment of the invention, a future trajectory of the motor vehicle is predicted and a future passage determined as a function of the future trajectory.
In dieser Ausgestaltung wird eine besonders sichere Detektion der Durchfahrt bereitgestellt, wobei diese erfolgt, bevor die Durchfahrt selbst erfolgt. Durch Prädikation der Trajektorie des Kraftfahrzeugs und damit die Prädikation der möglichen und wahrscheinlichen Orte des Kraftfahrzeugs in der Zukunft, kann ermittelt werden, ob eine Durchfahrt zukünftig wahrscheinlich ist. Hierzu kann eine Umrechnung der Abstände inIn this embodiment, a particularly secure detection of the passage is provided, which takes place before the passage itself takes place. By predicating the trajectory of the motor vehicle and thus the prediction of the possible and probable locations of the motor vehicle in the future, it can be determined whether a passage is likely in the future. For this purpose, a conversion of the distances in
Abhängigkeit der Trajektorie für verschiedene zukünftige Zeitpunkte erfolgen. Das erfindungsgemäße Verfahren kann dann wie oben ausgeführt auf diese virtuellen zukünftigen Zeitpunkte angewendet werden. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen: Dependence of the trajectory for different future times. The method according to the invention can then be applied to these virtual future times as explained above. It is understood that the features mentioned above and those yet to be explained below can be used not only in the particular combination indicated but also in other combinations or alone, without departing from the scope of the present invention. Embodiments of the invention are illustrated in the drawings and are explained in more detail in the following description. Show it:
Figur 1 eine potentielle Falschfahrsituation, Figur 2 einen beispielhaften zeitlichen Verlauf von f(t) = ty - (dfj + d ), und Figure 1 shows a potential wrong driving situation, Figure 2 shows an exemplary time course of f (t) = ty - (dfj + d), and
Figur 3 ein Flussdiagramm des erfindungsgemäßen Verfahrens. Figur 1 zeigt eine Straße 10, auf der sich ein Kraftfahrzeug 12 fortbewegt. Die Straße 10 stellt eine Autobahnabfahrt dar, auf der das Kraftfahrzeug 12 in falscher Fahrtrichtung unterwegs ist. Das Kraftfahrzeug 12 weist eine Kamera 14 auf, die Umgebungsinformationen aus einer Umgebung des Kraftfahrzeugs 12 aufnimmt. Diese Umgebungsinformationen werden dann innerhalb einer Steuer- und Auswerteeinheit 15 verarbeitet. FIG. 3 shows a flowchart of the method according to the invention. FIG. 1 shows a road 10 on which a motor vehicle 12 travels. The road 10 represents a motorway exit on which the motor vehicle 12 is traveling in the wrong direction of travel. The motor vehicle 12 has a camera 14 which receives environmental information from an environment of the motor vehicle 12. This environment information is then processed within a control and evaluation unit 15.
Das Kraftfahrzeug 12 bewegt sich auf einer Trajektorie 16 auf der Straße 10 entlang. Weiter weist das Kraftfahrzeug eine Fahrzeuglängsachse 17 auf, die die momentane Ausrichtung der Trajektorie 16 definiert. Die Trajektorie 16 führt dabei zwischen einem ersten Verkehrszeichen 18 und einem zweiten Verkehrszeichen 20 hindurch. Das erste Verkehrszeichen 18 und das zweite Verkehrszeichen 20 bilden gemeinschaftlich ein Verkehrszeichentor 22. Das Verkehrszeichentor 22 weist eine Torbreite 24 auf. Zudem weist das Kraftfahrzeug 12 einen ersten Abstand 26 von dem ersten Verkehrszeichen 18 und einen zweiten Abstand 28 von dem zweiten Verkehrszeichen 20 auf. Wie aus Figur 1 zu erkennen ist, ist der Referenzpunkt des Kraftfahrzeugs 12 die Kamera 14. Ausgehend von diesem Referenzpunkt werden hier die Abstände 26 und 28 ermittelt. The motor vehicle 12 moves along a trajectory 16 along the road 10. Furthermore, the motor vehicle has a vehicle longitudinal axis 17, which defines the instantaneous orientation of the trajectory 16. The trajectory 16 leads between a first traffic sign 18 and a second traffic sign 20 therethrough. The first traffic sign 18 and the second traffic sign 20 jointly form a traffic sign gate 22. The traffic sign gate 22 has a gate width 24. In addition, the motor vehicle 12 has a first distance 26 from the first traffic sign 18 and a second distance 28 from the second traffic sign 20. As can be seen from FIG. 1, the reference point of the motor vehicle 12 is the camera 14. Starting from this reference point, the distances 26 and 28 are determined here.
Wie aus Figur 1 erkannt werden kann, ist eine Durchfahrt durch das Verkehrszeichentor 22 dadurch zu erkennen, dass die Abstände 26 und 28 in Summe der Torbreite 24 entspricht. In diesem Fall befindet sich die Kamera 14 genau auf Höhe der Torbreite 24. As can be seen from FIG. 1, a passage through the traffic sign gate 22 can be recognized by the fact that the distances 26 and 28 in total correspond to the door width 24. In this case, the camera 14 is located exactly at the height of the door 24.
Ferner ist hierdurch erkennbar, dass eine Plausibilisierung der Durchfahrt durch einen gedachten Winkel 29 zwischen der Fahrzeuglängsachse 17 und der Geraden 24 möglich ist. In dem hier dargestellten Fall, ist eine Plausibilisierung dadurch möglich, dass die Fahrzeuglängsachse 17 im Wesentlichen 90° zu der Geraden 24 zwischen dem ersten Verkehrszeichen 18 und dem zweiten Verkehrszeichen 20 angeordnet sein muss. Ist dies nicht der Fall, oder ist die Fahrzeuglängsachse 17 im Wesentlichen parallel oder mit einem sehr spitzen Winkel zu dieser Gerade 24 angeordnet, so ist eine Durchfahrt nicht zu erwarten und das Verkehrszeichentor 22 wäre als unplausibel zu verwerfen. Furthermore, it can be seen that a plausibility of the passage through an imaginary angle 29 between the vehicle longitudinal axis 17 and the straight line 24 is possible. In the case shown here, a plausibility check is possible in that the vehicle longitudinal axis 17 must be arranged substantially 90 ° to the straight line 24 between the first traffic sign 18 and the second traffic sign 20. If this is not the case, or if the vehicle longitudinal axis 17 is arranged substantially parallel or at a very acute angle to this straight line 24, a passage is not to be expected and the traffic sign gate 22 would be rejected as implausible.
Figur 2 zeigt ein kartesisches Koordinatensystem 30 mit einer Abszisse 32, auf der die Zeit t aufgetragen ist. Zudem weist das kartesische Koordinatensystem 30 eine Ordina- te 34 auf, die als Funktion einen zeitlichen Verlauf der Torbreite 24 abzüglich einer Summe der Abstände 26 und 28 darstellt. Es gilt also: f(t) = ty - (dfj + d ). FIG. 2 shows a Cartesian coordinate system 30 with an abscissa 32, on which the time t is plotted. In addition, the Cartesian coordinate system 30 has an ordinal te 34, which is a function of a time course of the gate width 24 minus a sum of the distances 26 and 28 represents. So we have: f (t) = ty - (dfj + d).
Der zeitliche Verlauf dieser Funktion ist mit der Kurve 36 dargestellt. Das globale Minimum 38 zeigt hier den Zeitpunkt der Durchfahrt des Kraftfahrzeugs 12 durch das Verkehrszeichentor 22 an. In einem idealen Fall wäre das Minimum gleich Null. Dies muss jedoch - beispielsweise bedingt durch Messunsicherheiten oder zeitlichen Verzögerungen - nicht zwingend der Fall sein. The time course of this function is shown by the curve 36. The global minimum 38 indicates here the time of passage of the motor vehicle 12 through the traffic sign gate 22. In an ideal case, the minimum would be zero. However, this does not necessarily have to be the case, for example due to measurement uncertainties or time delays.
Durch Auswertung des Verlaufs 36 ist somit eine sehr robuste und sichere Detektion der Durchfahrt, insbesondere des Zeitpunkts der Durchfahrt durch das Verkehrszeichentor 22 möglich. By evaluating the course 36, a very robust and reliable detection of the passage, in particular the time of passage through the traffic sign gate 22 is thus possible.
Figur 3 zeigt ein Flussdiagramm 40 des erfindungsgemäßen Verfahrens. FIG. 3 shows a flow diagram 40 of the method according to the invention.
Das Verfahren beginnt in einem Schritt 42, in dem Umgebungsinformationen von der Kamera 14 durch die Steuer- und Auswerteeinheit 15 erfasst werden. The method begins in a step 42 in which environmental information from the camera 14 is detected by the control and evaluation unit 15.
In einem Schritt 44 werden von der Steuer- und Auswerteeinheit 15 die Verkehrszeichen 18 und 20 in den Umgebungsinformationen erkannt. In a step 44, the traffic signs 18 and 20 in the environmental information are recognized by the control and evaluation unit 15.
In dem darauffolgenden Schritt 46 wählt die Steuer- und Auswerteeinheit 15 das erste Verkehrszeichen 18 und das zweite Verkehrszeichen 20 aus, die dadurch das Verkehrszeichentor 22 bilden. In einem anschließenden Schritt 48 wird das Verkehrszeichentor 22 plausibilisiert. Hierzu wird der Winkel 29 zwischen der Fahrzeuglängsachse 17 und der Geraden 24 zwischen dem ersten Verkehrszeichen 18 und dem zweiten Verkehrszeichen 20 ermittelt. Sofern dieser Winkel 29 im Wesentlichen eine 90° Winkel darstellt, oder einen Schwellenwert für einen allzu spitzen Winkel nicht überschreitet, wird das Verkehrszeichentor 22 nicht verworfen und das Verfahren wird zum Schritt 50 weitergeführt. In Schritt 50 wird dann das Verkehrszeichentor 22 vermessen, indem die Torbreite 24 zwischen dem ersten Verkehrszeichen 18 und dem zweiten Verkehrszeichen 20 ermittelt wird. Die Torbreite 24 wird dann an den Schritt 52 weitergeleitet. In Schritt 52 wird dann die Torbreite 24 plausibilisiert. Dies erfolgt durch einen Vergleich der Torbreite 24 mit einem in der Steuer- und Auswerteeinheit 15 gespeicherten Parameter. Hier ist der Parameter eine Mindesttorbreite, die vorliegen muss. Liegt die Mindesttorbreite nicht vor, dann wird das Verfahren an dieser Stelle abgebrochen. In the subsequent step 46, the control and evaluation unit 15 selects the first traffic sign 18 and the second traffic sign 20, which thereby form the traffic sign gate 22. In a subsequent step 48, the traffic sign gate 22 is made plausible. For this purpose, the angle 29 between the vehicle longitudinal axis 17 and the straight line 24 between the first traffic sign 18 and the second traffic sign 20 is determined. If this angle 29 is substantially a 90 ° angle, or does not exceed a too acute angle threshold, the traffic sign gate 22 is not discarded and the process proceeds to step 50. In step 50, the traffic sign gate 22 is then measured by the gate width 24 between the first traffic sign 18 and the second traffic sign 20 is determined. The door width 24 is then forwarded to step 52. In step 52, the door width 24 is then made plausible. This is done by comparing the gate width 24 with a parameter stored in the control and evaluation unit 15. Here, the parameter is a minimum gate width that must be present. If the minimum gate width is not available, then the procedure is aborted at this point.
Wie in Figur 3 dargestellt ist, kann das Verfahren in den Schritten 48 und 52 frühzeitig enden. In diesen Fällen kann auch vorgesehen sein, dass über die Pfeile 53 das Verfahren erneut in den Schritt 46 versetzt wird, und dort ein weiteres Verkehrszeichentor ermittelt wird. Dies kann so lange erfolgen, bis sämtliche möglichen Verkehrszeichentore überprüft wurden. As shown in FIG. 3, the method may end prematurely in steps 48 and 52. In these cases, provision may also be made for the method to be put into step 46 again via the arrows 53, and a further traffic sign gate to be determined there. This can be done until all possible traffic sign gates have been checked.
In Schritt 54 wird dann der erste Abstand 26 des Kraftfahrzeugs 12 zu dem ersten Verkehrszeichen 18 bestimmt. Dementsprechend wird in Schritt 56 der zweite Abstand 28 des Kraftfahrzeugs 12 zu dem zweiten Verkehrszeichen 20 bestimmt. In step 54, the first distance 26 of the motor vehicle 12 to the first traffic sign 18 is then determined. Accordingly, in step 56, the second distance 28 of the motor vehicle 12 to the second traffic sign 20 is determined.
Abschließend werden der erste Abstand 26, der zweite Abstand 28 und die Torbreite 24 an den Schritt 58 übergeben. In Schritt 58 wird dann in Abhängigkeit dieser drei Informationen die Durchfahrt bestimmt. Finally, the first distance 26, the second distance 28 and the gate width 24 are transferred to step 58. In step 58, the passage is then determined as a function of this three information.
Sobald damit das Verkehrszeichentor 22 abgearbeitet wurde, kann das Verfahren über den Pfeil 60 wiederum in den Schritt 46 zurück versetzt werden, wo dann ein weiteres Verkehrszeichentor überprüft werden kann. As soon as traffic sign gate 22 has been processed, the method can again be returned to step 46 via arrow 60, where a further traffic sign gate can then be checked.

Claims

Ansprüche claims
1. Verfahren zur Detektion einer Durchfahrt eines Kraftfahrzeugs (12) durch ein Verkehrszeichentor (22), mit den Schritten: A method of detecting a passage of a motor vehicle (12) through a traffic sign gate (22), comprising the steps of:
Empfangen von Umgebungsinformationen, Receiving environmental information,
Erkennen von Verkehrszeichen (18, 20) in den Umgebungsinformationen, Detecting traffic signs (18, 20) in the environment information,
Auswählen eines ersten Verkehrszeichens (18) und eines zweiten Verkehrszeichens (20), die zusammen ein Verkehrszeichentor (22) bilden, Selecting a first traffic sign (18) and a second traffic sign (20), which together form a traffic sign gate (22),
Ermitteln von Positionsdaten für das erste Verkehrszeichen (18) und für das zweite Verkehrszeichen (20) aus den Umgebungsinformationen, Determining position data for the first traffic sign (18) and for the second traffic sign (20) from the surrounding information,
Bestimmen einer Torbreite (24) zwischen dem ersten Verkehrszeichen (18) und dem zweiten Verkehrszeichen (20), Determining a gate width (24) between the first traffic sign (18) and the second traffic sign (20),
Bestimmen eines ersten Abstandes (26) des Kraftfahrzeugs (12) zu dem ersten Verkehrszeichen (18), Determining a first distance (26) of the motor vehicle (12) to the first traffic sign (18),
Bestimmen eines zweiten Abstands (28) des Kraftfahrzeugs (12) zu dem zweiten Verkehrszeichen (20), und Determining a second distance (28) of the motor vehicle (12) to the second traffic sign (20), and
Detektieren der Durchfahrt in Abhängigkeit der Torbreite (24), des ersten Abstands (26) und des zweiten Abstands (28). Detecting the passage as a function of the door width (24), the first distance (26) and the second distance (28).
2. Verfahren nach Anspruch 1, gekennzeichnet durch den zusätzlichen Schritt: Prüfen der Torbreite (24) auf Plausibilität, wobei ein Verkehrszeichentor (22) mit unplausibler Torbreite (24) verworfen wird. 2. The method according to claim 1, characterized by the additional step: Checking the door width (24) for plausibility, with a traffic sign gate (22) with implausible gate width (24) is discarded.
3. Verfahren nach einem der Ansprüche 1 oder 2, gekennzeichnet durch die zusätzlichen Schritte: 3. The method according to any one of claims 1 or 2, characterized by the additional steps:
Ermitteln eines Winkels (29) zwischen einer Geraden (24), die von einem Verkehrszeichentor (22) definiert wird und einer Achse (17) des Kraftfahrzeugs (12), und Determining an angle (29) between a straight line (24) defined by a traffic sign gate (22) and an axle (17) of the motor vehicle (12), and
Prüfen des Winkels (29) auf Plausibilität, wobei das Verkehrszeichentor (22) mit einem unplausiblen Winkel verworfen wird. Checking the angle (29) for plausibility, wherein the traffic sign gate (22) is discarded with an implausible angle.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Durchfahrt in Abhängigkeit der folgenden Formel detektiert wird: ti,j = df,i + df,j wobei gilt: 4. The method according to any one of the preceding claims, characterized in that the passage is detected in dependence of the following formula: ti, j = d f, i + d f, j where:
t i,j = Torbreite t i, j = gate width
d j = erster Abstand (26), d j = first distance (26),
d ,j = zweiter Abstand (28). d, j = second distance (28).
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Zeitverlauf (36) der Summe des ersten und zweiten Abstandes (26, 28) geprüft wird, wobei eine Durchfahrt dann detektiert wird, wenn ein Minimum (38) und/oder ein Wendepunkt ermittelt wird. 5. The method according to any one of the preceding claims, characterized in that a time course (36) of the sum of the first and second distances (26, 28) is checked, wherein a passage is then detected when a minimum (38) and / or a Turning point is determined.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Positionsdaten zusätzlich in Abhängigkeit einer Trajektorie (16) des Kraftfahrzeugs (12) bestimmt wird. 6. The method according to any one of the preceding claims, characterized in that the position data is additionally determined in dependence on a trajectory (16) of the motor vehicle (12).
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass Trajektorie (16) mittels Initialsensoren ermittelt wird. 7. The method according to claim 6, characterized in that trajectory (16) is determined by means of initial sensors.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine zukünftige Trajektorie (16) des Kraftfahrzeugs (12) prädiziert wird und eine zukünftige Durchfahrt in Abhängigkeit der zukünftigen Trajektorie (16) bestimmt wird. 8. The method according to any one of the preceding claims, characterized in that a future trajectory (16) of the motor vehicle (12) is predicted and a future passage in dependence of the future trajectory (16) is determined.
9. Steuer- und Auswerteeinheit (15), die dazu ausgebildet ist eine Durchfahrt eines Kraftfahrzeugs (12) durch ein Verkehrszeichentor (22) zu detektieren, wobei sie dazu ausgebildet ist, Umgebungsinformationen zu empfangen, Verkehrszeichen (18, 20) in den Umgebungsinformationen zu erkennen, ein erstes Verkehrszeichen (18) und ein zweites Verkehrszeichen (20) auszuwählen, die zusammen ein Verkehrszeichentor (22) bilden, Positionsdaten für das erste Verkehrszeichen (18) und das zweite Verkehrszeichen (20) aus den Umgebungsinformationen zu ermitteln, eine Torbreite (24) zwischen dem ersten Verkehrszeichen (18) und dem zweiten Verkehrszeichen (20) zu bestimmen, einen ersten Abstand (26) des Kraftfahrzeugs (12) zu dem ersten Verkehrszeichen (18) zu bestimmen, einen zweiten Abstand (28) des Kraftfahrzeugs (12) zu dem zweiten Verkehrszeichen (20) zu bestimmen, und die Durchfahrt in Abhängigkeit der Torbreite (24), des ersten Abstands (26) und des zweiten Abstands (28) zu detektieren. 9. control and evaluation unit (15) which is adapted to detect a passage of a motor vehicle (12) through a traffic sign gate (22), wherein it is adapted to receive environmental information, traffic signs (18, 20) in the surrounding information identify a first traffic sign (18) and a second traffic sign (20), which together form a traffic sign gate (22) to determine position data for the first traffic sign (18) and the second traffic sign (20) from the surroundings information; 24) between the first traffic sign (18) and the second traffic sign (20) to determine a first distance (26) of the motor vehicle (12) to the first traffic sign (18), a second distance (28) of the motor vehicle (12 ) to determine the second traffic sign (20) and to detect the passage in response to the door width (24), the first distance (26) and the second distance (28).
10. Computerprogramm, das dazu eingerichtet ist, alle Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen. A computer program adapted to perform all the steps of a method according to any one of claims 1 to 8.
11. Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 10. 11. A machine-readable storage medium with a computer program stored thereon according to claim 10.
EP15794546.0A 2015-01-09 2015-11-12 Method and device for detecting the passage of a motor vehicle through a road sign gantry Active EP3243196B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015200182.2A DE102015200182A1 (en) 2015-01-09 2015-01-09 Method and device for detecting a passage of a motor vehicle through a traffic sign gate
PCT/EP2015/076383 WO2016110350A1 (en) 2015-01-09 2015-11-12 Method and device for detecting the passage of a motor vehicle through a road sign gantry

Publications (2)

Publication Number Publication Date
EP3243196A1 true EP3243196A1 (en) 2017-11-15
EP3243196B1 EP3243196B1 (en) 2019-01-09

Family

ID=54542254

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15794546.0A Active EP3243196B1 (en) 2015-01-09 2015-11-12 Method and device for detecting the passage of a motor vehicle through a road sign gantry

Country Status (6)

Country Link
US (1) US11238731B2 (en)
EP (1) EP3243196B1 (en)
CN (1) CN107111942B (en)
DE (1) DE102015200182A1 (en)
ES (1) ES2719417T3 (en)
WO (1) WO2016110350A1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106364489A (en) * 2016-08-31 2017-02-01 广东好帮手电子科技股份有限公司 Method and device for calibrating vehicle width and driving recorder
DE102016220947A1 (en) * 2016-10-25 2018-06-28 Ford Global Technologies, Llc Driver assistance system
DE102017216775A1 (en) 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
US11346671B2 (en) * 2017-09-22 2022-05-31 Continental Automotive Gmbh Method and system for global localization
JP7185408B2 (en) * 2018-03-02 2022-12-07 本田技研工業株式会社 vehicle controller
DE102018208105B3 (en) 2018-05-23 2019-03-21 Volkswagen Aktiengesellschaft A method for supporting a guidance of at least one motor vehicle and assistance system
CN110556006B (en) * 2018-05-31 2021-05-25 中国移动通信有限公司研究院 Traffic flow counting method, system, equipment and computer storage medium
DE102018133461A1 (en) * 2018-12-21 2020-06-25 Man Truck & Bus Se Positioning system and method for operating a positioning system for a mobile unit

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
US8718919B2 (en) * 2002-04-23 2014-05-06 Robert Bosch Gmbh Method and apparatus for lane recognition for a vehicle
DE202005001927U1 (en) * 2005-02-04 2005-04-07 May Rudi Warning system for use on motorways to indicate presence of a vehicle travelling in the wrong direction
US7650236B2 (en) 2005-12-23 2010-01-19 Ron Tolmei Means, methods, and apparatus to reduce the possibility of a motor vehicle entering a freeway ramp in the wrong direction of travel—towards oncoming traffic
DE102007048842A1 (en) 2007-10-11 2008-09-04 Vdo Automotive Ag Control device for driver assistance system, has decision component providing decision about generation of output signal using information, where signal provides correctness of current driving direction, and output for outputting signal
JP4941274B2 (en) * 2007-12-20 2012-05-30 株式会社Ｊｖｃケンウッド Road-to-vehicle communication system
JP5074365B2 (en) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 Camera device
DE102011118161B3 (en) * 2011-11-10 2013-03-28 Audi Ag Method for determining position
US9024785B2 (en) * 2011-12-27 2015-05-05 Aisin Aw Co., Ltd. Traffic information distribution system and traffic information system, traffic information distribution program, and traffic information distribution method
US8543254B1 (en) * 2012-03-28 2013-09-24 Gentex Corporation Vehicular imaging system and method for determining roadway width
DE102014208662A1 (en) 2013-09-06 2015-03-12 Robert Bosch Gmbh Method and control and detection device for plausibility of a wrong-way drive of a motor vehicle
JP6462493B2 (en) * 2015-05-29 2019-01-30 株式会社デンソー Approach determination device, approach determination method

Also Published As

Publication number Publication date
ES2719417T3 (en) 2019-07-10
DE102015200182A1 (en) 2016-07-14
US11238731B2 (en) 2022-02-01
EP3243196B1 (en) 2019-01-09
WO2016110350A1 (en) 2016-07-14
CN107111942B (en) 2020-02-21
US20180276989A1 (en) 2018-09-27
CN107111942A (en) 2017-08-29

Similar Documents

Publication Publication Date Title
EP3243196B1 (en) Method and device for detecting the passage of a motor vehicle through a road sign gantry
EP3254138B1 (en) Method for acquiring transverse-position information of a motor vehicle on a carriageway and motor vehicle
EP3669142B1 (en) Method for controlling a vehicle system of a vehicle set up for carrying out an automated driving operation and device for carrying out the method
DE102011081456A1 (en) Device and method for traffic sign recognition
DE102009006335A1 (en) Method for assisting the driver of a motor vehicle
DE102013018721A1 (en) Method for detecting parking space for motor vehicle, particularly passenger car, involves entering sensor data in cells of digital occupancy grid depending on position of motor vehicle relative to detected partial area
DE102011080933A1 (en) Method for assisting a driver when parking
WO2015135688A1 (en) Apparatus and method for operating a vehicle
DE102015121353A1 (en) Method for detecting a possible collision between a motor vehicle and an object taking into account a spatial uncertainty, control device, driver assistance system and motor vehicle
WO2013174732A1 (en) Carriageway recognition
DE102014005186A1 (en) Method for operating a driver assistance system of a motor vehicle
DE102013212360A1 (en) Prediction of the future travel path of a vehicle
DE102013005102A1 (en) Parking assistant and operating method for it
DE102016202829A1 (en) Device for transverse guidance support for a road-bound vehicle
DE112020002267T5 (en) anomaly diagnostic device
EP1668385B1 (en) Method and distance detecting device for detecting the projected distance between a distance measuring device and an obstacle
DE102018006503A1 (en) Digital map
DE102008021380B4 (en) Method and device for predicting a course of a roadway and driver assistance system
DE102010003375A1 (en) Surrounding evaluation system, particularly for use in speed monitoring systems in vehicle, has electronic controller and sensor mediums for detecting objects in surrounding of vehicle
EP2275318B1 (en) Method for determining whether a motor vehicle in front is changing lane
DE102018210852A1 (en) Procedure for the determination of illegal driving behavior by a vehicle
DE102013214631A1 (en) Efficient provision of occupancy information for the environment of a vehicle
DE102018201531A1 (en) Method for detecting a driving tube in rail-bound vehicles
DE102017211887A1 (en) Method and device for locating and automated operation of a vehicle
DE102010049214A1 (en) Method for determining lane course for vehicle for e.g. controlling lane assistance device, involves determining global surrounding data from fusion of lane course data with card data, and determining lane course of vehicle from global data

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170809

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180703

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1088271

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015007651

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190109

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2719417

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20190710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190409

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190509

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190509

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190409

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015007651

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

26N No opposition filed

Effective date: 20191010

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191130

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191130

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191112

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20191130

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20191112

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191112

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191112

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20151112

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1088271

Country of ref document: AT

Kind code of ref document: T

Effective date: 20201112

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201112

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190109

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231215

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231122

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240123

Year of fee payment: 9