DE112014006452T5 - Traffic Information Management - Google Patents

Traffic Information Management Download PDF

Info

Publication number
DE112014006452T5
DE112014006452T5 DE112014006452.1T DE112014006452T DE112014006452T5 DE 112014006452 T5 DE112014006452 T5 DE 112014006452T5 DE 112014006452 T DE112014006452 T DE 112014006452T DE 112014006452 T5 DE112014006452 T5 DE 112014006452T5
Authority
DE
Germany
Prior art keywords
intersection
traffic information
images
road users
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112014006452.1T
Other languages
German (de)
Inventor
Benno Schweiger
Carsten Isert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of DE112014006452T5 publication Critical patent/DE112014006452T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung stellt Technologie für Verkehrsinformationsmanagement bereit. In einer beispielhaften Ausführungsform der vorliegenden Erfindung ist ein Verfahren zum Managen von Verkehrsinformationen bereitgestellt, das das Empfangen eines oder mehrerer Bilder von einer Kreuzung, das Verarbeiten der Bilder, um Verkehrsinformationen von der Kreuzung zu erlangen, und das Übertragen der Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer umfasst.The present invention provides technology for traffic information management. In an exemplary embodiment of the present invention, a method of managing traffic information is provided, including receiving one or more images from an intersection, processing the images to obtain traffic information from the intersection, and transmitting the traffic information to the intersection Includes road users.

Description

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Die vorliegende Erfindung betrifft das Gebiet von Verkehrsinformationsmanagement im Allgemeinen und insbesondere ein System und ein Verfahren zum Managen von Verkehrsinformationen und ein maschinenlesbares Medium, das ausführbare Anweisungen zum Durchführen des Verfahrens umfasst.The present invention relates to the field of traffic information management in general, and more particularly to a system and method for managing traffic information and a machine readable medium comprising executable instructions for performing the method.

HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION

Beim Versuch, Kreuzungen sicher und weniger verstopft zu machen, wurde kürzlich Verkehrsinformationsmanagement-Technologie, wie etwa „Car-2-Car”-Technologie, erforscht und entwickelt. Bei der „Car-2-Car”-Technologie kommunizieren Autos miteinander, um Verkehrsinformationen, die auf Sensorinformationen, die von Sensoren, wie etwa Radar- oder Laserscannern erfasst wurden, und auf Umweltinformationen, wie etwa Informationen über das Layout der Kreuzung, basieren, zu managen und gemeinsam zu nutzen.In an effort to make intersections more secure and less congested, traffic information management technology, such as "car-2-car" technology, has recently been researched and developed. In "car-2-car" technology, cars communicate with each other to base traffic information based on sensor information acquired from sensors such as radar or laser scanners and environmental information such as intersection layout information. to manage and share.

Eines der Probleme der konventionellen Technologie besteht darin, dass spezielle Sensoren und Hochpräzisionspositioniersysteme verwendet werden müssen, um genaue Sensorinformationen zu erzeugen. Tatsächlich sind Autos ohne Sensor möglicherweise nicht in der Lage, an der konventionellen Technologie teilzuhaben. Allerdings sind die verwendeten Sensoren gewöhnlich sehr teuer und müssen zusätzlich installiert werden.One of the problems of conventional technology is that special sensors and high precision positioning systems must be used to generate accurate sensor information. In fact, cars without a sensor may not be able to participate in conventional technology. However, the sensors used are usually very expensive and must be additionally installed.

Zusätzlich ist es ein weiteres Problem, Informationen über das Layout der Kreuzung aktuell zu halten. Manchmal gibt es Straßensperrungen, Bauarbeiten für begrenzte Zeit oder sogar ein Neugestalten der Kreuzung. Dies kann zu Inkonsistenzen führen, falls die Informationen über das Layout der Kreuzung nicht das tatsächliche Layout der Kreuzung wiedergeben, und die Funktion konventioneller Technologie, die von diesen Informationen abhängt, kann möglicherweise nicht mehr funktionsfähig sein.In addition, it is another problem to keep track of information about the layout of the intersection. Sometimes there are road closures, temporary construction or even a redesign of the intersection. This can lead to inconsistencies if the information about the layout of the intersection does not reflect the actual layout of the intersection, and the function of conventional technology that depends on this information may no longer be functional.

KURZFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Aspekte der vorliegenden Erfindung bestehen darin, ein System und ein Verfahren zum Managen von Verkehrsinformationen bereitzustellen und ein maschinenlesbares Medium, das ausführbare Anweisungen zum Durchführen des Verfahrens, das ein oder mehrere der obigen und andere Probleme des Stands der Technik ansprechen kann, umfasst.Aspects of the present invention are to provide a system and method for managing traffic information and a machine-readable medium comprising executable instructions for performing the method that may address one or more of the above and other problems of the prior art.

Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ist ein Verfahren zum Managen von Verkehrsinformationen bereitgestellt, das Folgendes umfasst: das Empfangen eines oder mehrerer Bilder von einer Kreuzung, das Verarbeiten der Bilder, um Verkehrsinformationen von der Kreuzung zu erlangen, und das Übertragen der Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer.According to an exemplary embodiment of the present invention, there is provided a method of managing traffic information, comprising: receiving one or more images from an intersection, processing the images to obtain traffic information from the intersection, and transmitting the traffic information with the road users associated with the crossing.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei der Schritt des Empfangens eines oder mehrerer Bilder einer Kreuzung Folgendes beinhaltet: das Empfangen eines oder mehrerer Bilder von bereits um die Kreuzung herum installierten Kameras.According to an example of the present embodiment, wherein the step of receiving one or more images of an intersection includes receiving one or more images of cameras already installed around the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei der Schritt des Verarbeitens der Bilder, um Verkehrsinformationen von der Kreuzung zu erlangen, Folgendes beinhaltet: das Vergleichen der empfangenen Bilder mit einem Referenzbild der Kreuzung, um eine Änderung des Layouts der Kreuzung zu erlangen.According to an example of the present embodiment, wherein the step of processing the images to obtain traffic information from the intersection includes: comparing the received images with a reference image of the intersection to obtain a change in the layout of the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei der Schritt des Verarbeitens der Bilder, um Verkehrsinformationen von der Kreuzung zu erlangen, Folgendes beinhaltet: das Verarbeiten der Bilder, um Positionen oder Bewegungen der mit der Kreuzung assoziierten Verkehrsteilnehmer zu erlangen.According to an example of the present embodiment, wherein the step of processing the images to obtain traffic information from the intersection includes: processing the images to obtain positions or motions of the road users associated with the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei das Empfangen eines oder mehrerer Bilder von einer Kreuzung Folgendes beinhaltet: das Empfangen von Bildern von einer Vielzahl von Kameras an verschiedenen Positionen um die Kreuzung herum.According to an example of the present embodiment, receiving one or more images from an intersection includes receiving images from a plurality of cameras at different locations around the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei der Schritt des Übertragens der Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer Folgendes beinhaltet: das Rundsenden der Verkehrsinformationen an alle mit der Kreuzung assoziierten Verkehrsteilnehmer.According to an example of the present embodiment, wherein the step of transmitting the traffic information to road users associated with the intersection includes: broadcasting the traffic information to all road users associated with the intersection.

Gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung ist ein Verfahren zum Managen von Verkehrsinformationen bereitgestellt, das Folgendes umfasst: das Empfangen von Verkehrsinformationen bei einem mit einer Kreuzung assoziierten Verkehrsteilnehmer, das Abgleichen der Verkehrsinformationen mit Sensorinformationen von Sensoren und das Übertragen der abgeglichenen Verkehrs- und Sensorinformationen an den Verkehrsteilnehmer, wobei die Verkehrsinformationen durch Verarbeiten eines oder mehrerer Bilder der Kreuzung erlangt werden.According to another exemplary embodiment of the present invention, there is provided a method of managing traffic information, comprising: receiving traffic information at a road user associated with an intersection, comparing the traffic information with sensor information from sensors, and transmitting the reconciled traffic and sensor information to the road user, wherein the traffic information is obtained by processing one or more images of the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei die Verkehrsinformationen eine Änderung des Layouts der Kreuzung beinhalten. According to an example of the present embodiment, wherein the traffic information includes a change of the layout of the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei die Verkehrsinformationen Positionen oder Bewegungen von mit der Kreuzung assoziierten Verkehrsteilnehmern beinhalten.According to an example of the present embodiment, wherein the traffic information includes positions or motions of road users associated with the intersection.

Gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung ist ein System zum Managen von Verkehrsinformationen bereitgestellt, das Folgendes umfasst: eine oder mehrere Kameraeinheiten, die dafür ausgelegt sind, ein oder mehrere Bilder einer Kreuzung aufzunehmen, eine Verarbeitungseinheit, die dafür ausgelegt ist, die Bilder zu verarbeiten, um Verkehrsinformationen von der Kreuzung zu erlangen, und eine Kommunikationseinheit, die dafür ausgelegt ist, die Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer zu übertragen.According to another exemplary embodiment of the present invention, there is provided a traffic information managing system comprising: one or more camera units configured to receive one or more images of an intersection, a processing unit configured to feed the images to obtain traffic information from the intersection, and a communication unit adapted to transmit the traffic information to road users associated with the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei die Kameraeinheiten Kameraeinheiten beinhalten, die bereits um die Kreuzung herum installiert sind.According to an example of the present embodiment, the camera units include camera units already installed around the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei die Verarbeitungseinheit die empfangenen Bilder mit einem Referenzbild der Kreuzung vergleicht, um eine Änderung des Layouts der Kreuzung zu erlangen.According to an example of the present embodiment, the processing unit compares the received images with a reference image of the intersection to obtain a change in the layout of the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei die Verkehrsinformationen Positionen oder Bewegungen der Verkehrsteilnehmer beinhalten.According to an example of the present embodiment, wherein the traffic information includes positions or movements of the road users.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei die Kameraeinheiten eine Vielzahl von Kameraeinheiten an verschiedenen Positionen um die Kreuzung herum beinhalten.According to an example of the present embodiment, wherein the camera units include a plurality of camera units at different positions around the intersection.

Gemäß einem Beispiel der vorliegenden Ausführungsform, wobei die Kommunikationseinheit die Verkehrsinformationen an alle mit der Kreuzung assoziierten Verkehrsteilnehmer rundsendet.According to an example of the present embodiment, the communication unit broadcasts the traffic information to all road users associated with the intersection.

Gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung ist ein maschinenlesbares Medium bereitgestellt, das ausführbare Anweisungen umfasst, die, wenn sie von einer Maschine ausgeführt werden, die Maschine veranlassen, das Verfahren zum Managen von Verkehrsinformationen der obigen Ausführungsformen durchzuführen.In accordance with another exemplary embodiment of the present invention, there is provided a machine-readable medium comprising executable instructions that, when executed by a machine, cause the machine to perform the method of managing traffic information of the above embodiments.

Ein weiterer Anwendungsumfang der vorliegenden Erfindung wird anhand der im Folgenden ausgeführten ausführlichen Beschreibung ersichtlich werden. Es versteht sich allerdings, dass die ausführliche Beschreibung und spezifische Beispiele, obwohl sie bevorzugte Ausführungsformen der Erfindung angeben, nur zur Veranschaulichung dienen, da verschiedene Änderungen und Modifikationen innerhalb des Wesens und des Schutzumfangs der Erfindung anhand der folgenden ausführlichen Beschreibung für Durchschnittsfachleute ersichtlich werden.A further scope of the present invention will become apparent from the detailed description set forth below. It should be understood, however, that the detailed description and specific examples, while indicating preferred embodiments of the invention, are given by way of illustration only, since various changes and modifications within the spirit and scope of the invention will become apparent to those skilled in the art from the following detailed description.

KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

Die obigen und die anderen Aspekte und Vorteile der vorliegenden Erfindung werden anhand der folgenden ausführlichen Beschreibung von beispielhaften Ausführungsformen, zusammen mit den begleitenden Zeichnungen, die beispielhaft die Prinzipien der Erfindung veranschaulichen, ersichtlich werden.The above and other aspects and advantages of the present invention will become apparent from the following detailed description of exemplary embodiments, taken in conjunction with the accompanying drawings, which illustrate, by way of example, the principles of the invention.

1 veranschaulicht ein Flussdiagramm eines Verfahrens zum Managen von Verkehrsinformationen gemäß der ersten Ausführungsform dieser Technologie; 1 Fig. 11 illustrates a flowchart of a method for managing traffic information according to the first embodiment of this technology;

2 veranschaulicht ein Flussdiagramm eines Verfahrens zum Managen von Verkehrsinformationen gemäß der zweiten Ausführungsform dieser Technologie; 2 Fig. 10 illustrates a flowchart of a method for managing traffic information according to the second embodiment of this technology;

3 veranschaulicht ein Blockdiagramm eines Systems zum Managen von Verkehrsinformationen gemäß der dritten Ausführungsform dieser Technologie; 3 Fig. 11 illustrates a block diagram of a traffic information managing system according to the third embodiment of this technology;

4 veranschaulicht ein schematisches Diagramm einer Kreuzung, auf die die vorliegende Technologie angewandt wird. 4 Figure 12 illustrates a schematic diagram of an intersection to which the present technology is applied.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS

In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Details dargelegt, um ein grundlegendes Verständnis der beschriebenen beispielhaften Ausführungsformen zu liefern. Es wird allerdings für Durchschnittsfachleute ersichtlich sein, dass die beschriebenen Ausführungsformen ohne einige oder sogar alle dieser spezifischen Details ausgeübt werden können. In anderen beispielhaften Ausführungsformen wurden gut bekannte Strukturen oder Prozessschritte nicht ausführlich beschrieben, um unnötige Verschleierung des Konzepts der vorliegenden Erfindung zu vermeiden.In the following detailed description, numerous specific details are set forth in order to provide a thorough understanding of the described exemplary embodiments. However, it will be apparent to those of ordinary skill in the art that the described embodiments may be practiced without some or even all of these specific details. In other exemplary embodiments, well-known structures or process steps have not been described in detail to avoid unduly obscuring the concept of the present invention.

Zunächst ist unter Bezugnahme auf 1 ein Flussdiagramm eines Verfahrens zum Managen von Verkehrsinformationen gemäß der ersten Ausführungsform dieser Technologie gezeigt. Das Verfahren umfasst den Schritt 101 des Empfangens eines oder mehrerer Bilder von einer Kreuzung, wobei die Kreuzung zum Beispiel eine gesamte Kreuzung oder eine Kreuzung mit den verbindenden Straßen sein kann, den Schritt 102 des Verarbeitens der Bilder, um Verkehrsinformationen von der Kreuzung zu erlangen, wobei die Verkehrsinformationen Informationen über eine Änderung des Layouts der Kreuzung und über die Position, die Anzahl oder Bewegung des mit der Kreuzung assoziierten Verkehrsteilnehmers beinhalten können, und den Schritt 103 des Übertragens der Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer, wobei die Verkehrsteilnehmer Fahrzeuge oder Passagiere in der Kreuzung oder solche, die beabsichtigen, in die Kreuzung einzufahren oder diese zu durchqueren, beinhalten kann.First, referring to 1 a flowchart of a method for managing traffic information according to the first embodiment of this technology shown. The method includes the step 101 receiving one or more images from an intersection, where the intersection may be, for example, an entire intersection or intersection with the connecting roads, the step 102 of processing the Images to obtain traffic information from the intersection, wherein the traffic information may include information about a change in the layout of the intersection and about the position, number or movement of the traffic participant associated with the intersection, and the step 103 transmitting the traffic information to road users associated with the intersection, wherein the road users may include vehicles or passengers in the intersection or those intending to drive into or through the intersection.

Durch Erlangen von Verkehrsinformationen aus den Bildern der Kreuzung kann die Ausführungsform die Verkehrsinformationen aktuell halten und kann auch die Kosten für Sensoren verringern.By obtaining traffic information from the images of the intersection, the embodiment can keep the traffic information up to date and can also reduce the cost of sensors.

In einem Beispiel können im Schritt 101 des Empfangens eines oder mehrerer Bilder einer Kreuzung die Bilder der Kreuzung von Kameras empfangen werden, die bereits um die Kreuzung herum installiert sind, was die Kosten für Kameras weiter verringern kann. Die Kameras können aus verschiedenen Gründen bereits um die Kreuzung herum installiert sein (z. B. die Überwachungskameras oder Sicherheitskameras). Sie können direkt über der Kreuzung oder auf Hochhäusern nahe der Kreuzung installiert sein, so dass sie die Bilder der Kreuzung in Echtzeit oder, bei Bedarf, mit einer beliebigen vorbestimmten Frequenz erfassen können. Die Genauigkeit der Bilder und somit der Verkehrsinformationen kann zum Beispiel durch Verwenden von Kameras mit festem Standort und hoher Auflösung verbessert werden.In an example, in step 101 of receiving one or more images of an intersection, the intersection images are received by cameras already installed around the intersection, which can further reduce the cost of cameras. The cameras may already be installed around the intersection for a variety of reasons (eg surveillance cameras or security cameras). They may be installed directly above the intersection or on high-rise buildings near the intersection so that they can capture the images of the intersection in real-time or, if necessary, at any predetermined frequency. The accuracy of the images, and thus the traffic information, can be improved, for example, by using fixed site cameras with high resolution.

In einem weiteren Beispiel können im Schritt 101 des Empfangens eines oder mehrerer Bilder einer Kreuzung die Bilder einer Kreuzung von einer Vielzahl von Kameras an verschiedenen Positionen um die Kreuzung herum empfangen werden, was das Verdecken der Sicht auf die Kreuzung vermeiden kann. Informationen, die auf den Bildern von verschiedenen Kameras basieren, können kombiniert werden, z. B. auf einer Bildverarbeitungsebene, um zuerst unter Verwendung der Bilder von verschiedenen Kameras ein Einzelbild der Kreuzung zu erzeugen, und dann das Einzelbild hinsichtlich Verkehrsinformationen oder auf einer Modellebene zu analysieren, auf der ein Bild von jeder Kamera zuerst analysiert wird und dann die erhaltenen Informationen unter den verschiedenen Kameras abgeglichen werden.In another example, in step 101 receiving one or more images of an intersection, the images of an intersection are received by a plurality of cameras at various locations around the intersection, which may obscure obscuring the view of the intersection. Information based on images from different cameras can be combined, e.g. On an image processing plane to first generate a frame of the intersection using the images from different cameras, and then to analyze the frame for traffic information or at a model level on which an image from each camera is analyzed first and then the information obtained be matched under the different cameras.

In einem Beispiel kann der Schritt 102 des Verarbeitens der Bilder das Vergleichen der empfangenen Bilder mit einem Referenzbild der Kreuzung beinhalten, um eine Änderung des Layouts der Kreuzung zu erlangen. Das Referenzbild kann im Voraus erhalten und gespeichert werden. Es kann das grundsätzliche oder das vorherige Layout der Kreuzung wiedergeben. Falls es Unterschiede zwischen den empfangenen Bildern und dem Referenzbild gibt, kann das spezifische Gebiet mit dem Unterschied in den übertragenen Verkehrsinformationen als unzuverlässig markiert werden, so dass Verkehrsteilnehmer, die diese Informationen empfangen, deren Funktionalität herunterstufen (d. h. Funktionen, die diese Informationen benötigen, um korrekt zu funktionieren, wissen nun, dass sie nicht über diese Informationen verfügen und zum Beispiel die Funktion derart anpassen, dass sie nur zu 50% statt zu 100% verwendet werden kann). Ein Beispiel ist, dass möglicherweise die Geschwindigkeit des Autos verringert werden muss oder dass dem Fahrer eine Warnung übermittelt wird usw. Andererseits kann eine Nachricht an ein Verkehrsmanagementzentrum ausgesendet werden, so dass eine manuelle Korrektur am Layout vorgenommen werden kann. Zusätzlich kann die Ursache einer Änderung durch Bildverarbeitung detektiert und in die übertragenen Informationen integriert werden. Dies könnte einige Informationen hinsichtlich laufender Bauarbeiten, Unfällen usw. beinhalten.In one example, the step 102 processing the images includes comparing the received images with a reference image of the intersection to obtain a change in the layout of the intersection. The reference image can be obtained and stored in advance. It can reflect the basic or previous layout of the intersection. If there are differences between the received images and the reference image, the specific area with the difference in the transmitted traffic information may be marked as unreliable so that road users receiving this information downgrade their functionality (ie, functions requiring that information) to work correctly now know that they do not have this information and, for example, adjust the function so that it can only be used at 50% instead of 100%). An example is that it may be necessary to reduce the speed of the car or to give a warning to the driver, etc. On the other hand, a message may be sent to a traffic management center so that a manual correction to the layout can be made. In addition, the cause of a change can be detected by image processing and integrated into the transmitted information. This could include some information regarding ongoing construction work, accidents, etc.

In einem weiteren Beispiel kann der Schritt 102 des Verarbeitens der Bilder das Verarbeiten der Bilder beinhalten, um Positionen oder Bewegungen von mit der Kreuzung assoziierten Verkehrsteilnehmern zu erlangen, was zumindest teilweise die Funktion von Sensoren auf den Verkehrsteilnehmern ersetzen und die Kosten weiter verringern kann. Positions- oder Bewegungsinformationen können durch Bildverarbeitung zum Identifizieren der Verkehrsteilnehmer und zum Analysieren von deren Positionen oder Bewegungen erlangt werden. Üblicherweise bekannte Verfahren für derartige Bildverarbeitung können eingesetzt werden. Positionieren kann durch Bereitstellen spezieller Markierungen in der realen Welt, die von den Kameras als Referenzpunkte verwendet werden können, verbessert werden.In another example, the step 102 processing the images involves processing the images to obtain positions or motions of road users associated with the intersection, which may at least partially replace the function of sensors on the road users and further reduce costs. Position or motion information may be obtained by image processing to identify the road users and to analyze their positions or movements. Conventionally known methods for such image processing can be used. Positioning can be improved by providing special markers in the real world that can be used by the cameras as reference points.

In einem Beispiel kann der Schritt 103 des Übertragens der Verkehrsinformationen an Verkehrsteilnehmer das Rundsenden der Verkehrsinformationen an alle mit der Kreuzung assoziierten Verkehrsteilnehmer beinhalten, so dass die Verkehrsteilnehmer aktuelle Verkehrsinformationen erlangen können, sogar ohne jegliche Sensoren. Rundsenden der Verkehrsinformationen kann entweder durch Hinzufügen neuer Rundsende-/Kommunikations-Kreuzung, z. B. unter Verwendung von 802.11p/DSRC mit den Verkehrsteilnehmern, erfolgen oder durch Verteilen von Kreuzung über Mobilfunknetze, vorzugsweise Niederlatenznetze wie LTE.In one example, the step 103 transmitting the traffic information to road users include broadcasting the traffic information to all road users associated with the intersection so that the road users can obtain up-to-date traffic information, even without any sensors. Broadcasting the traffic information can be done either by adding a new broadcast / communication intersection, e.g. Using 802.11p / DSRC with the road users, or by spreading intersection over mobile networks, preferably low-latency networks such as LTE.

Nunmehr ist mit Bezug auf 2 ein Flussdiagramm eines Verfahrens zum Managen von Verkehrsinformationen gemäß der zweiten Ausführungsform dieser Technologie gezeigt. Das Verfahren umfasst den Schritt 201 des Empfangens von Verkehrsinformationen bei einem mit einer Kreuzung assoziierten Verkehrsteilnehmer, wobei die Verkehrsinformationen Informationen über eine Änderung des Layouts der Kreuzung oder von Positionen oder Bewegungen von mit der Kreuzung assoziierten Verkehrsteilnehmern beinhalten können, den Schritt 202 des Abgleichens der Verkehrsinformationen mit Sensorinformationen von Sensoren, wobei die Sensoren Sensoren an diesem Verkehrsteilnehmer sein können oder Sensoren an anderen Verkehrsteilnehmern sein können, und den Schritt 203 des Übertragens der abgeglichenen Verkehrs- und Sensorinformationen an den Verkehrsteilnehmer, wobei die Verkehrsinformationen durch Verarbeiten eines oder mehrerer Bilder von der Kreuzung erlangt werden.Now, with respect to 2 a flowchart of a method for managing traffic information according to the second embodiment of this technology shown. The procedure includes the step 201 receiving traffic information at a traffic participant associated with an intersection, wherein the traffic information may include information about a change in the layout of the intersection or positions or motions of traffic participants associated with the intersection, step 202 matching the traffic information with sensor information from sensors, wherein the sensors may be sensors on that road user or may be sensors on other road users, and the step 203 transmitting the reconciled traffic and sensor information to the road user, wherein the traffic information is obtained by processing one or more images from the intersection.

Wenn auf Verkehrsteilnehmern implementiert, kann diese Ausführungsform die Verkehrsinformationen aktuell halten und kann auch die Kosten für Sensoren verringern.When implemented on road users, this embodiment can keep the traffic information up to date and can also reduce the cost of sensors.

In einem Beispiel können die abgeglichenen Verkehrs- und Sensorinformationen auch mit anderen mit der Kreuzung assoziierten Verkehrsteilnehmern geteilt werden.In one example, the adjusted traffic and sensor information may also be shared with other traffic participants associated with the intersection.

Obwohl Informationen von Sensoren in der zweiten Ausführungsform eingesetzt werden, versteht sich, dass die vorliegende Technologie selbst für die Verkehrsteilnehmer ohne jegliche Sensoren funktionieren kann. Zum Beispiel kann ein Verkehrsteilnehmer ohne Sensoren die Verkehrsinformationen zur Selbstnutzung oder zum Teilen mit anderen Verkehrsteilnehmern empfangen.Although information from sensors is used in the second embodiment, it will be understood that the present technology can function even for road users without any sensors. For example, a road user without sensors may receive the traffic information for self-use or sharing with other road users.

Nunmehr ist mit Bezug auf 3 ein Blockdiagramm eines Systems zum Managen von Verkehrsinformationen gemäß der dritten Ausführungsform dieser Technologie gezeigt, das Folgendes umfassen kann: eine oder mehrere Kameraeinheiten 301, die dafür ausgelegt sind, ein oder mehrere Bilder einer Kreuzung aufzunehmen, eine Verarbeitungseinheit 302, die dafür ausgelegt ist, die Bilder zu verarbeiten, um Verkehrsinformationen von der Kreuzung zu erlangen, und eine Kommunikationseinheit 303, die dafür ausgelegt ist, die Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer zu übertragen, zum Beispiel durch Rundsenden der Verkehrsinformationen an alle mit der Kreuzung assoziierten Verkehrsteilnehmer.Now, with respect to 3 a block diagram of a system for managing traffic information according to the third embodiment of this technology shown, which may comprise: one or more camera units 301 , which are adapted to receive one or more images of an intersection, a processing unit 302 , which is adapted to process the images to obtain traffic information from the intersection, and a communication unit 303 which is adapted to transmit the traffic information to road users associated with the intersection, for example by broadcasting the traffic information to all road users associated with the intersection.

Durch Erlangen von Verkehrsinformationen aus den Bildern der Kreuzung kann die Ausführungsform die Verkehrsinformationen aktuell halten und kann auch die Kosten für Sensoren verringern.By obtaining traffic information from the images of the intersection, the embodiment can keep the traffic information up to date and can also reduce the cost of sensors.

In einem Beispiel können die Kameraeinheiten 301 Kameraeinheiten beinhalten, die bereits um die Kreuzung herum installiert sind, und können eine Vielzahl von Kameraeinheiten an verschiedenen Positionen um die Kreuzung herum sein.In one example, the camera units 301 Include camera units already installed around the intersection, and may be a plurality of camera units at different positions around the intersection.

In einem Beispiel kann die Verarbeitungseinheit 302 die empfangenen Bilder mit einem Referenzbild der Kreuzung vergleichen, um eine Änderung des Layouts der Kreuzung zu erlangen. Und die Verarbeitungseinheit 302 kann die Bilder verarbeiten, um Verkehrsinformationen über Positionen und Bewegungen der Verkehrsteilnehmer zu erlangen.In one example, the processing unit 302 compare the received images with a reference image of the intersection to obtain a change in the layout of the intersection. And the processing unit 302 can process the images to obtain traffic information about positions and movements of the road users.

Die vorliegende Technologie stellt auch ein maschinenlesbares Medium bereit, das ausführbare Anweisungen umfasst, die, wenn sie von einer Maschine ausgeführt werden, die Maschine veranlassen, das Verfahren zum Managen von Verkehrsinformationen gemäß der ersten und der zweiten Ausführungsform durchzuführen.The present technology also provides a machine-readable medium comprising executable instructions that, when executed by a machine, cause the machine to perform the method of managing traffic information according to the first and second embodiments.

Nunmehr ist mit Bezug auf 4 ein schematisches Diagramm einer Kreuzung gezeigt, auf die die vorliegende Technologie angewandt wird. Die Überwachungskameras, die bereits um die Kreuzung herum aufgestellt wurden, können Bilder der Kreuzung in Echtzeit erfassen und diese an einen Server senden. Der Server verarbeitet die Bilder, um die Verkehrsinformationen der Kreuzung zu erlangen, und zum Übertragen der Informationen an die Fahrzeuge um die Kreuzung herum. Die Verkehrsinformationen können von dem Server direkt an die Fahrzeuge übertragen werden oder können zunächst an ein Zentrum (zum Beispiel ein nicht gezeigtes Verkehrsmanagementzentrum) übertragen werden und dann, nach Kombinieren mit den Informationen vom Zentrum, an die Fahrzeuge übertragen werden.Now, with respect to 4 a schematic diagram of an intersection shown, to which the present technology is applied. The surveillance cameras, which have already been set up around the intersection, can capture images of the intersection in real time and send them to a server. The server processes the images to obtain the traffic information of the intersection and transmit the information to the vehicles around the intersection. The traffic information may be transmitted from the server directly to the vehicles, or may first be transmitted to a center (eg, a traffic management center, not shown) and then, after being combined with the information from the center, transmitted to the vehicles.

Wenn die Informationen von dem Server empfangen werden, kann ein Fahrzeug diese direkt verwenden oder nach dem Abgleichen mit all den an diesem oder an anderen Fahrzeugen verfügbaren Sensoren. Die Verkehrsinformationen können dem Fahrer übermittelt und unter den Fahrzeugen geteilt werden.When the information is received from the server, a vehicle can use it directly or after matching with all the sensors available on that or other vehicles. The traffic information can be communicated to the driver and shared among the vehicles.

Fachleute können anhand der obigen Ausführungsformen klar erkennen, dass die vorliegende Erfindung durch Software mit nötiger Hardware implementiert werden kann oder durch Hardware, Firmware oder dergleichen. Basierend auf solchem Verständnis können die Ausführungsformen der vorliegenden Erfindung teilweise in einer Softwareform umgesetzt werden. Die Computersoftware kann auf einem lesbaren Speichermedium, wie etwa einer Floppy-Disk, einer Festplatte, einer optischen Disk oder einem Flashspeicher des Computers gespeichert werden. Die Computersoftware umfasst eine Reihe von Anweisungen, um den Computer (z. B. einen Personalcomputer, eine Dienststation oder ein Netzwerkterminal) das Verfahren oder einen Teil davon gemäß einer entsprechenden Ausführungsform der vorliegenden Erfindung ausführen zu lassen.Those skilled in the art can clearly appreciate from the above embodiments that the present invention can be implemented by software with necessary hardware or by hardware, firmware or the like. Based on such understanding, the embodiments of the present invention may be partially implemented in a software form. The computer software may be stored on a readable storage medium, such as a floppy disk, a hard disk, an optical disk, or a flash memory of the computer. The computer software includes a series of instructions for having the computer (eg, a personal computer, a service station, or a network terminal) execute the method or portion thereof according to a corresponding embodiment of the present invention.

Anhand der so beschriebenen Erfindung ist es offensichtlich, dass dieselbe auf viele Arten variiert werden kann. Solche Varianten werden nicht als eine Abweichung vom Wesen und Schutzumfang der Erfindung angesehen und alle derartigen Modifikationen, wie sie Fachleuten offensichtlich sein würden, sind dafür vorgesehen, im Schutzumfang der folgenden Ansprüche eingeschlossen zu sein.From the invention thus described, it will be obvious that the same may be varied in many ways. Such variations are not to be regarded as a departure from the spirit and scope of the invention, and all such modifications as would be obvious to one skilled in the art are intended to be included within the scope of the following claims.

Claims (17)

Verfahren zum Managen von Verkehrsinformationen, das Folgendes umfasst: das Empfangen eines oder mehrerer Bilder von einer Kreuzung; das Verarbeiten der Bilder, um Verkehrsinformationen von der Kreuzung zu erlangen, und das Übertragen der Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer.A method of managing traffic information, comprising: receiving one or more images from an intersection; processing the images to obtain traffic information from the intersection, and transmitting the traffic information to road users associated with the intersection. Verfahren nach Anspruch 1, wobei der Schritt des Empfangens eines oder mehrerer Bilder einer Kreuzung Folgendes beinhaltet: das Empfangen eines oder mehrerer Bilder von bereits um die Kreuzung herum installierten Kameras.The method of claim 1, wherein the step of receiving one or more images of an intersection includes: receiving one or more images of cameras already installed around the intersection. Verfahren nach Anspruch 1, wobei der Schritt des Verarbeitens der Bilder, um Verkehrsinformationen von der Kreuzung zu erlangen, Folgendes beinhaltet: das Vergleichen der empfangenen Bilder mit einem Referenzbild der Kreuzung, um eine Änderung des Layouts der Kreuzung zu erlangen.The method of claim 1, wherein the step of processing the images to obtain traffic information from the intersection includes: comparing the received images with a reference image of the intersection to obtain a change in the layout of the intersection. Verfahren nach Anspruch 1, wobei der Schritt des Verarbeitens des Bildes, um Verkehrsinformationen von der Kreuzung zu erlangen, Folgendes beinhaltet: das Verarbeiten der Bilder, um Positionen oder Bewegungen der mit der Kreuzung assoziierten Verkehrsteilnehmer zu erlangen.The method of claim 1, wherein the step of processing the image to obtain traffic information from the intersection includes: processing the images to obtain positions or motions of road users associated with the intersection. Verfahren nach Anspruch 1, wobei das Empfangen eines oder mehrerer Bilder von einer Kreuzung Folgendes beinhaltet: das Empfangen von Bildern von einer Vielzahl von Kameras an verschiedenen Positionen um die Kreuzung herum.The method of claim 1, wherein receiving one or more images from an intersection includes: receiving images from a plurality of cameras at various positions around the intersection. Verfahren nach einem der Ansprüche 1–5, wobei der Schritt des Übertragens der Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer Folgendes beinhaltet: das Rundsenden der Verkehrsinformationen an alle mit der Kreuzung assoziierten Verkehrsteilnehmer.The method of any of claims 1-5, wherein the step of transmitting traffic information to road users associated with the intersection includes: Broadcasting the traffic information to all road users associated with the intersection. Verfahren zum Managen von Verkehrsinformationen, das Folgendes umfasst: das Empfangen von Verkehrsinformationen bei einem mit einer Kreuzung assoziierten Verkehrsteilnehmer, das Abgleichen der Verkehrsinformationen mit Sensorinformationen von Sensoren und das Übertragen der abgeglichenen Verkehrs- und Sensorinformationen an den Verkehrsteilnehmer, wobei die Verkehrsinformationen durch Verarbeiten eines oder mehrerer Bilder der Kreuzung erlangt werden.A method of managing traffic information, comprising: receiving traffic information at a road user associated with an intersection, matching the traffic information with sensor information from sensors and transmitting the reconciled traffic and sensor information to the road user, wherein the traffic information is obtained by processing one or more images of the intersection. Verfahren nach Anspruch 7, wobei die Verkehrsinformationen eine Änderung des Layouts der Kreuzung beinhalten.The method of claim 7, wherein the traffic information includes a change in the layout of the intersection. Verfahren nach Anspruch 7, wobei die Verkehrsinformationen Positionen oder Bewegungen von mit der Kreuzung assoziierten Verkehrsteilnehmern beinhalten.The method of claim 7, wherein the traffic information includes positions or motions of road users associated with the intersection. System zum Managen von Verkehrsinformationen, das Folgendes umfasst: eine oder mehrere Kameraeinheiten, die dafür ausgelegt sind, ein oder mehrere Bilder einer Kreuzung aufzunehmen, eine Verarbeitungseinheit, die dafür ausgelegt ist, die Bilder zu verarbeiten, um Verkehrsinformationen von der Kreuzung zu erlangen, und eine Kommunikationseinheit, die dafür ausgelegt ist, die Verkehrsinformationen an mit der Kreuzung assoziierte Verkehrsteilnehmer zu übertragen.A traffic information management system comprising: one or more camera units adapted to receive one or more images of an intersection, a processing unit configured to process the images to obtain traffic information from the intersection, and a communication unit adapted to transmit the traffic information to road users associated with the intersection. System nach Anspruch 10, wobei die Kameraeinheiten Kameraeinheiten beinhalten, die bereits um die Kreuzung herum installiert sind.The system of claim 10, wherein the camera units include camera units already installed around the intersection. System nach Anspruch 10, wobei die Verarbeitungseinheit die empfangenen Bilder mit einem Referenzbild der Kreuzung vergleicht, um eine Änderung des Layouts der Kreuzung zu erlangen.The system of claim 10, wherein the processing unit compares the received images with a reference image of the intersection to obtain a change in the layout of the intersection. System nach Anspruch 10, wobei die Verkehrsinformationen Positionen oder Bewegungen der Verkehrsteilnehmer beinhalten.The system of claim 10, wherein the traffic information includes positions or movements of the road users. System nach Anspruch 10, wobei die Kameraeinheiten eine Vielzahl von Kameraeinheiten an verschiedenen Positionen um die Kreuzung herum beinhalten.The system of claim 10, wherein the camera units include a plurality of camera units at different positions around the intersection. System nach einem der Ansprüche 10–14, wobei die Kommunikationseinheit die Verkehrsinformationen an alle mit der Kreuzung assoziierten Verkehrsteilnehmer rundsendet.The system of any one of claims 10-14, wherein the communication unit broadcasts the traffic information to all road users associated with the intersection. Maschinenlesbares Medium, das ausführbare Anweisungen umfasst, die, wenn sie von einer Maschine ausgeführt werden, die Maschine veranlassen, das Verfahren zum Managen von Verkehrsinformationen nach einem der Ansprüche 1–6 durchzuführen.A machine readable medium comprising executable instructions that, when executed by a machine, the machine cause to carry out the method for managing traffic information according to any one of claims 1-6. Maschinenlesbares Medium, das ausführbare Anweisungen umfasst, die, wenn sie von einer Maschine ausgeführt werden, die Maschine veranlassen, das Verfahren zum Managen von Verkehrsinformationen nach einem der Ansprüche 7–9 durchzuführen.A machine-readable medium comprising executable instructions that, when executed by a machine, cause the machine to perform the method of managing traffic information of any one of claims 7-9.
DE112014006452.1T 2014-03-11 2014-03-11 Traffic Information Management Pending DE112014006452T5 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/073164 WO2015135118A1 (en) 2014-03-11 2014-03-11 Trafic information management

Publications (1)

Publication Number Publication Date
DE112014006452T5 true DE112014006452T5 (en) 2016-12-22

Family

ID=54070759

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112014006452.1T Pending DE112014006452T5 (en) 2014-03-11 2014-03-11 Traffic Information Management

Country Status (3)

Country Link
CN (1) CN106063257B (en)
DE (1) DE112014006452T5 (en)
WO (1) WO2015135118A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6916609B2 (en) * 2016-11-21 2021-08-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Intersection information distribution device and intersection information distribution method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0949818A3 (en) * 1998-04-07 2000-10-25 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
JP4527638B2 (en) * 2005-09-01 2010-08-18 パナソニック株式会社 Wide-area surveillance panorama system
CN101436346A (en) * 2007-11-20 2009-05-20 孙少炜 Traffic intelligent management system and method
CN101470962A (en) * 2007-12-25 2009-07-01 上海市延安中学 Traffic signal lamp switching system and method
CN101739833B (en) * 2008-12-22 2012-07-25 昆明理工大学 Pre-formation no-wait traffic flow control method
CN101561969A (en) * 2009-05-18 2009-10-21 南京大学 Events video monitoring guiding and issuing method and system thereof
CN101777254B (en) * 2010-01-12 2011-11-16 南京信息工程大学 Crossing traffic information inquiring system and method based on multimedia messages
CN102122437A (en) * 2011-04-01 2011-07-13 上海千年工程建设咨询有限公司 Road traffic management decision support device
CN102497477B (en) * 2011-12-13 2014-08-27 芜湖罗比汽车照明系统有限公司 Cell phone system for vehicle monitoring
CN103323011B (en) * 2012-03-22 2016-03-30 佛山市顺德区顺达电脑厂有限公司 Point-to-point guider and the method thereof sharing sight spot information
CN103440779B (en) * 2013-08-09 2018-05-01 浙江吉利汽车研究院有限公司 Vehicle travels guiding system and bootstrap technique

Also Published As

Publication number Publication date
CN106063257A (en) 2016-10-26
CN106063257B (en) 2020-06-30
WO2015135118A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
EP3371800B1 (en) Method and device for selecting and transmitting sensor data from a first motor vehicle to a second motor vehicle
EP3363005B1 (en) Method for ascertaining and providing a database which relates to a specified surrounding area and contains environmental data
DE102017105585A1 (en) Systems and methods for improving the field of vision at intersections
DE102019131700A1 (en) METHOD AND DEVICE FOR IMPROVED LOCAL DECISIONS BASED ON THE SURROUNDINGS
DE102013014106A1 (en) V2V communication based vehicle identification device and identification method for same
EP2979261A1 (en) Backend for driver assistance systems
DE112015006297T5 (en) VEHICLE GROUP MANAGEMENT DEVICE, VEHICLE GROUP MANAGEMENT PROCEDURE, VEHICLE GROUP MANAGEMENT PROGRAM AND VEHICLE GROUP DISPLAY DEVICE
EP2953111A1 (en) Method and device for determining free parking spots in hgv parking lots and notification of hgv drivers
DE102011085060A1 (en) Apparatus and method for detecting objects in a stream of sensor data
DE102020120953A1 (en) DIGITAL TWIN SURVEILLANCE SYSTEMS AND METHODS
DE102019129169A1 (en) Systems and methods for determining the parking space availability on floors of multi-storey units
DE102017215079A1 (en) Capturing road users on a traffic route
DE102015221183A1 (en) Method and device for assigning road users and communication identifiers
DE102019125781A1 (en) Advanced valet parking service
EP3482384B1 (en) Determining laterally positioned parking spaces
EP2894074A1 (en) Method and device for monitoring and controlling a railway network
DE112014006452T5 (en) Traffic Information Management
EP3008636B1 (en) Method and system for the detection of one or more persons by a vehicle
DE102019216747A1 (en) Method of providing an overlay map section
EP3688737A1 (en) Method and device
DE102019218078B4 (en) Determination of a situation in the environment of a motor vehicle
DE102011083378B4 (en) Device and method for checking route data
DE102017207958B4 (en) A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system
EP3611711B1 (en) Method for classifying data relating to a parking space for a motor vehicle
DE102019129612A1 (en) VEHICLE MANAGEMENT SYSTEM, VEHICLE, MANAGEMENT DEVICE, CONTROL METHOD AND COMPUTER PROGRAM

Legal Events

Date Code Title Description
R409 Internal rectification of the legal status completed
R409 Internal rectification of the legal status completed
R012 Request for examination validly filed