QUERVERWEIS AUF VERWANDTE ANMELDUNGENCROSS REFERENCE TO RELATED APPLICATIONS
Diese Anmeldung beansprucht den Prioritätstag der US Provisional Patent Application No. 61/641,479 mit dem Titel „Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem“, angemeldet am 02. Mai 2012.This application claims the priority date of US Provisional Patent Application No. 61 / 641,479 with the title “Lane detection at full speed with an all-round vision system”, registered on May 2nd, 2012.
HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION
Gebiet der ErfindungField of the Invention
Die Erfindung bezieht sich allgemein auf ein System und ein Verfahren zum Bereitstellen einer Erkennung einer Spur einer Fahrbahn für ein Fahrzeug, das in der Spur fährt, und insbesondere auf ein System und ein Verfahren zum Bereitstellen einer Erkennung einer Spur einer Fahrbahn in einem Fahrzeug, das innerhalb der Spur fährt, wobei das Spurerkennungssystem einen Algorithmus verwendet, der Bilder von mehreren Kameras verwendet.The invention relates generally to a system and method for providing lane recognition for a vehicle traveling in lane, and more particularly to a system and method for providing lane recognition in a vehicle travels within the lane, with the lane detection system using an algorithm that uses images from multiple cameras.
Diskussion des Standes der TechnikDiscussion of the state of the art
Moderne Fahrzeuge werden autonomer, d.h., die Fahrzeuge sind in der Lage, eine Fahrkontrolle mit weniger Intervention des Fahrers bereitzustellen. Geschwindigkeitsregelsysteme (Cruise control systems) existieren in Fahrzeugen seit einer Mehrzahl von Jahren, wobei der Fahrzeugführer eine bestimmte Geschwindigkeit des Fahrzeugs einstellen kann und das Fahrzeug diese Geschwindigkeit aufrecht erhält, ohne dass der Fahrer das Fahrpedal betätigt. Abstandsregelsysteme (adaptive cruise control systems) wurden kürzlich im Stand der Technik entwickelt, wobei das System nicht nur die eingestellte Geschwindigkeit aufrechterhält, sondern das Fahrzeug auch automatisch verlangsamt für den Fall, dass ein langsamer fahrendes Fahrzeug vor dem betreffenden Fahrzeug unter Verwendung verschiedener Sensoren, wie beispielsweise Radar und Kameras, ermittelt wird. Moderne Fahrzeugkontrollsysteme können zudem autonomes Parken beinhalten, wobei das Fahrzeug automatisch die Lenkkontrolle zum Parken des Fahrzeugs bereitstellt und wobei das Kontrollsystem interveniert, falls der Fahrer harsche Lenkänderungen ausführt, die die Fahrzeugstabilität und die Spurzentrierungsfähigkeiten beeinträchtigen könnten, wobei das Fahrzeugsystem versucht, das Fahrzeug in der Nähe der Mitte der Fahrspur zu halten.Modern vehicles are becoming more autonomous, i.e. the vehicles are able to provide driving control with less driver intervention. Cruise control systems have existed in vehicles for a number of years, with the driver being able to set a certain speed of the vehicle and the vehicle maintaining that speed without the driver operating the accelerator pedal. Adaptive cruise control systems have recently been developed in the prior art, whereby the system not only maintains the set speed, but also automatically slows down the vehicle in the event that a slower vehicle is in front of the vehicle in question using various sensors such as for example, radar and cameras. Modern vehicle control systems may also include autonomous parking, where the vehicle automatically provides steering control to park the vehicle, and the control system intervenes if the driver makes harsh steering changes that could affect vehicle stability and lane centering capabilities, with the vehicle system attempting to control the vehicle in the Keep near the center of the lane.
Mit der Verbesserung der Fahrzeugsysteme werden Fahrzeuge autonomer werden, wobei das Ziel ein vollständig autonom gefahrenes Fahrzeug ist. Künftige Fahrzeuge werden voraussichtlich autonome Systeme zum Spurwechsel, Überholen, Abwenden vom Verkehr, dem Verkehr Zuwenden etc. einsetzen. Nachdem diese Systeme in der Fahrzeugtechnologie immer mehr verbreitet werden, wird es ebenfalls erforderlich sein, zu ermitteln, welche Rolle der Fahrer in Kombination mit diesen Systemen zum Kontrollieren der Fahrzeuggeschwindigkeit, Lenkung und Aufheben der autonomen Systeme spielen wird.As vehicle systems improve, vehicles will become more autonomous, with the goal being a fully autonomous vehicle. Future vehicles are expected to use autonomous systems for changing lanes, overtaking, turning away from traffic, turning to traffic, etc. As these systems become more widespread in vehicle technology, it will also be necessary to determine what role the driver will play in combination with these systems to control vehicle speed, steering and overriding the autonomous systems.
Gegenwärtige Fahrzeug-Spurerkennungssysteme verwenden typischerweise Sicht-Systeme, um die Fahrzeug-Eigenfahrspur zu erkennen und das Fahrzeug in der Spurmitte zu fahren. Viele dieser bekannten Spurerkennungssysteme ermitteln Spurmarkierungen auf der Fahrbahn für zahlreiche Anwendungen, wie beispielsweise eine Spurverlassens-Warnung (LDW, lane departure warning), ein Spurhalten (LK, lane keeping), eine Spurzentrierung (LC, lane centering), etc. und haben typischerweise eine einzige Kamera verwendet, entweder auf der Vorderseite oder der Rückseite des Fahrzeugs, um die Bilder bereitzustellen, die verwendet werden, um die Spurmarkierungen zu ermitteln. Jedoch gibt es zahlreiche Situationen, in welchen eine einzige Kamera nicht in der Lage sein kann, die Spurmarkierungen zu ermitteln, einschließlich eines niedrigen Sonnenwinkels, nichtsichtbarer Spurmarkierungen als Ergebnis von Fahrzeugen in unmittelbarer Nähe, wie beispielsweise in Stausituationen, einem Kameraausfall, etc. Beispielsweise kann, wenn ein vorausfahrendes Fahrzeug aufgrund eines Verkehrsstaus oder anderer Verkehrssituationen zu nahe an dem eigenen Fahrzeug ist, die Kamera die Spurmarkierungen nicht ermitteln, da die Spurmarkierungen durch das vorausfahrende Fahrzeug verdeckt sind, und daher wird die Spurmarkierungs-Ermittlung der Spur ausfallen.Current vehicle lane detection systems typically use vision systems to detect the vehicle's own lane and drive the vehicle in the middle of the lane. Many of these known lane detection systems detect lane markings on the road for numerous applications, such as lane departure warning (LDW), lane keeping (LK), lane centering, etc., and typically have a single camera is used, either on the front or rear of the vehicle, to provide the images used to determine the lane markings. However, there are numerous situations in which a single camera may not be able to detect the lane markings, including a low sun angle, invisible lane markings as a result of vehicles in close proximity, such as in traffic jams, a camera failure, etc. For example If a preceding vehicle is too close to its own vehicle due to a traffic jam or other traffic situation, the camera will not detect the lane markings because the lane markings are hidden by the preceding vehicle, and therefore the lane marking determination of the lane will fail.
Es wurde in dem Gebiet vorgeschlagen, ein Rundumsicht-Kamerasystem in einem Fahrzeug bereitzustellen, das eine Frontkamera, eine Rückkamera und linke und rechte Seitenkameras beinhaltet und das eine Draufsicht auf das Fahrzeug und umliegende Bereiche unter Verwendung der Bilder von den Kameras erzeugt, wobei die Bilder sich an den Ecken des Fahrzeugs überlappen würden. Die Draufsicht kann angezeigt werden, damit der Fahrer des Fahrzeugs sehen kann, was das Fahrzeug umgibt, für eine Rückwärtsfahrt, zum Parken, etc.It has been proposed in the field to provide an all-round view camera system in a vehicle that includes a front camera, a rear camera, and left and right side cameras, and that creates a top view of the vehicle and surrounding areas using the images from the cameras, the images would overlap at the corners of the vehicle. The top view can be displayed so that the driver of the vehicle can see what is surrounding the vehicle, for reversing, for parking, etc.
Die Druckschrift DE 10 2011 102 744 A1 beschreibt ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, wobei Kamerabilddaten an einer vom Kraftfahrzeug separaten Recheneinrichtung verarbeitet werden, und wobei ein Kamerakalibrierungsalgorithmus ausgeführt wird und das Ergebnis an das Kamerasystem übertragen wird. Die Druckschrift DE 10 2009 001 742 A1 beschreibt ein Verfahren zum Bestimmen der Position und Ausrichtung einer Fahrerassistenzsystem-Kamera eines Fahrzeugs, wobei die Position der Fahrerassistenzsystem-Kamera zu einem Kalibriertarget bestimmt wird, und wobei die Ausrichtung der Fahrerassistenzsystem-Kamera bezüglich der geometrischen Fahrachse des Fahrzeugs bestimmt wird. Die Druckschrift DE 10 2008 026 876 A1 beschreibt ein Stereokamerasystem und Verfahren zum Ermitteln eines Kalibrierfehlers eines Stereokamerasystems, wobei der Verlauf eines Fahrbahnrandes ermittelt wird, und wobei der Kalibrierfehler anhand des Verlaufs des Fahrbahnrandes ermittelt wird. Die Druckschrift DE 10 2004 033 468 A1 beschreibt ein Verfahren zur Kalibrierung einer Kamera, die in einem Kraftfahrzeug angeordnet ist, wobei über ein Kamerabild eines außerhalb des Kraftfahrzeuges angeordneten rechteckigen Kalibriermusters näherungsweise die Abweichungswinkel der Kamera zu den Sollanordnungswinkeln ermittelt werden.The publication DE 10 2011 102 744 A1 describes a method for operating a camera system of a motor vehicle, wherein camera image data are processed on a computing device separate from the motor vehicle, and wherein a camera calibration algorithm is executed and the result is transmitted to the camera system. The publication DE 10 2009 001 742 A1 describes a method for determining the position and orientation of a driver assistance system camera of a vehicle, the position of the Driver assistance system camera is determined to a calibration target, and wherein the orientation of the driver assistance system camera is determined with respect to the geometric driving axis of the vehicle. The publication DE 10 2008 026 876 A1 describes a stereo camera system and method for determining a calibration error of a stereo camera system, the course of a road edge being determined, and the calibration error being determined based on the course of the road edge. The publication DE 10 2004 033 468 A1 describes a method for calibrating a camera, which is arranged in a motor vehicle, wherein approximately a camera image of a rectangular calibration pattern arranged outside the motor vehicle, the deviation angles of the camera to the target arrangement angles are determined.
ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION
In Übereinstimmung mit den Lehren der vorliegenden Erfindung werden ein System und ein Verfahren zum Bereitstellen einer Spurerkennung in einem Fahrzeug durch Ermitteln von Fahrbahn-Spurmarkierungen offenbart, wobei das System mehrere Kameras verwendet, die Bilder um das Fahrzeug herum bereitstellen. Das Verfahren beinhaltet ein Ermitteln von linksseitigen und rechtsseitigen Spurbegrenzungslinien in den Kamerabildern und ein anschließendes Ermitteln, ob die Spurbegrenzungslinien in den Bildern von einem Einzelbild zu einem nächsten Einzelbild ausgerichtet sind und ob sie von Bild zu Bild ausgerichtet sind. Falls die Begrenzungslinien nicht ausgerichtet sind, wird anschließend ein Kalibrieren einer oder mehrerer der Kameras durchgeführt und, falls die Linien ausgerichtet sind, wird anschließend ein Modelanpassungs-Verfahren verwendet, um eigens die Position der Begrenzungslinien auf der Fahrbahn zu identifizieren.In accordance with the teachings of the present invention, a system and method for providing lane detection in a vehicle by determining lane lane markings are disclosed, the system utilizing multiple cameras that provide images around the vehicle. The method includes determining left-hand and right-hand lane boundary lines in the camera images and then determining whether the lane boundary lines in the images are aligned from one frame to a next frame and whether they are aligned from frame to frame. If the boundary lines are not aligned, one or more of the cameras is then calibrated and, if the lines are aligned, a model adjustment method is then used to specifically identify the position of the boundary lines on the road.
Weitere Merkmale der vorliegenden Erfindung werden aus der vorliegenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den beigefügten Figuren ersichtlich.Further features of the present invention will become apparent from the present description and the appended claims, taken in conjunction with the accompanying figures.
FigurenlisteFigure list
-
1 ist eine Darstellung eines Fahrzeugs, das ein Rundumsicht-Kamerasystem mit mehreren Kameras beinhaltet; 1 Fig. 4 is an illustration of a vehicle incorporating an all-round camera system with multiple cameras;
-
2 ist ein Draufsicht-Bild des in 1 gezeigten Fahrzeugs, das unter Verwendung der Kameras erzeugt wurde; 2nd is a top view image of the in 1 shown vehicle that was generated using the cameras;
-
3 ist ein Flussdiagramm, das ein Verfahren mit einem einfachen Ansatz zum Ermitteln von Fahrbahn-Spurmarkierungen unter Verwendung des Rundumsicht-Kamerasystems und eines Draufsicht-Bildes zeigt; 3rd FIG. 14 is a flowchart showing a method with a simple approach to determining lane markings using the all-round vision camera system and a top view image;
-
4 ist eine Darstellung von Spurmarkierungs-Bildpunkten in Fahrzeugkoordinaten, die durch das Rundumsicht-Kamerasystem unter Verwendung des Draufsicht-Bildes ermittelt wurden; 4th Fig. 4 is an illustration of lane marking pixels in vehicle coordinates determined by the all-round vision camera system using the top view image;
-
5 ist ein Flussdiagramm, das ein Verfahren zum Bereitstellen einer Kameradiagnose in dem in 3 gezeigten Verfahren zeigt; 5 FIG. 10 is a flowchart illustrating a method for providing camera diagnosis in the device shown in FIG 3rd method shown;
-
6 ist eine Darstellung von Spurmarkierungs-Bildpunkten, die durch das in 4 gezeigte Rundumsicht-Kamerasystem ermittelt wurden, und die Spurmarkierungslinien beinhaltet, die an die Punkte unter Verwendung eines Modells angepasst wurden; 6 Fig. 3 is an illustration of lane marking pixels that are shown by the in 4th the all-round view camera system shown has been determined and includes the lane marking lines that have been fitted to the points using a model;
-
7 ist ein Flussdiagramm, das ein Verfahren mit einem High-End-Ansatz zum Ermitteln von Fahrbahn-Spurmarkierungen, das Bilder von einer Mehrzahl an Fahrzeug-Kameras getrennt verwendet, zeigt; 7 FIG. 14 is a flowchart showing a high-end approach to determining lane markings that uses images from a plurality of vehicle cameras separately; FIG.
-
8 ist eine Darstellung von Spurmarkierungs-Bildpunkten in Fahrzeugkoordinaten, die durch die separaten Kameras ermittelt wurden; 8th is a representation of lane marking pixels in vehicle coordinates, which were determined by the separate cameras;
-
9 ist ein Flussdiagramm, das ein Verfahren zum Bereitstellen einer Kameradiagnose in dem in 7 gezeigten Verfahren zeigt; und 9 FIG. 10 is a flowchart illustrating a method for providing camera diagnosis in the device shown in FIG 7 method shown; and
-
10 ist eine Darstellung der in 8 gezeigten Spurmarkierungs-Bildpunkte und die Spurmarkierungslinien beinhaltet, die an die Punkte unter Verwendung eines Modells angepasst wurden. 10th is a representation of the in 8th includes the lane marker pixels shown and the lane marker lines that have been fitted to the points using a model.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF THE EMBODIMENTS
Die folgende Diskussion der Ausführungsformen der auf ein System und ein Verfahren zum Bereitstellen einer Fahrzeug-Spurerkennung durch Ermitteln von Spurmarkierungen unter Verwendung mehrerer Kameras gerichteten Erfindung ist lediglich exemplarischer Natur und ist in keiner Weise dazu bestimmt, die Erfindung oder ihre Anwendungen oder Verwendungen zu beschränken.The following discussion of the embodiments of the invention directed to a system and method for providing vehicle lane detection by determining lane markings using multiple cameras is merely exemplary in nature and is in no way intended to limit the invention or its uses or uses.
1 ist eine Darstellung eines Fahrzeugs 10, das auf einer Fahrspur 12 einer Fahrbahn fährt, die durch Spurmarkierungen festgelegt ist, die auf der Fahrspur 12 der Fahrbahn aufgemalt oder anderweitig fixiert sind und die eine durchgezogene äußere Spurbegrenzungslinie 14 und eine unterbrochene Spurmittenlinie 16 beinhalten. Das Fahrzeug 10 beinhaltet eine Kamera 18 innerhalb des Fahrzeugs 10, wie beispielsweise hinter dem Rückspiegel (nicht gezeigt), aus Gründen, die aus den unten stehenden Erläuterungen ersichtlich werden. Das Fahrzeug 10 beinhaltet zudem ein Rundumsicht-Kamerasystem mit einer vorwärts gerichteten Kamera 20, einer rückwärts gerichteten Kamera 22, einer rechtsseitig ausgerichteten Kamera 24 und einer linksseitig ausgerichteten Kamera 26. Die Kameras 20-26 können jegliche Kamera sein, die für die hierin beschriebenen Zwecke geeignet ist, wobei viele davon im Automobilbereich bekannt sind, wobei die Kameras zum Empfangen von Licht oder anderer Strahlung und zum Konvertieren der Lichtenergie in elektrische Signale in einem Pixel-Format unter Verwendung von beispielsweise ladungsgekoppelten Bauelementen (CCD, charged coupled devices) fähig sind. Die Kameras 20-26 erzeugen Einzelbild-Daten bei einer bestimmten Einzelbild-Datenrate, die für eine weitere Verarbeitung gespeichert werden können. Die Kameras 20-26 können innerhalb oder auf jeder geeigneten Struktur, die Teil des Fahrzeugs 10 ist, beispielsweise Stoßfänger, Facie, Kühlergrill, Seitenspiegeln, Türpanelen, etc., befestigt sein, wie von Fachleuten in dem Gebiet verstanden wird. In einer nicht-beschränkenden Ausführungsform sind die Seitenkameras 24 und 26 unter den Seitenspiegeln befestigt und sind nach unten gerichtet. Bilddaten von den Kameras 20-26 werden an einen Prozessor 28 gesendet, der die Bilddaten verarbeitet, um Bilder zu erzeugen, die in einer Fahrzeug-Anzeigevorrichtung 30 angezeigt werden können. Beispielsweise ist es, wie oben erwähnt, in dem Gebiet bekannt, eine Draufsicht auf ein Fahrzeug bereitzustellen, die Bilder nahe und auf allen Seiten des Fahrzeugs 10 bereitstellt. 1 is an illustration of a vehicle 10th that in a lane 12th a lane that is determined by lane markings that are in the lane 12th the roadway are painted or otherwise fixed and a solid outer lane boundary 14 and a broken track center line 16 include. The vehicle 10th includes a camera 18th inside the vehicle 10th , such as behind the rearview mirror (not shown), for reasons that will become apparent from the explanations below. The vehicle 10th also includes an all-round view camera system with a forward-facing camera 20 , a rear-facing camera 22 , a right-facing camera 24th and one left-facing camera 26 . The cameras 20-26 can be any camera suitable for the purposes described herein, many of which are known in the automotive field, the cameras for receiving light or other radiation and for converting the light energy into electrical signals in a pixel format using, for example, charge coupled Components (CCD, charged coupled devices) are capable. The cameras 20-26 generate frame data at a certain frame data rate, which can be stored for further processing. The cameras 20-26 can be inside or on any suitable structure that is part of the vehicle 10th is, for example, bumpers, facie, grille, side mirrors, door panels, etc., as is understood by those skilled in the art. In a non-limiting embodiment, the side cameras are 24th and 26 attached under the side mirrors and directed downwards. Image data from the cameras 20-26 are going to a processor 28 sent, which processes the image data to generate images in a vehicle display device 30th can be displayed. For example, as mentioned above, it is known in the art to provide a top view of a vehicle with images near and on all sides of the vehicle 10th provides.
2 ist eine allgemeine Darstellung eines Draufsicht-Bildes 32, das aus Bilddaten von den Kameras 20-26 erstellt wurde und das in der Anzeigevorrichtung 30 angezeigt werden kann und welches das Fahrzeug 10 in der Mitte oder einem anderen Bereich des Bildes 32 zeigt. Das Draufsicht-Bild 32 beinhaltet ein kombiniertes vorderseitiges Bild 34, das durch die vorwärts gerichtete Kamera 20 bereitgestellt ist, ein rückseitiges Bild 36, das durch die rückwärts gerichtete Kamera 22 bereitgestellt ist, ein rechtsseitiges Bild 38, das durch die rechtsseitig ausgerichtete Kamera 24 bereitgestellt ist, und ein linksseitiges Bild 40, das durch die linksseitig ausgerichtete Kamera 26 bereitgestellt ist. Die Bilder von den Kameras 20-26 werden durch den Prozessor 28 verarbeitet, so dass sie als das kombinierte Bild zusammenpassen, wobei eine Linie 42 die Grenze zwischen den Bildern 34 und 40 ist, eine Linie 44 die Grenze zwischen den Bildern 34 und 38 ist, eine Linie 46 die Grenze zwischen den Bildern 36 und 40 ist und eine Linie 48 die Grenze zwischen den Bildern 36 und 38 ist. Eine unterbrochene Linie 50 in dem Bild 32 definiert die Spurmittenlinie 16 und erstreckt sich durch das Bild 40 und in die Bilder 34 und 36 und eine durchgezogene Linie 52 kennzeichnet die Spurbegrenzungslinie 14, die sich durch das Bild 38 und die Bilder 34 und 36 erstreckt. 2nd Figure 3 is a general illustration of a top view image 32 that from image data from the cameras 20-26 was created and that in the display device 30th can be displayed and which the vehicle 10th in the middle or another area of the image 32 shows. The top view image 32 includes a combined front image 34 that by the forward-looking camera 20 is provided, a back image 36 that by the rear-facing camera 22 is provided, a right-hand image 38 by the right-facing camera 24th is provided, and a left-hand image 40 by the left-facing camera 26 is provided. The pictures from the cameras 20-26 are made by the processor 28 processed so that they fit together as the combined image, taking a line 42 the border between the pictures 34 and 40 is a line 44 the border between the pictures 34 and 38 is a line 46 the border between the pictures 36 and 40 is and a line 48 the border between the pictures 36 and 38 is. A broken line 50 in the picture 32 defines the track center line 16 and extends through the image 40 and in the pictures 34 and 36 and a solid line 52 indicates the lane boundary line 14 that stand out through the picture 38 and the pictures 34 and 36 extends.
Die vorliegende Erfindung schlägt eine Technik zum Bereitstellen einer Spurerkennung für die Verwendung in mehreren Systemen, wie beispielsweise LDW-Systemen, LK-Systemen, LC-Systemen, etc., vor, die das Rundumsicht-Kamerasystem verwendet, um Spurmarkierungen oder Spurenspurbegrenzungen auf beiden Seiten des Fahrzeugs 10 zu ermitteln. Wie im Detail unten stehend erläutert wird, schlägt die vorliegende Erfindung zwei Spurerkennungs-Ansätze vor einschließlich eines weniger komplexen, einfachen Ansatzes, der das Draufsicht-Bild 32, das durch das Kamerasystem erzeugt ist, verwendet und eines High-End-Ansatzes, der die Bilder von dem Kameras 20-26 individuell verwendet. In dem einfachen Ansatz wird die integrierte Erkennung und Kameradiagnose nahtlos bereitgestellt und ist einfach und schnell. Jedoch besitzt der einfache Ansatz eine eingeschränkte Ermittlungsreichweite, beruht auf einer genauen Kamera-Kalibrierung und besitzt eingeschränkte Diagnosefähigkeiten und eine eingeschränkte selbsttätige Kamera-Kalibrierung. Der High-End-Ansatz erfordert mehr Prozessorleistung und ist daher langsamer. Jedoch ergeben sich durch das Bereitstellen der vier getrennten Rohbilder eine Bereitstellung einer Analyse in überlappenden Bereichen der Bilder 34-40, eine größere Ermittlungsreichweite und robuste Ermittlungsergebnisse. Es wird angemerkt, dass, obwohl sich die vorliegende Erfindung vier Kameras, die ein Rundumsicht-Bild des Fahrzeugs 10 bereitstellen, zu Nutze macht, die Techniken und Verfahren der vorliegenden Erfindung, die im Detail unten stehend erläutert werden, auf jede Zahl an Kameras anwendbar sein wird, beispielsweise, falls eine der Kameras 20-26 ausfällt, oder falls mehr als vier Kameras in dem Fahrzeug 10 bereitgestellt werden.The present invention proposes a technique for providing lane detection for use in multiple systems, such as LDW systems, LK systems, LC systems, etc., that the all-round vision camera system uses to mark lane markings or lane boundaries on both sides of the vehicle 10th to investigate. As explained in detail below, the present invention proposes two lane detection approaches including a less complex, simple approach, the top view image 32 that is generated by the camera system and uses a high-end approach that takes the pictures from the cameras 20-26 used individually. In the simple approach, the integrated detection and camera diagnosis is provided seamlessly and is simple and fast. However, the simple approach has a limited detection range, relies on accurate camera calibration, and has limited diagnostic capabilities and limited automatic camera calibration. The high-end approach requires more processor power and is therefore slower. However, by providing the four separate raw images, analysis is provided in overlapping areas of the images 34-40 , a larger detection range and robust detection results. It is noted that although the present invention features four cameras that provide an all-round view of the vehicle 10th providing, will take advantage of, the techniques and methods of the present invention, detailed below, will be applicable to any number of cameras, for example, if one of the cameras 20-26 fails, or if there are more than four cameras in the vehicle 10th to be provided.
3 ist ein Flussdiagramm 60, das ein Verfahren zum Durchführen des oben beschriebenen einfachen Ansatzes zeigt. Das Draufsicht-Bild 32 wird bei Kasten 62 bereitgestellt und der Spurerkennungs-Algorithmus in dem Prozessor 28 führt bei Kasten 64 eine Licht-Normierung des Bildes 32 aus. Eine Licht-Normierung ist ein Verfahren, das den Bereich von Pixel-Intensitätswerten des Bildes verändert, um die Bild-Intensität in einen Bereich zu bringen, der für das Verarbeiten geeigneter ist. US Patentanmeldung Nummer US 2010 / 0 141 520 A1 , angemeldet am 20. August 2012, mit dem Titel Spurnachverfolgungssystem, dem Rechtsnachfolger dieser Anmeldung übertragen und hierin mittels Bezugnahme inkorporiert, offenbart ein Fahrzeug-Spurnachverfolgungssystem, das eine einzige Kamera zum Ermitteln von Fahrbahnmarkierungen zum Zwecke einer Spurerkennung verwendet. Die '214-Anmeldung offenbart ein Verfahren zum Durchführen einer Licht-Normierung eines Kamerabildes, das für die hierin erläuterte Licht-Normierung geeignet ist. Dieses Verfahren beinhaltet ein Verwenden eines Histogramm-Ausgleichs (histogram equalization) zur Erhöhung der Klarheit des Bildes bei Bedingungen mit wenig Licht und zum Bereitstellen einer Saturierung von hellen Flecken (bright spot saturation). 3rd is a flow chart 60 which shows a method for performing the simple approach described above. The top view image 32 is at box 62 provided and the lane detection algorithm in the processor 28 leads at box 64 a light normalization of the picture 32 out. Light normalization is a method that changes the range of pixel intensity values of the image to bring the image intensity into a range that is more suitable for processing. US patent application number US 2010/0 141 520 A1 , filed August 20, 2012, entitled Lane Tracking System, the assignee of this application and incorporated herein by reference, discloses a vehicle tracking system that uses a single camera to detect lane markings for lane detection. The '214 application discloses a method for performing light normalization of a camera image that is suitable for the light normalization discussed herein. This method involves using a histogram equalization to increase the clarity of the image in low light conditions and to provide bright spot saturation.
Der Algorithmus führt anschließend bei Kasten 66 ein Spurermittlungs-Verfahren durch, um zu ermitteln, ob das Fahrzeug 10 auf einer Spur einer Fahrbahn fährt, wie beispielsweise der Fahrspur 12. US Patentanmeldung Nummer US 2010 / 0 014 714 A1 von Zhang et al., dem Rechtsnachfolger dieser Anmeldung übertragen und hierin mittels Bezugnahme inkorporiert, offenbart eine beispielhafte Technik zum Bereitstellen einer Spurermittlung, die für das hierin beschriebene Verfahren geeignet ist. Andere Techniken können ebenso anwendbar sein, einschließlich bekannter Techniken, bei denen Objekte, die durch die Kameras 20-26 abgebildet werden, Bildpunkte erzeugen, wie unten stehend detaillierter beschrieben, die anschließend verarbeitet werden, um die Spurbegrenzungen zu identifizieren. Die Bildpunkte werden in Bildkoordinaten aus der Pixilation der Kameras 20-26 für jedes erzeugte Einzelbild während sich das Fahrzeug 10 auf der Fahrspur 12 der Fahrbahn fortbewegt, produziert. The algorithm then performs at Kasten 66 a lane determination procedure to determine if the vehicle 10th is traveling on a lane of a lane, such as the lane 12th . US patent application number US 2010/0 014 714 A1 by Zhang et al., the assignee of this application and incorporated herein by reference, discloses an exemplary technique for providing lane detection that is suitable for the method described herein. Other techniques may also be applicable, including known techniques in which objects are viewed by the cameras 20-26 are mapped to produce pixels, as described in more detail below, which are then processed to identify the lane boundaries. The pixels are in image coordinates from the pixilation of the cameras 20-26 for each frame generated while the vehicle is moving 10th in the lane 12th moving the roadway, produced.
Die Bildpunkte werden anschließend verwendet, um bei Kasten 68 linke und/oder rechte Begrenzungslinien in dem Bild 32, wie beispielsweise die Spurlinien 50 und 52, aus den mehreren Bildpunkten, die durch das Spurerkennungsverfahren erzeugt wurden, zu identifizieren. Mit anderen Worten wählt der Algorithmus diejenigen Punkte in dem Bild aus, die Punkte sein können, die durch das Abbilden der Spurlinien 14 und 16 ermittelt wurden. Die linken und rechten Spurlinien 50 und 52 können aus den Bildpunkten in dem Bild 32 durch jedes geeignete Fachleuten in dem Gebiet bekannte Verfahren identifiziert werden. Beispielsweise offenbart die '214-Anmeldung eine geeignete Technik, wobei die Begrenzungslinien-Bildpunkte durch die Bilder von den Kameras 20-26 während sich das Fahrzeug 10 bewegt identifiziert werden.The pixels are then used to box 68 left and / or right boundary lines in the image 32 such as the track lines 50 and 52 to identify from the multiple pixels generated by the lane detection method. In other words, the algorithm selects those points in the image, which may be points, by mapping the track lines 14 and 16 were determined. The left and right track lines 50 and 52 can from the pixels in the picture 32 identified by any suitable method known to those skilled in the art. For example, the '214 application discloses a suitable technique in which the boundary line pixels are represented by the images from the cameras 20-26 while the vehicle 10th be identified in motion.
Die Bildpunkte in den Bildkoordinaten werden anschließend verwendet, um die Ausrichtung der Kameras 20-26 bei Kasten 80 zu Kalibrieren, bevor die Bildpunkte in das Fahrzeug-Koordinatensystem konvertiert werden. US Patentanmeldung Nummer US 2010 / 0 201 814 A1 angemeldet am 06. Februar 2009, mit dem Titel Kamera-Selbstkalibrierung durch horizontale Abschätzung, dem Rechtsnachfolger dieser Anmeldung übertragen und hierin mittels Bezugnahme inkorporiert, offenbart ein Selbstkalibrierungs-Verfahren für eine Fahrzeugkamera, das für diesen Zweck geeignet ist. Wie in der '814-Anmeldung beschrieben, ist die Kenntnis der Position und Ausrichtung (Winkel) einer Fahrzeugkamera erforderlich, um die Bilddaten von der Kamera in Fahrzeugkoordinaten zu verarbeiten. Jedoch können zahlreiche Faktoren wie beispielsweise eine Beladung des Fahrzeugs, ein Fahren über rauen Untergrund, Abnutzung, etc., eine Änderung der Ausrichtung einer Fahrzeugkamera verursachen, wobei die neue Kameraposition und - ausrichtung auf eine bekannte Orientierung kalibriert werden müssen, so dass die Bilder davon in der Bildverarbeitung für die entsprechende Verwendung korrekt verarbeitet werden. Obwohl jedes geeignete Kamera-Kalibrierungsverfahren für das hierin beschriebene Verfahren verwendet werden kann, bietet die '814-Anmeldung eine Technik an, die anwendbar ist und die eine Randermittlungs-Analyse und ein Bewegung-Mapping verwendet, um die Fahrzeugkameras 20-26 unter Verwendung der Bildpunkte zu kalibrieren.The pixels in the image coordinates are then used to align the cameras 20-26 with box 80 to calibrate before converting the pixels into the vehicle coordinate system. US patent application number US 2010/0 201 814 A1 filed on February 6, 2009, entitled Camera Self-Calibration by Horizontal Assessment, assigned to the assignee of this application and incorporated herein by reference, discloses a self-calibration method for a vehicle camera that is suitable for this purpose. As described in the '814 application, knowledge of the position and orientation (angle) of a vehicle camera is required to process the image data from the camera in vehicle coordinates. However, numerous factors such as vehicle loading, driving over rough ground, wear, etc., can cause a change in the orientation of a vehicle camera, and the new camera position and orientation must be calibrated to a known orientation so that the images thereof are processed correctly in image processing for the corresponding use. Although any suitable camera calibration method can be used for the method described herein, the '814 application offers a technique that is applicable that uses edge detection analysis and motion mapping to the vehicle cameras 20-26 calibrate using the pixels.
Nachdem die Kameras 20-26 kalibriert sind, werden die kalibriert Bildpunkte in den Bildkoordinaten anschließend bei Kasten 58 in das Fahrzeug-Koordinatensystem unter Verwendung eines geeigneten Verfahrens konvertiert. 4 ist eine Darstellung 70, die die Bildpunkte zeigt, die in ein Fahrzeug-Koordinatensystem 76 konvertiert wurden. Insbesondere wird eine Serie von Bildpunkten 72 in Fahrzeugkoordinaten gezeigt, die durch das Konversionsverfahren aus den Bildpunkten erzeugt werden, die die Spurmittenlinie 50 in dem Bild 32 identifizieren, und eine Serie von Bildpunkten 74 in Fahrzeugkoordinaten wird gezeigt, die durch das Konversionsverfahren aus den Bildpunkten erzeugt werden, die die Spurlinie 52 in dem Bild 32 identifizieren.After the cameras 20-26 are calibrated, the calibrated pixels in the image coordinates are then in the box 58 converted to the vehicle coordinate system using an appropriate method. 4th is an illustration 70 , which shows the pixels in a vehicle coordinate system 76 were converted. In particular, a series of pixels 72 shown in vehicle coordinates, which are generated by the conversion process from the pixels that the track center line 50 in the picture 32 identify, and a series of pixels 74 is shown in vehicle coordinates that are generated by the conversion process from the pixels that make up the track line 52 in the picture 32 identify.
Bei Kasten 82 kann eine Fahrzeugbewegungs-Kompensation verwendet werden, um die Identifikation der Spurlinien 50 und 52 in dem Bild 32 zu verbessern. Insbesondere können die Bildpunkte 72 und 74 in den Fahrzeugkoordinaten Bildpunkte aus den vorherigen Einzelbildern beinhalten, die durch die Fahrzeugbewegungs-Kompensation bereitgestellt wurden. Jedes Verfahren zum Ermitteln einer Fahrzeugbewegung, das für die hierin beschriebenen Zwecke geeignet ist, kann verwendet werden. Ein geeignetes Verfahren zum Verwenden einer Fahrzeugbewegungs-Kompensation für diesen Zweck wird ebenfalls in der '042-Anmeldung beschrieben und kann ein Verfahren zum Erkennen der Fahrzeugposition unter Verwendung von Sensoren (nicht gezeigt), d.h. einem Fahrzeug-Geschwindigkeitssensor und einem Gierratensensor, in dem Fahrzeug 10 und einem Verschieben der ermittelten Bildpunkte in den vorherigen Einzelbildern in einer Richtung der Fahrzeugbewegung zum Kompensieren einer erkannten Vorwärtsbewegung des Fahrzeugs 10 von vorherigen Einzelbildern zu den momentanen Fahrzeugkoordinaten beinhalten. Während das Fahrzeug 10 sich bewegt und jedes Set von Bildpunkten 72 und 74 in darauf folgenden Bildern bereitgestellt wird, können diese Punkte anschließend durch die Fahrzeugbewegungs-Kompensation verwendet werden. Mit anderen Worten betrachtet das Fahrzeugbewegungs-Kompensationsverfahren die Bildpunkte 72 und 74 in aufeinanderfolgenden Einzelbildern, wobei doppelt oder mehr Bildpunkte 72 und 74 in den zwei oder mehr Einzelbildern für eine Spurgeometrieanalyse verfügbar sind, um die Bildpunkte 72 und 74 von einem Einzelbild zu dem nächsten Einzelbild basierend auf der Bewegung des Fahrzeugs 10 auszurichten.With box 82 Vehicle motion compensation can be used to identify the lane lines 50 and 52 in the picture 32 to improve. In particular, the pixels 72 and 74 contain in the vehicle coordinates pixels from the previous individual images, which were provided by the vehicle movement compensation. Any method of determining vehicle motion that is suitable for the purposes described herein can be used. A suitable method of using vehicle motion compensation for this purpose is also described in the '042 application and can be a method of detecting vehicle position using sensors (not shown), ie, a vehicle speed sensor and a yaw rate sensor, in the vehicle 10th and shifting the determined pixels in the previous individual images in a direction of vehicle movement to compensate for a detected forward movement of the vehicle 10th from previous individual images to the current vehicle coordinates. While the vehicle 10th moves and every set of pixels 72 and 74 is provided in subsequent images, these points can then be used by the vehicle movement compensation. In other words, the vehicle motion compensation method looks at the pixels 72 and 74 in consecutive frames, with double or more pixels 72 and 74 in the two or more frames for one Track geometry analysis are available to the pixels 72 and 74 from one frame to the next frame based on the movement of the vehicle 10th align.
Der Algorithmus verwendet anschließend in einem Kameradiagnose-Verfahren bei Kasten 84 die bewegungskompensierten Bildpunkte 72 und 74 in den Fahrzeug-Koordinaten um zu ermitteln, ob die Kameras 20-26 zueinander ausgerichtet sind, um das Bild 32 bereitzustellen. Falls das Kameradiagnose-Verfahren ermittelt, dass die Ausrichtung der Bildpunkte 72 und 74 von einem Einzelbild zu dem nächsten Einzelbild nicht geeignet für eine Spurerkennung ist, fährt das Verfahren anschließend mit Kasten 86 fort, um eine Kamera-Rekalibrierung bereitzustellen, vorzugsweise in der gleichen Art wie bei Kasten 80 ausgeführt, unter Verwendung der Bildpunkte in den Bildkoordinaten und anschließend wird das Draufsicht-Bild 32 erneut bei dem Kasten 62 erzeugt. Falls das Kameradiagnose-Verfahren ermittelt, dass die Kameras 20-26 korrekt ausgerichtet sind und das Draufsicht-Bild 32 geeignet ist, führt der Algorithmus bei Kasten 88 ein Modelanpassungs-Verfahren durch, um spezifisch die Position der Linien 50 und 52 in der Fahrspur 12 der Fahrbahn zu identifizieren, die anschließend in dem bestimmten LDW-, LK- oder LC-System verwendet werden kann. Sowohl das Kameradiagnose-Verfahren als auch das Modelanpassungs-Verfahren werden im Detail unten stehend erläutert.The algorithm then used in a camera diagnostic procedure at Kasten 84 the motion-compensated pixels 72 and 74 in the vehicle coordinates to determine if the cameras 20-26 are aligned to the picture 32 to provide. If the camera diagnostic procedure determines that the alignment of the pixels 72 and 74 from one frame to the next frame is not suitable for lane detection, the method then moves with a box 86 to provide camera recalibration, preferably in the same manner as with Box 80 executed using the pixels in the image coordinates and then the top view image 32 again with the box 62 generated. If the camera diagnostic procedure determines that the cameras 20-26 are correctly aligned and the top view image 32 is suitable, the algorithm at Kasten leads 88 a model adjustment process to specifically determine the position of the lines 50 and 52 in the lane 12th identify the lane that can then be used in the particular LDW, LK or LC system. Both the camera diagnosis procedure and the model adjustment procedure are explained in detail below.
Während des Kameradiagnose-Verfahrens bei dem Kasten 84 stellt der Algorithmus eine zeitliche Analyse bereit durch das Ausrichten der Linien 50 und 52 von einem Einzelbild zu dem nächsten Einzelbild während sich das Fahrzeug 10 entlang der Fahrspur 12 der Fahrbahn bewegt. Aufeinanderfolgende Einzelbilder müssen zueinander passen, wobei die Liniensegmente der Linien 50 und 52 für die Vorder-, Seiten- und Rück-Kameras kollinear sein müssen und für jede Linie den gleichen Winkel und den gleichen Versatz relativ zueinander besitzen müssen. Weiterhin stellt das Kameradiagnose-Verfahren eine räumliche Analyse bereit, wobei in den Bildern 34-40, die das Draufsicht-Bild 32 ergeben, die Linien 50 und 52 von einem der Bilder 34-40 zu dem nächsten Bild 34-40 miteinander verbunden sein sollen und den gleichen Winkel besitzen sollen. Daher gleicht das Kameradiagnose-Verfahren aufeinanderfolgende Einzelbilder auf die zeitlichen Bedingungen ab und gleicht die unterschiedlichen Bilder in jedem Einzelbild auf die räumlichen Bedingungen ab.During the camera diagnostic process on the box 84 the algorithm provides a temporal analysis by aligning the lines 50 and 52 from one frame to the next frame while the vehicle is moving 10th along the lane 12th the roadway moves. Successive individual images must match each other, with the line segments of the lines 50 and 52 for the front, side and rear cameras must be collinear and have the same angle and offset relative to each other for each line. Furthermore, the camera diagnosis method provides a spatial analysis, in the pictures 34-40 who have favourited the top view image 32 result in the lines 50 and 52 from one of the pictures 34-40 to the next picture 34-40 should be connected to each other and should have the same angle. The camera diagnosis method therefore compares successive individual images to the temporal conditions and compares the different images in each individual image to the spatial conditions.
5 ist ein Flussdiagramm 90, das ein Verfahren zum Durchführen der Kameradiagnose, auf welche oben Bezug genommen wurde, zeigt. Abhängig davon, ob das Fahrzeug 10 vorwärts oder rückwärts fährt, wird die vorwärts gerichtete Kamera 20, die rückwärts gerichtete Kamera 22 oder eine zusätzliche interne Kamera, wie beispielsweise die Kamera 18, hinter der Windschutzscheibe verwendet, um zu identifizieren, ob Spurbegrenzungen vorhanden sind, die verwendet werden können, um zu ermitteln, ob die Kameras 20-26 korrekt kalibriert sind. Bei Kasten 92 wird ein Kamerabild von der Kamera 20, der Kamera 22 oder der internen Kamera für eine Texturanalyse bei Kasten 94 abhängig davon, in welcher Richtung das Fahrzeug 10 fährt, bereitgestellt. Das Texturanalyse-Verfahren stellt eine Kanten- und Spur-Ermittlung bereit, um zu ermitteln, ob Spurbegrenzungslinien, wie beispielsweise die Linien 50 und 52, entweder auf der linken Seite des Fahrzeugs 10 oder der rechten Seite des Fahrzeugs 10 existieren. 5 is a flow chart 90 10, which shows a method for performing the camera diagnosis referred to above. Depends on whether the vehicle 10th moves forward or backward, the forward-facing camera 20 , the rear-facing camera 22 or an additional internal camera, such as the camera 18th used behind the windshield to identify if there are lane boundaries that can be used to determine if the cameras 20-26 are correctly calibrated. With box 92 becomes a camera image from the camera 20 , the camera 22 or the internal camera for texture analysis at Kasten 94 depending on which direction the vehicle is 10th drives, provided. The texture analysis method provides edge and lane detection to determine whether lane boundary lines, such as the lines 50 and 52 , either on the left side of the vehicle 10th or the right side of the vehicle 10th exist.
Der Algorithmus ermittelt anschließend bei Entscheidungs-Raute 96, ob eine der linken oder rechten Spurlinie, die ermittelt wurden, eine durchgezogene lange Linie ist, und, falls ja, fährt fort zu Kasten 98 zum Bereitstellen einer Spurmarkierungs- oder Linien-Ermittlung unter Verwendung des Draufsicht-Bildes 32. Unter Verwendung der Fahrzeugbewegungs-Kompensationsbilder von dem Kasten 82 stellt der Algorithmus bei Entscheidungs-Raute 100 die räumliche Bedingungsanalyse bereit durch Ermitteln, ob die Liniensegmente für die Vorder-, Seiten- und Rück-Kameras von den Linien 50 und 52 in dem Draufsicht-Bild 32 verbunden sind und den gleichen Winkel zwischen den Bildern für jede Linie in dem Draufsicht-Bild 32 innerhalb eines gewissen vorbestimmten Schwellenwerts besitzen. Falls bei der Entscheidungs-Raute 100 die Liniensegmente für die Vorder-, Seiten- und Rück-Kameras von den Linien 50 und 52 nicht verbunden sind oder falls diese nicht den gleichen Winkel innerhalb des Schwellenwerts besitzen, fährt der Algorithmus fort mit dem Kamera-Rekalibrierungs-Kasten 86. Falls die Liniensegmente für die Vorder-, Seiten- und Rück-Kameras von den Linien 50 und 52 verbunden sind und den gleichen Winkel für jede Linie innerhalb des Schwellenwerts besitzen, fährt der Algorithmus fort zu Entscheidungs-Raute 102 zum Bereitstellen der zeitlichen Bedingungsanalyse zum Ermitteln, ob die Linien 50 und 52 in aufeinanderfolgenden Einzelbildern wie oben erläutert zueinander passen. Falls bei der Entscheidungs-Raute 102 die aufeinanderfolgenden Einzelbilder nicht zueinander passen, fährt der Algorithmus anschließend wieder mit dem Kamera-Rekalibrierungs-Kasten 86 fort. Falls sowohl die zeitlichen als auch die räumlichen Bedingungen erfüllt wurden, sind die Kameras 20-26 relativ zueinander kalibriert und der Algorithmus fährt mit dem Modellanpassungs-Kasten 88 fort.The algorithm then determines the decision diamond 96 whether one of the left or right lane lines that have been determined is a solid long line and, if so, continues to box 98 for providing lane marking or line detection using the top view image 32 . Using the vehicle motion compensation images from the box 82 represents the algorithm at decision diamond 100 The spatial condition analysis is ready by determining whether the line segments for the front, side and rear cameras are from the lines 50 and 52 in the top view image 32 are connected and the same angle between the images for each line in the top view image 32 have within a certain predetermined threshold. If at the decision diamond 100 the line segments for the front, side and rear cameras from the lines 50 and 52 are not connected or if they do not have the same angle within the threshold, the algorithm continues with the camera recalibration box 86 . If the line segments for the front, side and rear cameras from the lines 50 and 52 are connected and have the same angle for each line within the threshold, the algorithm continues to decision diamond 102 to provide the time condition analysis to determine whether the lines 50 and 52 fit in successive single images as explained above. If at the decision diamond 102 If the successive individual images do not match, the algorithm then moves back to the camera recalibration box 86 away. If both the time and space conditions were met, the cameras are 20-26 calibrated relative to each other and the algorithm runs with the model adaptation box 88 away.
Falls der Algorithmus bei der Entscheidungs-Raute 96 ermittelt, dass eine der beiden Linien 50 und 52 keine durchgezogene lange Linie ist, wobei die Linie 50 keine durchgezogene Linie ist, ermittelt der Algorithmus anschließend bei Entscheidungs-Raute 110, ob die Linien kurze (unterbrochene) Linien sind und, falls nicht, existieren keine Linien in der Fahrspur 12 der Fahrbahn und der Algorithmus fährt mit Kasten 112 fort, um auf den nächsten Bildzyklus zu warten. Falls der Algorithmus an der Entscheidungs-Raute 110 ermittelt, dass die ermittelten Linien kurze Linien sind, stellt der Algorithmus anschließend bei Kasten 114 eine Spurmarkierungs-Ermittlung in der gleichen Weise wie bei dem Kasten 98 bereit. Da die Linien kurze Linien sind, überspringt der Algorithmus den räumlichen Bedingungs-Schritt des Ermittelns, ob die Liniensegmente verbunden sind und den gleichen Winkel aufweisen, führt jedoch an Entscheidungs-Raute 116 den zeitlichen Einzelbild-Abgleich in der gleichen Weise wie oben für den Kasten 102 erläutert durch. In entsprechender Weise fährt, falls die aufeinanderfolgenden Einzelbilder bei der Entscheidungs-Raute 116 nicht zueinander passen, der Algorithmus anschließend mit dem Rekalibrierungs-Kasten 86 fort und, falls sie zueinander passen, fährt der Algorithmus mit dem Modellanpassungs-Kasten 88 fort.If the algorithm is at the decision diamond 96 determined that one of the two lines 50 and 52 is not a solid long line, the line being 50 is not a solid line, the algorithm then determines the decision diamond 110 whether the lines are short (broken) lines and, if not, there are no lines in the lane 12th the road and the algorithm runs with box 112 to wait for the next image cycle. If the algorithm is on the decision diamond 110 determines that the determined lines are short lines, the algorithm then sets at Kasten 114 a lane marking determination in the same way as in the box 98 ready. Since the lines are short lines, the algorithm skips the spatial condition step of determining whether the line segments are connected and have the same angle, but leads to a decision diamond 116 the temporal single image comparison in the same way as for the box above 102 explained by. In a corresponding manner, if the consecutive individual frames move at the decision diamond 116 do not match, then the algorithm with the recalibration box 86 and if they match, the algorithm continues with the model fitting box 88 away.
Falls die Kameras 20-26 kalibriert sind, verwendete der Algorithmus anschließend in dem Modellanpassungs-Kasten 88 die Bildpunkte 72 und 74 von aufeinanderfolgenden Einzelbildern, um die Position und Ausrichtung des Fahrzeugs 10 mit Bezug auf die Fahrspur 12 der Fahrbahn zu identifizieren. Mit anderen Worten verwendet der Algorithmus die Bildpunkte 72 und 74, um die genaue Anordnung der Linien 50 und 52 relativ zu der Position des Fahrzeugs 10 zu ermitteln, so dass die genaue Position und Ausrichtung des Fahrzeugs 10 in der Fahrspur 12 der Fahrbahn ermittelt werden können. In dem Modellanpassungs-Verfahren für den einfachen Ansatz passt der Algorithmus ein lineares Modell unter Verwendung von Gewichtungen basierend auf den ermittelten Spur-Bildpunkten 72 und 74 für beide Seiten des Fahrzeugs 10 an. Insbesondere identifiziert der Modellanpassungs-Algorithmus geeignete Gewichtungen für jeden der Bildpunkte 72 und 74 für ein bestimmtes System oder eine bestimmte Bedingung und passt diese Gewichtungen in das gewünschte Spurmodell an, um die Position der Linien 50 und 52 festzulegen. Jede Gewichtung wird sorgfältig basierend auf mehreren Parametern wie beispielsweise der Kameraperspektiven, Fahrzeugdynamik-Fehlern, Kamerakalibrierungs-Fehlern, Kamera-Sichtverhältnisse und Verlässlichkeit in das Bild 32 zugeordnet. Bildpunkte von einer seitlich ausgerichteten Kamera besitzen typischerweise eine höhere Gewichtung für Spurverlassens-Warn- (LDW-) Anwendungen. Ferner besitzen Bildpunkte von vorherigen Einzelbildern mit einer genauen Bewegungskompensation größere Gewichtungen als diejenigen mit einer verrauschten Bewegungskompensation, Bildpunkte mit einem kleineren Kamera-Kalibrierungsfehler und Bildpunkte mit besseren Sichtverhältnissen und besserer Verlässlichkeit in das Bild besitzen größere Gewichtungen, wobei näheren Punkten in dem Bild höhere Gewichtungen gegeben werden. Für ein geradliniges Spurmodell werden Versatz- und Winkel-Parameter abgeschätzt, wobei Punkte, die am nächsten zu den Vorderrädern des Fahrzeugs sind, größere Gewichtungen für das Abschätzen des Versatzes besitzen und robust ermittelte Punkte in den vorherigen Einzelbildern, die weit entfernt von dem Fahrzeug 10 sind, größere Gewichtungen für das Abschätzen des Winkels besitzen.If the cameras 20-26 are calibrated, the algorithm then used in the model fitting box 88 the pixels 72 and 74 of consecutive frames to the position and orientation of the vehicle 10th with respect to the lane 12th to identify the lane. In other words, the algorithm uses the pixels 72 and 74 to the exact arrangement of the lines 50 and 52 relative to the position of the vehicle 10th to determine the exact position and orientation of the vehicle 10th in the lane 12th the roadway can be determined. In the model adaptation method for the simple approach, the algorithm fits a linear model using weights based on the determined track pixels 72 and 74 for both sides of the vehicle 10th on. In particular, the model adaptation algorithm identifies suitable weights for each of the pixels 72 and 74 for a specific system or a specific condition and adjusts these weights in the desired track model to the position of the lines 50 and 52 to be determined. Each weighting is carefully based on several parameters such as the camera perspective, vehicle dynamics errors, camera calibration errors, camera visibility and reliability in the image 32 assigned. Pixels from a side-facing camera typically have a higher weight for Lane Departure Warning (LDW) applications. Furthermore, pixels from previous individual images with precise motion compensation have larger weights than those with noisy motion compensation, pixels with a smaller camera calibration error and pixels with better viewing conditions and better reliability in the image have larger weights, with closer points in the image being given higher weights become. For a straight lane model, offset and angle parameters are estimated, with points closest to the front wheels of the vehicle having larger weights for estimating the offset and robustly determined points in the previous frames that are far from the vehicle 10th have larger weights for estimating the angle.
Das Bildpunkt-Gewichtungsverfahren kann jegliches geeignete Gewichtungsverfahren sein, das versucht, die Bildpunkte 72 und 74 derart zu positionieren, dass diese an das Modell angepasst sind. Beispielsweise kann das Modell auf der Funktion f(x, y)=0 basierend sein, wobei jeder Bildpunkt 72 und 74 in die Funktion eingesetzt wird und wobei xS
1 und yS
1 die Position x und die y-Werte für diesen Bildpunkt kennzeichnen. Durch das zuordnen einer Gewichtung w zu jedem bestimmten Bildpunkt 72 und 74 für die Funktion f wird eine Optimierung der Funktion f bereitgestellt, so dass sie das gewünschte Ergebnis liefert. Sämtliche der Funktionen für jeden Bildpunkt 72 und 74 werden zusammen mit ihrer entsprechenden Gewichtung addiert, um optimale Modellparameter durch beispielsweise die folgende Zielfunktion (objective function) bereitzustellen.
Jede seitliche Spurmarkierung wird in dem Draufsicht-Bild 32 durch drei Kameras erfasst, während das Fahrzeug 10 sich vorwärts bewegt, nämlich die vorwärts gerichtete Kamera 20, die entsprechende seitlich ausgerichtete Kamera 24 oder 26 und die rückwärts gerichtete Kamera 22. Abhängig von der bestimmten Spurerkennungs-Anwendung wie beispielsweise einer Spurzentrierung oder einer Spurhaltung, wird jeder Bildpunkt 72 und 74 basierend auf den Parametern unterschiedlich gewichtet. Beispielsweise ist eine Spurerkennung für Spurzentrierungs-Zwecke stärker an der vor dem Fahrzeug 10 liegenden Spur interessiert und daher wird den Bildpunkten, die durch die vorwärts gerichtete Kamera 20 bereitgestellt werden, eine größere Gewichtung gegeben. Für eine Spurerkennung in einer LDW- oder LK-Anwendung wird die Bildpunkt-Gewichtung an der Position der Vorderräder des Fahrzeugs bestimmt und daher wird den Bildpunkten der seitwärts gerichteten Kameras eine größere Gewichtung gegeben. Die Gewichtungen können einer Vielzahl an Verlässlichkeits-Faktoren entsprechen, die einen Verlässlichkeitsgrad, dass ein bestimmter Bildpunkt die Spurbegrenzungslinie identifizieren kann, kennzeichnen können. Derartige Verlässlichkeits-Faktoren können die Sichtverhältnisse in der Umgebung, eine Bildauflösung, Beleuchtungs-Bedingungen, etc. beinhalten.The pixel weighting method can be any suitable weighting method that tries the pixel 72 and 74 to be positioned in such a way that they are adapted to the model. For example, the model can be based on the function f (x, y) = 0, with each pixel 72 and 74 is used in the function and where x S 1 and y S 1 indicate the position x and the y values for this pixel. By assigning a weighting w to each specific pixel 72 and 74 for function f an optimization of function f is provided so that it delivers the desired result. All of the functions for each pixel 72 and 74 are added together with their corresponding weighting in order to provide optimal model parameters by, for example, the following objective function. Each side lane marking is in the top view image 32 captured by three cameras while the vehicle 10th moves forward, namely the forward-facing camera 20 , the corresponding side-facing camera 24th or 26 and the rear-facing camera 22 . Depending on the particular lane detection application, such as lane centering or lane keeping, each pixel 72 and 74 weighted differently based on the parameters. For example, lane detection for lane centering purposes is stronger than that in front of the vehicle 10th lying track interested and therefore the pixels by the forward-facing camera 20 are given greater weight. For lane detection in an LDW or LK application, the pixel weight is determined at the position of the front wheels of the vehicle and therefore the pixels of the sideways-facing cameras are given a greater weight. The weightings can correspond to a large number of reliability factors, which can characterize a degree of reliability that a certain pixel can identify the lane boundary line. Such reliability factors can include the surrounding visibility, image resolution, lighting conditions, etc.
Sobald eine Gewichtung zu jedem Bildpunkt 72 und 74 zugeordnet wurde, wird eine Modell-Spurlinie an diese Punkte gemäß den gewichteten Positionen der Punkte 72 und 74 angepasst, um die Spurlinie zu bilden. Die Spurlinien 50 und 52 können ferner in jeglichen geeigneten Weise modelliert werden, wie beispielsweise einem gewichteten Mittel, einem gleitenden besten Fit (rolling best fit), einer Kalman-Filterung, etc. 6 ist eine Darstellung der gewichteten Bildpunkte 72 und 74 in den Fahrzeugkoordinaten wie in 4 gezeigt und beinhaltet Spurmarkierungs-Linien 120 und 122, die an die gewichteten Bildpunkte 72 bzw. 74 in der oben beschriebenen Weise modellbasiert angepasst wurden. Once a weighting for each pixel 72 and 74 has been assigned a model track line to these points according to the weighted positions of the points 72 and 74 adjusted to form the track line. The track lines 50 and 52 can also be modeled in any suitable manner, such as a weighted average, rolling best fit, Kalman filtering, etc. 6 is a representation of the weighted pixels 72 and 74 in the vehicle coordinates as in 4th shown and includes lane marking lines 120 and 122 attached to the weighted pixels 72 or. 74 were model-based adjusted in the manner described above.
Für den High-End-Ansatz, bei welchem die Spurerkennung unter Verwendung der individuellen Bilder von jeder der Kameras 20-26 bereitgestellt wird, durchläuft jedes separate Bild eine ähnliche Verarbeitung wie sie für das Draufsicht-Bild 32 durchgeführt wurde, um die Spurmarkierungs-Ermittlung bereitzustellen. Da die separaten Bilder in dem Draufsicht-Bild 32 abgeschnitten sind, um das Draufsicht-Bild 32 bereitzustellen, kann das getrennte Verwenden der einzelnen Bilder die Reichweite der Spurerkennung erhöhen. Zudem kann das Verarbeiten der individuellen Bilder von jeder der Kameras 20-26 einen Nutzen aus dem überlappenden Bereich zwischen diesen Bildern ziehen.For the high-end approach, in which the lane detection using the individual images from each of the cameras 20-26 is provided, each separate image undergoes processing similar to that for the top view image 32 was performed to provide the lane mark detection. Because the separate pictures in the top view picture 32 are clipped to the top view image 32 the separate use of the individual images can increase the range of the lane detection. It can also process the individual images from each of the cameras 20-26 take advantage of the overlapping area between these images.
7 ist ein Flussdiagramm 130, das ein Verfahren zum Ermitteln der Fahrbahn-Spurlinien 14 und 16 für den High-End-Ansatz, der jedes der Bilder von den Kameras 20-26 separat verwendet, zeigt, wobei Elemente, die ähnlich zu dem Flussdiagramm 80 sind, durch die gleichen Bezugszeichen gekennzeichnet sind. Obwohl in dieser Ausführungsform vier Kameras verwendet werden, wird angemerkt, dass dies im Wege eines nicht-beschränkenden Beispiels gemacht wird und dass jegliche Zahl an Kameras für die hierin beschriebenen Zwecke geeignet eingesetzt werden kann. In dem Flussdiagramm 130 ist die Bildanalyse in vier separate Zweige aufgeteilt mit einem Zweig für jede der Kameras 20-26, wobei ein erster Zweig 132 das vorderseitige Bild 34, das durch die vorwärts gerichtete Kamera 20 bereitgestellt ist und welches an Kasten 134 bereitgestellt wird, analysiert, ein zweiter Pfad 136 das seitliche Bild 40, das durch die linksseitig ausgerichtete Kamera 26 bereitgestellt ist und welches an Kasten 138 bereitgestellt wird, analysiert, ein dritter Pfad 140 das seitliche Bild 38, das durch die rechtsseitig ausgerichtete Kamera 24 bereitgestellt ist und welches an Kasten 142 bereitgestellt wird, analysiert und eine vierter Pfad 144 das rückseitige Bild 36, das durch die rückwärts gerichtete Kamera 22 bereitgestellt ist und welches an Kasten 146 bereitgestellt wird, analysiert. 7 is a flow chart 130 which is a method of determining the lane lane lines 14 and 16 for the high-end approach of each of the images from the cameras 20-26 Used separately, showing elements similar to the flowchart 80 are identified by the same reference numerals. Although four cameras are used in this embodiment, it is noted that this is done by way of a non-limiting example and that any number of cameras can be suitably used for the purposes described herein. In the flow chart 130 is the image analysis divided into four separate branches with one branch for each of the cameras 20-26 , being a first branch 132 the front image 34 that by the forward-looking camera 20 is provided and which on box 134 is provided, analyzed, a second path 136 the side picture 40 by the left-facing camera 26 is provided and which on box 138 is provided, analyzed, a third path 140 the side picture 38 by the right-facing camera 24th is provided and which on box 142 is provided, analyzed and a fourth path 144 the back picture 36 that by the rear-facing camera 22 is provided and which on box 146 is provided, analyzed.
Jeder Pfad 132, 136, 140 und 144 analysiert das entsprechende Kamerabild in der gleichen oder einer ähnlichen Weise wie oben beschrieben, wobei bei dem Kasten 64 eine Licht-Normierung bereitgestellt wird und bei dem Kasten 66 eine Spurermittlung bereitgestellt wird. Eine Identifikation der links- und rechtsseitigen Spurbegrenzungen wird bei dem Kasten 68 für das vorderseitige und das rückseitige Bild in dem Pfad 132 und 144 bereitgestellt, jedoch nicht für die seitlichen Bilder in den Pfaden 136 und 140, obwohl dies möglich wäre. Unter Verwendung des geeigneten Sets von Bildpunkten für die entsprechende Kamera wird diese Kamera anschließend in jedem der Pfade 132, 134, 136 und 138 bei dem Kasten 80 separat kalibriert. Sämtliche der Bildpunkte in jedem der Pfade 132, 136, 140 und 144 werden in Kombination in Fahrzeugkoordinaten für die Kameras 20-26 bei dem Kasten 58 konvertiert.Any path 132 , 136 , 140 and 144 analyzes the corresponding camera image in the same or a similar manner as described above, with the box 64 a light standardization is provided and in the box 66 lane determination is provided. The box identifies the left and right-hand lane boundaries 68 for the front and back image in the path 132 and 144 provided, but not for the side images in the paths 136 and 140 , although this would be possible. Using the appropriate set of pixels for the corresponding camera, this camera is then in each of the paths 132 , 134 , 136 and 138 at the box 80 calibrated separately. All of the pixels in each of the paths 132 , 136 , 140 and 144 are used in combination in vehicle coordinates for the cameras 20-26 at the box 58 converted.
8 ist eine Darstellung 148 eine Gruppe von in Fahrzeugkoordinaten konvertierter Bildpunkte ähnlich der in 4 gezeigten Bildpunkte 72 und 74, wobei eine Serie von Bildpunkten 150 durch die vorwärts gerichtete Kamera 20 auf der linken Seite des Fahrzeugs 10 bereitgestellt ist, eine Serie von Bildpunkten 152 durch die vorwärts gerichtete Kamera 20 auf der rechten Seite des Fahrzeugs 10 bereitgestellt ist, eine Serie von Bildpunkten 154 durch die linksseitig ausgerichtete Kamera 26 auf der linken Seite des Fahrzeugs 10 bereitgestellt ist, eine Serie von Bildpunkten 156 von der rechtsseitig ausgerichteten Kamera 24 auf der rechten Seite des Fahrzeugs 10 bereitgestellt ist, eine Serie von Bildpunkten 158 von der rückwärts gerichteten Kamera 22 auf der linken Seite des Fahrzeugs 10 bereitgestellt ist und eine Serie von Bildpunkten 160 von der rechtsseitig ausgerichteten Kamera 24 auf der rechten Seite des Fahrzeugs 10 bereitgestellt ist. Die Darstellung 148 kann durch das Bereitstellen von Kamerabildern von einer innerhalb des Fahrzeugs 10 angeordneten Frontkamera, wie beispielsweise hinter der Windschutzscheibe des Fahrzeugs, bei Kasten 162 verbessert werden. 8th is an illustration 148 a group of pixels converted to vehicle coordinates similar to that in 4th shown pixels 72 and 74 , being a series of pixels 150 through the forward-facing camera 20 on the left side of the vehicle 10th is provided, a series of pixels 152 through the forward-facing camera 20 on the right side of the vehicle 10th is provided, a series of pixels 154 through the left-facing camera 26 on the left side of the vehicle 10th is provided, a series of pixels 156 from the right-facing camera 24th on the right side of the vehicle 10th is provided, a series of pixels 158 from the rear-facing camera 22 on the left side of the vehicle 10th is provided and a series of pixels 160 from the right-facing camera 24th on the right side of the vehicle 10th is provided. The representation 148 can be done by providing camera images from within the vehicle 10th arranged front camera, such as behind the windshield of the vehicle, when box 162 be improved.
Der Algorithmus akkumuliert anschließend bei dem Kasten 82 weitere Bildpunkte von vorherigen Einzelbildern durch eine Fahrzeugbewegungs-Kompensation, stellt eine Kameradiagnose bei dem Kasten 84 bereit, stellt eine Kamera-Rekalibrierung bei dem Kasten 86 bereit und stellt eine Modellanpassung bei dem Kasten 88 bereit.The algorithm then accumulates at the box 82 Additional pixels from previous individual images through vehicle motion compensation are provided by a camera diagnosis on the box 84 provides a camera recalibration on the box 86 and provides a model adaptation for the box 88 ready.
9 ist ein Flussdiagramm 170, das ein Verfahren für eine Kameradiagnose zeigt, die in dem Verfahren, das in dem Flussdiagramm 130 gezeigt ist, verwendet wird, um die zeitliche Bedingung für Liniensegmente in aufeinanderfolgenden Einzelbildern für Kollinearität, gleichen Winkel und gleichen Versatz, und die räumlichen Bedingungen zum Ermitteln, dass die Spurmarkierungs-Linien in den Bildern geradlinig sind, bereitzustellen. In dem Flussdiagramm 170 sind die zugehörigen Verfahren, die in dem Kameradiagnose-Flussdiagramm 130 für das Draufsicht-Bild 32 ausgeführt werden, die gleichen. Bei Kasten 172 führt, falls bei der Entscheidungs-Raute 96 lange durchgezogene Linien ermittelt wurden, der Algorithmus anschließend die Spurmarkierungs-Ermittlung in jedem der vier separaten Bilder separat aus anstatt für das Draufsicht-Bild 32, was an dem Kasten 98 gemacht wurde. Sobald die Spurmarkierungen in jedem der separaten Bilder ermittelt wurden, führte der Algorithmus bei Kasten 174 einen zusätzlichen Schritt eines Transformierens der ermittelten Linien in ein Draufsicht-Koordinatensystem aus. Falls bei der Entscheidungs-Raute 110 kurze Linien ermittelt werden, führte der Algorithmus anschließend die Spurmarkierungs-Ermittlung in jedem der vier Bilder separat in einer ähnlichen Weise aus wie dies bei dem Kasten 172 gemacht wurde. Entsprechend führt der Algorithmus bei Kasten 178 den zusätzlichen Schritt des Transformierens der ermittelten Linien in ein Draufsicht-Koordinatensystem aus. 9 is a flow chart 170 which shows a method for camera diagnosis which is in the method shown in the flowchart 130 is used to provide the temporal condition for line segments in successive frames for collinearity, equal angle and offset, and the spatial conditions for determining that the lane marking lines in the images are rectilinear. In the flow chart 170 are the associated procedures in the camera diagnostic flowchart 130 for the top view image 32 run the same. With box 172 leads, if at the decision diamond 96 long solid lines were determined, the algorithm then made the lane marker determination separately in each of the four separate images instead of for the top view image 32 what about the box 98 have been done. Once the lane markings in each of the separate images were determined, the algorithm at Kasten 174 an additional step of transforming the determined lines into a plan view coordinate system. If at the decision diamond 110 short lines are detected, the algorithm then performs the lane mark detection in each of the four images separately in a similar manner to that of the box 172 have been done. The algorithm at Kasten leads accordingly 178 the additional step of transforming the determined lines into a top view coordinate system.
Falls der Algorithmus ermittelt, dass die Kameras 20-26 korrekt kalibriert sind und eine Modellanpassung an die Bildpunkte 150, 152, 154, 156, 158 und 160 ausgeführt werden soll, passte der Algorithmus ein Polynom-Modell mit Gewichtungen für die Bildpunkte auf jeder Seite des Fahrzeugs 10 statt des linearen Modells, das in dem einfachen Ansatz verwendet wurde, an. Der Prozess des Zuweisens der Gewichtungen zu jedem Bildpunkt ist der gleiche wie oben beschrieben, wobei dies abhängt von den Faktoren und Parametern, die verfügbar sind und von dem System, in welchem die Spurerkennungs-Technik verwendet wird. 10 ist eine Darstellung der Bildpunkte aus den individuellen Bildern wie in 8 gezeigt, wobei die Linien 180 und 182 an die linksseitigen Bildpunkte bzw. die rechtsseitigen Bildpunkte unter Verwendung des Polynom-Modells angepasst wurden.If the algorithm determines that the cameras 20-26 are correctly calibrated and a model adaptation to the pixels 150 , 152 , 154 , 156 , 158 and 160 To run, the algorithm fitted a polynomial model with weights for the pixels on each side of the vehicle 10th instead of the linear model used in the simple approach. The process of assigning weights to each pixel is the same as described above, depending on the factors and parameters available and the system in which the lane detection technique is used. 10th is a representation of the pixels from the individual images as in 8th shown with the lines 180 and 182 were adapted to the left-hand pixels or the right-hand pixels using the polynomial model.
Wie von Fachleuten erkannt werden kann, können die einzelnen und verschiedenen Schritte und Prozesse, die hier beschrieben sind, um die Erfindung zu beschreiben, auf Operationen gerichtet sein, die von einem Computer, einem Prozessor oder anderen elektronischen Rechenvorrichtungen ausgeführt werden, die Daten auf elektronische Art und Weise manipulieren und/oder transformieren. Diese Computer und elektronischen Geräte können verschiedene flüchtige und/oder nichtflüchtige Speicher beinhalten, einschließlich nichtvergänglicher computerlesbarer Medien mit einem ausführbaren Programm, das darauf abgespeichert ist, mit verschiedenem Code oder ausführbaren Instruktionen, die von einem Computer oder einem Prozessor ausgeführt werden können, wobei der Speicher und/oder das computerlesbare Medium alle Arten und Weisen von speicher- und anderen computerlesbaren Medien beinhalten kann.As will be appreciated by those skilled in the art, the various and various steps and processes described herein to describe the invention may be directed to operations performed by a computer, processor, or other electronic computing device that translate data to electronic ones Manipulate and / or transform ways. These computers and electronic devices may include various volatile and / or non-volatile memories, including non-perishable computer readable media with an executable program stored thereon, with various code or executable instructions that can be executed by a computer or a processor, the memory and / or the computer-readable medium can contain all types of memory- and other computer-readable media.
Die vorhergehende Diskussion offenbart und beschreibt lediglich exemplarische Ausführungsformen der vorliegenden Erfindung. Ein Fachmann wird sofort anhand dieser Diskussion und anhand der beigefügten Figuren und Ansprüche erkennen, dass unterschiedliche Änderungen, Modifikationen und Variationen durchgeführt werden können, ohne von dem Geist und dem Rahmen der Erfindung, der in den nachfolgenden Ansprüchen definiert ist, abzuweichen.The foregoing discussion discloses and describes only exemplary embodiments of the present invention. One skilled in the art will immediately recognize from this discussion and from the accompanying figures and claims that various changes, modifications and variations can be made without departing from the spirit and scope of the invention as defined in the following claims.
