DE102015105248A1 - Erzeugen eines bildes von der umgebung eines gelenkfahrzeugs - Google Patents

Erzeugen eines bildes von der umgebung eines gelenkfahrzeugs Download PDF

Info

Publication number
DE102015105248A1
DE102015105248A1 DE102015105248.2A DE102015105248A DE102015105248A1 DE 102015105248 A1 DE102015105248 A1 DE 102015105248A1 DE 102015105248 A DE102015105248 A DE 102015105248A DE 102015105248 A1 DE102015105248 A1 DE 102015105248A1
Authority
DE
Germany
Prior art keywords
vehicle
image
articulated
camera
relative position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102015105248.2A
Other languages
English (en)
Other versions
DE102015105248B4 (de
Inventor
Hans M. Molin
Andreas U. Kuehnle
Marton Gabor GYORI
Huba Németh
Cathy L. Boon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bendix Commercial Vehicle Systems LLC
Original Assignee
Bendix Commercial Vehicle Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bendix Commercial Vehicle Systems LLC filed Critical Bendix Commercial Vehicle Systems LLC
Publication of DE102015105248A1 publication Critical patent/DE102015105248A1/de
Application granted granted Critical
Publication of DE102015105248B4 publication Critical patent/DE102015105248B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Bereitgestellt werden Systeme und Verfahren zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs. Gemäß einem Aspekt der Erfindung bestimmt ein Prozessor eine relative Position zwischen einem ersten Fahrzeug eines Gelenkfahrzeugs und einem zweiten Fahrzeug des Gelenkfahrzeugs; empfängt ein erstes Bild von einer ersten Kamera, die an dem ersten Fahrzeug angeordnet ist, und ein zweites Bild von einer zweiten Kamera, die am zweiten Fahrzeug angeordnet ist; und kombiniert das erste Bild und das zweite Bild auf Grundlage der relativen Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug, um ein kombiniertes Bild der Umgebung des Gelenkfahrzeugs zu erzeugen.

Description

  • ALLGEMEINER STAND DER TECHNIK
  • Die vorliegende Erfindung betrifft Systeme und Verfahren zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs, wobei verschiedene Teile des Fahrzeugs sich in Bezug aufeinander bewegen können. Ein Beispiel eines Gelenkfahrzeugs ist ein Zugfahrzeug mit Anhänger, wobei ein Zugfahrzeug einen Anhänger zieht. Das Zugfahrzeug und der Anhänger können sich bisweilen in unterschiedliche Richtungen bewegen, etwa dann, wenn das Zugfahrzeug damit beginnt, abzubiegen.
  • Systeme des Stands der Technik verwenden eine Vielzahl von Kameras, die an einem Einzelkörperfahrzeug angeordnet sind, um ein Bild der Umgebung des Fahrzeugs aus der Vogelperspektive zu erzeugen. Beispielsweise offenbart das US-Patent Nr. 7,139,412 ein System, wobei eine Mehrzahl von Kameras, an einem Fahrzeug angebracht sind, derart, dass eine gewisse Überlagerung zwischen Sichtfeldern benachbarter Kameras vorliegt. Separate Bilder, die von der Mehrzahl von Kameras erlangt werden, werden kombiniert, um ein Bild der Umgebung des Fahrzeugs aus der Vogelperspektive zu erzeugen.
  • Bei diesen Systemen des Stands der Technik sind die Positionen der Kameras in Bezug auf einander festgelegt, da sie an festen Positionen an einem Einzelkörperfahrzeug angebracht sind. Existierende Algorithmen für die Systeme des Stands der Technik können die Bilder nicht kombinieren, wenn die Kameras ihre relativen Positionen ändern, etwa wenn eine Kamera am Zugfahrzeug angebracht ist und die andere Kamera am Anhänger angebracht ist und das Zugfahrzeug und der Anhänger sich in unterschiedliche Richtungen bewegen. Um aber eine vollständige Abdeckung der Umgebung des Gelenkfahrzeugs bereitzustellen, wäre es vorteilhaft, Kameras sowohl am Zugfahrzeug als auch am Anhänger anzuordnen.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Ausführungsbeispiele der Erfindung stellen Systeme und Verfahren zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs bereit. Gemäß einem Verfahren der Erfindung bestimmt ein Prozessor eine relative Position zwischen einem ersten Fahrzeug eines Gelenkfahrzeugs und einem zweiten Fahrzeug des Gelenkfahrzeugs; empfängt ein erstes Bild von einer ersten Kamera, die an dem ersten Fahrzeug angeordnet ist, und ein zweites Bild von einer zweiten Kamera, die am zweiten Fahrzeug angeordnet ist; und kombiniert das erste Bild und das zweite Bild auf Grundlage der relativen Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug, um ein kombiniertes Bild der Umgebung des Gelenkfahrzeugs zu erzeugen.
  • Die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug kann auf Grundlage eines Winkels zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug bestimmt werden, und der Winkel kann durch einen Winkelsensor gemessen werden, der an dem Gelenkfahrzeug angeordnet ist.
  • Alternativ kann die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug auf Grundlage einer ersten Bewegung des ersten Fahrzeugs und einer zweiten Bewegung des zweiten Fahrzeugs bestimmt werden, wobei die erste Bewegung von wenigstens einem ersten Sensor gemessen werden kann, der an dem ersten Fahrzeug angeordnet ist, und die zweite Bewegung von wenigstens einem zweiten Sensor gemessen werden kann, der am zweiten Fahrzeug angeordnet ist. Die erste Bewegung und die zweite Bewegung können benutzt werden, um einen Winkel zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug zu bestimmen. Die erste Bewegung und die zweite Bewegung können jeweils eine Fahrzeuggeschwindigkeit, eine Raddrehzahl, eine Giergeschwindigkeit und/oder eine Beschleunigung einschließen.
  • Als eine weitere Alternative kann die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug bestimmt werden, indem wenigstens ein Merkmal des zweiten Fahrzeugs erkannt wird, das in wenigstens zwei Bildern von der ersten Kamera erscheint, oder die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug bestimmt werden, indem wenigstens ein Merkmal des ersten Fahrzeugs erkannt wird, das in wenigstens zwei Bildern von der zweiten Kamera erscheint. Ein erstes der Bilder von der ersten Kamera kann aufgenommen werden, wenn ein Winkel zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug null ist, und ein zweites der Bilder von der ersten Kamera kann aufgenommen werden, wenn der Winkel zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug nicht null ist.
  • Die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug kann kontinuierlich bestimmt werden. Das erste Bild und das zweite Bild können kombiniert werden, indem das erste Bild und das zweite Bild auf Grundlage des Winkels zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug in Bezug aufeinander gedreht werden. Das erste Bild und das zweite Bild können in Bilder auf Bodenebene umgewandelt werden, bevor das erste Bild und das zweite Bild gedreht werden.
  • Der Prozessor kann auch Informationen von einem aktiven Messsystem über das kombinierte Bild legen, und Komponenten des aktiven Messsystems können am ersten Fahrzeug und/oder am zweiten Fahrzeug angeordnet sein. Die Komponenten können Ultraschallsensoren und/oder Radarsensoren einschließen. Die Informationen können farbcodiert sein, um einen Typ und eine Relevanz von Objekten anzugeben, die von dem aktiven Messsystem erkannt werden. Der Prozessor kann das kombinierte Bild und ein Vorwärtsbild anzeigen, wobei das Vorwärtsbild von einer nach vorne gerichteten Kamera aufgenommen wird, die am ersten Fahrzeug angeordnet ist. Das kombinierte Bild kann ein Bild der Umgebung des Gelenkfahrzeugs aus Vogelperspektive sein.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein System zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs bereitgestellt. Das System weist eine erste Kamera, die an einem ersten Fahrzeug eines Gelenkfahrzeugs angeordnet ist; eine zweite Kamera, die an einem zweiten Fahrzeug des Gelenkfahrzeugs angeordnet ist; einen Speicher; und einen Prozessor auf, der an den Speicher gekoppelt ist. Der Prozessor weist Positionsbestimmungslogik, die eine relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug bestimmt; Bildempfangslogik, die ein erstes Bild von der ersten Kamera und ein zweites Bild von der zweiten Kamera empfängt; und Bildkombinationslogik, die das erste Bild und das zweite Bild auf Grundlage der relativen Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug kombiniert, um ein kombiniertes Bild der Umgebung des Gelenkfahrzeug zu erzeugen, auf.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein nicht-transitorisches computerlesbares Medium bereitgestellt, das Computeranweisungen aufweist, die von einem Prozessor ausführbar sind, um den Prozessor zu veranlassen, die oben erörterten Verfahren auszuführen.
  • Weitere Aufgaben, Vorteile und neuartige Merkmale der vorliegenden Erfindung werden aus der folgenden detaillierten Beschreibung der Erfindung bei Betrachtung zusammen mit den begleitenden Zeichnungen deutlich werden.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt ein Blockdiagramm eines Ausführungsbeispiels eines Systems zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs;
  • 2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs;
  • 3 zeigt ein Beispiel eines Gelenkfahrzeugs mit Kameras, die an dem Zugfahrzeug und dem Anhänger angeordnet sind;
  • 4A und 4B zeigen einen Winkel zwischen dem Zugfahrzeug und dem Anhänger, wenn das Zugfahrzeug damit beginnt, abzubiegen;
  • 5 zeigt ein weiteres Beispiel eines Gelenkfahrzeugs mit Kameras, die an dem Zugfahrzeug und dem Anhänger angeordnet sind;
  • 6 zeigt ein Beispiel des Kombinierens von zwei Bildern auf Grundlage des Winkels zwischen dem Zugfahrzeug und dem Anhänger;
  • 7 zeigt ein Beispiel einer Bodenebene, in die die Bilder umgewandelt werden können;
  • 8 zeigt ein Beispiel des Erkennens eines dreidimensionalen Objekts innerhalb der Bilder; und
  • 9 zeigt eine Ausführungsform, wobei ein aktives Messsystem benutzt wird, um Informationen zu Objekten in der Umgebung des Gelenkfahrzeugs über das Bild aus Vogelperspektive zu legen.
  • AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
  • 1 zeigt ein Blockdiagramm eines Ausführungsbeispiels eines Systems zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs, das wenigstens zwei Fahrzeuge aufweist, die sich in Bezug aufeinander bewegen können. Wie in 1 gezeigt, weist das System einen Speicher 10 und einen Prozessor 20 auf, der an den Speicher 10 gekoppelt ist. Der Prozessor 20 weist Logik 30–50 auf, die in Verbindung mit 2 unten ausführlicher beschrieben werden soll. Der Prozessor 20 kann ein beliebiger Prozessortyp sein, etwa ein Mikroprozessor, ein feldprogrammierbares Gate-Array (FPGA) und/oder eine anwendungsspezifische integrierte Schaltung (ASIC). Wenn der Prozessor 20 ein Mikroprozessor ist, kann die Logik 30–50 durch Prozessoren ausführbarer Code sein, der aus dem Speicher 10 geladen wird.
  • 2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erzeugen eines Bildes der Umgebung des Gelenkfahrzeugs. Wie beispielsweise in 3 gezeigt, kann das Gelenkfahrzeug ein erstes Fahrzeug 200 aufweisen, das ein Zugfahrzeug ist, und ein zweites Fahrzeug 210, das ein Anhänger ist. Eine Mehrzahl von Kameras 220, 230 und 240 kann an dem ersten Fahrzeug 200 angeordnet sein, und eine Mehrzahl von Kameras 250, 260 und 270 kann an dem zweiten Fahrzeug 210 angeordnet sein. Beispielsweise können die Kameras nach unten gerichtet sein, um ein Bild aus der Vogelperspektive aufzunehmen. Alternativ können die Kameras Ultra-Weitwinkelkameras mit Fischaugenobjektiv sein, etwa einem Sunex®-Objektiv mit einem Omnivision®-Messchip mit hohem Dynamikbereich. Es kann eine geeignete Anzahl und Anordnung von Kameras verwendet werden, und die Konfiguration aus 3 ist nur ein nicht einschränkendes Beispiel. Vorteilhaft können die Kameras derart angeordnet sein, dass sie eine vollständige 360°-Abdeckung der Umgebung des Gelenkfahrzeugs bereitstellen. Außerdem kann mehr als ein Anhänger gekoppelt sein, um einen LKW-Zug zu bilden.
  • Da, wie oben erörtert, das erste Fahrzeug 200 und das zweite Fahrzeug 210 sich in Bezug aufeinander bewegen können, sind die Positionen der Kameras 220, 230 und 240, die am ersten Fahrzeug 200 angeordnet sind, in Bezug auf die Positionen der Kameras 250, 260 und 270, die am zweiten Fahrzeug 210 angeordnet sind, nicht fest. Vielmehr wird, wie in 4A gezeigt, zu Beginn eines Abbiegevorgangs des ersten Fahrzeugs 200 ein Winkel zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 gebildet, und die relativen Positionen der Kameras 220, 230 und 240, die am ersten Fahrzeug 200 angeordnet sind, verändern sich in Bezug auf die Positionen der Kameras 250, 260 und 270, die am zweiten Fahrzeug 210 angeordnet sind.
  • Wie in 2 gezeigt, bestimmt deshalb die Positionsbestimmungslogik 30 in Schritt 100 die relative Position zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 des Gelenkfahrzeugs. Die relative Position kann anhand eines beliebigen geeigneten Verfahrens bestimmt werden und kann kontinuierlich oder in vorgegebenen Intervallen bestimmt werden. Wie in 4B gezeigt, kann der Winkel α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 bestimmt werden. Beispielsweise kann ein Winkelsensor, der an dem Gelenkfahrzeug angeordnet ist, benutzt werden, um den Winkel α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 unmittelbar zu messen. Alternativ können verschiedene Sensoren, die am ersten Fahrzeug 200 und/oder am zweiten Fahrzeug 210 angeordnet sind, benutzt werden, um die Bewegung des ersten Fahrzeugs 200 und/oder des zweiten Fahrzeugs 210 zu messen, wie etwa individuelle Raddrehzahlsensoren, Giergeschwindigkeitssensoren und/oder Beschleunigungsmesser. Ferner kann die Fahrzeuggeschwindigkeit anhand der Raddrehzahlsensoren, des Motors oder einer beliebigen anderen geeigneten Quelle bestimmt werden. Messungen von diesen Sensoren können in ein Modell des Gelenkfahrzeugs, etwa ein Fahrradmodell, eingegeben werden, um den Winkel α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 zu bestimmen.
  • Als eine weitere Alternative kann der Winkel α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 mithilfe der Kameras 220, 230, 240, 250, 260 und/oder 270 bestimmt werden, um gemeinsame Merkmale in Bildern zu erkennen, die von den Kameras aufgezeichnet werden. Wie beispielsweise in 4A gezeigt, kann die Kamera 240 vom ersten Fahrzeug 200 vorspringen und ein nach unten gerichtetes Fischaugenobjektiv aufweisen. Entsprechend schließt das Sichtfeld der Kamera 240 alles unterhalb der Höhe der Kamera 240 ein und erstreckt sich bis zum Horizont, einschließlich Teilen des zweiten Fahrzeugs 210, etwa der vorderen linken Anhängerkante, der Räder und/oder Markierungen an der Seite. Diese Merkmale können benutzt werden, um den Winkel α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 zu bestimmen, wie im Folgenden ausführlicher erörtert werden soll.
  • Beispielsweise kann die Kamera 240 Bilder erfassen, während der Winkel α null ist, etwa wenn das Gelenkfahrzeug geradeaus auf einer Autobahn fährt. Diese Bilder geben an, wo die Merkmale durchschnittlich erscheinen. Beispielsweise kann der Durchschnitt der Mitte der Räder bestimmt werden, und/oder die durchschnittliche Bildspalte, in der die linke vordere Anhängerkante erscheint, kann bestimmt werden. Als eine Alternative kann ein geometrisches Modell benutzt werden, um zu bestimmen, wo die Merkmale erscheinen, solange der Winkel α null ist. Wenn das erste Fahrzeug 200 abbiegt, kann der Winkel α auf Grundlage eines Vergleichs der Merkmale im aktuellen Bild mit den Merkmalen, während der Winkel α null ist, bestimmt werden. Zum Beispiel kann der Winkel α durch Vergleichen der Position und/oder der Form der Räder bestimmt werden. Diese Analyse kann auch Eigenschaften der Kamera 240 berücksichtigen, etwa die Brennweite des Objektivs und die bekannte Geometrie des Gelenkfahrzeugs.
  • Zurückkehrend zu 2 empfängt die Bildempfangslogik 40 in Schritt 110 Bilder, die von den Kameras aufgenommen wurden, die jeweils am ersten Fahrzeug 200 und am zweiten Fahrzeug 210 aufgenommen wurden. Die Kameras können dazu konfiguriert sein, Bilder gleichzeitig und mit derselben Einzelbildrate aufzunehmen. Die Sichtfelder der Kameras können eine gewisse Überlagerung aufweisen. 5 zeigt ein vereinfachtes Beispiel, wobei Kamera 300 ein Sichtfeld 330, Kamera 310 ein Sichtfeld 340 und Kamera 320 ein Sichtfeld 350 aufweisen. In diesem Beispiel überlagern sich die Sichtfelder 330 und 340 in der Nähe einer Mittelachse des Gelenkfahrzeugs, und das Sichtfeld 350 überlagert das Sichtfeld 330 und/oder das Sichtfeld 340 hinter dem zweiten Fahrzeug 210.
  • Die Bildkombinationslogik 50 kombiniert in Schritt 120 die empfangenen Bilder auf Grundlage der relativen Position zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210. Bezug nehmend auf 4A können die Bilder kombiniert werden, indem die Bilder, die von den Kameras 220, 230 und 240 am ersten Fahrzeug 200 aufgenommen wurden, zusammengesetzt werden, um ein erstes Bild zu erzeugen; die Bilder, die von den Kameras 250, 260 und 270 am zweiten Fahrzeug 210 aufgenommen wurden, zusammengesetzt werden, um ein zweites Bild zu erzeugen; und das erste Bild und das zweite Bild zusammengesetzt werden, nachdem das erste Bild und das zweite Bild auf Grundlage des Winkels α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 zueinander ausgerichtet wurden.
  • 6 zeigt ein erstes Beispiel, wobei das erste Bild 500 und das zweite Bild 510 kombiniert werden, indem auf Grundlage des Winkels α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 eine Verbindung zwischen dem ersten Bild 500 und dem zweiten Bild 510 definiert wird. In diesem Beispiel werden Teile des ersten Bildes 500 und/oder des zweiten Bildes 510 in der Region 520, in der sich das erste Bild 500 und das zweite Bild 510 überlagern, entfernt, um ein kombiniertes Bild zu bilden. Die entfernten Teile werden von der Geometrie des Systems bestimmt, einschließlich des Winkels α.
  • Als ein zweites Beispiel können das erste Bild und das zweite Bild kombiniert werden, indem die Bilder auf Grundlage des Winkels α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 in Bezug aufeinander verschoben und gedreht werden. Das erste Bild und das zweite Bild werden in Bodenebenenbilder umgewandelt, indem die Homografiematrix H der jeweiligen Kamera gemäß H·(px py 1) auf das Bild angewandt wird, wobei px und py die Positionen der Pixel in der Bildebene sind. Die Homografiematrix H kann während einer Kalibrierungsphase gemäß bekannten Verfahren definiert werden. 7 zeigt ein Beispiel einer Bodenebene, wobei die Bodenebenenprojektion der einzelnen Pixel P in einem Bild in einem Abstand R vom Achszapfen K positioniert ist und einen Winkel ρ in Bezug auf die Längsachse 530 des zweiten Fahrzeugs 210 bildet. Sodann wird eine Drehung auf die Bodenebenenkoordinaten angewandt, derart, dass die gedrehte seitliche Position sich aus R·sin(ρ + α) ergibt und die gedrehte Längsposition des Pixels P sich aus R·cos(ρ + α) ergibt. Sobald dieser Prozess für beide Bilder abgeschlossen wurde, werden die Bilder wie oben unter Bezugnahme auf 6 beschrieben kombiniert. Es ist möglich, nur einen Teil des ersten Bildes 500, nur einen Teil des zweiten Bildes 510 oder Teile des ersten Bildes 500 und des zweiten Bildes 510 für die Überlagerungsregion 520 zu verwenden.
  • Da sich der Winkel α ändert, wenn das erste Fahrzeug 200 abbiegt, können die Bilder kontinuierlich oder regelmäßig aufgenommen werden und können auf Grundlage des sich verändernden Winkels α kombiniert werden. Entsprechend kann das kombinierte Bild der Umgebung des Gelenkfahrzeugs kontinuierlich oder regelmäßig aktualisiert werden. Die oben erörterten Beispiele können ein Bild aus Vogelperspektive der Umgebung des Gelenkfahrzeugs ergeben. Allerdings können die Beispiele abgewandelt werden, um eine Rundum-Ansicht der Umgebung des Gelenkfahrzeugs zu erzeugen.
  • Die oben beschriebenen Verfahren können auch dazu benutzt werden, den Fahrer des Gelenkfahrzeugs darauf aufmerksam zu machen, dass sich ein Objekt in der Umgebung des Gelenkfahrzeugs befindet. 8 zeigt ein erstes Bild 600 und ein zweites Bild 610, die in Bodenebenenbilder umgewandelt wurden. Wie in 8 gezeigt, können das erste Bild 600 und das zweite Bild 610 in Bezug aufeinander verschoben und gedreht werden, um die Spurmarkierungen auf dem Parkplatz aneinander auszurichten, da die Spurmarkierungen in der Bodenebene liegen. Allerdings ist es nicht möglich, die Person 620 auszurichten, die im ersten Bild 600 und im zweiten Bild 610 steht, da die Person 620 in drei Dimensionen über die Bodenebene hinaus ragt. Diese Information kann dazu benutzt werden, den Fahrer zu warnen, die Person 620 zu vermeiden, wenn er das Gelenkfahrzeug manövriert.
  • 9 zeigt eine weitere Ausführungsform, wobei ein aktives Messsystem dazu benutzt wird, Informationen zu Objekten in der Umgebung des Gelenkfahrzeugs über das Bild aus Vogelperspektive zu legen. Beispielsweise können aktive Messkomponenten wie etwa Ultraschallsensoren und/oder Radarsensoren am ersten Fahrzeug 200 und/oder zweiten Fahrzeug 210 angeordnet sein. Diese aktiven Messkomponenten können Objekte 410 wie etwa Fußgänger, andere Fahrzeuge und/oder Hindernisse erkennen. Sodann können Darstellungen dieser Objekte 410 über das Bild aus Vogelperspektive der Umgebung des Gelenkfahrzeugs gelegt werden. Die Darstellungen der Objekte 410 können farbcodiert sein, um den Typ und die Relevanz der Objekte 410 anzugeben. Beispielsweise kann die Relevanz angeben, ob es wahrscheinlich ist, dass das Gelenkfahrzeug mit dem Objekt 410 zusammenstößt.
  • Das Bild aus Vogelperspektive kann den aktuellen Zustand des Gelenkfahrzeugs einschließlich des aktuellen Winkels α zwischen dem ersten Fahrzeug 200 und dem zweiten Fahrzeug 210 einschließen. Ferner kann das Bild aus Vogelperspektive mit einem Vorwärtsbild eines Bereichs 280 vor dem ersten Fahrzeug 200 angezeigt werden, wie in 3 und 5 gezeigt. Außerdem können jeweilige Wegvorhersagen 420 und 430 für das zweite Fahrzeug 210 bzw. das erste Fahrzeug 200 einbezogen werden, wie in 9 gezeigt. Auch eine Manövrierhilfe 440 kann einbezogen werden, wie in 9 gezeigt.
  • Obwohl die oben beschriebenen Ausführungsformen Bilder von Kameras erlangen, die am ersten Fahrzeug 200 und am zweiten Fahrzeug 210 eines Gelenkfahrzeugs angeordnet sind, kann ein ähnliches Verfahren auf Kameras angewandt werden, die an unterschiedlichen Teilen eines einzelnen Fahrzeugs angeordnet sind, welche sich in Bezug aufeinander bewegen. Beispielsweise kann ein Zugfahrzeug eine Kabine aufweisen, die auf Federn montiert ist, derart, dass sich die Kabine in Bezug auf eine starre Basis des Zugfahrzeugs bewegen kann. Die relative Position zwischen der Kabine und der starren Basis kann bestimmt werden, und Bilder von einer Kamera, die an der Kabine angebracht ist, können mit Bildern an der starren Basis kombiniert werden, um gemäß den allgemeinen Grundsätzen, die oben erörtert wurden, ein kombiniertes Bild der Umgebung des Zugfahrzeugs bereitzustellen.
  • Die oben erörterten Verfahren werden von einem Computerprozessor ausgeführt, der dazu programmiert ist, die Verfahren auszuführen, derart, dass der Prozessor die Programmierung zum Ausführen der Verfahren durchführt. Ein solcher Prozessor wird benötigt, um die großen Datenmengen zu verarbeiten und die komplexe und rechenintensive Analyse der oben erörterten Verfahren durchzuführen. Außerdem muss der Prozessor die Verfahren in einem kommerziell sinnvollen Zeitrahmen ausführen. Daher ist es notwendig, große und komplexe Datensätze schnell zu verarbeiten.
  • Gemäß einem weiteren Ausführungsbeispiel der Erfindung wird ein nicht-transitorisches computerlesbares Medium, das mit einem Computerprogramm codiert ist, zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs bereitgestellt. Der Begriff „computerlesbares Medium” im hier verwendeten Sinne bezeichnet ein beliebiges Medium, das an der Bereitstellung von Anweisungen zur Ausführung beteiligt ist. Häufige Formen computerlesbarer Medien schließen beispielsweise eine Diskette, eine flexible Platte, eine Festplatte, Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, ein beliebiges anderes optisches Medium, Lochkarten, Papierband, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EPROM einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette und beliebige andere nicht-transitorische Medien ein, die ein Computer auslesen kann.
  • Die vorstehende Offenbarung soll die Erfindung lediglich veranschaulichen, ohne sie einzuschränken. Da ein Fachmann zu Abwandlungen der offenbarten Ausführungsformen gelangen kann, die dem Geist und dem Wesen der Erfindung entsprechen, ist die Erfindung derart auszulegen, dass sie alles einschließt, was in den Umfang der beigefügten Ansprüche und ihrer Äquivalente fällt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 7139412 [0002]

Claims (17)

  1. Verfahren, umfassend: Bestimmen, durch einen Prozessor, einer relativen Position zwischen einem ersten Fahrzeug eines Gelenkfahrzeugs und einem zweiten Fahrzeug des Gelenkfahrzeugs; Empfangen, durch einen Prozessor, eines ersten Bildes von einer ersten Kamera, die an dem ersten Fahrzeug angeordnet ist, und eines zweiten Bildes von einer zweiten Kamera, die an dem zweiten Fahrzeug angeordnet ist; und Kombinieren, durch einen Prozessor, des ersten Bildes und des zweiten Bildes auf Grundlage der relativen Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug, um ein kombiniertes Bild der Umgebung des Gelenkfahrzeugs zu erzeugen.
  2. Verfahren nach Anspruch 1, wobei: die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug auf Grundlage eines Winkels zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug bestimmt wird, und der Winkel von einem Winkelmesser gemessen wird, der an dem Gelenkfahrzeug angeordnet ist.
  3. Verfahren nach Anspruch 1, wobei: die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug auf Grundlage einer ersten Bewegung des ersten Fahrzeugs und einer zweiten Bewegung des zweiten Fahrzeugs bestimmt wird, die erste Bewegung von wenigstens einem ersten Sensor gemessen wird, der an dem ersten Fahrzeug angeordnet ist, und die zweite Bewegung von wenigstens einem zweiten Sensor gemessen wird, der an dem zweiten Fahrzeug angeordnet ist.
  4. Verfahren nach Anspruch 3, wobei die erste Bewegung und die zweite Bewegung dazu benutzt werden, einen Winkel zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug zu bestimmen.
  5. Verfahren nach Anspruch 3, wobei jede von der ersten Bewegung und der zweiten Bewegung wenigstens eine von einer Fahrzeuggeschwindigkeit, einer Raddrehzahl, einer Giergeschwindigkeit oder einer Beschleunigung umfasst.
  6. Verfahren nach Anspruch 1, wobei: die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug bestimmt wird, indem wenigstens ein Merkmal des zweiten Fahrzeugs erkannt wird, das in wenigstens zwei Bildern von der ersten Kamera erscheint, oder die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug bestimmt wird, indem wenigstens ein Merkmal des ersten Fahrzeugs erkannt wird, das in wenigstens zwei Bildern von der zweiten Kamera erscheint.
  7. Verfahren nach Anspruch 6, wobei ein erstes der Bilder von der ersten Kamera aufgenommen wird, wenn ein Winkel zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug null ist, und ein zweites der Bilder von der ersten Kamera aufgenommen wird, wenn der Winkel zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug nicht null ist.
  8. Verfahren nach Anspruch 1, wobei die relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug kontinuierlich bestimmt wird.
  9. Verfahren nach Anspruch 1, wobei das erste Bild und das zweite Bild kombiniert werden, indem das erste Bild und das zweite Bild auf Grundlage des Winkels zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug in Bezug aufeinander gedreht werden.
  10. Verfahren nach Anspruch 9, wobei das erste Bild und das zweite Bild in Bilder auf Bodenebene umgewandelt werden, bevor das erste Bild und das zweite Bild gedreht werden.
  11. Verfahren nach Anspruch 1, ferner umfassend Überlagern von Informationen von einem aktiven Messsystem über das kombinierte Bild, wobei Komponenten des aktiven Messsystems an wenigstens einem von dem ersten Fahrzeug oder dem zweiten Fahrzeug angeordnet sind.
  12. Verfahren nach Anspruch 11, wobei die Komponenten wenigstens eins von Ultraschallsensoren oder Radarsensoren umfassen.
  13. Verfahren nach Anspruch 11, wobei die Informationen farbcodiert sind, um einen Typ und eine Relevanz von Objekten anzugeben, die von dem aktiven Messsystem erkannt werden.
  14. Verfahren nach Anspruch 1, weiter umfassend Anzeigen des kombinierten Bildes und eines Vorwärtsbildes, wobei das Vorwärtsbild von einer nach vorne gerichteten Kamera aufgenommen wird, die am ersten Fahrzeug angeordnet ist.
  15. Verfahren nach Anspruch 1, wobei das kombinierte Bild ein Bild der Umgebung des Gelenkfahrzeugs aus Vogelperspektive ist.
  16. System, umfassend: eine erste Kamera, die an einem ersten Fahrzeug eines Gelenkfahrzeugs angeordnet ist; eine erste Kamera, die an einem zweiten Fahrzeug des Gelenkfahrzeugs angeordnet ist; einen Speicher; und einen Prozessor, der an den Speicher gekoppelt ist, wobei der Prozessor Folgendes umfasst: Positionsbestimmungslogik, die eine relative Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug bestimmt; Bildempfangslogik, die ein erstes Bild von der ersten Kamera und ein zweites Bild von der zweiten Kamera empfängt; und Bildkombinationslogik, die das erste Bild und das zweite Bild auf Grundlage der relativen Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug kombiniert, um ein kombiniertes Bild der Umgebung des Gelenkfahrzeugs zu erzeugen.
  17. Nicht-transitorisches computerlesbares Medium, das Computeranweisungen umfasst, die von einem Prozessor ausführbar sind, um den Prozessor zu veranlassen, ein Verfahren auszuführen, das Folgendes umfasst: Bestimmen einer relativen Position zwischen einem ersten Fahrzeug eines Gelenkfahrzeugs und einem zweiten Fahrzeug des Gelenkfahrzeugs; Empfangen von Bildern von einer ersten Kamera, die an dem ersten Fahrzeug angeordnet ist, und einer zweiten Kamera, die an dem zweiten Fahrzeug angeordnet ist; und Kombinieren des ersten Bildes und des zweiten Bildes auf Grundlage der relativen Position zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug, um ein kombiniertes Bild der Umgebung des Gelenkfahrzeugs zu erzeugen.
DE102015105248.2A 2014-04-08 2015-04-07 Verfahren und System zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs Active DE102015105248B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/247,710 US20150286878A1 (en) 2014-04-08 2014-04-08 Generating an Image of the Surroundings of an Articulated Vehicle
US14/247,710 2014-04-08

Publications (2)

Publication Number Publication Date
DE102015105248A1 true DE102015105248A1 (de) 2015-10-08
DE102015105248B4 DE102015105248B4 (de) 2023-09-28

Family

ID=54146607

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015105248.2A Active DE102015105248B4 (de) 2014-04-08 2015-04-07 Verfahren und System zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs

Country Status (3)

Country Link
US (3) US20150286878A1 (de)
CA (1) CA2887239C (de)
DE (1) DE102015105248B4 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020106301A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020106302A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020106304A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Steuern eines Fahrzeuges auf einem Betriebshof, Fahrt- Steuereinheit und Fahrzeug
DE102020122908A1 (de) 2020-09-02 2022-03-03 Zf Cv Systems Global Gmbh Verfahren zum Anzeigen einer Umgebung eines Fahrzeuges auf einer Anzeigeeinrichtung, Verarbeitungseinheit und Fahrzeug
DE102021212050A1 (de) 2020-11-06 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Kamerasystem für ein Anhängerkupplungssystem

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014108684B4 (de) * 2014-06-20 2024-02-22 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
DE102015214611A1 (de) * 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns
EP3151554A1 (de) * 2015-09-30 2017-04-05 Calay Venture S.a.r.l. Anwesenheitskamera
US10011299B2 (en) 2016-04-21 2018-07-03 Robert Bosch Gmbh Trailer angle detection using rear camera
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
KR101859045B1 (ko) * 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량
US10594934B2 (en) 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
US10220785B2 (en) 2017-03-24 2019-03-05 Ford Global Technologies, Llc Controlling side-view mirrors in autonomous vehicles
US10220786B2 (en) * 2017-03-24 2019-03-05 Ford Global Technologies, Llc Controlling side-view mirrors in autonomous vehicles
CN110337383A (zh) * 2017-05-22 2019-10-15 沃尔沃卡车集团 用于工业车辆驾驶室的摄像机组件
GB2566524B (en) * 2017-09-18 2021-12-15 Jaguar Land Rover Ltd Image processing method and apparatus
JP2020067702A (ja) * 2018-10-22 2020-04-30 株式会社Ihi 姿勢検出装置及び運搬システム
EP3754450B1 (de) * 2019-06-17 2022-04-27 Sandvik Mining and Construction Oy Autonome fahrzeugüberwachung
KR102704495B1 (ko) * 2019-09-09 2024-09-11 현대자동차주식회사 차량 및 그 제어 방법
CN110719411B (zh) * 2019-12-16 2020-04-03 长沙智能驾驶研究院有限公司 车辆的全景环视图像生成方法及相关设备
EP3889906A1 (de) * 2020-03-31 2021-10-06 Continental Automotive GmbH Verfahren und system zur berechnung des fahrzeuganhängerwinkels
KR102414764B1 (ko) * 2021-03-10 2022-07-04 한국철도기술연구원 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법
JP2023144981A (ja) * 2022-03-28 2023-10-11 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139412B2 (en) 2001-04-24 2006-11-21 Matsushita Electric Industrial Co., Ltd. Image synthesis display method and apparatus for vehicle camera

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HU191474B (en) * 1982-08-26 1987-02-27 Autoipari Kutato Es Fejlesztoe Vallalat,Hu Device for preventing the swinging of irregular direction of articulated motor vehicle
US5908081A (en) * 1996-05-30 1999-06-01 Case Corporation Steering control system for articulated vehicle
JP4154025B2 (ja) * 1998-03-11 2008-09-24 キヤノン株式会社 撮像装置
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
US20020134151A1 (en) * 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
DE10144299B4 (de) 2001-09-10 2005-07-14 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Verfahren zur Fahrzustandsstabilisierung eines Nutzfahrzeugverbandes
DE10347168A1 (de) 2003-10-06 2005-04-21 Valeo Schalter & Sensoren Gmbh Manövrierhilfe für Kraftfahrzeuge
US7504995B2 (en) * 2004-08-11 2009-03-17 Novariant, Inc. Method and system for circular polarization correction for independently moving GNSS antennas
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
DE102004050149A1 (de) 2004-10-15 2006-04-20 Daimlerchrysler Ag Verfahren zur Bestimmung von Deichsel- und Trailerwinkel
JP4026641B2 (ja) * 2004-12-03 2007-12-26 日産自動車株式会社 物体検出装置、および物体検出方法
JP4596978B2 (ja) 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
TW200829466A (en) 2007-01-03 2008-07-16 Delta Electronics Inc Advanced bird view visual system
DE102006003538B3 (de) 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
JP4432930B2 (ja) * 2006-04-25 2010-03-17 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
JP4879031B2 (ja) 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP5120880B2 (ja) 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
DE102008003662A1 (de) 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
US20100020170A1 (en) 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
US9144714B2 (en) * 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
TW201103787A (en) 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
DE102010006521A1 (de) 2010-02-02 2010-09-30 Daimler Ag Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
JP5653104B2 (ja) * 2010-07-16 2015-01-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5413516B2 (ja) 2010-08-19 2014-02-12 日産自動車株式会社 立体物検出装置及び立体物検出方法
US9247212B2 (en) * 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
JP2012105158A (ja) 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
TWI421624B (zh) 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
DE102011017233A1 (de) 2011-04-15 2012-08-16 Daimler Ag Anzeigeeinrichtung für ein Kraftfahrzeug
US20130021453A1 (en) 2011-07-22 2013-01-24 Jean-Paul Gignac Autostereoscopic rear-view display system for vehicles
EP2741270B1 (de) * 2011-08-02 2020-11-25 Nissan Motor Co., Ltd. Fahrunterstützungsvorrichtung und fahrunterstützungsverfahren
DE102011081428A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird
TW201333896A (zh) 2012-02-14 2013-08-16 yan-hong Jiang 使用視訊雷達的遠距交通管理系統
CN104169738B (zh) * 2012-04-26 2016-11-09 英特尔公司 确定相对定位信息
US9210384B2 (en) 2012-09-20 2015-12-08 NAE Systems Information and Electronic Systems Integration Inc. System and method for real time registration of images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139412B2 (en) 2001-04-24 2006-11-21 Matsushita Electric Industrial Co., Ltd. Image synthesis display method and apparatus for vehicle camera

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020106301A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020106302A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020106304A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Steuern eines Fahrzeuges auf einem Betriebshof, Fahrt- Steuereinheit und Fahrzeug
WO2021180670A1 (de) 2020-03-09 2021-09-16 Zf Cv Systems Global Gmbh Verfahren zum ermitteln einer objekt-information zu einem objekt in einer fahrzeugumgebung, steuereinheit und fahrzeug
WO2021180669A1 (de) 2020-03-09 2021-09-16 Zf Cv Systems Global Gmbh Verfahren zum ermitteln einer objekt-information zu einem objekt in einer fahrzeugumgebung, steuereinheit und fahrzeug
WO2021180671A1 (de) 2020-03-09 2021-09-16 Zf Cv Systems Global Gmbh Verfahren zum steuern eines fahrzeuges auf einem betriebshof, fahrt-steuereinheit und fahrzeug
DE102020122908A1 (de) 2020-09-02 2022-03-03 Zf Cv Systems Global Gmbh Verfahren zum Anzeigen einer Umgebung eines Fahrzeuges auf einer Anzeigeeinrichtung, Verarbeitungseinheit und Fahrzeug
WO2022049040A1 (de) 2020-09-02 2022-03-10 Zf Cv Systems Global Gmbh Verfahren zum anzeigen einer umgebung eines fahrzeuges auf einer anzeigeeinrichtung, verarbeitungseinheit und fahrzeug
DE102021212050A1 (de) 2020-11-06 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Kamerasystem für ein Anhängerkupplungssystem

Also Published As

Publication number Publication date
CA2887239A1 (en) 2015-10-08
US20220019815A1 (en) 2022-01-20
DE102015105248B4 (de) 2023-09-28
US11170227B2 (en) 2021-11-09
CA2887239C (en) 2022-08-30
US20180165524A1 (en) 2018-06-14
US20150286878A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
DE102015105248B4 (de) Verfahren und System zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs
DE102016212405B4 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
EP2929518B1 (de) Fahrzeugseitiges verfahren und fahrzeugseitige vorrichtung zum erfassen und anzeigen von parklücken für ein fahrzeug
DE102014116140B4 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102010035772B4 (de) System und Verfahren zum Liefern von Leitinformation für einen Fahrer eines Fahrzeugs
DE102016210254A9 (de) Fahrzeugortung an kreuzungen anhand von visuellen anhaltspunkte, stationären objekten und durch gps
DE102016106299A1 (de) Raderfassung und ihre Applikation bei Objektverfolgung und Sensorregistrierung
EP3183721A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102015114403A1 (de) Annäherungsobjekterfassungsvorrichtung für ein Fahrzeug und Annäherungsobjekterfassungsverfahren dafür
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE102017108254B4 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
DE102015117903A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem sowie Kraftfahrzeug
DE112016005947B4 (de) Fahrzeugbestimmungsvorrichtung, Fahrzeugbestimmungsverfahren und Fahrzeugbestimmungsprogramm
DE102015115012A1 (de) Verfahren zum Erzeugen einer Umgebungskarte einer Umgebung eines Kraftfahrzeugs anhand eines Bilds einer Kamera, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019104352A1 (de) Kupplungsunterstützungssystem mit schätzung der anhängerhöhe und identifizierung des kupplungskopplers
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102014111012A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken, Fahrerassistenzsystem und Kraftfahrzeug
DE102015209764A1 (de) Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs
DE102017128531A1 (de) Displayeinrichtung für ein Fahrzeug
DE102014007565A1 (de) Verfahren zum Ermitteln einer jeweiligen Grenze zumindest eines Objekts, Sensorvorrichtung, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
WO2019162327A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
WO2014202496A1 (de) Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001080000

Ipc: B60R0001220000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final