DE102012223481B4 - Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs - Google Patents

Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs Download PDF

Info

Publication number
DE102012223481B4
DE102012223481B4 DE102012223481.0A DE102012223481A DE102012223481B4 DE 102012223481 B4 DE102012223481 B4 DE 102012223481B4 DE 102012223481 A DE102012223481 A DE 102012223481A DE 102012223481 B4 DE102012223481 B4 DE 102012223481B4
Authority
DE
Germany
Prior art keywords
vehicle
peripheral
blind spot
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102012223481.0A
Other languages
English (en)
Other versions
DE102012223481A1 (de
Inventor
Kap Je Sung
Joong Ryoul Lee
Jun Sik An
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of DE102012223481A1 publication Critical patent/DE102012223481A1/de
Application granted granted Critical
Publication of DE102012223481B4 publication Critical patent/DE102012223481B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

Vorrichtung (100) zum Verfolgen der Position eines peripheren Fahrzeugs, wobei die Vorrichtung aufweist:a) einen Prozessor (110);b) einen Speicher (140);c) eine Bilderfassungseinheit (120), die zum Empfangen eines oder mehrerer Bilder konfiguriert ist, die von einer oder mehreren am Fahrzeug angeordneten Kameras erhalten werden;d) eine Detektoreinheit (150) für periphere Fahrzeuge, die zum Analysieren des einen oder der mehreren Bilder konfiguriert ist, um ein peripheres Fahrzeug in dem einen oder den mehreren Bilder zu erkennen;e) eine Positionsverfolgungseinheit (160), die zum Verfolgen der Position des peripheren Fahrzeugs konfiguriert ist, das in dem einen oder den mehreren Bildern erkannt wird,f) eine Totwinkel-Korrektureinheit (170), die konfiguriert ist zum Erzeugen eines totwinkelkorrigierten Bildes durch Wandeln des Sichtfeldes des peripheren Bildes auf Basis der Position des peripheren Fahrzeugs erfasst in den peripheren Bildern unter Verwendung einer virtuellen Kamera implementiert auf Basis eines mathematischen Modells;g) eine Ausgabesteuereinheit (180), die zum Ausgeben des totwinkelkorrigierten Bildes an eine im Fahrzeug vorgesehene Anzeige konfiguriert ist; undh) wobei das Bild des peripheren Fahrzeugs in der Mitte des totwinkelkorrigierten Bilds positioniert ist.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs und insbesondere eine Vorrichtung und ein Verfahren zum Bereitstellen eines totwinkelkorrigierten Bildes auf Basis der Position eines peripheren Fahrzeugs. In der vorliegenden Offenbarung wird unter einem totwinkelkorrigiertem Bild ein „sichtfeldumgewandeltes Bild“ verstanden.
  • Beschreibung des Standes der Technik
  • Beim Fahren eines Fahrzeugs vergewissert sich der Fahrer typischerweise über die Position benachbarter/peripherer Fahrzeuge mit Hilfe des Rückspiegels und des linken und rechten Außenspiegels. Leider hat die Verwendung dieser Spiegel, insbesondere der Seitenspiegel, einen gravierenden Nachteil, da die Positionierung der Spiegel einen „toten Winkel“ erzeugt, den der Fahrer nicht einsehen kann. Wenn sich im toten Winkel des Fahrers ein peripheres Fahrzeug befindet, kann dieses vom Fahrer übersehen werden, wenn er sich nur auf den linken und rechten Außenspiegel und den Rückspiegel verlässt.
  • Eine herkömmliche Lösung dieses Problems sieht die Installation einer Kamera an einem Außenabschnitt des Fahrzeugs in einer Position vor, in der die Kamera den toten Winkel des Fahrers abbilden kann. Leider sind diese Lösungen im Stand der Technik mit dem Nachteil behaftet, dass die Kamera am Außenabschnitt des Fahrzeugs in einem festen Winkel montiert ist. Außerdem verwenden diese Lösungen im Stand der Technik typischerweise ein Weitwinkelobjektiv für die Kamera, um ein größeres Sichtfeld zu erfassen. Leider erzeugen solche Weitwinkelobjektive verzerrte Bilder, die schwer zu interpretieren sind. Insbesondere minimieren derartige Weitwinkelobjektive das Sichtfeld im resultierenden Bild, das den toten Winkel des Fahrers tatsächlich abdeckt. Im Ergebnis kann selbst im Fall einer solchen Lösung im Stand der Technik ein Fahrzeug im toten Winkel des Fahrers immer noch nicht erkannt werden, was zu einem Unfall führen könnte. Die US 2012/01 54 591 A1 beschreibt hinsichtlich der Anzeige von Objekten in einem toten Winkel die Zuschneidung („cropping“) eines aufgenommenen Bildes und die Anzeige davon am linken Rand eines Anzeigebereichs. Demzufolge besteht ein Bedarf für eine Technologie, mit der der Fahrer Fahrzeuge erkennen und verfolgen kann, die sich neben dem Fahrzeug des Fahrers und vor allem Fahrzeuge, die sich im toten Winkel des Fahrers befinden.
  • Die Aufgabe der vorliegenden Erfindung ist es daher, eine Vorrichtung und ein Verfahren anzugeben, die eine genaue Erfassung und Anzeige eines Objekts im toten Winkel ermöglichen können. Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 6 gelöst und weitere vorteilhafte Ausführungsformen und Verbesserungen der Erfindung sind in den Unteransprüchen angegeben. Nachstehend werden einige Aspekte der Erfindung, die zum Verständnis der Erfindung beitragen, kurz zusammengefasst, bevor die Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben werden.Wie bereits eingangs erwähnt wird in der vorliegenden Offenbarung unter einem totwinkelkorrigiertem Bild ein „sichtfeldumgewandeltes Bild“ verstanden. Des weiteren wird in der vorliegenden Offenbarung nachstehend analog dazu unter einer Totwinkel-Korrektureiheit eine „Sichtfeld-Umwandlungseinheit“ verstanden.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung stellt, gemäß einem Aspekt, eine Vorrichtung und ein Verfahren zum Verfolgen der Position eines peripheren/benachbarten Fahrzeugs bereit, durch die ein Nutzer die Position des peripheren Fahrzeugs durch ein totwinkelkorrigiertes Bild erkennen kann, indem das Sichtfeld eines peripheren Bildes auf Basis der Position des peripheren Fahrzeugs gewandelt und dem Nutzer das totwinkelkorrigierte Bild bereitgestellt wird. Außerdem stellt die vorliegende Erfindung eine Vorrichtung und ein Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs bereit, durch die der Fahrer die Position des peripheren Fahrzeugs auf einfache Weise erkennen kann, indem ein Bild bereitgestellt wird, das so totwinkelkorrigiert ist, dass das Bild des erkannten peripheren Fahrzeugs in der Mitte des peripheren Bildes positioniert wird.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung enthält eine Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs: eine Detektoreinheit für ein peripheres Fahrzeug, die ein peripheres Bild von einer am Fahrzeug installierten Kamera analysiert, um ein peripheres Fahrzeug im peripheren Bild zu erkennen; eine Positionsverfolgungseinheit zum Verfolgen der Position des im peripheren Bild erkannten peripheren Fahrzeugs; eine Totwinkel-Korrektureinheit, die ein totwinkelkorrigiertes Bild erzeugt, indem das Sichtfeld des peripheren Bildes auf Basis der Positionsverfolgen des peripheren Fahrzeugs gewandelt wird, und eine Ausgabesteuereinheit, die die Ausgabe des totwinkelkorrigierten Bildes über eine im Fahrzeug vorgesehene Anzeige ermöglicht.
  • Die Totwinkel-Korrektureinheit kann ein Bild des peripheren Fahrzeugs im totwinkelkorrigierten Bild so anordnen, dass es in der Mitte des totwinkelkorrigierten Bildes positioniert ist. Die Totwinkel-Korrektureinheit kann die übrigen Teile des Bildes mit Ausnahme des peripheren Fahrzeugs im totwinkelkorrigierten Bild abschneiden. Die Totwinkel-Korrektureinheit kann das totwinkelkorrigierte Bild so erzeugen, dass es Informationen über die relative Position zwischen dem Fahrzeug und dem peripheren Fahrzeug enthält.
  • Die Positionsverfolgungseinheit kann die Positionsinformationen des peripheren Fahrzeugs in Echtzeit während einer Zeitspanne aktualisieren, in der das periphere Fahrzeug im peripheren Bild erkannt wird.
  • Bei einem noch anderen Aspekt der vorliegenden Erfindung wird ein Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs bereitgestellt, wobei das Verfahren enthält: Analysieren eines peripheren Bildes von einer am Fahrzeug installierten Kamera, um ein peripheres Fahrzeugs im peripheren Bild zu erkennen; Verfolgen der Position des im peripheren Bild erkannten peripheren Fahrzeugs; Erzeugen eines totwinkelkorrigierten Bildes durch Wandeln des Sichtfeldes des peripheren Bildes auf Basis der Verfolgungsposition des peripheren Fahrzeugs; und Ermöglichen der Ausgabe des totwinkelkorrigierten Bildes auf einer im Fahrzeug vorgesehenen Anzeige.
  • Beim Erzeugen des totwinkelkorrigierten Bildes kann ein Bild des peripheren Fahrzeugs im totwinkelkorrigierten Bild so angeordnet werden, dass es in der Mitte des totwinkelkorrigierten Bildes positioniert ist. Das Verfahren kann ferner das Zuschneiden des übrigen Teils des Bildes des totwinkelkorrigierten Bildes mit Ausnahme des peripheren Fahrzeugs enthalten. Beim Erzeugen des totwinkelkorrigierten Bildes kann das totwinkelkorrigierte Bild so erzeugt werden, dass es Informationen über die relative Position zwischen dem Fahrzeug und dem peripheren Fahrzeug enthält.
  • Beim Verfolgen der Position des peripheren Fahrzeugs können die Positionsinformationen des peripheren Fahrzeugs in Echtzeit während einer Zeitspanne aktualisiert werden, in der das periphere Fahrzeug im peripheren Bild erkannt wird.
  • Figurenliste
  • Die obigen und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung erschließen sich aus der nachfolgenden ausführlichen Beschreibung in Zusammenhang mit den beiliegenden Zeichnungen; es zeigen:
    • 1 eine beispielhafte Situation, in der eine Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung angewendet werden kann;
    • 2 ein Blockdiagramm einer Konfiguration der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung;
    • 3(a) bis 3(d) beispielhafte Diagramme zur Beschreibung der Totwinkelkorrekturoperation der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung;
    • 4 und 5 beispielhafte Diagramme, die ein Beispiel für die Bereitstellung eines totwinkelkorrigiertes Bildes in der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung darstellen; und
    • 6 ein Flussdiagramm des Operationsflusses eines Verfahrens zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Im Folgenden werden verschiedene Ausführungsformen der vorliegenden Erfindung ausführlich erläutert, von denen Beispiele in den beiliegenden Zeichnungen dargestellt sind und nachstehend beschrieben werden. Obwohl die Erfindung in Zusammenhang mit Ausführungsbeispielen beschrieben wird, versteht es sich, dass die vorliegende Beschreibung die Erfindung nicht auf diese Ausführungsbeispiele beschränken soll. Die Erfindung soll im Gegenteil nicht nur die Ausführungsbeispiele, sondern auch verschiedene Alternativen, Modifikationen, Äquivalente und andere Ausführungsbeispiele abdecken, die von Geist und Gültigkeitsbereich der Erfindung, die in den beigefügten Ansprüchen definiert sind, erfasst werden.
  • Die hierin verwendete Terminologie hat den Zweck, nur bestimmte Ausführungsformen zu beschreiben und soll die Erfindung nicht einschränken. Wie hierin verwendet sollen die Singularformen „einer, eine, eines“ und „der, die, das“ auch die Pluralformen umfassen, sofern der Zusammenhang nicht eindeutig etwas anderes angibt. Außerdem versteht es sich, dass der Begriff „aufweisen“ und Formen davon wie „aufweist“ oder „aufweisend“ das Vorhandensein angegebener Merkmale, ganzzahliger Größen, Schritte, Operationen, Element und/oder Bauteile angibt, aber nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, ganzzahliger Größen, Schritte, Operationen, Elemente und/oder Bauteile und/oder Gruppen derselben ausschließt. Wie hierin verwendet enthält die Formulierung „und/oder“ sämtliche Kombinationen eines oder mehrerer der aufgeführten Positionen.
  • Sofern nicht ausdrücklich angegeben oder aus dem Zusammenhang offensichtlich, ist der Begriff „etwa, ca.“ wie hierin verwendet so zu verstehen, dass er sich auf Werte innerhalb des normalen Toleranzbereichs der Technik bezieht, z. B. auf zwei Standardabweichungen vom Mittelwert. „Etwa oder ca.“ kann als innerhalb von 10%, 9%, 8%, 7%, 6%, 5%, 4%, 3%, 2%, 1%, 0,5%, 0,1%, 0,05% oder 0,01 % des angegebenen Wertes verstanden werden. Sofern aus dem Zusammenhang nicht anderweitig klar hervorgeht, sind alle hierin enthaltenen numerischen Werte durch den Begriff „etwa, ca.“ modifiziert
  • Hierin angegebene Bereiche sind als Zusammenfassung aller Werte innerhalb des Bereichs zu verstehen. Ein Bereich von 1 bis 50 ist z. B. so zu verstehen, dass er jede Zahl, jede Zahlenkombination oder jeden Unterbereich der Gruppe aus 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49 oder 50 sowie alle dazwischen liegenden Dezimalwerte der vorgenannten ganzen Zahlen umfasst, wie z. B. 1,1; 1,2; 1,3; 1,4; 1,5; 1,6; 1,7; 1,8 und 1,9. Bezüglich der Unterbereiche sind „Zwischen-Unterbereiche“, die von den Endpunktes des Bereichs aus gelten, besonders erwähnenswert. So kann beispielsweise ein Zwischen-Unterbereich eines Beispielbereichs von 1 bis 50 1 bis 10, 1 bis 20, 1 bis 30 und 1 bis 40 in einer Richtung oder 50 bis 40, 50 bis 30, 50 bis 20 und 50 bis 10 in der anderen Richtung umfassen.
  • Außerdem versteht es sich, dass die nachstehenden Verfahren von mindestens einer Steuerung ausgeführt werden. Der Begriff ‚Steuerung‘ bezieht sich auf ein Hardware-Gerät, das einen Speicher und einen Prozessor enthält. Der Speicher ist zum Speichern der Module und der Prozessor speziell zum Ausführen dieser Module konfiguriert, um einen oder mehrere Prozesse, die später beschrieben werden, auszuführen.
  • Ferner kann die Steuerlogik der vorliegenden Erfindung als nicht flüchtiges computerlesbares Medium auf einem computerlesbaren Medium mit ausführbaren Programmanweisungen, die vom Prozessor, der Steuerung und dgl. ausgeführt werden, verwirklicht sein. Beispiele für computerlesbare Medien sind u. a. ROMs, RAMs, Compact Disc (CD)-ROMs, Magnetbänder, Disketten, USB-Sticks, Smart Cards und optische Datenspeichergeräte. Das computerlesbare Aufzeichnungsmedium kann auch in netzgekoppelten Computersystemen verteilt werden, so dass das computerlesbare Medium auf verteilte Weise gespeichert und ausgeführt wird, z. B. von einem Telematik-Server oder einem Controller Area Network (CAN).
  • 1 zeigt eine Beispielsituation, in der eine Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung angewendet werden kann. Wie in 1 dargestellt kann an der linken und rechten Seite eines Fahrzeugs 10 eine Kamera 11a bzw. 11b vorgesehen sein, die periphere Bilder des Fahrzeugs fotografiert. Die Kameras 11a und 11b werden aktiviert, wenn das Fahrzeug 10 startet und sind zum Fotografieren sich bewegender Objekte in der Nähe des Fahrzeugs 10 in Echtzeit konfiguriert (z. B. periphere Fahrzeuge, Fahrzeuge im toten Winkel des Fahrers usw.). Obwohl die sich bewegenden Objekte in einem Ausführungsbeispiel der vorliegenden Erfindung als periphere Fahrzeuge 21 und 22 beschrieben werden, deckt der Gültigkeitsbereich der Offenbarung alle sich bewegenden Objekte in der Nähe des Fahrzeugs ab, wie Fußgänger, Radfahrer oder dgl.
  • Die von den Kameras 11a und 11b an der linken und rechten Seite des Fahrzeugs 10 fotografierten peripheren Bilder können an eine Vorrichtung 100 zum Verfolgen der Position eines peripheren Fahrzeugs übertragen werden und die Vorrichtung 100 zum Verfolgen der Position eines peripheren Fahrzeugs verfolgt die Positionen der peripheren Fahrzeuge 21 und 22 auf Basis der von den Kameras 11a und 11b an der linken und rechten Seite des Fahrzeugs fotografierten peripheren Bilder, erzeugt totwinkelkorrigierte Bilder durch Wandeln des Sichtfeldes der peripheren Bilder auf Basis der verfolgten Positionen der peripheren Fahrzeuge 21 und 22 und stellt dem Nutzer die erzeugten totwinkelkorrigierten Bilder in Echtzeit bereit. Da die dem Nutzer bereitgestellten totwinkelkorrigierten Bilder auf Basis der Position der peripheren Fahrzeuge totwinkelkorrigiert sind, kann der Nutzer Position der peripheren Fahrzeuge besser erkennen.
  • Die Vorrichtung 100 zum Verfolgen der Position eines peripheren Fahrzeugs kann in vielfältigen Konfigurationen ausgeführt sein. Die Vorrichtung 100 kann z. B. im Fahrzeug 10 als modularer Teil einer Fahrzeugsteuereinheit implementiert sein. Außerdem kann die Vorrichtung 100 in Form eines getrennten Moduls implementiert und dann mit der Fahrzeugsteuereinheit verbunden sein. Bei einem anderen Ausführungsbeispiel kann die Vorrichtung 100 als eine externe Vorrichtung implementiert und dann mit der Fahrzeugsteuereinheit über eine Schnittstelleneinheit im Armaturenbrett oder dgl. des Fahrzeugs 10 verbunden sein. Wie oben beschrieben ist die Form, in der die Vorrichtung 100 im Fahrzeug 10 implementiert ist, auf keine bestimmte Form beschränkt.
  • Eine Konfiguration der Vorrichtung 100 (z. B. eine Steuerung) zum Verfolgen der Position eines peripheren Fahrzeugs, mit der dem Nutzer totwinkelkorrigierte Bilder auf Basis der Positionen der peripheren Fahrzeuge 21 und 22 bereitgestellt werden, wird nunmehr ausführlich anhand von 2 beschrieben, die ein Blockdiagramm einer Konfiguration der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß des Ausführungsbeispiels der vorliegenden Erfindung ist. Wie in 2 dargestellt ist die Vorrichtung 100 zum Verfolgen der Position eines peripheren Fahrzeugs gemäß des Ausführungsbeispiels der vorliegenden Erfindung so konfiguriert, dass sie einen Prozessor 110 und einen Speicher 140 enthält. Bei einem Ausführungsbeispiel kann die Vorrichtung eine Mehrzahl Einheiten (z. B. Softwaremodule) enthalten, die vom Prozessor ausgeführt werden, wobei die Einheiten enthalten: eine Bilderfassungseinheit 120, eine Ausgabeeinheit 130, eine Detektoreinheit für periphere Fahrzeuge 150, eine Positionsverfolgungseinheit 160, eine Totwinkel-Korrektureinheit 170 und eine Ausgabesteuereinheit 180. Dabei steuert der Prozessor 110 die Operationen jeder Einheit der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs.
  • Die Bilderfassungseinheit 120 erfasst die peripheren Bilder des Fahrzeugs, die von der mindestens einen am Fahrzeug vorgesehenen Kamera fotografiert werden. Die Bilderfassungseinheit 120 erfasst die fotografierten peripheren Bilder der sich bewegenden peripheren Fahrzeuge in einem vorgegebenen Zeitintervall, das z. B. zwischen 1 bis 1000 Millisekunden, 1 bis 60 Sekunden usw. dauern kann.
  • Dabei können die am Fahrzeug vorgesehenen Kameras an der Front, dem Heck, der linken und/oder rechten Seite des Fahrzeugs angeordnet sein. Ferner können die am Fahrzeug vorgesehenen Kameras in anderen Richtungen zusätzlich zu denen der Kameras an der Front, dem Heck, der linken und der rechten Seite des Fahrzeugs vorgesehen sein. Die Bilderfassungseinheit 120 ist so konfiguriert, dass sie die peripheren Bilder von der Front, dem Heck, der linken und/oder rechten Seite des Fahrzeugs, die von den Kameras an der Front, dem Heck, der linken und der rechten Seite des Fahrzeugs fotografiert werden, im Speicher 40 speichern kann.
  • Die Ausgabeeinheit 130 ist mit einer Anzeigeeinheit verbunden, um ein totwinkelkorrigiertes Bild von der Totwinkel-Korrektureinheit 170 zur Anzeigeeinheit auszugeben. Die Anzeigeeinheit kann ein im Fahrzeug angeordneter Monitor, ein Navigationssystem und dgl. sein. Außerdem kann die Anzeigeeinheit an einer Position angeordnet sein, die für einen Nutzer, während er das Fahrzeug fährt, gut überprüfbar ist.
  • Beispielsweise kann eine Anzeigeeinheit in der Mitte des Armaturenbretts des Fahrzeug oder zwei Anzeigeeinheiten können in der Nähe des linken und rechten Fensters des Fahrzeugs oder an Positionen entsprechend denen der Außenspiegel an einem inneren Abschnitt des Fahrzeugs angeordnet sein. Deshalb wird ein Prozess zur Ausgabe eines totwinkelkorrigierten Bildes über die Anzeigeeinheit anhand der 4 und 5 ausführlich beschrieben.
  • Der Speicher 140 speichert einen Einstellwert oder dgl. für die Funktion der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs. Außerdem kann der Speicher 140 die von der Bilderfassungseinheit 120 erfassten peripheren Bilder und die von der Totwinkel-Korrektureinheit 170 totwinkelkorrigierten Bilder speichern. Der Speicher 140 kann auch Informationen speichern, die aus den jeweiligen Bildern und den Positionsinformationen der von der Positionsverfolgungseinheit 160 verfolgten peripheren Fahrzeuge extrahiert werden.
  • Die Detektoreinheit für periphere Fahrzeuge 150 analysiert die von den am Fahrzeug vorgesehenen Kameras erhaltenen peripheren Bilder, um die peripheren Fahrzeuge in den peripheren Bildern zu erkennen. Die Detektoreinheit für periphere Fahrzeuge 150 kann z. B. sich bewegende periphere Fahrzeuge aus einem Differenzbild zwischen zwei oder mehr peripheren Bildern erkennen. Die Methode für die Erkennung der peripheren Fahrzeuge aus den peripheren Bildern in der Detektoreinheit für periphere Fahrzeuge 150 ist auf keine bestimmte Methode beschränkt, sondern kann jede Methode zur Erkennung eines sich bewegenden Objekts durch Bildanalyse sein.
  • Die Positionsverfolgungseinheit 160 verfolgt die Positionen der peripheren Fahrzeuge, die in den peripheren Bildern erkannt werden. Dabei aktualisiert die Positionsverfolgungseinheit 160 die Positionsinformationen der peripheren Fahrzeuge in Echtzeit während einer Zeitspanne, in der die peripheren Fahrzeuge in den peripheren Bildern erkannt werden. Mit anderen Worten, die Positionsverfolgungseinheit 160 aktualisiert die Positionsinformationen der sich bewegenden peripheren Fahrzeuge in Echtzeit, so lange sich die peripheren Fahrzeuge in den Fotografierzonen der am Fahrzeug vorgesehenen Kameras befinden. Als Beispiel aktualisiert die Positionsverfolgungseinheit 160 die Positionsinformationen der peripheren Fahrzeuge in einem vorgegeben Intervall, bis sich die peripheren Fahrzeuge von hinten links relativ zum Fahrzeug bis nach vorne links desselben bewegen.
  • Die Positionsverfolgungseinheit 160 kann dabei die Positionen der peripheren Fahrzeuge auf Basis der Kamera-Einstellwerte und der Ausrichtungsinformationen, der Koordinateninformation der peripheren Fahrzeuge oder dgl. und die Positionen der peripheren Fahrzeuge auf Basis der Sensorwerte verfolgen, die von einer Mehrzahl Sensoren am Fahrzeug erfasst werden. Die Methode, mit der die Positionsverfolgungseinheit 160 die Positionen der peripheren Fahrzeuge verfolgt, ist auf keine bestimmte Methode beschränkt, sondern kann jede Methode sein, die zur Detektion der Positionen der peripheren Fahrzeuge angewendet wird. Die Totwinkel-Korrektureinheit 170 wandelt die Sichtfelder der peripheren Bilder auf Basis der Positionen der peripheren Fahrzeuge, die von der Positionsverfolgungseinheit 160 verfolgt werden, um totwinkelkorrigierte Bilder zu erzeugen. Dazu implementiert die Totwinkel-Korrektureinheit 170 ein mathematisches Modell, das auf Basis von Positions- und Ausrichtungsinformationen der am Fahrzeug vorgesehenen Kameras erzeugt wird, und implementiert eine virtuelle Kamera auf Basis des erzeugten mathematischen Modells. Die Totwinkel-Korrektureinheit 170 wandelt deshalb das Sichtfeld der virtuellen Kamera entsprechend der verfolgten Position des peripheren Fahrzeugs, um das totwinkelkorrigierte Bild für das originale periphere Bild zu erzeugen.
  • Dabei ordnet die Totwinkel-Korrektureinheit 170 ein Bild des peripheren Fahrzeugs im totwinkelkorrigierten Bild so an, dass es in der Mitte des totwinkelkorrigierten Bildes positioniert ist. Die Totwinkel-Korrektureinheit 170 kann außerdem den restlichen Bereich abgesehen vom Bild des peripheren Fahrzeugs im totwinkelkorrigierten Bild abschneiden.
  • Des Weiteren definiert die Totwinkel-Korrektureinheit 170 die relative Position zwischen dem Fahrzeug und dem peripheren Fahrzeug auf Basis der Positionsinformationen des entsprechenden Fahrzeugs und der Positionsinformationen aus der Verfolgung des peripheren Fahrzeugs und ermöglicht, dass die Informationen der relativen Position zwischen dem Fahrzeug und dem peripheren Fahrzeug in das totwinkelkorrigierte Bild zum Zeitpunkt der Erzeugung des totwinkelkorrigierten Bildes aufgenommen werden. Eine Position, bei der die Informationen der relativen Position zwischen dem Fahrzeug und dem peripheren Fahrzeug im totwinkelkorrigierten Bild angezeigt wird, kann jede beliebige Position im totwinkelkorrigierten Bild sein.
  • Wenn die Positionsinformationen des peripheren Fahrzeugs von der Positionsverfolgungseinheit 160 aktualisiert werden, erzeugt die Totwinkel-Korrektureinheit 170 das totwinkelkorrigierte Bild für das periphere Fahrzeug in der aktualisierten Position auf Basis des von der Bilderfassungseinheit 120 erhaltenen peripheren Bildes sowie die aktualisierten Positionsinformationen des peripheren Fahrzeugs. Der Prozess zum Erzeugen des totwinkelkorrigierten Bildes entsprechend der Position des peripheren Fahrzeugs in der Totwinkel-Korrektureinheit 170 wird anhand der 3(a) bis 3(d) ausführlich beschrieben.
  • Die Ausgabesteuereinheit 180 gibt das von der Totwinkel-Korrektureinheit 170 erzeugte totwinkelkorrigierte Bild über die Ausgabeeinheit 130 aus. Dabei kann das totwinkelkorrigierte Bild, das über die Ausgabeeinheit 130 ausgegeben wird, auf einer im Fahrzeug vorgesehenen Anzeige angezeigt werden.
  • Die 3(a) bis 3(d) sind beispielhafte Diagramme zur Beschreibung der Totwinkelkorrekturoperation der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung. Obwohl im Beispiel der 3(a) bis 3(d) die Beschreibung auf einem Bild der peripheren Bilder, das die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs erfasst, basiert, das in seitlicher Richtung des Fahrzeugs erhalten wird, kann sie auch für verschiedene Richtungen gemäß der Ausführungsbeispiele gelten.
  • Wie in den 3(a) bis 3(d) dargestellt sind die originalen Bilder der 3(a) bis 3(d) periphere Bilder, die durch Fotografieren der peripheren Fahrzeuge mit einer am Fahrzeug vorgesehenen Kamera in einem vorgegebenen Zeitintervall erhalten werden. Dabei ist der Winkel der das periphere Bild fotografierenden Kamera unveränderlich. Die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs erkennt jedes der peripheren Fahrzeuge in den in den 3(a) bis 3(d) dargestellten peripheren Bilder, um die Positionen der in den peripheren Bildern erkannten peripheren Fahrzeuge zu verfolgen, und wandelt das Sichtfeld einer virtuellen Kamera auf Basis der verfolgten Position.
  • Da in dem in 3(a) dargestellten originalen Bild das periphere Fahrzeug relativ zum entsprechenden Fahrzeug links hinten positioniert ist, wandelt die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs das Sichtfeld der virtuellen Kamera, so dass es den linken hinteren Bereich des Fahrzeugs angemessen erfasst. Da außerdem in dem in 3(b) dargestellten originalen Bild das periphere Fahrzeug relativ zum entsprechenden Fahrzeug links hinten, aber im Vergleich mit der Position von 3(a) frontseitig positioniert ist, wandelt die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs das Sichtfeld der virtuellen Kamera, so dass es die verfolgte Position des peripheren Fahrzeugs angemessen erfasst.
  • Da ferner im originalen Bild in 3(c) das periphere Fahrzeug links vom entsprechenden Fahrzeug positioniert ist, wandelt die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs das Sichtfeld der virtuellen Kamera, so dass es den linken Bereich des Fahrzeugs angemessen erfasst. Da außerdem in dem in 3(d) dargestellten originalen Bild das periphere Fahrzeug relativ zum entsprechenden Fahrzeug links hinten, aber im Vergleich mit der Position von 3(a) links vorne relativ zum entsprechenden Fahrzeug positioniert ist, wandelt die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs das Sichtfeld der virtuellen Kamera, so dass es den Bereich vorne links vom Fahrzeugs angemessen erfasst.
  • Wie oben beschrieben wandelt die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs die Sichtfelder der virtuellen Kamera auf Basis der verfolgten Position des peripheren Fahrzeugs und überträgt die jeweiligen originalen Bilder zur totwinkelkorrigierten virtuellen Kamera, um die Positionen des peripheren Fahrzeugs angemessen wiederzugeben, wodurch die totwinkelkorrigierten Bilder erzeugt werden. Die erzeugten jeweiligen totwinkelkorrigierten Bilder entsprechen dabei den in den 3(a) bis 3(d) dargestellten totwinkelkorrigierten Bildern.
  • Die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs kann eine relative Beziehung zwischen dem entsprechenden Fahrzeug und dem peripheren Fahrzeug zu einem Zeitpunkt definieren, zu dem die jeweiligen originalen Bilder erhalten werden, und ermöglicht die Anzeige der definierten relativen Position im totwinkelkorrigierten Bild. Die relative Beziehung zwischen dem entsprechenden Fahrzeug und dem peripheren Fahrzeug kann in Form einer Draufsicht und zusammen mit der Bewegungsbahn des peripheren Fahrzeugs angezeigt werden. Die im Bild enthaltenen Informationen können z. B. der Abstand des peripheren Fahrzeugs vom Fahrzeug oder der Positionswinkel des peripheren Fahrzeugs relativ zum Fahrzeug sein (z. B. Näherungs- oder Entfernungswinkel des peripheren Fahrzeugs, ob der seitliche Abstand zwischen den Fahrzeugen gegen null geht, z. B., ob das periphere Fahrzeug die Spur zu der des Fahrzeugs wechselt usw.). Positionsinformationen können auch die Bewegungsrichtung des peripheren Fahrzeugs enthalten, z. B., ob das periphere Fahrzeug überholt oder überholt wird.
  • Die 4 und 5 sind beispielhafte Diagramme, die ein Beispiel für die Bereitstellung eines totwinkelkorrigiertes Bildes in der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung darstellen.
  • 4 zeigt ein Beispiel, bei dem eine Anzeigeeinheit in der Mitte des Armaturenbretts des Fahrzeugs angeordnet ist. Wie in 4 dargestellt ermöglicht die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs die Anzeige der totwinkelkorrigierten Bilder, die auf Basis der Positionen der peripheren Fahrzeuge totwinkelkorrigiert sind, bezüglich des peripheren Bildes, das links oder rechts vom Fahrzeug erhalten wird, über die in der in der Mitte des Armaturenbretts des Fahrzeugs angeordnete Anzeigeeinheit.
  • Dabei ist der Bildschirm der Anzeigeeinheit zweigeteilt, so dass ein totwinkelkorrigiertes Bild eines linken peripheren Fahrzeugs und ein totwinkelkorrigiertes Bild eines rechten peripheren Fahrzeugs auf dem geteilten Bildschirm angezeigt werden kann.
  • Der Fahrer kann deshalb die relative Position zwischen dem Fahrzeug und den peripheren Fahrzeuge, die links und rechts vom Fahrzeug positioniert sind, problemlos über das linke und das rechte totwinkelkorrigierte Bild auf der Anzeigeeinheit erkennen.
  • 5 zeigt ein Beispiel, bei dem zwei Anzeigeeinheiten an beiden Seiten des Armaturenbretts des Fahrzeugs angeordnet sind. Wie in 5 dargestellt ermöglicht die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs die Anzeige der totwinkelkorrigierten Bilder, die auf Basis der Positionen der peripheren Fahrzeuge totwinkelkorrigiert werden, bezüglich der peripheren Bilder von der linken und rechten Seite des Fahrzeugs über eine erste Anzeigeeinheit an der linken Seite und eine zweite Anzeigeeinheit an der rechten Seite des Armaturenbretts.
  • Mit anderen Worten, die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs ermöglicht die Anzeige des totwinkelkorrigierten Bildes vom linken peripheren Fahrzeug über die erste Anzeigeeinheit und des totwinkelkorrigiertes Bildes vom rechten peripheren Fahrzeug über die zweite Anzeigeeinheit.
  • Der Fahrer kann deshalb die relative Position zwischen dem Fahrzeug und den peripheren Fahrzeugen, die links und rechts vom Fahrzeug positioniert sind, über das linke totwinkelkorrigierte Bild und das rechte totwinkelkorrigierte Bild auf der ersten bzw. zweiten Anzeigeeinheit problemlos erkennen.
  • Der Operationsfluss der Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß des Ausführungsbeispiels der vorliegenden Erfindung, das wie oben beschrieben konfiguriert ist, wird nachstehend ausführlich erläutert.
  • 6 ist ein Flussdiagramm des Operationsflusses eines Verfahrens zum Verfolgen der Position eines peripheren Fahrzeugs gemäß eines Ausführungsbeispiels der vorliegenden Erfindung. Wie in 6 dargestellt erfasst die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs gemäß des Ausführungsbeispiels der vorliegenden Erfindung ein peripheres Bild, das von einer an einer Seite des Fahrzeugs vorgesehenen Kamera fotografiert wird (S100). Dann erkennt die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs ein peripheres Fahrzeug in dem in Schritt S100 erhaltenen peripheren Bild (S110) und verfolgt die Position der peripheren in Schritt S110 erkannten Fahrzeuge (S120). Anschließend wandelt die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs das Sichtfeld des in Schritt S100 erhaltenen originalen Bildes auf Basis der Position des in Schritt S120 verfolgten peripheren Fahrzeugs, um ein totwinkelkorrigiertes Bild zu erzeugen (S130) und ermöglicht die Ausgabe des in Schritt S130 erzeugten totwinkelkorrigierten Bildes über eine im Fahrzeug vorgesehene Anzeigeeinheit (S140). Die Schritte S100 bis S140 werden wiederholt ausgeführt, bis ein Operationsende-Befehl eingegeben wird. Die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs aktualisiert somit die Position eines sich bewegenden peripheren Fahrzeugs in Echtzeit, erzeugt ein totwinkelkorrigiertes Bild auf Basis der aktualisierten Position des peripheren Fahrzeugs und stellt das erzeugte totwinkelkorrigierte Bild dem Nutzer in Echtzeit bereit. Wenn der Operationsende-Befehl durch Betätigen eines eigenen Schalters oder dgl. (S150) eingegeben wird, beendet die Vorrichtung zum Verfolgen der Position eines peripheren Fahrzeugs die entsprechende Operation.
  • Gemäß des Ausführungsbeispiels der vorliegenden Erfindung wird das Sichtfeld des peripheren Bildes auf Basis der Position des peripheren Fahrzeugs gewandelt und dann dem Nutzer bereitgestellt, so dass der Nutzer die Position des peripheren Fahrzeugs durch das totwinkelkorrigierte Bild erkennen kann.
  • Außerdem wird gemäß des Ausführungsbeispiels der vorliegenden Erfindung das totwinkelkorrigierte Bild so positioniert, dass das Bild des im peripheren Bild erkannten peripheren Fahrzeugs in der Mitte des peripheren Bildes liegt und dem Nutzer bereitgestellt wird, so dass die Position des peripheren Fahrzeugs problemlos erkannt werden kann.
  • Obwohl die Vorrichtung und das Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs gemäß des Ausführungsbeispiels der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben worden sind, ist die vorliegende Erfindung nicht auf das Ausführungsbeispiel und die in der vorliegenden Beschreibung offenbarten Zeichnungen beschränkt, sondern kann modifiziert werden, ohne vom Gültigkeitsbereich und Geist der vorliegenden Erfindung abzuweichen.
  • Bezugszeichenliste
  • 10:
    FAHRZEUG
    11A, 11B:
    KAMERA
    21, 22:
    PERIPHERES FAHRZEUG
    100:
    APPARATUS FOR TRACKING POSITION OF PERIPHERAL VEHICLE
    110:
    PROZESSOR
    120:
    BILDERFASSUNGSEINHEIT
    130:
    AUSGABEEINHEIT
    140:
    SPEICHER
    150:
    DETEKTOREINHEIT FÜR PERIPHERE FAHRZEUGE
    160:
    POSITIONSVERFOKLGUNGSEINHEIT
    170:
    TOTWINKEL-KORREKTUREINHEIT
    180:
    AUSGABESTEUEREINHEIT

Claims (11)

  1. Vorrichtung (100) zum Verfolgen der Position eines peripheren Fahrzeugs, wobei die Vorrichtung aufweist: a) einen Prozessor (110); b) einen Speicher (140); c) eine Bilderfassungseinheit (120), die zum Empfangen eines oder mehrerer Bilder konfiguriert ist, die von einer oder mehreren am Fahrzeug angeordneten Kameras erhalten werden; d) eine Detektoreinheit (150) für periphere Fahrzeuge, die zum Analysieren des einen oder der mehreren Bilder konfiguriert ist, um ein peripheres Fahrzeug in dem einen oder den mehreren Bilder zu erkennen; e) eine Positionsverfolgungseinheit (160), die zum Verfolgen der Position des peripheren Fahrzeugs konfiguriert ist, das in dem einen oder den mehreren Bildern erkannt wird, f) eine Totwinkel-Korrektureinheit (170), die konfiguriert ist zum Erzeugen eines totwinkelkorrigierten Bildes durch Wandeln des Sichtfeldes des peripheren Bildes auf Basis der Position des peripheren Fahrzeugs erfasst in den peripheren Bildern unter Verwendung einer virtuellen Kamera implementiert auf Basis eines mathematischen Modells; g) eine Ausgabesteuereinheit (180), die zum Ausgeben des totwinkelkorrigierten Bildes an eine im Fahrzeug vorgesehene Anzeige konfiguriert ist; und h) wobei das Bild des peripheren Fahrzeugs in der Mitte des totwinkelkorrigierten Bilds positioniert ist.
  2. Vorrichtung nach Anspruch 1, wobei die Totwinkel-Korrektureinheit das totwinkelkorrigierte Bild so zuschneidet, dass nur das periphere Fahrzeug im totwinkelkorrigierten Bild verbleibt.
  3. Vorrichtung nach Anspruch 1, wobei das totwinkelkorrigierte Bild Informationen über die relative Position zwischen dem Fahrzeug und dem peripheren Fahrzeug enthält.
  4. Vorrichtung nach Anspruch 3, wobei die Informationen aus einer Gruppe bestehend aus Abstand zum Fahrzeug, Positionswinkel relativ zum Fahrzeug und Bewegungsrichtung relativ zum Fahrzeug gewählt werden.
  5. Vorrichtung nach Anspruch 1, wobei die Positionsverfolgungseinheit zum Aktualisieren der Positionsinformationen des peripheren Fahrzeugs in Echtzeit während einer Zeitspanne konfiguriert ist, in der das periphere Fahrzeug im peripheren Bild erkannt wird.
  6. Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs, wobei das Verfahren aufweist: a) Empfangen (S100) eines oder mehrerer Bilder von einer oder mehreren am Fahrzeug angeordneten Kameras; b) Verfolgen (S120) der Position des peripheren Fahrzeugs, das in dem einen oder den mehreren Bildern erkannt wird, c) Erzeugen (S130) eines totwinkelkorrigierten Bildes durch Wandeln des Sichtfeldes des o einen der der mehreren Bilder auf Basis der Position des peripheren Fahrzeugs erfasst in den peripheren Bildern unter Verwendung einer virtuellen Kamera implementiert auf Basis eines mathematischen Modells; d) Ausgeben (S140) des totwinkelkorrigierten Bildes an eine im Fahrzeug vorgesehene Anzeige; und e) wobei das Bild des peripheren Fahrzeugs in der Mitte des totwinkelkorrigierten Bilds positioniert wird.
  7. Verfahren nach Anspruch 6, das ferner das Zuschneiden des totwinkelkorrigierten Bildes aufweist, so dass nur das Bild des peripheren Fahrzeugs im totwinkelkorrigierten Bild verbleibt.
  8. Verfahren nach Anspruch 6, wobei das totwinkelkorrigierte Bild so erzeugt wird, dass es Informationen über die relative Position zwischen dem Fahrzeug und dem peripheren Fahrzeug enthält.
  9. Verfahren nach Anspruch 8, die Informationen aus einer Gruppe bestehend aus Abstand zum Fahrzeug, Positionswinkel relativ zum Fahrzeug und Bewegungsrichtung relativ zum Fahrzeug gewählt werden.
  10. Verfahren nach Anspruch 8, wobei die Positionsinformationen in Echtzeit während einer Zeitspanne aktualisiert werden, in der das periphere Fahrzeug im peripheren Bild erkannt wird.
  11. Verfahren nach Anspruch 6, wobei das mathematische Modell auf Basis von Positions- und Ausrichtungsinformationen der am Fahrzeug vorgesehenen Kameras erzeugt wird und die virtuelle Kamera auf Basis des erzeugten mathematischen Modells implementiert wird.
DE102012223481.0A 2012-10-31 2012-12-18 Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs Active DE102012223481B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0122043 2012-10-31
KR1020120122043A KR101896715B1 (ko) 2012-10-31 2012-10-31 주변차량 위치 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
DE102012223481A1 DE102012223481A1 (de) 2014-04-30
DE102012223481B4 true DE102012223481B4 (de) 2021-06-24

Family

ID=50479743

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012223481.0A Active DE102012223481B4 (de) 2012-10-31 2012-12-18 Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs

Country Status (5)

Country Link
US (1) US9025819B2 (de)
JP (1) JP6196444B2 (de)
KR (1) KR101896715B1 (de)
CN (1) CN103786644B (de)
DE (1) DE102012223481B4 (de)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013074604A2 (en) 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
KR102299501B1 (ko) * 2014-06-05 2021-09-09 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
JP6113375B2 (ja) * 2014-11-26 2017-04-12 三菱電機株式会社 運転支援装置および運転支援方法
KR101714876B1 (ko) * 2015-06-01 2017-03-09 엘지전자 주식회사 차량 운전 보조 장치 및 차량
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
US20180152628A1 (en) * 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
KR102395287B1 (ko) * 2017-05-08 2022-05-09 현대자동차주식회사 영상변환장치
CN110197587A (zh) * 2019-05-31 2019-09-03 京东方科技集团股份有限公司 一种行车处理方法,以及车辆、服务器和行车系统
US11238292B2 (en) * 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image
WO2022195323A1 (en) * 2021-03-15 2022-09-22 One Game Studio S.A.P.I De C.V. System and method to interpret a surround of a user to generate an augmented reality environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154591A1 (en) * 2009-09-01 2012-06-21 Magna Mirrors Of America, Inc. Imaging and display system for vehicle

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US20020080279A1 (en) * 2000-08-29 2002-06-27 Sidney Wang Enhancing live sports broadcasting with synthetic camera views
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP4172284B2 (ja) 2003-02-13 2008-10-29 日産自動車株式会社 車両周辺監視装置
JP2005075190A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
DE102004004492A1 (de) * 2004-01-29 2005-08-18 Robert Bosch Gmbh Radarsystem für Kraftfahrzeuge
WO2005080120A1 (en) * 2004-02-20 2005-09-01 Sharp Kabushiki Kaisha Condition detection and display system, condition detection and display method, control program for condition detection and display system, and storage medium storing the control program
JP2005268847A (ja) * 2004-03-16 2005-09-29 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
JP4406381B2 (ja) * 2004-07-13 2010-01-27 株式会社東芝 障害物検出装置及び方法
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
JP4557819B2 (ja) * 2005-06-21 2010-10-06 アルパイン株式会社 車両周辺情報提供装置
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
JP4742953B2 (ja) * 2006-03-31 2011-08-10 株式会社デンソー 画像処理装置,画像表示システムおよびプログラム
FR2904910B1 (fr) * 2006-08-14 2009-02-06 Ulis Soc Par Actions Simplifie Detecteur de rayonnement infrarouge et dispositif d'aide a la conduite ou au pilotage comprenant un tel dispositif
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
US20080137910A1 (en) * 2006-11-27 2008-06-12 Hanae Suzuki Locating method for locating a predetermined spot on a road and a locating apparatus using the method
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
US7786849B2 (en) * 2007-02-02 2010-08-31 Chrysler Group Llc Trailer detection system
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
KR100836073B1 (ko) * 2007-02-07 2008-06-09 에이치케이이카 주식회사 캔통신을 이용한 차량용 영상블랙박스 시스템
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP4434224B2 (ja) * 2007-03-27 2010-03-17 株式会社デンソー 走行支援用車載装置
WO2008139516A1 (ja) * 2007-04-27 2008-11-20 Aisin Aw Co., Ltd. 運転支援装置
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP4396743B2 (ja) * 2007-08-08 2010-01-13 トヨタ自動車株式会社 走行計画生成装置
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
DE102007045561B4 (de) * 2007-09-24 2018-02-15 Robert Bosch Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US8190355B2 (en) * 2007-10-10 2012-05-29 International Business Machines Corporation Driving assistance and monitoring
JP2009096273A (ja) * 2007-10-16 2009-05-07 Hitachi Ltd 衝突回避制御装置
US20090140887A1 (en) * 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4416039B2 (ja) * 2008-03-19 2010-02-17 日本電気株式会社 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
WO2009119110A1 (ja) * 2008-03-27 2009-10-01 パナソニック株式会社 死角表示装置
JP4716139B2 (ja) * 2008-05-14 2011-07-06 アイシン精機株式会社 周辺監視装置
JP5177515B2 (ja) * 2008-06-02 2013-04-03 アイシン精機株式会社 周辺認知支援システム
TWM353849U (en) * 2008-09-17 2009-04-01 Jyh-Chiang Liou Integrated driving assistance apparatus
WO2010035781A1 (ja) * 2008-09-25 2010-04-01 クラリオン株式会社 車線判定装置及びナビゲーションシステム
WO2010038224A1 (en) * 2008-10-01 2010-04-08 Hi-Key Limited A method and a system for calibrating an image capture device
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5300443B2 (ja) * 2008-12-01 2013-09-25 富士通テン株式会社 画像処理装置
US20100201508A1 (en) * 2009-02-12 2010-08-12 Gm Global Technology Operations, Inc. Cross traffic alert system for a vehicle, and related alert display method
CN201499250U (zh) * 2009-03-25 2010-06-02 广东好帮手电子科技股份有限公司 一种车载全景监控倒车装置
JP5233797B2 (ja) * 2009-03-30 2013-07-10 株式会社デンソー 移動体周辺撮影装置
KR100996482B1 (ko) 2009-04-02 2010-11-24 상지영서대학 산학협력단 원거리 차량 추적 시스템 및 방법
KR101023275B1 (ko) * 2009-04-06 2011-03-18 삼성전기주식회사 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
EP2420985B1 (de) * 2009-04-15 2016-11-09 Toyota Jidosha Kabushiki Kaisha Alarmausgabe-steuervorrichtung
US8559675B2 (en) * 2009-04-23 2013-10-15 Panasonic Corporation Driving support device, driving support method, and program
JP5509712B2 (ja) * 2009-07-31 2014-06-04 富士通株式会社 運転支援システム、運転支援装置、運転支援方法、及び運転支援プログラム
JP5240149B2 (ja) 2009-09-28 2013-07-17 三菱自動車工業株式会社 車両周辺監視装置
EP2487906B1 (de) * 2009-10-07 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. Steuervorrichtung und umgebungsüberwachungsvorrichtung für ein fahrzeug
US20110080304A1 (en) * 2009-10-07 2011-04-07 Ford Global Technologies, Llc Vehicle Park Assist System and Method for Parking a Vehicle Using Such System
JPWO2011064831A1 (ja) * 2009-11-30 2013-04-11 富士通株式会社 診断装置及び診断方法
JP2011118483A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
US9165468B2 (en) * 2010-04-12 2015-10-20 Robert Bosch Gmbh Video based intelligent vehicle control system
CN102906593B (zh) * 2010-05-19 2015-06-17 三菱电机株式会社 车辆后方监视装置
CN201792814U (zh) * 2010-06-09 2011-04-13 德尔福技术有限公司 全方位泊车辅助系统
JP5597708B2 (ja) * 2010-06-18 2014-10-01 本田技研工業株式会社 運転者の車線変更意図を予測するシステム
US8620023B1 (en) * 2010-09-13 2013-12-31 The Boeing Company Object detection and location system
KR20120053713A (ko) * 2010-11-18 2012-05-29 에스엘 주식회사 차량용 카메라의 제어 장치 및 방법
JP2012119755A (ja) * 2010-11-29 2012-06-21 Panasonic Corp 運転支援表示装置
US9900522B2 (en) * 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
KR101199940B1 (ko) 2010-12-15 2012-11-09 전자부품연구원 이동체 탑재형 영상 추적 장치
JP5554261B2 (ja) * 2011-02-24 2014-07-23 アルパイン株式会社 立体物検出装置および立体物検出方法
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9019347B2 (en) * 2011-10-13 2015-04-28 Aisin Seiki Kabushiki Kaisha Image generator
TWI458653B (zh) * 2011-10-25 2014-11-01 Altek Autotronics Corp 盲區偵測系統及其盲區偵測方法
US9146898B2 (en) * 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
TWM437948U (en) * 2012-02-14 2012-09-21 Ken Sean Ind Co Ltd Vehicle traveling data recorder
US8930063B2 (en) * 2012-02-22 2015-01-06 GM Global Technology Operations LLC Method for determining object sensor misalignment
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
US9129211B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154591A1 (en) * 2009-09-01 2012-06-21 Magna Mirrors Of America, Inc. Imaging and display system for vehicle

Also Published As

Publication number Publication date
JP6196444B2 (ja) 2017-09-13
KR101896715B1 (ko) 2018-09-07
US20140119597A1 (en) 2014-05-01
DE102012223481A1 (de) 2014-04-30
JP2014093071A (ja) 2014-05-19
KR20140055353A (ko) 2014-05-09
CN103786644A (zh) 2014-05-14
CN103786644B (zh) 2018-04-20
US9025819B2 (en) 2015-05-05

Similar Documents

Publication Publication Date Title
DE102012223481B4 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102014116140B4 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
DE102010004165B4 (de) Verfahren und Systeme zum Kalibrieren von Fahrzeugsichtsystemen
DE112014000591T5 (de) Aufmerksamkeitsgrad-Erfassungsgerät und Aufmerksamkeitsgrad-Erfassungsverfahren
EP2934947A1 (de) Kraftfahrzeug mit kamera-monitor-system
DE102005034597A1 (de) Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
WO2014032664A1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
DE102012001554A1 (de) Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102007025147B4 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102016216070A1 (de) Steuergerät, System mit solch einem Steuergerät und Verfahren zum Betrieb solch eines Systems
WO2020030404A1 (de) Kameraüberwachungssystem
DE102019103197A1 (de) Insassenüberwachungsvorrichtung
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
DE112019007195T5 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
EP3409541B1 (de) Vorrichtung zur fahrschlauchabsicherung
EP1724726A1 (de) Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera
EP2996327A2 (de) Surround-view-system für fahrzeuge mit anbaugeräten
EP3069934B1 (de) Verfahren zum erzeugen eines gesamtbildes einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
DE102018114912A1 (de) Verfahren zum Klassifizieren einer Farbe einer Fahrbahnmarkierung mittels eines statistischen Fahrbahnmarkierungsbestimmungsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem
DE102018131007A1 (de) Fahrunterstützungsvorrichtung und Kameraüberwachungssystem
EP3833576B1 (de) Kameraüberwachungssystem
DE112017007812T5 (de) Fahrzeugperipheriebildanzeigevorrichtung und Fahrzeugperipheriebildanzeigeverfahren
DE102016103037A1 (de) Verfahren zum Überprüfen einer Funktionstüchtigkeit eines Kamera-Monitor-Systems, Kamera-Monitor-System sowie Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final