DE602005004365T2 - Bildverarbeitungssystem für Kraftfahrzeug-Anwendungen - Google Patents

Bildverarbeitungssystem für Kraftfahrzeug-Anwendungen Download PDF

Info

Publication number
DE602005004365T2
DE602005004365T2 DE602005004365T DE602005004365T DE602005004365T2 DE 602005004365 T2 DE602005004365 T2 DE 602005004365T2 DE 602005004365 T DE602005004365 T DE 602005004365T DE 602005004365 T DE602005004365 T DE 602005004365T DE 602005004365 T2 DE602005004365 T2 DE 602005004365T2
Authority
DE
Germany
Prior art keywords
image processing
image
radar
processing area
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE602005004365T
Other languages
English (en)
Other versions
DE602005004365D1 (de
Inventor
Koji c/o Omron Corporation Shiokoji-dori Shimogyo-ku Horibe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of DE602005004365D1 publication Critical patent/DE602005004365D1/de
Application granted granted Critical
Publication of DE602005004365T2 publication Critical patent/DE602005004365T2/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

  • Hintergrund der Erfindung
  • Diese Erfindung bezieht sich auf ein Bildverarbeitungssystem zur Anbringung an einem Fahrzeug mit einer Radarvorrichtung und einer Bildaufnahmevorrichtung, die als eine Einrichtung zum Überwachen von äußeren Gegebenheiten des Fahrzeugs dienen.
  • Um die automatische Temporegelungsfunktion eines Fahrzeuges zu realisieren, indem einem vorausfahrenden Fahrzeug nachgefahren wird, ist es notwendig, Objekte, wie z. B. vorausfahrende Fahrzeuge und Hindernisse, zu erkennen und ihre Positionsdaten zu gewinnen, und eine Radarvorrichtung, wie z. B. ein Laserradar und ein Millimeterwellenradar, und eine Bildaufnahmevorrichtung, wie z. B. eine CCD-Kamera und eine CMOS-Kamera, werden als eine Überwachungseinrichtung für äußere Gegebenheiten des Fahrzeugs verwendet. Radarvorrichtungen sind in der Lage, den Abstand zu einem Objekt und seine Richtung relativ schnell und genau zu messen, weisen jedoch den Nachteil auf, dass dieselben die Art des erfassten Objekts, z. B. ob es sich um ein vorausfahrendes Fahrzeug oder ein andersgeartetes Objekt handelt, nicht genau bestimmen können. Bildaufnahmevorrichtungen sind in der Lage, eine herkömmliche Art von Bildverarbeitung durchzuführen, um dadurch zu schätzen, worum es sich bei dem Objekt handelt, das sich in einem Bild befindet, weisen jedoch den Nachteil auf, dass die Bildverarbeitung zeitaufwändig ist und dass ein Ansprechen in Echtzeit nicht ohne Weiteres erhalten werden kann.
  • Hinsichtlich der obigen Ausführungen schlagen die japanischen Patentveröffentlichungen Tokkai 7-125567 und 6-124340 eine Bildverarbeitungsvorrichtung vor, die sowohl eine Radarvorrichtung als auch eine Bildaufnahmevorrichtung zum Bestimmen eines spezifizierten Bereichs verwendet, bezüglich dessen basierend auf dem Ergebnis der Messung durch die Radarvorrichtung geschätzt werden kann, dass sich ein Objekt in einem Bild, das durch die Bildaufnahmevorrichtung gewonnen wurde, darin befindet (im Folgenden als Bildverarbeitungsbereich bezeichnet), und die die Bildverarbeitung nur innerhalb dieses spezifizierten Bereichs durchführt.
  • Diese herkömmlichen Bildverarbeitungsvorrichtungen weisen die folgenden Probleme auf. Die Vorrichtung gemäß den japanischen Patentveröffentlichungen Tokkai 7-125567 ist eingerichtet, um einen Standardpunkt und einen Bereich, wo die Bildverarbeitung durchgeführt werden soll, zu berechnen, indem eine bestimmte Schrittformel verwendet wird, aber es ist kaum möglich zu behaupten, dass ein Bildverarbeitungsbereich gemäß der Größe oder Form eines erfassten Objekts berechnet wird. Ein Bereich zum Einstellen eines Bildes wird gemäß einem vorab geschätzten Verhältnis zwischen der Länge und der Breite berechnet. Somit ist es für den Fall, dass ein Objekt eine unerwartete Form oder Größe aufweist, nicht möglich, einen angemessenen Bildverarbeitungsbereich einzustellen. Wenn z. B. Autos berücksichtigt werden, werden die Bildverarbeitungsbereiche zu groß für eine Person, ein Fahrrad oder ein Motorrad.
  • Obwohl die japanische Patentveröffentlichung Tokkai 7-125567 einen Schritt eines Einstellens der Größe eines Bildverarbeitungsbereichs gemäß dem Abstand zu dem Objekt offenbart, wird in dem Fall von z. B. einem Fahrrad, das sich unmittelbar vor dem eigenen Fahrzeug befindet, fast die gesamte Bildoberfläche zum Bildverarbeitungsbereich, und eine derartige Situation ist nicht sinnvoll. Wenn, als ein weiteres Beispiel, zwei Objekte unterschiedlicher Größe (z. B. ein großer Lastwagen und ein Fahrrad) in der gleichen Entfernung vorliegen, können Bildverarbeitungsbereiche mit der gleichen Größe eingestellt werden, sodass ein Bereich, der zu groß ist, und ein weiterer Bereich, der zu klein ist, eingestellt werden können.
  • Die Vorrichtung gemäß der japanischen Patentveröffentlichung Tokkai 7-125567 ist außerdem mit einem Laserradar zum ausschließlichen Abtasten in der horizontalen Richtung versehen. Somit muss ein Bündel bzw. Strahl, das bzw. der in der vertikalen Richtung langgezogen ist, verwendet werden, um nicht Objekte vor sich aufgrund eines geneigten Zustands der Straßenoberfläche zu übersehen. Wenn ein derartiges Laserradar verwendet wird, kann die Auflösung in der horizontalen Richtung hoch eingestellt werden, aber die Auflösung in der vertikalen Richtung wird zwingend gering. Wenn eine Reflexion von dem Objekt vorliegt, ist es praktisch unmöglich, die vertikale Position des Objekts innerhalb des Erfassungsbereichs des Laserradars zu bestimmen. Aus diesem Grund muss die vertikale Abmessung des Bildverarbeitungsbereichs etwas größer eingestellt werden, um ein Übersehen zu verhindern, und der Bildverarbeitungsbereich kann dazu tendieren, unpassend zu werden.
  • Die Vorrichtung gemäß der japanischen Patentveröffentlichung Tokkai 6-124340 verwendet dagegen ein Laserradar des zweidimensionalen Abtasttyps, und ein Bereich in der horizontalen und vertikalen Richtung wird als ein Bereich, in dem ein Objekt vorhanden ist, betrachtet, wenn es Messpunkte mit den gleichen Abstandsdaten gibt. Die Größe dieses Bereichs wird mit einem bestimmten Faktor multipliziert, um einen Bereich zu erhalten, der größer als das Objekt ist (der sowohl das Objekt selbst als auch einen das Objekt umgebenden Teil umfasst), und dieser größere Bereich wird als der Bildverarbeitungsbereich eingestellt.
  • Aus diesem Grund wird eine zweidimensionale Radarabtastung durchgeführt, und die Frequenz der Lichtemission durch das Laserradar (oder die Radarauflösung) muss sowohl in der vertikalen als auch in der horizontalen Richtung zu einem erheblichen Grad erhöht werden, um die horizontale und vertikale Position des Bereichs zu bestimmen, in dem ein Objekt zu finden ist. Somit sind der Radarbetrieb und die Ver arbeitung der gemessenen Daten beide zeitaufwändig, und die Echtzeitverarbeitung wird schwierig. Ferner besteht das Problem eines erhöhten Leistungsverbrauchs.
  • Ein Bildverarbeitungssystem gemäß dem Oberbegriff von Anspruch 1 ist aus der JP-A-06 124340 bekannt.
  • Kurzfassung der Erfindung
  • Es ist deshalb Aufgabe dieser Erfindung, ein Bildverarbeitungssystem zu schaffen, das an einem Fahrzeug anzubringen ist, mit einem Radar und einer Bildaufnahmevorrichtung als Überwachungseinrichtung für äußere Gegebenheiten, das in der Lage ist, einen Bildverarbeitungsbereich in einem Bild, das durch die Bildaufnahmevorrichtung gewonnen wird, basierend auf den Ergebnissen der Messung durch das Radar angemessen einzustellen, ohne dass eine Radarvorrichtung mit einer hohen Auflösung erforderlich ist.
  • Ein Bildverarbeitungssystem gemäß dieser Erfindung zur Anbringung an einem Fahrzeug ist wie in Anspruch 1 definiert.
  • Im Vorhergehenden bedeutet „Bündelprofil" die Bündelstruktur, die sich zweidimensional auf seiner Schnittoberfläche senkrecht zu der Richtung seiner Ausbreitung erstreckt, was den Durchmesser des Bündels, seine Querschnittsfläche oder seinen Ausbreitungswinkel umfasst. „Messpunkt eines mit dem Radar festgestellten Objekts" bedeutet die Koordinaten (oder die dreidimensionalen Positionsdaten) des Messpunkts, der als ein Punkt erfasst wird, an dem das Objekt vorhanden ist. Genauer gesagt bedeutet es die Position der Mittelachse des Transmissionsbündels von der Zeit an, zu der reflektierte Wellen mit einer Intensität über einem Schwellenwert empfangen wurden. In der Richtung des Abstands bedeutet es die Position in einer Entfernung, die aus der Verzögerung zwischen dem Zeitpunkt der Emission und dem Emp fang von reflektierten Wellen berechnet wird. Eine Mehrzahl derartiger Messpunkte kann einem einzigen Objekt zugeordnet vorliegen, abhängig von der Größe des Objekts relativ zum Auflösungsvermögen (Auflösung) des Radars. Das Auflösungsvermögen des Abtastradars ist normalerweise ausreichend gering eingestellt, sodass im Fall eines Autos normaler Größe eine Mehrzahl von Messpunkten erfasst wird. Es wird bevorzugt, dass das Radar von einem zweidimensionalen Abtasttyp ist, das Radar kann jedoch von einem eindimensionalen Abtasttyp sein.
  • Mittels eines Bildprozessors dieser Erfindung wird ein Bereich mit einer Ausbreitung, die dem Querschnitt des Radarstrahls entspricht, als ein Bildverarbeitungsbereich bestimmt, der als Mittelpunkt den Messpunkt aufweist, der als eine Position erfasst wurde, wo sich ein Objekt befindet. Wenn das Objekt eine bestimmte Größe in der Richtung der Abtastung durch das Radar aufweist, ist eine Mehrzahl von Messpunkten in der Richtung der Abtastung vorhanden, und dementsprechend wird eine Mehrzahl von Bildverarbeitungsbereichen bestimmt.
  • Wenn somit die Ausbreitung des Bündelquerschnitts geeignet eingestellt ist, kann der bestimmte Bildverarbeitungsbereich (oder die Gesamtheit von bestimmten Bildverarbeitungsbereichen, falls eine Mehrzahl derartiger Bereiche vorliegt) so gemacht werden, dass derselbe eine geeignete Größe aufweist, zumindest in der Richtung der Abtastung, was ein Objekt und eine angemessene Menge seines Hintergrundes umfasst, unabhängig von der Größe des Objekts. Im Fall eines relativ kleinen Objekts, wie z. B. einer Person oder eines Fahrrads, ist die Anzahl von Messpunkten gering, und der Bildverarbeitungsbereich wird dementsprechend schmäler. Im Fall eines größeren Objekts, wie z. B. eines normalen Autos oder eines Lastwagens, wird die Anzahl von Messpunkten gemäß seiner Größe größer, und der Bildverarbeitungsbereich wird dementsprechend in der Richtung der Abtastung breiter. Wenn ein zweidimensional abtastendes Radar verwendet wird, ist dieser Effekt, dass der Bildverarbeitungsbereich gemäß der Größe des Objekts angemessen größer wird, in beiden der zweidimensionalen Richtungen zu erhalten.
  • Zusammenfassend ist es erfindungsgemäß nicht nötig, das Radar zu verwenden, um vorab genau die Größe des Objekts zu bestimmen, um den Bildverarbeitungsbereich gemäß dem Ausbreitungswinkel des Radarstrahls einzustellen. Somit ist es nicht nötig, das Auflösungsvermögen des Radars in allen Richtungen zu erhöhen, um gute Ansprech- und Energiesparcharakteristika zu erreichen.
  • Wenn eine Mehrzahl von Messpunkten vorliegt, die hinsichtlich des Auflösungsvermögens des Radars nahe beieinander liegen, wird es bevorzugt, dass der Bildprozessor dazu dient, die Mehrzahl von Messpunkten als einem einzigen Objekt zugeordnet in Gruppen zusammenzufassen und Bildverarbeitungsbereiche, die einzeln den Messpunkten zugeordnet sind, als einen einzigen Bildverarbeitungsbereich zu verbinden. Dies hat den Vorteil, die Bildverarbeitungsbereiche, die dem gleichen Objekt zugeordnet sind, miteinander zu verbinden, und die Bildverarbeitung wird für das individuelle Identifizieren von Objekten vereinfacht.
  • Es wird bevorzugt, dass die Querschnittsform des Bündels elektromagnetischer Wellen ein Kreis oder eine Ellipse ist. Es wird auch bevorzugt, dass der Ausbreitungswinkel des Bündels kleiner ist als der Bildwinkel (oder der Winkel, der dem Sichtfeld gegenüberliegt) der Bildaufnahmevorrichtung in allen Richtungen. Auf diese Weise kann der Bildverarbeitungsbereich so begrenzt werden, dass derselbe kleiner ist als das Bild, das durch die Bildaufnahmevorrichtung gewonnen wird, und somit kann die Belastung der Bildverarbeitung erheblich reduziert werden.
  • Der Bildprozessor gemäß einem bevorzugten Ausführungsbeispiel ist eingerichtet, um eine Referenzebene zu definieren, die parallel zu der Straßenoberfläche ist, die das Fahrzeug abstützt, an dem der Bildprozessor angebracht ist, um Messpunkte des Objekts, das durch das Radar erfasst wird, auf diese Referenzebene zu projizieren, um eine Linie zu bestimmen, indem zwei der darauf projizierten Punkte verbunden werden, um die Linie in einem bildfesten Koordinatensystem darzustellen und um einen unteren Rand des Bildverarbeitungsbereichs durch die Linie, die in dem bildfesten Koordinatensystem dargestellt ist, zu begrenzen. Mit dem Bildprozessor mit einer derartigen Funktion kann praktisch verhindert werden, dass sich das untere Ende des Bildverarbeitungsbereichs verschwenderisch erstreckt, sogar im Fall eines eindimensional abtastenden Radars, das nicht eingerichtet ist, um in der vertikalen Richtung abzutasten, sodass verhindert werden kann, dass die Belastung der Bildverarbeitung zunimmt.
  • Die vertikale Position (Höhe) eines Objekts, wie z. B. eines vorausfahrenden Fahrzeugs, wie es vom eigenen Fahrzeug aus gesehen wird, hängt von der Form der Straßenoberfläche ab. Selbst wenn ein Höhenunterschied zwischen dem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug besteht, kann der unterste Rand des Bildverarbeitungsbereichs gesteuert werden, wie es im Vorhergehenden erläutert ist, ohne die Position der Referenzebene zu korrigieren, wenn sich beide Fahrzeuge auf der gleichen Schräge befinden. Wenn das eigene Fahrzeug sich auf einer horizontalen Ebene befindet, während ein Objekt sich auf einer geneigten Oberfläche befindet, scheint sich jedoch das Objekt vom eigenen Fahrzeug aus gesehen in einer höheren oder niedrigeren Position zu befinden, und die vertikale Position der Referenzebene muss korrigiert werden. Diese Korrektur kann folgendermaßen bewirkt werden.
  • Die Position des eigenen Fahrzeugs kann durch ein globales Positionsbestimmungssystem (GPS) bestimmt werden, und die Position eines Objekts kann relativ zum eigenen Fahrzeug bestimmt werden. Die Neigungsdaten können von diesen aktuellen Positionen mittels Straßenkartendaten erhalten werden. Somit kann bestimmt werden, in welcher vertikalen Position das Objekt vom eigenen Fahrzeug aus gesehen werden sollte, und die vertikale Position der Referenzebene kann dementsprechend korrigiert werden. Die Veränderung der vertikalen Position der Straßenoberfläche muss nicht zwingend über GPS bestimmt werden, sondern kann z. B. durch die Veränderung einer weißen Linie auf der Straßenoberfläche bestimmt werden.
  • Es wird bevorzugt, eine Rasterabtastung der Bildverarbeitung von einem Startpunkt benachbart zu der in dem bildfesten Koordinatensystem dargestellten Linie zu beginnen, da das Objekt durch eine Bildverarbeitung, die von einer unteren Position des Objekts gestartet wird, schneller identifiziert werden kann.
  • Gemäß der Erfindung wird die Größe des Bildverarbeitungsbereichs gemäß den Positionen (als „Halbintensitätsorte" bezeichnet) bestimmt, an denen die Bündelintensität von elektromagnetischen Wellen, die von dem Radar ausgegeben werden, die Hälfte der Maximalintensität der elektromagnetischen Wellen ist. Dabei geht es darum, wie die Erstreckung des Radarstrahls (Außenumfang) zu definieren ist, und die Positionen, an denen die Bündelintensität die Hälfte des Maximalwertes beträgt, werden als der Außenumfang des Bündels betrachtet. Die Bündelintensität nimmt von der Mitte nach außen ab. Würden die Positionen, an denen diese Intensität Null wird, als der Außenumfang des Bündels genommen, würde der Bildverarbeitungsbereich zu breit. Der Bildverarbeitungsbereich nimmt eine sinnvolle Größe an, wenn die Positionen mit einer Intensität, die in etwa gleich der Hälfte des Maximalwerts ist, als Außenumfang genommen werden.
  • Der Bildprozessor ist eingerichtet, um die Größe des Bildverarbeitungsbereichs zu verringern, wenn der Abstand zu dem Objekt, das durch das Radar erfasst wird, zunimmt. Dies kann erfolgen, indem das eingestellte Bündelprofil (z. B. der Radius, die Querschnittsfläche oder der Ausbreitungswinkel des Bündels) in dem Maße verringert wird, in dem der Abstand zu dem Objekt zunimmt. Der Bildprozessor kann auch dazu dienen, die Position des Bildverarbeitungsbereichs gemäß dem Winkel zwischen den Mittelachsen des Radars und der Bildaufnahmevorrichtung zu korrigieren. Durch dieses Ausführungsbeispiel kann der Bildverarbeitungsbereich an einer geeigneten Position eingestellt werden, selbst wenn die Mittelachsen des Radars und der Bildaufnahmevorrichtung nicht parallel zueinander sind.
  • Es wird bevorzugt, die Form des Bildverarbeitungsbereichs als ein Rechteck einzustellen, das einen Kreis oder eine Ellipse, die die Querschnittsform des Bündels von elektromagnetischen Wellen aufweisen, die von dem Radar ausgegeben werden, umschreibt oder einbeschreibt. Der Grund dafür liegt darin, dass ein rechteckiger Bildverarbeitungsbereich leichter einzustellen ist. Ein derartiger rechteckiger Bereich kann bevorzugt eingestellt werden, indem die Positionen (als „Eckpositionen" bezeichnet) seiner zwei wechselseitig diagonal liegenden Ecken bestimmt werden. Die Menge zu verarbeitender Daten kann so reduziert werden.
  • Kurze Beschreibung der Zeichnungen
  • 1A ist ein Blockdiagramm, das die Struktur eines Überwachungssystems zeigt, das einen Bildprozessor dieser Erfindung umfasst, zum Anbringen an einem Fahrzeug, und 1B ist ein Diagramm, das den Querschnitt des Bündels zeigt, das von dem Laserradar emittiert wird.
  • 2A und 2B, die zusammen als 2 bezeichnet werden, stellen eine Draufsicht bzw. eine Seitenansicht des Bündels dar, das von dem Laserradar emittiert wird.
  • 3A ist ein Beispiel für ein Bild, das von der Kamera aufgenommen wurde, und 3B ist eine Zeichnung, die die Beziehung zwischen dem Sichtfeld der Kamera und Messpunkten zeigt.
  • 4 zeigt die Positionsbeziehung zwischen der Kamera und dem Laserradar und den Koordinatensystemen, die an ihnen fest sind.
  • 5A zeigt einen Bildverarbeitungsbereich, und 5B zeigt die Beziehung zwischen dem bildfesten und dem kamerafesten Koordinatensystem.
  • 6A, 6B und 6C sind Zeichnungen, die zeigen, wie Bildverarbeitungsbereiche verbunden werden.
  • 7 ist ein Flussdiagramm des Prozesses zum Bestimmen eines Bildverarbeitungsbereichs.
  • 8A zeigt eine Referenzebene, auf die ein Messpunkt projiziert wird, und 8B zeigt die Projektion darauf.
  • 9A zeigt eine Linie, die projizierte Punkte verbindet, und 9B zeigt die Linie auf einem Bild.
  • 10A und 10B zeigen Bildverarbeitungsbereiche, bevor bzw. nachdem die untersten Abschnitte durch die Linie von 9A und 9B begrenzt wurden.
  • 11A und 11B sind Zeichnungen, die eine Rasterabtastung bzw. ein Fenster zur Rasterabtastung erläutern.
  • 12A und 12B sind Zeichnungen, die die Ausbreitung der Querschnittsoberfläche des Radarstrahls zeigen, wenn der gemessene Abstand normal ist bzw. wenn der gemessene Abstand größer als normal ist, und 12C und 12D sind Zeichnungen, die die Ausbreitung des Radarstrahls zeigen, wenn der gemessene Abstand normal ist bzw. wenn der gemessene Abstand größer als normal ist.
  • 13A zeigt die Kamera und das Laserradar, wenn ihre Mittelachsen parallel sind, und 13B zeigt einen Bildverarbeitungsbereich in einer normalen Position.
  • 14A zeigt die Kamera und das Laserradar, wenn ihre Mittelachsen nicht parallel sind, und 14B zeigt einen Bildverarbeitungsbereich in einer verschobenen Position.
  • Detaillierte Beschreibung der Erfindung
  • Die Erfindung wird im Folgenden anhand von Beispielen beschrieben.
  • 1A ist ein Blockdiagramm, das die Struktur eines Überwachungssystems zeigt, das einen Bildprozessor dieser Erfindung aufweist, zum Anbringen an einem Fahrzeug, das eine Kamera 1, die als eine Bildaufnahmeeinrichtung dient, ein Laserradar (L/R) 2 und einen Bildprozessor 3 umfasst, der sowohl als eine Bildverarbeitungsbereicheinstelleinrichtung als auch als eine Bildverarbeitungseinrichtung dient. Das Laserradar 2 ist von einem eindimensionalen Abtasttyp und eingerichtet, um eindimensional in der horizontalen Richtung abzutasten, wobei es horizontal an einem Fahrzeug (dem eigenen Fahrzeug) angebracht ist, wie es in 4 gezeigt ist. Das Bündel, das von diesem Laserradar 2 emittiert wird, weist eine vertikal langgezogene, elliptische Querschnittsform auf, wie es in 1B gezeigt ist.
  • Wie es in 2 gezeigt ist, weist das Bündel von dem Laserradar 2 einen viel kleineren horizontalen Winkel β der Ausbreitung auf als ein vertikaler Winkel α der Ausbreitung, wobei diese Winkel β und α beide erheblich kleiner sind als der Bildwinkel (der das Sichtfeld bestimmt) der Kamera 1. Wird angenommen, dass die Intensität des Laserradarbündels eine normale Gaußsche Verteilung in der Richtung seines Querschnitts aufweist, wobei σ seine Standardabweichung angibt, können die bereits erwähnten Winkel β und α seiner Ausbreitung so definiert werden, dass dieselben gleich 3σ sind.
  • Die Kamera 1 dient als eine Bildaufnahmeeinrichtung, die eine bekannte Vorrichtung, wie z. B. ein CCD oder einen CMOS, aufweist. Das System ist mit einer einzigen Kamera ausgestattet, die in etwa horizontal am eigenen Fahrzeug angebracht ist, um nach vorne gewandt zu sein, sodass ein Bild vor dem eigenen Fahrzeug erhalten werden kann (wie es in 4 gezeigt ist). Die Mittel- (optischen) Achsen der Kamera 1 und des Laserradars 2 sollten bevorzugt zueinander parallel sein, aber das ist nicht Voraussetzung.
  • Der Bildprozessor 3 weist eine Schaltung auf, die einen Mikrocomputer umfasst, und dient dazu, das Laserradar 2 zu steuern, um dadurch basierend auf Ergebnissen der Messung durch das Laserradar 2 einen spezifizierten Bildverarbeitungsbereich in einem Bild zu bestimmen, das durch die Kamera 1 gewonnen wird, eine Bildverarbeitung in diesem Bildverarbeitungsbereich durchzuführen, um Objekte vor dem Fahrzeug zu identifizieren, und die gewonnenen Daten an andere Steuerungen des Fahrzeugs auszugeben.
  • Die Prozesse, die von dem Bildprozessor 3 durchgeführt werden, werden nun unter Bezugnahme auf das Flussdiagramm von 7 erläutert.
  • Zunächst führt, wie es in 7 gezeigt ist, der Bildprozessor 3 Messungen durch eine Abtastung durch das Laserradar 2 durch (Schritt S1). Dann wird eines der Datenelemente bezogen auf die gemessenen Positionen eines Objekts, das durch die Operationen des Laserradars bei Schritt S1 erfasst wurde, gewonnen (Schritt S2). Genauer gesagt erfolgt dies durch das Gewinnen von Koordinaten Ci (H, YLi, ZLi) eines von N (= eine Mehrzahl) Messpunkten, die mit dem Objekt in Beziehung stehen. Im Vorhergehenden gibt H den Koordinatenwert in der X-Richtung (Aufwärts-Abwärts-Richtung) an, wie es in 4 gezeigt ist, was der Höhe der Mittelachse des emittierten Bündels des Radars 2 entspricht. YLi gibt den Koordinatenwert in der V-Richtung (Links-Rechts- Richtung) an, wie es in 4 gezeigt ist, und wird aus dem Abtastwinkel gewonnen, wenn reflektiertes Licht, das einen Schwellenwert übersteigt, empfangen wird. ZLi gibt den Koordinatenwert in der Z-Richtung (Vorwärts-Rückwärts- oder Abstand-Richtung) an, wie es in 4 gezeigt ist, und wird aus der Verzögerungszeit ab der Emission von Licht gewonnen, wenn reflektiertes Licht, das einen Schwellenwert übersteigt, empfangen wird. Die Position mit den Koordinaten Ci auf dem Bild wird als die Mitte des Bildverarbeitungsbereiches ausgewählt.
  • Dann werden die im Folgenden angegebenen Formeln (1) verwendet, um die Neben- und Hauptachse a und b des Bündelquerschnitts (wie es in 5A gezeigt ist) im Messabstand, der durch ZLi gegeben ist, das bei Schritt S2 erhalten wurde, basierend auf vorab bestimmten Winkeln β und α der Bündelausbreitung zu berechnen (Schritt S3). Die Werte für a und b können durch ein Untersuchen der Ausbreitung des Querschnitts des Bündels und aus der Ellipse, die die Gaußsche Verteilung darstellt, erhalten werden. b = 2ZL·tan(β/2) a = 2ZL·tan(α/2) Formeln (1)
  • Dann wird ein rechteckiger Bereich, der die Ellipse umschreibt, die bei Schritt S3 erhalten wurde, mit der Mitte bei Ci und der Neben- und Hauptachse a und b als ein Bildverarbeitungsbereich eingestellt, und Positionen, die diesen rechteckigen Bereich charakterisieren, werden erhalten (Schritt S4). Sie können als das sich diagonal gegenüberliegende Paar von Ecken Ai(H + b, YLi – a, ZLi) und Bi(H – b, YLi + a, ZLi) an der oberen linken Seite und der unteren rechten Seite betrachtet werden. Es muss nicht explizit erwähnt werden, dass die Ecken auf der oberen rechten Seite und der unteren linken Seite zu diesem Zweck verwendet werden können. Alternativ dazu kann ein rechteckiger Bereich, der die Ellipse einbeschreibt, als der Bildverarbeitungsbereich verwendet werden.
  • Dann werden die Koordinaten Ci, Ai und Bi des laserradarfesten Koordinatensystems, die bei den Schritten S2 und S4 erhalten wurden, in das kamerafeste Koordinatensystem (Xc, Yc, Zc) (Schritt S5) und ferner in das bildfeste Koordinatensystem (U, V) (Schritt S6) umgewandelt.
  • Wenn die Koordinatensysteme und ihre Richtungen definiert sind, wie es in den 4 und 5B gezeigt ist, stehen das laserradarfeste Koordinatensystem (XL, YL, ZL), das kamerafeste Koordinatensystem (Xc, Yc, Zc) und das bildfeste Koordinatensystem (U, V) miteinander in Beziehung, wie es durch die Formeln (2) und (3) gezeigt ist, die im Folgenden aufgeführt sind:
    Figure 00140001
    wobei R eine 3×3-Matrix ist, T eine 3×1-Matrix ist, und sowohl R als auch T vorab durch ein bekanntes Kamerakalibrierungsverfahren eingestellt werden, und
    Figure 00140002
    wobei F die Brennweite der Kamera 1 ist, (U0, V0) die Mitte des Bildes angibt, und (dU, dV) die Länge jedes Pixels angibt.
  • Nachdem die Schritte S2–S6 für die Koordinaten Ci aller Messpunkte (i = 0, ..., N-1) wiederholt worden sind (JA bei Schritt S7), werden diejenigen der Messpunkte, die sich in der gleichen Entfernung befinden (oder diejenigen Punkte mit den gleichen Abstandsdaten ZLi innerhalb eines spezifizierten Fehlerbereichs), als zu dem gleichen Objekt in Beziehung stehend in Gruppen zusammengefasst oder als zu der gleichen Gruppe gehörend korreliert (Schritt S8). Es sei jedoch darauf hingewiesen, dass dieses Zusammenfassen von Punkten in Gruppen nicht erfolgen darf, obwohl sich dieselben in der gleichen Entfernung befinden, wenn ihre Positionen nicht nahe genug beieinander liegen, um geringer als oder fast gleich dem Auflösungsniveau des Radars zu sein. Z. B. erfolgt das Zusammenfassen in Gruppen nur, wenn der Abstand zwischen den Messpunkten in der horizontalen Richtung kleiner oder gleich der Auflösung des emittierten Bündels in der horizontalen Richtung (Y-Richtung) ist, die in Radian mal Entfernung ausgedrückt wird. Selbst wenn dieser Abstand in der horizontalen Richtung kleiner oder gleich der Auflösung ist, werden die Punkte jedoch als zu verschiedenen Gruppen gehörend betrachtet, wenn die Entfernung ZLi größer ist als ein spezifizierter Bereich eines zulässigen Fehlers.
  • Dann werden die Bildverarbeitungsbereiche, die auf den Messpunkten basieren, die bei Schritt S8 in Gruppen zusammengefasst wurden, zu einem einzigen Bildverarbeitungsbereich kombiniert (Schritt S9). Genauer gesagt werden die oberste linke Koordinate und die unterste rechte Koordinate eines derartigen kombinierten Bereichs als Daten zum Charakterisieren des kombinierten Bereichs gewonnen. Im Vorhergehenden ist die oberste linke Koordinate eine der in einer Gruppe zusammengefassten oberen linken Koordinaten Ai in der Position, die die höchste und am weitesten auf der linken Seite ist, und die unterste rechte Koordinate ist eine der in einer Gruppe zusammengefassten un teren rechten Koordinaten Bi in der Position, die die unterste und am weitesten auf der rechten Seite ist.
  • Dann werden die Adressen bei den Bilddaten von Bereichen, die bei Schritt S9 zusammengesammelt wurden, und denjenigen, die nicht zusammengesammelt wurden, berechnet (Schritt S10), und eine spezifizierte Bildverarbeitung wird in dem Bildverarbeitungsbereich, der bei Schritt S10 spezifiziert wurde, durchgeführt (Schritt S11), um ein Fahrzeug oder dergleichen zu identifizieren und das Ergebnis an Steuerungen des Fahrzeugs auszugeben. Die im Vorhergehenden beschriebenen Prozesse werden von Schritt S1 an bei einem nächsten Takt wiederholt.
  • Wenn ein vorausfahrendes Fahrzeug 10 vorliegt, wie es in 3A gezeigt ist, oder wenn ein Bild, wie es in 3A gezeigt ist, durch die Kamera 1 gewonnen wird, kann eine Mehrzahl von Punkten Ci (i = 0, ..., N-1) bei Schritt S1 erhalten werden, wie es in den 3A und 3B gezeigt ist.
  • Nachdem die Schritte S2–S6 durchgeführt worden sind, wird ein rechteckiger Bereich Ki erhalten, der einem der Messpunkte Ci entspricht, wie es in 6A gezeigt ist. Wenn die Schritte S2–S6 wiederholt werden, werden rechteckige Bereiche Ki für alle Messpunkte Ci erhalten, obwohl nur K1–K3, die den Punkten C1–C3 entsprechen, in 6B aus Gründen der Übersichtlichkeit der Beschreibung mit Symbolen gezeigt sind. Wenn die rechteckigen Bereiche Ki bei den Schritten S8–S10 miteinander kombiniert werden, wird ein kombinierter Bereich K als der Endbildverarbeitungsbereich erhalten, wie es in 6C gezeigt ist.
  • Im Fall eines Fahrrads, das viel schmaler als ein Auto ist, ist die Anzahl von kombinierten rechteckigen Bereichen (oder die Anzahl von Messpunkten) kleiner, und der letztendlich erhaltene Bereich wird dementsprechend schmäler. Im Fall eines großen Lastwagens hingegen ist die Anzahl von kombinierten rechteckigen Bereichen größer, und der letztendlich erhaltene Bereich wird dementsprechend breiter. In ande ren Worten wird ein Bildverarbeitungsbereich mit unterschiedlicher Breite, die der horizontalen Größe des Objekts entspricht, bestimmt.
  • Mit einem Bildprozessor, wie er im Vorhergehenden beschrieben ist, wird ein Bereich, der seine Mitte an einer Position hat, an der ein Objekt erfasst wird, und der eine Ausbreitung gemäß dem Bündelquerschnitt des Radars aufweist, als der Bildverarbeitungsbereich bestimmt. Im Fall eines Objekts mit einer bestimmen Größe in der Abtastrichtung des Radars ist eine Mehrzahl von Messpunkten in der Abtastrichtung vorhanden, und eine Mehrzahl von Bildverarbeitungsbereichen wird dementsprechend bestimmt. Somit wird, wenn die Ausbreitung des Bündelquerschnitts angemessen eingestellt ist, die Gesamtheit (oder die Kombination) der bestimmten Bildbereiche zu einem geeigneten Bereich, der angemessen das Zielobjekt und seine Umgebung zumindest in der Abtastrichtung unabhängig von der Größe des Objekts umfasst. Im Fall einer Person oder eines Fahrrads, die relativ schmal sind, wird die Anzahl von Messpunkten z. B. kleiner, und der Bildverarbeitungsbereich wird dementsprechend in der Abtastrichtung schmäler. Im Fall eines relativ dazu größeren Objekts, wie z. B. einem Personenkraftwagen oder einem Lastwagen, nimmt die Anzahl von Messpunkten gemäß seiner großen Größe zu, und der Bildverarbeitungsbereich wird proportional dazu breiter.
  • Das im Vorhergehenden erläuterte Beispiel ist ferner dadurch gekennzeichnet, dass der Bildverarbeitungsbereich gemäß der Ausbreitung des Bündelquerschnitts bestimmt wird und somit die Größe des Objekts durch das Radar nicht genau bestimmt werden muss. Somit muss die Auflösung des Radars in seiner Abtastrichtung nicht erhöht werden, wie es bei der Technologie der im Vorhergehenden erwähnten japanischen Patentveröffentlichung Tokkai 6-124340 erforderlich ist, und eine Ansprechcharakteristik auf hohem Niveau kann auf eine energiesparende Weise erhalten werden.
  • Wenn eine Mehrzahl von Messpunkten an einem Objekt vorliegt, das durch das Radar erfasst wird, und wenn diese Messpunkte nahe beieinander liegen, sodass ihre Abstände geringer sind als das Auflösungsvermögen des Radars, werden diese Messpunkte als mit dem gleichen Objekt in Beziehung stehend gruppenartig zusammengefasst, und die Bildverarbeitungsbereiche, die diesen Messpunkten zugeordnet sind, werden als ein Bildverarbeitungsbereich miteinander vereinigt. Dies erleichtert die Bildverarbeitung zum Unterscheiden einzelner Objekte.
  • Gemäß diesem im Vorhergehenden beschriebenen Beispiel ist der Ausbreitungswinkel des Radarstrahls außerdem kleiner als der Winkel, der das Sichtfeld der Kamera 1 in alle Richtungen aufspannt. Somit kann der Bildverarbeitungsbereich in jeder beliebigen Richtung kleiner als das Bild gemacht werden, das durch die Bildaufnahmevorrichtung gewonnen wird, und die Belastung der Bildverarbeitung kann erheblich verringert werden. Der Ausbreitungswinkel des Bündels kann gemäß dem im Vorhergehenden beschriebenen Beispiel etwa gleich dem Bildwinkel der Kamera in der vertikalen Richtung, in der keine Abtastung durchzuführen ist, eingestellt werden.
  • Der Bildverarbeitungsbereich ist gemäß dem im Vorhergehenden beschriebenen Beispiel so definiert, dass derselbe rechteckig ist. Dies hat den Vorteil, seine Einstellung zu vereinfachen.
  • Nun wird ein Bildprozessor gemäß einem zweiten Ausführungsbeispiel der Erfindung beschrieben, der so charakterisiert ist, dass derselbe den Bildverarbeitungsbereich auf der Seite des unteren Randes in der vertikalen Richtung, entlang derer keine Abtastung durchgeführt wird, weiter begrenzt.
  • Ein Bildprozessor gemäß dem zweiten Ausführungsbeispiel führt den folgenden Prozess zwischen den Schritten S10 und S11 des Flussdiagramms von 7 durch.
  • Zuerst wird, wie es in 8A gezeigt ist, eine Referenzebene 11 parallel zu der Oberfläche der Straße, die das eigene Fahrzeug abstützt (wobei es sich um die Straßenoberfläche selbst handeln kann) definiert. Wenn die Kamera 1 parallel zu dieser Straßenoberfläche eingestellt ist, kann diese Ebene 11 durch die Höhe Xc in dem im Vorhergehenden erwähnten kamerafesten Koordinatensystem (Xc, Yc, Zc) charakterisiert werden, die die Höhe der optischen Achse der Kamera 1 von der Straßenoberfläche darstellt, auf der sich das eigene Fahrzeug befindet. Wenn die Straße eben ist, wie es in 8A gezeigt ist, ist diese Ebene 11 auch parallel zu der Straßenoberfläche an der Position eines vorausfahrenden Fahrzeugs 10.
  • Dann wird ein Messpunkt an einem Objekt, das durch das Radar erfasst wird (z. B. die Koordinaten Ci eines Messpunkts an dem vorausfahrenden Fahrzeug 10, die bei Schritt S5 des Flussdiagramms von 7 erhalten wurden), auf die Ebene 11 projiziert, wie es in 8B gezeigt ist, und die Koordinaten dieses projizierten Punktes Ci' werden gewonnen. Dann wird, wie es in 9A gezeigt ist, eine Linie L durch ein Verbinden von zwei oder mehr derartiger projizierter Punkte Ci' erhalten, und die so erhaltene Linie L wird in das bildfeste Koordinatensystem konvertiert, wie es in 9B gezeigt ist. Wenn ein Bildverarbeitungsbereich K bei diesem Bild bestimmt wird, wie es in 10A gezeigt ist, wird diese umgewandelte Linie L verwendet, um den unteren Rand des Bildverarbeitungsbereichs K' zu begrenzen, wie es in 10B gezeigt ist.
  • Durch dieses Ausführungsbeispiel der Erfindung kann, selbst wenn ein eindimensionales Abtastradar verwendet wird, sodass in der Aufwärts-Abwärts-Richtung keine Abtastung erfolgt, und die Bündelausbreitung in der vertikalen Richtung ausreichend groß eingestellt ist, um die Möglichkeit eines Erfassungsfehlers in dieser Richtung zu vermeiden, der untere Rand des Bildverarbeitungsbereichs gemäß der Minimalan forderung begrenzt werden, um denselben in der vertikalen Richtung nicht unnötig lang zu machen.
  • In diesem Fall wird es bevorzugt, eine Rasterabtastung der Bildverarbeitung von einer Position zu starten, die zu der Linie L nach der Umwandlung in das bildfeste Koordinatensystem benachbart ist, wie es in 11A gezeigt ist. Das bedeutet, dass die Bildverarbeitung von dem unteren Teil des Objekts gestartet wird und das Objekt durch die Bildverarbeitung schneller identifiziert werden kann. In 11A bezeichnet das Bezugszeichen 12 ein Fenster zum Extrahieren von Charakteristika durch die Rasterabtastung, das eine Mehrzahl von Pixeln aufweist, wie es in 11B gezeigt ist (die ein Beispiel für einen Bereich mit 3×3 Pixeln zeigt). 11B zeigt ferner ein Beispiel für Bilddaten, wie z. B. Helligkeitswerte eines Bildes. Durch einen Rasterabtastprozess wird ein Fenster, wie es bei 12 gezeigt ist, bewegt, wie es durch die Pfeile in 11A gezeigt ist, um den Rand auf einem Bild eines Objekts z. B. durch kumulative Additionsrechnung zu extrahieren.
  • Nun wird auf 12 Bezug genommen, um ein drittes Ausführungsbeispiel der Erfindung zu beschreiben, das eingerichtet ist, um die Größe des Bildverarbeitungsbereichs (oder die Ausbreitung des Bündelquerschnitts) zu verringern, wenn der Abstand zu dem Objekt, der durch das Radar 2 gemessen wird, zunimmt.
  • Gemäß diesem Ausführungsbeispiel führt der Bildprozessor 3 einen beliebigen der folgenden Prozesse (Prozesse 1, 2 und 3) bei Schritt S3 des Flussdiagramms von 7 durch.
  • Prozess 1 ist der des Veränderns des Radius „a" des Bündels gemäß dem Abstand ZL, der bei Schritt S2 erhalten wurde, als das Ergebnis der Messung durch das Radar, basierend auf der Formel (4), die im Folgenden angegeben ist:
    Figure 00210001
    wobei a der Bündelradius vor der Veränderung ist, a' der Bündelradius nach der Veränderung ist, d ein Standardabstand ist, d' ein Abstand als Ergebnis einer Messung ist (wie es in den 12A und 12B gezeigt ist), und K1 eine Konstante zur Einstellung ist.
  • Prozess 2 ist der des Veränderns des Bündelradius gemäß dem Abstand ZL, sodass die Querschnittsfläche des Bündels sich verändert, wie es durch Formel (5) gezeigt ist, die im Folgenden angegeben ist:
    Figure 00210002
    wobei S der Bündelquerschnitt vor der Veränderung ist, S' der Bündelquerschnitt nach der Veränderung ist, d und d' wie im Vorhergehenden definiert sind, und K2 eine weitere Konstante zur Einstellung ist.
  • Prozess 3 ist der des Veränderns des Ausbreitungswinkels des Bündels gemäß dem Abstand ZL, wie es durch Formel (6) gezeigt ist, die im Folgenden angegeben ist:
    Figure 00210003
    wobei θ der Ausbreitungswinkel des Bündels vor der Veränderung ist, θ' der Ausbreitungswinkel des Bündels nach der Veränderung ist, d und d' wie im Vorhergehenden definiert sind, und K3 eine weitere Konstante zur Einstellung ist.
  • Gemäß diesem Ausführungsbeispiel der Erfindung kann die Größe des Bildverarbeitungsbereichs angepasst werden, um angemessen klein zu sein, selbst nachdem der Abstand zu dem Objekt zugenommen hat, weil das reflektierte Licht von einer großen Entfernung nur durch die Mitte des Bündels zurückkommt, wo die Intensität hoch ist, und das Objekt näher bei der Mitte des Bündels ist.
  • Nun wird ein viertes Ausführungsbeispiel der Erfindung erläutert, gemäß dem der Bildprozessor 3 einen Korrekturprozess, wie er im Folgenden beschrieben ist, zwischen den Schritten S2 und S3 des Flussdiagramms von 7 durchführt, sodass die Position des Bildverarbeitungsbereichs gemäß dem Winkel zwischen den Mittelachsen der Kamera 1 und des Radars 2 angepasst wird.
  • dθ gebe den Winkel in der vertikalen Richtung zwischen den Mittelachsen der Kamera 1 und des Radars 2 an, wie es in 14A gezeigt ist. In dieser Situation wird die Koordinate jedes Messpunkts Ci in der vertikalen Richtung (XL) von H zu H + ZL·tan(dθ) geändert.
  • Wenn die Koordinatenumwandlungsformel mit der Bedingung eingestellt wird, bei der die Mittelachsen der Kamera 1 und des Radars 2 parallel sind, wie es in den 13A gezeigt ist, bleibt die Position des Bündelbereichs (d. h. die Position des Bildverarbeitungsbereichs) ordnungsgemäß, wie es in 13B gezeigt ist, solange diese Mittelachsen parallel zueinander bleiben. Wenn die Mittelachsen der Kamera 1 und des Radars 2 aus irgendeinem Grund nicht mehr parallel sind, wie es in 14A gezeigt ist, wird der Bildverarbeitungsbereich von seiner ordnungsgemäßen Position verschoben, wie es in 14B gezeigt ist. Wenn das Radar mit einem Winkelsensor mit der Funktion des Veränderns der Richtung seines Mittelbündels nach oben, wenn der Abstand zu dem vorausfahrenden Fahrzeug kürzer wird, ausgestattet ist, kann der Bildverarbeitungsbereich zum normalen Zustand, wie er in 13B gezeigt ist, durch ein Durchführen der im Vorhergehenden beschrieben Anpassung korrigiert werden.
  • Es muss nicht explizit darauf hingewiesen werden, dass diese im Vorhergehenden beschriebenen Ausführungsbeispiele nicht den Schutzbereich der Erfindung beschränken sollen. Viele weitere Modifizierungen und Variationen sind innerhalb des Schutzbereichs dieser Erfindung möglich. Z. B. ist diese Erfindung gleichermaßen gut bei einem System anwendbar, das mit einem Radar des zweidimensionalen Abtasttyps ausgestattet ist. In einem derartigen Fall kann die Größe des Bildverarbeitungsbereichs in allen Abtastrichtungen angepasst werden.
  • Die Querschnittsfläche der elektromagnetischen Wellen muss nicht elliptisch sein, sondern kann auch kreisförmig sein. Insbesondere im Fall eines zweidimensionalen Abtastradars besteht kein zwingendes Erfordernis, die Querschnittsform des Bündels in der vertikalen Richtung zu verlängern, um einen Erfassungsfehler in der Aufwärts-Abwärts-Richtung zu verhindern.

Claims (6)

  1. Bildverarbeitungssystem zur Anbringung an einem Fahrzeug, wobei das Bildverarbeitungssystem aufweist: ein Radar (2), welches zur Messung von Abstand und Richtung zu einem Objekt außerhalb des Fahrzeugs beruhend auf reflektierten elektromagnetischen Wellen, welche von ihm ausgegeben werden, durch Abtastung außerhalb des Fahrzeugs eingerichtet ist; eine Bildaufnahmevorrichtung, welche ein Außenbild zum Fahrzeug gewinnt; und einen Bildprozessor (3) zur Ausführung einer Bildverarbeitung auf einem spezifizierten Bildverarbeitungsbereich in einem mit der Bildaufnahmevorrichtung gewonnenen Bild; wobei der Bildprozessor (3) zur Bestimmung einer Mittenposition des Bildverarbeitungsbereichs gemäß Messpunkten eines mit dem Radar (2) festgestellten Objekts und der Größe des Bildverarbeitungsbereichs gemäß einem Bündelprofil von von dem Radar (2) ausgegebenen elektromagnetischen Wellen dient, dadurch gekennzeichnet, dass der Bildprozessor (3) dazu dient, wenn eine Anzahl von Messpunkten, die sich im gleichen Abstand und mit Orten innerhalb von Intervallen in horizontaler Richtung befinden, wobei die Intervalle gleich oder kleiner als die Auflösung des Radars (2) sind, die Anzahl von Messpunkten als einem einzelnen Objekt zugeordnet in Gruppen zusammenzufassen und Bildverarbeitungsbereiche, die einzeln den Messpunkten zugeordnet sind, als einen einzigen Bildverarbeitungsbereich zu verbinden; wobei die elektromagnetischen Wellen ein Bündel bilden, welches die Querschnittsform eines Kreises oder einer Ellipse hat und sich mit einem Ausbreitungswinkel ausbreitet, der kleiner als der Bildwinkel der Bildaufnahmevorrichtung in allen Richtungen ist; und dass der Bildprozessor (3) die Größe des Bildverarbeitungsbereichs gemäß Halbintensitätsorten, wo die Bündelintensität von elektromagnetischen Wellen, die von dem Radar (2) ausgegeben werden, die Hälfte der Maximalintensität der elektromagnetischen Wellen ist, bestimmt und die Größe des Bildverarbeitungsbereichs mit Zunahme des Abstandes des von dem Radar (2) festgestellten Objekts vermindert.
  2. Bildverarbeitungssystem nach Anspruch 1, wobei der Bildprozessor (3) eine Ebene definiert, welche parallel zur Straßenoberfläche ist, die das Fahrzeug abstützt, Messpunkte des mit dem Radar (2) festgestellten Objekts auf die Ebene projiziert, eine Linie durch Verbinden von zwei der auf die Ebene projizierten Punkte bestimmt, die Linie in einem bildfesten Koordinatensystem darstellt, einen unteren Rand des Bildverarbeitungsbereichs durch die in dem bildfesten Koordinatensystem dargestellte Linie begrenzt und eine Rasterabtastung der Bildverarbeitung von einem Startpunkt benachbart zu der in dem bildfesten Koordinatensystem dargstellten Linie beginnt.
  3. Bildverarbeitungssystem nach Anspruch 1, wobei der Bildprozessor (3) den Ort des Bildverarbeitungsbereichs gemäß dem Winkel zwischen der Mittelachse des Radars (2) und der Bildaufnahmevorrichtung korrigiert.
  4. Bildverarbeitungssystem nach Anspruch 2, wobei der Bildprozessor (3) den Ort des Bildverarbeitungsbereichs gemäß dem Winkel zwischen der Mittelachse des Radars (2) und der Bildaufnahmevorrichtung korrigiert.
  5. Bildverarbeitungssystem nach Anspruch 1, wobei der Bild prozessor (3) die Form des Bildverarbeitungsbereichs als Rechteck festlegt, das einen Kreis oder eine Ellipse mit der Querschnittsform des von dem Radar (2) ausgegebenen Bündels elektromagnetischer Wellen umschreibt oder in dieses eingeschrieben ist, und den Bildverarbeitungsbereich durch Eckpositionen von zwei wechselseitig diagonal liegenden Winkeln des Rechtecks identifiziert.
  6. Bildverarbeitungssystem nach Anspruch 2, wobei der Bildprozessor (3) die Form des Bildverarbeitungsbereichs als Rechteck festlegt, das einen Kreis oder eine Ellipse mit der Querschnittsform des von dem Radar (2) ausgegebenen Bündels elektromagnetischer Wellen umschreibt oder in dieses eingeschrieben ist, und den Bildverarbeitungsbereich durch Eckpositionen von zwei wechselseitig diagonal liegenden Winkeln des Rechtecks identifiziert.
DE602005004365T 2004-11-26 2005-11-10 Bildverarbeitungssystem für Kraftfahrzeug-Anwendungen Active DE602005004365T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004342950 2004-11-26
JP2004342950A JP2006151125A (ja) 2004-11-26 2004-11-26 車載用画像処理装置

Publications (2)

Publication Number Publication Date
DE602005004365D1 DE602005004365D1 (de) 2008-03-06
DE602005004365T2 true DE602005004365T2 (de) 2009-01-02

Family

ID=36127311

Family Applications (1)

Application Number Title Priority Date Filing Date
DE602005004365T Active DE602005004365T2 (de) 2004-11-26 2005-11-10 Bildverarbeitungssystem für Kraftfahrzeug-Anwendungen

Country Status (5)

Country Link
US (1) US7176830B2 (de)
EP (2) EP1847849A3 (de)
JP (1) JP2006151125A (de)
CN (1) CN100451676C (de)
DE (1) DE602005004365T2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4099298A1 (de) * 2021-05-31 2022-12-07 Deutsche Telekom AG Verfahren zur gefahrendetektion und/oder kollisionsvermeidung eines sich bewegenden fahrzeugs, system, telekommunikationsnetz umfassend wenigstens eine edge-cloud-einrichtung, computerprogramm und computerlesbares medium
EP4099297A1 (de) * 2021-05-31 2022-12-07 Deutsche Telekom AG Verfahren zur gefahrendetektion und/oder kollisionsvermeidung eines sich bewegenden fahrzeugs, system, telekommunikationsnetz umfassend wenigstens eine edge-cloud-einrichtung, computerprogramm und computerlesbares medium

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796081B2 (en) * 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
US9428186B2 (en) 2002-04-09 2016-08-30 Intelligent Technologies International, Inc. Exterior monitoring for vehicles
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
WO2008115193A2 (en) * 2006-06-08 2008-09-25 Vista Research, Inc. Sensor suite and signal processing for border surveillance
JP4967666B2 (ja) * 2007-01-10 2012-07-04 オムロン株式会社 画像処理装置および方法、並びに、プログラム
JP2008172441A (ja) 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
JP4698617B2 (ja) * 2007-01-17 2011-06-08 三菱電機株式会社 画像伝送装置及び画像伝送方法
US8013780B2 (en) * 2007-01-25 2011-09-06 Magna Electronics Inc. Radar sensing system for vehicle
JP4861855B2 (ja) 2007-02-15 2012-01-25 株式会社バンダイナムコゲームス 指示位置演算システム、指示体及びゲームシステム
JP2008203992A (ja) 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP5132164B2 (ja) * 2007-02-22 2013-01-30 富士通株式会社 背景画像作成装置
JP5160114B2 (ja) * 2007-03-26 2013-03-13 本田技研工業株式会社 車両の通り抜け判断装置
US8126210B2 (en) 2007-04-27 2012-02-28 Honda Motor Co., Ltd. Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP5145599B2 (ja) * 2007-04-27 2013-02-20 本田技研工業株式会社 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
US8049658B1 (en) * 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
DE102007046287B4 (de) * 2007-09-27 2009-07-30 Siemens Ag Verfahren zur Kalibrierung einer Sensoranordnung
JP5163084B2 (ja) * 2007-12-06 2013-03-13 トヨタ自動車株式会社 物体検出装置
US8106755B1 (en) * 2008-02-14 2012-01-31 Epsilon Lambda Electronics Corp. Triple-function vehicle safety sensor system
JP5029436B2 (ja) * 2008-03-12 2012-09-19 オムロン株式会社 横断物体検知装置および横断物体検知方法、並びにプログラム
JP4453775B2 (ja) 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
DE102008039606A1 (de) * 2008-08-25 2010-03-04 GM Global Technology Operations, Inc., Detroit Kraftfahrzeug mit einem Abstandssensor und einem Bilderfassungssystem
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
CN101769723B (zh) * 2008-12-30 2013-07-03 鸿富锦精密工业(深圳)有限公司 电子装置及其物体形状参数测量方法
JP5907546B2 (ja) * 2009-01-16 2016-04-26 日本電気株式会社 位置情報解析装置、位置情報解析方法、位置情報解析システムおよびプログラム
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
KR101043450B1 (ko) * 2009-07-31 2011-06-21 삼성전기주식회사 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법
US8306672B2 (en) * 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
JP5673568B2 (ja) * 2012-01-16 2015-02-18 トヨタ自動車株式会社 物体検出装置
JP5986206B2 (ja) * 2012-07-27 2016-09-06 京セラ株式会社 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9167214B2 (en) 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
US20140205139A1 (en) * 2013-01-18 2014-07-24 Caterpillar Inc. Object recognition system implementing image data transformation
JP5729398B2 (ja) 2013-01-22 2015-06-03 株式会社デンソー 車載物標検出装置
US9557415B2 (en) * 2014-01-20 2017-01-31 Northrop Grumman Systems Corporation Enhanced imaging system
JP6403393B2 (ja) * 2014-02-12 2018-10-10 住友重機械工業株式会社 画像生成装置
JP6190758B2 (ja) * 2014-05-21 2017-08-30 本田技研工業株式会社 物体認識装置及び車両
KR102273027B1 (ko) * 2014-06-09 2021-07-05 삼성전자주식회사 위치정보를 사용하여 설정된 관심영역을 사용하여 영상데이터를 생성하는 방법 및 장치
JP6361366B2 (ja) * 2014-08-18 2018-07-25 株式会社デンソー 物体認識装置
US10018709B2 (en) * 2014-09-19 2018-07-10 GM Global Technology Operations LLC Radar target detection via multi-dimensional cluster of reflectors
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
US10082563B2 (en) * 2014-12-17 2018-09-25 Northrop Grumman Systems Corporation Synthesized profile
JP6419601B2 (ja) * 2015-02-24 2018-11-07 株式会社東芝 移動光通信システムとその光送信装置および撮像制御方法
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9891313B2 (en) * 2015-05-08 2018-02-13 Htc Corporation Radar device and security monitoring system
US10102419B2 (en) * 2015-10-30 2018-10-16 Intel Corporation Progressive radar assisted facial recognition
US20170242117A1 (en) * 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
US10359779B2 (en) 2016-03-22 2019-07-23 Aurora Flight Sciences Corporation Aircrew automation system and method
JP6736931B2 (ja) * 2016-03-24 2020-08-05 日産自動車株式会社 立体物検出方法及び立体物検出装置
US10145951B2 (en) 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
CN105806563A (zh) * 2016-05-17 2016-07-27 福建工程学院 石材矿山叉装车智能辅助作业装置及方法
CN106044663B (zh) * 2016-06-23 2018-12-18 福建工程学院 一种基于视觉技术的可测重石材矿山叉装车及其测重方法
JP6722066B2 (ja) * 2016-08-29 2020-07-15 株式会社Soken 周辺監視装置及び周辺監視方法
CN106405555B (zh) * 2016-09-23 2019-01-01 百度在线网络技术(北京)有限公司 用于车载雷达系统的障碍物检测方法和装置
KR101967305B1 (ko) * 2016-10-14 2019-05-15 주식회사 만도 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
CN106647740A (zh) * 2016-11-15 2017-05-10 江苏智石科技有限公司 一种基于光栅的智能料盒运输车
JP6836940B2 (ja) * 2017-03-22 2021-03-03 本田技研工業株式会社 レーザ式測距装置のノイズデータの特定方法
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
US10816970B2 (en) 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
JP6988200B2 (ja) * 2017-06-29 2022-01-05 株式会社デンソー 車両制御装置
CN109238275A (zh) * 2017-07-10 2019-01-18 李公健 智能识别车辆停放管理及远程了解车辆姿态的系统
US10453351B2 (en) 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10509415B2 (en) 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
US10962638B2 (en) 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with surface modeling
US10962641B2 (en) 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with enhanced accuracy using interferometry techniques
US11150342B2 (en) 2017-09-07 2021-10-19 Magna Electronics Inc. Vehicle radar sensing system with surface segmentation using interferometric statistical analysis
US10877148B2 (en) 2017-09-07 2020-12-29 Magna Electronics Inc. Vehicle radar sensing system with enhanced angle resolution using synthesized aperture
CN111492403A (zh) * 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
US20190120934A1 (en) * 2017-10-19 2019-04-25 GM Global Technology Operations LLC Three-dimensional alignment of radar and camera sensors
US10297152B1 (en) * 2017-10-27 2019-05-21 Waymo Llc Displaying sensor data and supplemental data as a mask for autonomous vehicles
US10875662B2 (en) 2018-04-19 2020-12-29 Aurora Flight Sciences Corporation Method of robot manipulation in a vibration environment
US10850397B2 (en) 2018-04-19 2020-12-01 Aurora Flight Sciences Corporation System and method for providing in-cockpit actuation of aircraft controls
WO2020028219A1 (en) * 2018-07-30 2020-02-06 Pony Ai Inc. System and method for calibrating on-board vehicle cameras
US11399137B2 (en) 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system
US11151810B2 (en) 2018-10-12 2021-10-19 Aurora Flight Sciences Corporation Adaptable vehicle monitoring system
US11037453B2 (en) 2018-10-12 2021-06-15 Aurora Flight Sciences Corporation Adaptive sense and avoid system
US11059489B2 (en) * 2018-10-24 2021-07-13 Valeo Radar Systems, Inc. Methods and systems for detecting road surface conditions
US20220017117A1 (en) * 2018-12-07 2022-01-20 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
WO2022019117A1 (ja) * 2020-07-21 2022-01-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2022152835A (ja) * 2021-03-29 2022-10-12 京セラ株式会社 情報処理装置、車両、路側機、および情報処理方法
CN113625243A (zh) * 2021-07-28 2021-11-09 山东浪潮科学研究院有限公司 恶劣天气下提高激光雷达图像信噪比的方法及装置
WO2023190058A1 (ja) * 2022-03-30 2023-10-05 パナソニックIpマネジメント株式会社 画像処理方法および画像処理装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4063073A (en) * 1974-11-29 1977-12-13 Strayer Larry G Computer system to prevent collision between moving objects such as aircraft moving from one sector to another
JPS534932A (en) * 1976-05-29 1978-01-18 Nissan Motor Co Ltd Device for collision avoidance of moving body
JPH0812072B2 (ja) * 1990-06-13 1996-02-07 三菱電機株式会社 距離測定装置
JP3123303B2 (ja) * 1992-07-21 2001-01-09 日産自動車株式会社 車両用画像処理装置
US5347459A (en) * 1993-03-17 1994-09-13 National Research Council Of Canada Real time collision detection
JP3264060B2 (ja) * 1993-11-04 2002-03-11 三菱自動車工業株式会社 自動車の走行制御装置の先行車検出機構
JP3212218B2 (ja) * 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
JP3044524B2 (ja) * 1995-05-23 2000-05-22 本田技研工業株式会社 車両における対照物検知方法
US5835880A (en) * 1995-07-19 1998-11-10 Vi & T Group, Inc. Apparatus and method for vehicle following with dynamic feature recognition
DE69611278T2 (de) * 1995-11-10 2001-05-23 Toyota Motor Co Ltd Radargerät zur Erfassung der Richtung des Zentrums eines Ziels
JP3331882B2 (ja) * 1995-12-27 2002-10-07 株式会社デンソー 車両用障害物検出装置の中心軸偏向量算出装置,中心軸偏向量補正装置,および車間制御装置
JPH09222477A (ja) * 1996-02-19 1997-08-26 Toyota Motor Corp 車載用レーダ装置
JPH09264954A (ja) * 1996-03-29 1997-10-07 Fujitsu Ten Ltd レーダを用いた画像処理システム
US6025797A (en) * 1997-07-22 2000-02-15 Denso Corporation Angular shift determining apparatus for determining angular shift of central axis of radar used in automotive obstacle detection system
US5959569A (en) * 1997-10-09 1999-09-28 Eaton Vorad Technologies, L.L.C. Method and apparatus for in path target determination for an automotive vehicle using a gyroscopic device
JP3480486B2 (ja) * 1998-08-18 2003-12-22 トヨタ自動車株式会社 Fm−cwレーダ装置
JP2000298164A (ja) * 1999-04-15 2000-10-24 Honda Motor Co Ltd マルチ・チャンネルレーダ装置
US6121916A (en) * 1999-07-16 2000-09-19 Eaton-Vorad Technologies, L.L.C. Method and apparatus for recognizing stationary objects with a moving side-looking radar
JP4308381B2 (ja) * 1999-09-29 2009-08-05 富士通テン株式会社 周辺監視センサ
JP4308405B2 (ja) * 2000-04-14 2009-08-05 富士通テン株式会社 物体検出装置
EP1369705B1 (de) * 2001-03-15 2009-12-30 Fujitsu Ten Limited Signalverarbeitungsverfahren für abtastradar
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP3729127B2 (ja) * 2001-12-13 2005-12-21 株式会社村田製作所 レーダ
US6771208B2 (en) * 2002-04-24 2004-08-03 Medius, Inc. Multi-sensor system
JP3862015B2 (ja) * 2002-10-25 2006-12-27 オムロン株式会社 車載用レーダ装置
JP2004233275A (ja) * 2003-01-31 2004-08-19 Denso Corp 車載レーダ装置
US6674394B1 (en) * 2003-03-28 2004-01-06 Visteon Global Technologies, Inc. Method for determining object location from side-looking sensor data
US6834232B1 (en) * 2003-07-30 2004-12-21 Ford Global Technologies, Llc Dual disimilar sensing object detection and targeting system
JP3941765B2 (ja) * 2003-09-11 2007-07-04 トヨタ自動車株式会社 物体検出装置
JP2005284410A (ja) * 2004-03-26 2005-10-13 Omron Corp 車両認識装置及び車両認識方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4099298A1 (de) * 2021-05-31 2022-12-07 Deutsche Telekom AG Verfahren zur gefahrendetektion und/oder kollisionsvermeidung eines sich bewegenden fahrzeugs, system, telekommunikationsnetz umfassend wenigstens eine edge-cloud-einrichtung, computerprogramm und computerlesbares medium
EP4099297A1 (de) * 2021-05-31 2022-12-07 Deutsche Telekom AG Verfahren zur gefahrendetektion und/oder kollisionsvermeidung eines sich bewegenden fahrzeugs, system, telekommunikationsnetz umfassend wenigstens eine edge-cloud-einrichtung, computerprogramm und computerlesbares medium

Also Published As

Publication number Publication date
DE602005004365D1 (de) 2008-03-06
EP1847849A3 (de) 2010-08-11
US7176830B2 (en) 2007-02-13
JP2006151125A (ja) 2006-06-15
EP1847849A2 (de) 2007-10-24
CN100451676C (zh) 2009-01-14
US20060125679A1 (en) 2006-06-15
EP1666919A3 (de) 2006-10-18
EP1666919B1 (de) 2008-01-16
CN1779483A (zh) 2006-05-31
EP1666919A2 (de) 2006-06-07

Similar Documents

Publication Publication Date Title
DE602005004365T2 (de) Bildverarbeitungssystem für Kraftfahrzeug-Anwendungen
DE112010002047B4 (de) Objekterfassungsvorrichtung
DE102015221439B3 (de) Verfahren und Vorrichtung zur Auswahl und Übertragung von Sensordaten von einem ersten zu einem zweiten Kraftfahrzeug
DE19518978C2 (de) Hinderniserfassungsvorrichtung für Kraftfahrzeuge
DE102013209415A1 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102011007133B4 (de) Vorrichtung und verfahren zum erkennen des vorhandenseins von objekten
DE10115080B4 (de) Objekterkennungssystem
DE102008064411B4 (de) Belichtungssteuerungsvorrichtung und Belichtungssteuerungsprogramm für eine in einem Fahrzeug installierte elektronische Kamera
DE102008063122B4 (de) Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera
EP1615047A2 (de) Verfahren zur Kalibrierung eines optischen Abstandssensors an einem Fahrzeug
EP3299995A1 (de) Bildanalysesystem für landwirtschaftliche arbeitsmaschinen
DE112008004187B4 (de) Objektmessvorrichtung und verfahren zur verwendung in der vorrichtung
DE202017007675U1 (de) Computerprogrammprodukt mit einem Computerprogramm zur Verarbeitung von visuellen Daten einer Straßenoberfläche
DE102010012811B4 (de) Verfahren zur Messung von Geschwindigkeiten und Zuordnung der gemessenen Geschwindigkeiten zu angemessenen Fahrzeugen durch Erfassen und Zusammenführen von Objekt-Trackingdaten und Bild-Trackingdaten
DE102005016288A1 (de) Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug
DE102008031784A1 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
DE19932779A1 (de) Rückfahrhilfe
DE102009023896A1 (de) Vorrichtung und Verfahren zum Erfassen einer Pflanze
DE102012221777A1 (de) Spurverfolgungssystem
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
DE112017004987B4 (de) Bilderzeugungsvorrichtung, Bilderzeugungsverfahren und Aufzeichnungsmedium
DE112014006876T5 (de) Fahrassistenzvorrichtung, Fahrassistenzverfahren und Programm
EP1953568A1 (de) Imager-Halbleiterbauelement, Kamerasystem und Verfahren zum Erstellen eines Bildes
DE112015006032T5 (de) Vorrichtung und verfahren zur bilderfassung, programm und aufzeichnungsmedium
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens

Legal Events

Date Code Title Description
8364 No opposition during term of opposition