DE60104599T2 - Umgebungs-Überwachungssystem für bewegliche Körper wie Kraftfahrzeug oder Zug - Google Patents

Umgebungs-Überwachungssystem für bewegliche Körper wie Kraftfahrzeug oder Zug Download PDF

Info

Publication number
DE60104599T2
DE60104599T2 DE60104599T DE60104599T DE60104599T2 DE 60104599 T2 DE60104599 T2 DE 60104599T2 DE 60104599 T DE60104599 T DE 60104599T DE 60104599 T DE60104599 T DE 60104599T DE 60104599 T2 DE60104599 T2 DE 60104599T2
Authority
DE
Germany
Prior art keywords
image
mobile body
vehicle
perspective
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60104599T
Other languages
English (en)
Other versions
DE60104599T3 (de
DE60104599D1 (de
Inventor
Kiyoshi Miyazu Kumata
Toru Shigeta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=18657663&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE60104599(T2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sharp Corp filed Critical Sharp Corp
Application granted granted Critical
Publication of DE60104599D1 publication Critical patent/DE60104599D1/de
Publication of DE60104599T2 publication Critical patent/DE60104599T2/de
Publication of DE60104599T3 publication Critical patent/DE60104599T3/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/19626Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Description

  • Die Erfindung betrifft ein Umgebungs-Überwachungssystem. Die Erfindung betrifft insbesondere ein Umgebungs-Überwachungssystem zum Einsatz in einem mobilen Körper, beispielsweise einem Auto, einem Zug oder dergleichen. Die Erfindung betrifft weiterhin einen mobilen Körper (beispielsweise ein Auto, ein Zug oder dergleichen), das das Umgebungs-Überwachungssystem benutzt.
  • BESCHREIBUNG DES STANDES DER TECHNIK
  • Die Anzahl der Verkehrsunfälle hat in den letzten Jahren stark zugenommen. Besonders häufig treten Verkehrsunfälle auf Kreuzungen auf. Es wird angenommen, dass die Verkehrsunfälle zu einem großen Anteil darauf beruhen, dass das Blickfeld für Fahrer sowie Fußgänger im Kreuzungsgebiet eingeschränkt ist bzw. Fahrer und Fußgänger ihrer Umgebung nicht genug Beachtung schenken, um rechtzeitig potentielle Gefahren zu erkennen. Daher müssen Anstrengungen unternommen werden, um die Fahrzeuge zu verbessern, sowie die Aufmerksamkeit der Fahrer zu schärfen.
  • Eine Möglichkeit, den Verkehr der unmittelbaren Umgebung besser im Auge zu haben, besteht darin, Spiegel zu benutzen, so dass beispielsweise an Kreuzungen Fahrer als auch Fußgänger Schattengebiete, die hinter Gegenständen verborgen sind, nicht übersehen. Nachteilig hierbei ist jedoch, dass die Größe des Schattengebiets, die durch einen Spiegel erfasst werden kann, begrenzt ist, und selten so viele Spiegel benutzt werden, dass sämtliche Schattengebiete erfasst werden.
  • In den letzten Jahren wurden Großfahrzeuge, beispielsweise Busse sowie einige weitere Typen von Passagierfahrzeugen mit einem Überwachungssystem versehen, womit es möglich wurde, das Geschehen um das Fahrzeug herum zu erfassen. Das Überwachungssystem wurde insbesondere an der Rückseite des jeweiligen Fahrzeugs angebracht. Das System umfasst eine Überwachungskamera, die auf der Rückseite des Fahrzeugs installiert ist, und einen Monitor, der in der Nähe des Fahrersitzes oder auf einem Armaturenbrett vorgesehen ist. Der Monitor ist mit der Überwachungskamera über ein Kabel verbunden. Das durch die Überwachungskamera erhaltene Bild wird auf dem Monitor angezeigt. Das Überwachungssystem entbindet den Fahrer jedoch nicht davon, beide Seiten neben dem Fahrzeug im Auge zu behalten. Dementsprechend kann es vorkommen, dass innerhalb kritischer Gebiete, beispielsweise im Bereich einer Kreuzung, der Fahrer potentielle Gefahren nicht rechtzeitig erkennt, die in Schattenbereichen verborgen sind. Nachteilig ist weiterhin, dass eine Kamera eines derartigen Typs ein begrenztes Blickfeld hat, so dass durch die Kamera nur Hindernisse bzw. mögliche Kollisionsgefahren hinsichtlich einer Richtung erfassen kann. Um Hindernisse bzw. Kollisionsgefahren über einen weiten Bereich hinweg zu erfassen, müssen Modifikationen vorgenommen werden, beispielsweise eine Änderung des Aufnahmewinkels.
  • Da die Kameras herkömmlicher Überwachungssysteme in der Regel dazu ausgelegt sind, nur in einer Richtung zu über wachen, wird eine Vielzahl an Kameras benötigt, um ein 360°-Gebiet um ein Fahrzeug herum zu erfassen. Das heißt, es ist notwendig, vier oder mehr Kameras einzusetzen, wobei die Vorderseite, Rückseite sowie die linke und rechte Fahrzeugseite jeweils mit einer Kamera versehen wird.
  • Des Weiteren ist es notwendig, den Monitor des Überwachungssystems an einer Position zu installieren, die der Fahrer aus der Fahrposition leicht einsehen kann, das heißt der Monitor muss im vorderen Bereich des Fahrzeugs installiert werden. Geeignete Positionen zur Installation des Monitors sind daher begrenzt.
  • In den letzten Jahren ist der Einsatz von Fahrzeugposition-Anzeigesystemen (Fahrzeugnavigationssysteme) zum Anzeigen der Position eines Fahrzeugs unter Verwendung eines Global Positioning Systems (GPS) und dergleichen üblich geworden. Wenn in einem Fahrzeug sowohl ein Überwachungs-Kamerasystem und ein Fahrzeugnavigationssystem eingesetzt wird, sind ein Monitor für das Überwachungs-Kamerasystem und eine Anzeigevorrichtung des Fahrzeugnavigationssystems notwendig, was dazu führt, dass (die beiden Monitore sind separat voneinander vorgesehen) der Fahrer in seiner Bewegungsfreiheit eingeschränkt wird. In vielen Fällen ist es unmöglich, sowohl den Monitor als auch die Anzeigevorrichtung an Positionen zu installieren, die gleichermaßen gut vom Fahrer eingesehen werden können. Nachteilig ist weiterhin, dass zwei unterschiedliche Systeme gleichzeitig bedient werden müssen.
  • Der Fahrer eines Fahrzeugs muss daher die Umgebung des Fahrzeugs ständig im Auge behalten. Wenn der Fahrer bei spielsweise seine Fahrt antritt, muss er die rechte Seite, die linke Seite, sowie die Vorder- und Rückseite des Fahrzeugs im Auge behalten. Wenn das Fahrzeug nach rechts oder links abbiegt, bzw. wenn der Fahrer das Fahrzeug einparkt bzw. ausparkt, muss der Fahrer die Umgebung des Fahrzeugs im Auge behalten. Aufgrund der Form bzw. Struktur des Fahrzeugs sind jedoch Schattenbereiche zu berücksichtigen, das heißt Bereiche, die der Fahrer nicht direkt einsehen kann, was eine ernstzunehmende Gefahr darstellt.
  • Wenn ein herkömmliches Überwachungssystem verwendet wird, ist es notwendig, eine Vielzahl an Kameras einzusetzen, um ein 360°-Gebiet um das Fahrzeug herum abzudecken. Der Fahrer muss zwischen den einzelnen Kameras hin- und herschalten, oder in Abhängigkeit der momentanen Fahrumstände eine der Kameras auswählen, um die Vorgänge um das Fahrzeug im Auge zu behalten. Dies stellt eine nicht zu vernachlässigende Belastung des Fahrers dar.
  • Die Druckschrift US 5 949 331 offenbart ein Videosystem für ein Fahrzeug mit einer Bilderfassungsvorrichtung und einem Anzeigesystem, wobei das Anzeigesystem ein Bild anzeigt, das aus einer Ausgabe der Bilderfassungsvorrichtung synthetisiert wurde.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Erfindungsgemäß wird ein Umgebungs-Überwachungssystem gemäß Patentanspruch 1 bereitgestellt.
  • In einer Ausführungsform der Erfindung zeigt die Anzeigeeinrichtung das Panoramabild sowie das perspektivische Bild gleichzeitig an. Alternativ zeigt die Anzeigeeinrichtung selektiv das Panoramabild oder das perspektivische Bild an.
  • In einer weiteren bevorzugten Ausführungsform der Erfindung zeigt die Anzeigeeinrichtung gleichzeitig wenigstens Frontal-, Links- und Rechts-Blickfelder in Perspektivdarstellung innerhalb des 360°-Blickfelds basierend auf den zweiten Bilddaten an.
  • In einer weiteren Ausführungsform der Erfindung wählt die Anzeigesteuereinrichtung eines der Frontal-, Links- und Rechts-Blickfelder, die durch die Anzeigeeinrichtung perspektivisch dargestellt werden, aus; der Bildprozessor bewegt das perspektivische Blickfeld-Bild vertikal/horizontal oder skaliert dieses hoch/herunter, das durch die Anzeigesteuereinrichtung gemäß einer externen Eingabe bzw. Operation ausgewählt wurde; die Anzeigeeinrichtung zeigt das bewegte oder hochskalierte/herunterskalierte Bild an.
  • In einer weiteren Ausführungsform der Erfindung beinhaltet die Anzeigeeinrichtung eine Orts-Anzeigeeinrichtung zum Anzeigen des Ortes eines mobilen Körpers, wobei die Anzeigesteuereinrichtung die Anzeigeeinrichtung zwischen einem Bild, das die Umgebung des mobilen Körpers zeigt, und einem Bild, das den Ort des mobilen Körpers zeigt, schaltet.
  • In einer weiteren Ausführungsform der Erfindung stellt der mobile Körper ein motorisiertes Fahrzeug dar.
  • In einer weiteren Ausführungsform der Erfindung ist der wenigstens eine omniazimutale optische Sensor auf einem Dach des motorisierten Fahrzeugs montiert.
  • In einer weiteren Ausführungsform der Erfindung weist der wenigstens eine omniazimutale optische Sensor erste und zweite omniazimutale optische Sensoren auf, ist der erste omniazimutale optische Sensor auf der Vorderseitentoßstange des motorisierten Fahrzeugs vorgesehen, und ist der zweite omniazimutale optische Sensor auf der Rückseitenstoßstange des motorisierten Fahrzeugs vorgesehen.
  • In einer weiteren Ausführungsform der Erfindung ist der erste omniazimutale optische Sensor auf einer linken oder rechten Ecke der Vorderseiten-Stoßstange vorgesehen, und der zweite omniazimutale optische Sensor bei einer diagonalen Position auf der Rückseiten-Stoßstange hinsichtlich des ersten omniazimutalen optischen Sensors vorgesehen.
  • In einer weiteren bevorzugten Ausführungsform der Erfindung stellt der mobile Körper einen Zug dar.
  • In einer weiteren bevorzugten Ausführungsform weist das Umgebungs-Überwachungssystem (im Folgenden auch "Umgebungs-Radarsystem" genannt) auf: eine Einrichtung zum Ermitteln einer. Distanz zwischen dem mobilen Körper und einem Objekt um den mobilen Körper herum, einer Relativgeschwindigkeit des Objekts hinsichtlich des mobilen Körpers, und einer Bewegungsrichtung des Objekts basierend auf einem Signal der Bilddaten von dem wenigstens einen omniazimutalen Sensor und einem Geschwindigkeitssignal von dem mobilen Körper, und eine Alarmeinrichtung zum Erzeugen von Alarminformation für den Fall, dass das Objekt in ein bestimmtes Gebiet um den mobilen Körper herum eintritt.
  • In der Beschreibung ist die Formulierung "ein optisches System ist der Zentral-Projektions-Transformation mächtig" so zu verstehen, dass eine Bilderzeugungsvorrichtung dazu im Stande ist, ein Bild zu erzeugen, das einem Bild entspricht, das von einem bestimmten Standpunkt/Brennpunkt aus gesehen wird (gewählt aus einer Mehrzahl möglicher Standpunkte eines optischen Systems).
  • Im Folgenden sollen die Funktionsweise sowie Ausführungsformen der Erfindung erläutert werden.
  • Ein Umgebungs-Überwachungssystem benutzt als Teil eines Omniazimutal-Optiksensors ein optisches System, das dazu im Stande ist, ein Bild mit einem 360°-Blickfeld um einen mobilen Körper herum zu erfassen, und das Bild einer Zentral-Projektions-Transformation zu unterziehen. Das durch ein derartiges optisches System erhaltene Bild wird in erste Bilddaten umgewandelt mittels eines Bilderzeugungsabschnitts, wobei die ersten Bilddaten in ein Panoramabild oder ein perspektivisches Bild transformiert werden, so dass zweite Bilddaten erhalten werden. Die zweiten Bilddaten werden auf der Anzeigeeinrichtung angezeigt. Die Wahl des Bilds und die Größe des ausgewählten Bilds werden durch die Anzeigesteuereinrichtung gesteuert. Mit einem derartigen Aufbau kann ein Fahrer prüfen, was um den mobilen Körper herum vorgeht, ohne zwischen mehreren Kameras hin und her zu schalten bzw. ohne die Richtung der Kamera zu ändern, wie das in herkömmlichen Fahrzeug-Umgebungsvorrichtungen der Fall ist, deren Hauptzweck eine Überwachung in einer Richtung darstellt.
  • Beispielsweise kann ein Omniazimut-Optiksensor auf einem Dach oder auf einer Vorderseiten-Stoßstange oder einer Rückseiten-Stoßstange eines Automobils vorgesehen werden, wodurch die Schattenbereiche des Fahrers erfasst werden können. Das Umgebungs-Überwachungssystem ist nicht nur im Zusammenhang mit Automobilen, sondern auch im Zusammenhang mit Zügen einsetzbar.
  • Die Anzeigerichtung kann gleichzeitig ein Panoramabild und ein perspektivisches Bild anzeigen oder selektiv zwischen dem Panoramabild und dem perspektivischen Bild hin und her schalten. Alternativ kann die Anzeigeeinrichtung gleichzeitig wenigstens Frontal-, Links- und Rechts-Blickfelder in Perspektivdarstellung anzeigen (wobei unter Frontal-, Rück-, Links-, und Rechts-Blickfeld-Perspektivbildern gewählt werden kann). Wenn notwendig, zeigt die Anzeigeeinrichtung das perspektivische Rückseiten-Blickfeld-Bild an. Weiterhin kann die Anzeigesteuereinrichtung ein Bild auswählen, wobei das ausgewählte Bild vertikal/horizontal bewegt (Schwenk-/Kippbewegung) oder hoch-/herunterskaliert werden kann unter Verwendung eines Bildprozessors in Antwort auf eine externe Tasten-Betätigung. Auf diese Art und Weise kann ein anzuzeigendes Bild ausgewählt werden, wobei die Größe des gewählten Bilds frei eingestellt/gesteuert werden kann. Somit kann der Fahrer die Vorgänge um den mobilen Körper herum auf einfache Art und Weise im Auge behalten.
  • Das Umgebungs-Überwachungssystem umfasst weiterhin eine Orts-Anzeigeeinrichtung, die den Ort des mobilen Körpers (Fahrzeugs) auf einem Kartenschirm unter Verwendung eines GPS oder dergleichen anzeigt. Die Anzeigesteuereinrichtung ermöglicht das selektive Anzeigen eines Bilds, das die Umgebung des mobilen Körpers zeigt, sowie eine Ortsanzeige des mobilen Körpers. Mit einem derartigen Aufbau wird der Freiraum um den Fahrer herum nicht unnötig eingeengt, weiterhin gestaltet sich die Bedienung unkompliziert, das heißt die Probleme, die im Zusammenhang mit einem herkömmlichen System auftreten, werden vermieden.
  • Das Umgebungs-Überwachungssystem umfasst weiterhin eine Einrichtung zum Erfassen eines Abstands von einem Objekt, dass sich in der Umgebung des mobilen Körpers befindet, einer Relativgeschwindigkeit des mobilen Körpers, einer Bewegungsrichtung des mobilen Körpers, und dergleichen, die basierend auf einem Bildsignal, das durch den Omniazimut-Optiksensor geliefert wird, und einem Geschwindigkeitssignal, das von dem mobilen Körper geliefert wird, erfasst werden. Das Umgebungs-Überwachungssystem umfasst weiterhin eine Einrichtung zum Erzeugen von Alarminformation, wenn das Objekt in einem bestimmten Bereich um den mobilen Körper herum eintritt. Auf diese Art und Weise kann ein schneller Sicherheitscheck erfolgen.
  • Die oben beschriebenen Ausführungsformen ermöglichen folgende Vorteile (1) Bereitstellen eines Umgebungs-Überwachungssystems zum schnellen Erfassen der Umgebung eines mobilen Körpers, um den Fahrer zu entlasten und die Sicherheit zu erhöhen, (2) Bereitstellen eines mobilen Körpers (ein Fahrzeug, ein Zug und dergleichen), der das Umgebungs-Überwachungssystem aufweist.
  • Die Erfindung wird im Folgenden unter. Bezugnahme auf die Figuren in beispielsweiser Ausführungsform näher erläutert. Es zeigen:
  • 1A eine Draufsicht auf ein Fahrzeug mit einem Umgebungs-Überwachungssystem für einen mobilen Körper gemäß Ausführungsform 1 der Erfindung,
  • 1B eine Seitenansicht des Fahrzeugs,
  • 2 ein Blockdiagramm mit einem Aufbau eines Umgebungs-Überwachungssystems gemäß Ausführungsform 1,
  • 3 ein Ausführungsbeispiel eines optischen Systems gemäß Ausführungsform 1,
  • 4 ein Blockdiagramm, das ein Ausführungsbeispiel des Bildprozessors 5 zeigt,
  • 5 ein Blockdiagramm, das ein Ausführungsbeispiel einer Bild-Transformations-Einrichtung 5a, die in dem Bildprozessor 5 enthalten ist, zeigt,
  • 6 ein Blockdiagramm, das ein Ausführungsbeispiel einer Bild-Vergleichs-/Abstands-Erfassungseinrichtung 5b, die in dem Bildprozessor 5 enthalten ist, zeigt,
  • 7 ein Beispiel einer Panorama-(360°)-Bild-Transformation gemäß Ausführungsbeispiel 1. Teil (a) zeigt ein rundförmiges Eingangsbild. Teil (b) zeigt ein donutförmiges Bild, das der Panoramabild-Transformation unterzogen wird, Teil (c) zeigt ein Panoramabild, das mittels Transformation in ein rechtwinkliges Koordinatensystem erhalten wurde,
  • 8 zeigt eine Perspektiv-Transformation gemäß Ausführungsform 1,
  • 9 zeigt schematisch das Prinzip der Abstandserfassung gemäß Ausführungsform 1,
  • 10 zeigt ein Beispiel eines Anzeigeschirms 25 der Anzeigeeinrichtung 6,
  • 11A zeigt eine Draufsicht auf ein Fahrzeug, das ein Umgebungs-Überwachungssystem für einen mobilen Körper gemäß Ausführungsform 2 der Erfindung enthält,
  • 11B zeigt eine Seitenansicht des Fahrzeugs,
  • 12A zeigt eine Draufsicht auf ein Fahrzeug mit einem Umgebungs-Überwachungssystem für einen mobilen Körper gemäß Ausführungsform 3 der Erfindung,
  • 12B zeigt eine Seitenansicht des Fahrzeugs,
  • 13A zeigt eine Seitenansicht eines Zugs, der ein Umgebungs-Überwachungssystem für einen mobilen Körper gemäß Ausführungsform 4 der Erfindung enthält,
  • 13B zeigt eine Draufsicht auf den in 13A gezeigten Zug 37.
  • BESCHREIBUNG DER BEVORZUGTNE AUSFÜHRUNGSFORMEN
  • Im Folgenden werden unter Bezugnahme auf die Figuren Ausführungsformen der Erfindung näher erläutert.
  • (Ausführungsbeispiel 1)
  • 1A zeigt eine Draufsicht auf ein Fahrzeug 1, das ein Umgebungs-Überwachungssystem für einen mobilen Körper gemäß Ausführungsform 1 der Erfindung enthält. 1B zeigt eine Seitenansicht des Fahrzeugs 1. Das Fahrzeug 1 weist eine Vorderseiten-Stoßstange 2, eine Rückseiten-Stoßstange 3 sowie einen Omniazimut-Optiksensor 4 auf.
  • In der Ausführungsform 1 ist der Omniazimut-Optiksensor 4 auf einem Dach des Fahrzeugs 1 angebracht, und dient dazu, ein Bild mit einem 360°-Blickfeld um das Fahrzeug 1 herum in einer im Wesentlichen horizontalen Richtung zu erfassen.
  • 2 zeigt ein Blockdiagramm, das den Aufbau eines Umgebungs-Überwachungssystems 200 zum Einsatz in einem mobilen Körper (Fahrzeug 1) veranschaulicht, was ein Beispiel eines Omniazimut-Optiksystems gemäß Ausführungsform 1 der Erfindung darstellt.
  • Das Umgebungs-Überwachungssystem 200 weist den Omniazimut-Optiksensor 4, einen Bildprozessor 5, eine Anzeigeeinrichtung 6, eine Anzeigesteuereinrichtung 7, eine Alarmerzeugungseinrichtung 8 sowie eine Fahrzeugort-Erfassungseinrichtung 9 auf.
  • Der Omniazimut-Optiksensor 4 weist ein Optiksystem 4a auf, das dazu dient, ein Bild mit einem 360°-Blickfeld um diesen herum zu erfassen, und dient weiterhin dazu, eine Zentral-Projektions-Transformation des Bilds durchzuführen. Weiterhin weist der Omniazimut-Optiksensor 4 einen Bilderzeugungsabschnitt 4b zum Umwandeln des durch das Optiksystem 4a erzeugte Bild in Bilddaten auf.
  • Der Bildprozessor 5 weist auf: eine Bild-Transformationseinrichtung 5a zum Transformieren der durch die Bilderzeugungseinrichtung 4b erzeugten Bilddaten in ein Panoramabild, ein perspektivisches Bild und dergleichen; eine Bild-Vergleichs/Abstand-Erfassungseinrichtung 5b zum Detektieren eines Objekts, das sich um den Omniazimut-Optiksensor 4 herum befindet, indem Bilddaten, die zu verschiedenen Zeitpunkten ermittelt wurden, untereinander mit einer bestimmten Zeitperiode verglichen werden, und zum Ermitteln des Abstands von dem Objekt, der Relativgeschwindigkeit hinsichtlich des Objekts, der Bewegungsrichtung des Objekts und dergleichen, basierend auf der Verschiebung des Objekts zwischen verschiedenen Bilddaten und einem Geschwindigkeitssignal von dem Omniazimut-Optiksensor 4, das die Geschwindigkeit des Fahrzeugs 1 repräsentiert; und einen Ausgangs-Pufferspeicher 5c.
  • Die Fahrzeugort-Erfassungseinrichtung 9 detektiert die Position eines Fahrzeugs, in dem diese installiert ist (d.h. die Position des Fahrzeugs 1) in einer Karte, die auf der Anzeigeeinrichtung 6 angezeigt wird unter Verwendung des GPS oder ähnlichem. Die Anzeigeeinrichtung 6 kann selektiv eine Ausgabe 6a des Bildprozessors 5 und eine Ausgabe 6b der Fahrzeugort-Detektiereinrichtung 9 anzeigen.
  • Die Anzeigesteuereinrichtung 7 steuert die Auswahl zwischen Bildern der Umgebung des Fahrzeugs und der Größe des gewählten Bilds. Die Anzeigesteuereinrichtung 7 gibt an die Anzeigeeinrichtung 6 ein Steuersignal 7a zum Steuern des Schaltens zwischen dem Bild der Umgebung des Fahrzeugs 1 (dem Omniazimut-Optiksensor 4) und dem Fahrzeugort-Bild.
  • Die Alarm-Erzeugungseinrichtung 8 erzeugt Alarminformation, wenn ein Objekt in einen bestimmten Bereich um das Fahrzeug 1 herum eintritt.
  • Die Anzeigeeinrichtung 6 wird so positioniert, dass der Fahrer den Schirm der Anzeigeeinrichtung 6 leicht einsehen kann und die Anzeigeeinrichtung 6 leicht bedienen kann. Vorzugsweise wird die Anzeigeeinrichtung 6 auf einem Vorder-Armaturenbrett nahe des Fahrersitzes so installiert, dass die Anzeigeeinrichtung 6 das Sichtfeld das Fahrers nach vorne hin nicht einengt, wobei der Fahrer im Fahrersitz auf die Anzeigeeinrichtung 6 schnell zugreifen kann. Die anderen Komponenten (der Anzeigeprozessor 5, die Anzeigesteuereinrichtung 7, die Alarm-Erzeugungseinrichtung 8 sowie die Fahrzeugort-Erfassungseinrichtung 9) sind vorzugsweise in einem Gebiet installiert, in dem Temperaturschwankungen und Vibrationen gering sind. Wenn diese Komponenten in einem Gepäckabteil (Kofferraum) nahe der Rückseite des Fahrzeugs installiert werden, sollte ein gewisser Abstand zum Motor eingehalten werden.
  • Jede dieser Komponenten wird im Folgenden unter Bezugnahme auf die Figuren im Detail beschrieben.
  • 3 zeigt ein Beispiel des optischen Systems 4a, das die Zentral-Projektions-Transformation durchführen kann. Dieses optische System benutzt einen Hyperbolid-Spiegel 22, der die Gestalt eines Blatts eines zwei-dimensionalen Hyperbolids aufweist, und ein Beispiel eines Spiegels darstellt, der eine Rotations-Oberflächenform aufweist. Die Rotationsachse des Hyperbolid-Spiegels 22 ist identisch mit der optischen Achse einer Bilderzeugungslinse, die in dem Bilderzeugungsabschnitt 4b enthalten ist, wobei der erste Bildhauptpunkt der Bilderzeugungslinse bei/in einem der Brennpunkte des Hyperbolid-Spiegels 22 (externer Brennpunkt ➁) liegt. Bei einem derartigen Aufbau entspricht ein Bild, das durch den Bilderzeugungsabschnitt 4b gewonnen wurde, einem Bild, das von dem internen Brennpunkt 1 des Hyperbolid-Spiegels 22 aus gesehen wird. Ein derartiges optisches System ist beispielsweise in der japanischen Offenlegungsschrift Nr. 6-295333 beschrieben, womit an dieser Stelle nur einige Merkmale des optischen Systems beschrieben werden brauchen.
  • In 3 wird der Hyperbolid-Spiegel 22 ausgebildet durch Vorsehen eines Spiegels einer konvexen Oberfläche eines Körpers, der durch eine der Kurvenoberflächen erhalten wird, indem hyperbolische Kurven um eine z-Achse herum rotieren (zwei-dimensionaler Hyperbolid) bzw. Zwei-Flächen-Hyperbolid), das heißt einem Gebiet des zweidimensionalen Hyperbolids, bei dem Z>0. Der zweidimensionale Hyperbolid kann dargestellt werden als: (X2+Y2)/a2–Z2/b2=–1 c2=(a2+b2) wobei a und b Konstanten zur Definition der Gestalt des Hyperbolids, und c eine Konstante zur Definition eines Brennpunkts des Hyperbolids darstellen. Im Folgenden werden die Konstanten a, b und c generisch als "Spiegelkonstanten" bezeichnet.
  • Der Hyperbolid-Spiegel 22 weist zwei Brennpunkte ➀ und ➁ auf. Das gesamte von außen kommende Licht, das auf den Brennpunkt ➀ zuläuft, wird durch den Hyperbolid-Spiegel 22 reflektiert und gelangt zum Brennpunkt ➁. Der Hyperbolid-Spiegel sowie die Bilderzeugungseinrichtung 4b sind so positioniert, dass die Rotationsachse des Hyperbolid-Spiegels 22 identisch mit der optischen Achse einer Bilderzeugungslinse der Bilderzeugungseinrichtung 4b ist, und der erste Bildhauptpunkt der Bilderzeugungslinse ist bei dem Brennpunkt ➁ lokalisiert. Mit einem derartigen Aufbau entspricht ein Bild, das durch die Bilderzeugungseinrichtung 4b erzeugt wurde, einem Bild, das von dem Brennpunkt ➀ des Hyperbolid-Spiegels 22 aus gesehen wird.
  • Die Bilderzeugungseinrichtung 4b kann eine Videokamera oder dergleichen sein. Die Bilderzeugungseinrichtung 4b wandelt ein optisches Bild, das mittels des Hyperbolid-Spiegels 22 aus 3 erfasst wurde, in Bilddaten um unter Verwendung einer Festkörper-Bilderzeugungsvorrichtung, wie beispielsweise einer CCD-Einrichtung, CMOS-Einrichtung oder dergleichen. Die umgewandelten Bilddaten werden in einen ersten Eingabe-Puffer-Speicher 11 des Bildprozessors 5 eingelesen (siehe 4). Eine Linse der Bilderzeugungseinrichtung 4b kann eine herkömmlich verwendete sphärische Linse oder eine asphärische Linse sein, solange gewährleistet ist, dass der Hauptbildpunkt der Linse in bzw. bei dem Brennpunkt ➁ liegt.
  • 4 zeigt ein Blockdiagramm mit einem beispielhaften Aufbau des Bildprozessors 5. 5 zeigt ein Blockdiagramm mit einem Aufbaubeispiel einer Bild-Transformationseinrichtung 5a, die in dem Bildprozessor 5 enthalten ist. 6 zeigt ein Blockdiagramm mit einem möglichen Aufbau einer Bildvergleichs-Abstandsermittlungs-Einrichtung, die in dem Bildprozessor 5 enthalten ist.
  • Wie in den 4 und 5 gezeigt ist, enthält die Bild-Transformationseinrichtung 5a des Bildprozessors 5 einen A/D-Umwandler 10, einen ersten Eingangs-Puffer-Speicher 11, eine CPU 12, eine Tabelle (LUT) 13 sowie eine Bild-Transformationslogik 14.
  • Wie in den 4 und 6 gezeigt ist, teilen sich die Bildvergleichs-/Distanzermittlungseinrichtung 5b des Bildprozessors 5 sowie die Bild-Transformationseinrichtung 5a den A/D-Konverter 10, den ersten Eingabe-Puffer-Speicher 11, die CPU 12, die Tabelle (LUT) 13, wobei die Bildvergleichs-/Abstands-Erfassungslogik 16 einen zweiten Eingabe-Pufferspeicher 17 sowie eine Verzögerungsschaltung 18 aufweist.
  • Der Ausgabe-Puffer-Speicher 5c (4) des Bildprozessors 5 ist mit jeder der oben erwähnten Komponenten über eine Busleitung 43 verbunden.
  • Der Bildprozessor 5 empfängt Bilddaten von der Bilderzeugungseinrichtung 4b. Wenn die Bilddaten als Analogsignal vorliegen, wird das Analogsignal durch den A/D-Umwandler 10 in ein digitales Signal umgewandelt, wobei das digitale Signal zu dem ersten Eingabe-Puffer-Speicher 11 übertragen wird und weiterhin von dem ersten Eingabe-Puffer-Speicher 11 über die Verzögerungsschaltung 18 zu dem zweiten Eingabe-Puffer-Speicher 17 übertragen wird. Wenn die Bilddaten als Digitalsignal vorliegen, können die Bilddaten direkt zu dem ersten Eingabe-Puffer-Speicher 11 und durch die Verzögerungsschaltung 18 zu dem zweiten Eingabe-Puffer-Speicher 17 übertragen werden.
  • In der Bild-Transformationseinrichtung 5a des Bildprozessors 5 verarbeitet die Bild-Transformationslogik 14 eine Ausgabe (Bilddaten) des ersten Eingabe-Puffer-Speichers 11 unter Verwendung der Tabelle (LUT) 13, so dass ein Panoramabild oder ein perspektivisches Bild erhalten wird, oder dass ein Bild vertikal/horizontal bewegt oder hochskaliert/herunterskaliert wird. Die Bild-Transformationslogik 14 führt zusätzliche Bildverarbeitung aus, wenn dies notwendig ist. Nach der Bildtransformation werden die verarbeiteten Bilddaten in den Ausgabe-Puffer-Speicher 5c eingelesen. Während des Verarbeitens werden die Komponenten durch die CPU 12 gesteuert/kontrolliert. Wenn die CPU 12 zur Parallelverarbeitung von Daten ausgelegt wird, kann eine höhere Verarbeitungsgeschwindigkeit erzielt werden.
  • Nun soll das Prinzip der Bildtransformation, die durch die Bild-Transformationslogik 14 ausgeführt wird, beschrieben werden. Die Bildtransformation umfasst eine Panoramatransformation zum Erzeugen eines Panorama(360°)-Bilds und eine perspektivische Transformation zur Erzeugung eines perspektivischen Bilds. Weiterhin enthält die perspektivische Transformation eine Horizontal-Rota tions-Umwandlung (Horizontalverschiebung, so genannte "Verschwenkbewegung") und eine Vertikal-Rotations-Umwandlung (vertikale Verschiebung, so genannte "Kipp-Bewegung").
  • Zunächst wird unter Bezugnahme auf 7 eine Panorama-(360°)-Bild-Umwandlung beschrieben. Im Teil (a) in 7 ist ein durch die Bilderzeugungsvorrichtung 4b erzeugtes, Bild mit einer runden Form gezeigt. Teil (b) in 7 zeigt ein donutförmiges Bild 20, das der Panoramabild-Transformation unterzogen wird. Teil (c) in 7 zeigt ein Panoramabild 21, das durch Umwandeln des Bilds 19 in rechtwinklige Koordinaten erhalten wurde.
  • Teil (a) aus 7 zeigt das Eingangsbild 19 mit runder Form, das in Polarkoordinaten dargestellt wird, wobei der Zentrumspunkt des Bilds 19 im Ursprung (Xo,Yo) der Koordinaten liegt. Unter Verwendung dieser Polarkoordinaten wird ein Pixel (P) in dem Bild 19 dargestellt als P(r,θ). Unter Bezugnahme auf Teil (c) in 7, kann in dem Panoramabild 21 ein Punkt, der den Pixel P in dem Bild 19 entspricht (Teil (a) in 7) repräsentiert werden als P(x,y). Wenn das runde Bild 19, das in Teil (a) in 7 gezeigt ist, in das Quadrat-Panoramabild 21 umgewandelt wird, das in Teil (c) in 7 gezeigt ist, kann, unter Verwendung eines Punkts PO(ro,θo) als Referenzpunkt diese Transformation durch die folgenden Terme dargestellt werden: x = θ–θo y = r–ro
  • Wenn das Eingangsbild 19 mit der runden Form (Teil (a) in 7) in rechtwinklige Koordinaten (kartesische Koordinaten) so umgewandelt wird, dass der Zentrumspunkt des runden Bilds 19 in dem Ursprung des rechtwinkligen Koordinatensystems (Xo,Yo), liegt, kann der Punkt P auf dem Bild 19 als (X,Y) dargestellt werden. Dementsprechend werden X und Y dargestellt als: X = Xo+rxcosθ Y = Yo+rxsinθ
  • Damit ist X = Xo+(y+ro)xcos(x+θo) Y = Yo+(y+ro)xsin(x+θo)
  • In der Schwenkbewegung für ein Panoramabild wird ein Punkt, der durch Erhöhen bzw. Vermindern von "θo" des Referenzpunkts PO(ro,θo) um einen bestimmten Winkel θ gemäß einer Tastenbetätigung erhalten wird, als neuer Referenzpunkt für die Schwenkbewegung benutzt. Mit diesem neuen Referenzpunkt für die Schwenkbewegung kann ein Horizontal-Schwenkungs-Panoramabild direkt von dem runden Eingangsbild 19 erhalten werden. Es sollte erwähnt werden, dass für ein Panoramabild keine Kippbewegung durchgeführt wird.
  • Im Folgenden soll unter Bezugnahme auf 8 eine perspektivische Transformation erläutert werden. In der perspektivischen Transformation wird die Position eines Punkts auf dem Eingangsbild, das durch eine Lichtempfangseinrichtung 4c der Bilderzeugungseinrichtung 4b erzeugt wurde, und der einem Punkt in einem dreidimensionalen Raum entspricht, berechnet, wobei Bildinformation bei dem Punkt auf dem Eingangsbild zu einem entsprechenden Punkt auf einem perspektivisch-transformierten Bild allokiert wird, wodurch die Koordinatentransformation durchgeführt wird.
  • Insbesondere wird ein Punkt in einem dreidimensionalen Raum als P(tx,ty,tz) repräsentiert, ein dazu entsprechender Punkt, der auf dem runden Bild liegt, das auf der Lichtempfangsfläche einer Lichtempfangseinrichtung 4c der Bilderzeugungseinrichtung 4b erzeugt wurde, durch R(r,θ) repräsentiert, die Brennweite der Lichtempfangseinrichtung 4c der Bilderzeugungseinrichtung 4b (ein Abstand zwischen einem Bildhauptpunkt einer Linse und einem Empfangselement der Lichtempfangseinrichtung 4c) beträgt F, und die Spiegelkonstanten betragen (a, b, c), was dieselben sind wie a, b und c in 3. Mit diesen Parametern wird folgender Ausdruck (1) erhalten: r = Fxtan((π/2)–β) ..... (1)
  • In 8 stellt a einen Einfallwinkel des Lichts dar, das von einem Objektpunkt (Punkt P) in Richtung des Brennpunkts wandert, hinsichtlich einer horizontalen Ebene, die den Brennpunkt enthält; β stellt den Einfallwinkel. des Lichts dar, das von dem Punkt P kommt, bei dem Punkt G auf dem Hyperbolid-Spiegel 22 reflektiert wird und in den Bilderzeugungsabschnitt 4b eintritt (Winkel zwischen dem einfallenden Licht und einer Ebene, die senkrecht auf einer optischen Achse der Lichtempfangseinrichtung 4c der Bilderzeugungseinrichtung 4b steht). Die algebraischen Ziffern α, β und θ sind wie folgt definiert: β = arctan (((b2+c2 xsinα–2xbxc/(b2–c2)xcosα) α = arctan(tz/sqrt(tx2+ty2)) θ = arctan(ty/tx)
  • Somit kann der Term (1) wie folgt dargestellt werden: r = Fx(((b2–c2)xsgrt(tx2+ty2))/((b2+c2) xtz–2xbxcxsqrt(tx2+ty2+tz2)))
  • Die Koordinate eines Punkts auf dem runden Bild wird in eine rechtwinklige Koordinate P (X,Y) transformiert. X und Y werden repräsentiert durch: X = rxcosθ Y = rxsinθ
  • Daraus kann gefolgert werden: X = Fx (((b2–c2)xtx/((b2+c2)xtz–2xbxc xsqrt(tx2+ty2+tz2))) ... (2) Y = Fx(((b2–c2)xty/((b2+c2)xtz–2xbxc xsgrt (tx2+ty2+tz2))) ... (3)
  • Unter Verwendung der oben angegebenen Formeln kann der Objektpunkt P (tx,ty,tz) perspektivisch auf das rechtwinklige Koordinatensystem transformiert bzw. abgebildet werden.
  • Nun soll unter Bezugnahme auf 8 eine Quadrat-Bildebene betrachtet werden, die eine Breite W und eine Höhe h aufweist, im dreidimensionalen Raum bei einer Position angeordnet ist, die einem Rotationswinkel θ um die Z-Achse entspricht, wobei R ein Abstand zwischen der Ebene und dem Brennpunkt ➀ des Hyperbolid-Spiegels 22 darstellt, und ϕ ein Depressionswinkel ist (der gleich dem Einfallwinkel α ist). Die Parameter eines Punkts bei der oberen linken Ecke der Quadrat-Bild-Ebene, Punkt Q (txq,tyq,tzq), werden wie folgt dargestellt: txq = (Rcosφ+(h/2)sinφ)cosθ–(W/2)sinθ ..... (4) tyq = (Rcosφ+(h/2)sinφ)sinθ+(W/2)cosθ ..... (5) tzq = Rsinφ-(h/2)cosφ ..... (6)
  • Durch Kombination der Formeln (4), (5) und (6) mit den Formeln (2) und (3) ist es möglich, die Koordinate (X,Y) eines Punkts auf dem runden Bild zu erhalten, das auf der Lichtempfangseinrichtung 4c der Bilderzeugungseinrichtung 4b ausgebildet wird, und entspricht dem Punkt Q der Quadrat-Bild-Ebene. Weiterhin wird angenommen, dass die Quadrat-Bild-Ebene in ein perspektivisches Bild umgewandelt wird, das in Pixel aufgeteilt wird, wobei jeder Pixel eine Breite d und eine Höhe e aufweist. In den Formeln (4), (5) und (6) wird der Parameter W in einem Bereich von W bis -W in den Einheiten von W/d variiert, und der Parameter h wird in einem Bereich von h bis -h in den Einheiten von h/e variiert, wodurch die Koordinaten der Punkte auf der Quadrat-Bild-Ebene erhalten werden. Auf Basis der so erhaltenen Koordinaten der Punkte auf der Quadrat-Bild-Ebene, wird Bildinformation bei Punkten auf dem runden Bild, das auf der Lichtempfangseinrichtung 4c ausgebildet wird, die den Punkten auf der Quadrat-Bild-Ebene entsprechen, auf ein perspektivisches Bild übertragen.
  • Im Folgenden sollen eine Horizontal-Rotations-Bewegung (Schwenkbewegung) und eine Vertikal-Rotations-Bewegung (Kippbewegung) in der perspektivischen Transformation beschrieben werden. Zunächst soll ein Fall erörtert werden, bei dem der oben erwähnte Punkt P horizontal bewegt und rotiert wird (Schwenkbewegung). Eine Koordinate eines Punkts, die nach der Horizontal-Rotations-Bewegung erhalten wird Punkt'(tx',ty',tz'), wird wie folgt dargestellt: tx' = (Rcosφ+(h/2)sinφ)cos(θ+Δθ)–(W/2)sin(θ+Δθ) ... (7) ty' = (Rcosφ+(h/2)sinφ)sin(θ+Δθ)+(W/2)cos(θ+Δθ) ... (8) tz' = Rsinφ–(h/2)cosφ ... (9)wobei Δθ einen Horizontal-Bewegungswinkel darstellt.
  • Durch Kombinieren der Formeln (7), (8) und (9) mit den Formeln (2) und (3) kann die Koordinate (X,Y) eines Punkts auf dem runden Bild, das auf der Lichtempfangseinrichtung 4c ausgebildet wird und dem Punkt P' (tx',ty',tz') entspricht, erhalten werden. Dies trifft auch auf andere Punkte auf dem runden Bild zu. In den Formeln (7), (8) und (9) wird der Parameter W in einem Bereich von W bis -W in den Einheiten von W/d variiert, und der Parameter h wird in einem Bereich von h bis -h in den Einheiten von h/e variiert, wodurch Koordinaten der Punkte auf der Quadrat-Bild-Ebene erhalten werden. Gemäß den erhaltenen Koordinaten der Punkte auf. der Quadrat-Bild-Ebene wird Bildinformation bei Punkten auf dem runden Bild, das auf der Lichtempfangseinrichtung 4c ausge bildet wird, und dem Punkt P' (tx',ty',tz') entspricht, auf ein perspektivisches Bild übertragen, wodurch ein horizontal rotiertes Bild erhalten wird.
  • Im Folgenden soll der Fall diskutiert werden, in dem der Punkt P vertikal verschoben und rotiert wird (Kippbewegung). Eine Koordinate eines Punkts, die durch Anwenden der Vertikal-Rotationsbewegung resultiert, Punkt P"(tx",ty",tz"), wird wie folgt repräsentiert. tx" _ (Rcos(φ+Δφ)+(h/2)sin(φ+Δφ)xcosθ–(W/2)sinθ ... (10) ty" = (Rcos(φ+Δφ)+(h/2)sin(φ+Δφ)xsinθ+(W/2)cosθ ... (11) tz" = Rsin(φ+Δφ)–(h/2)cos(φ+Δφ) ... (12)wobei Δφ einen Vertikalbewegungs-Winkel darstellt.
  • Durch Kombinieren der Formeln (10), (11) und (12) mit den Formeln (2) und (3), kann die Koordinate (X,Y) eines Punkts auf dem runden Bild, der auf der Lichtempfangseinrichtung 4c ausgebildet wird und dem Punkt P" (tx",ty",tz") entspricht, ermittelt werden. Dies trifft auch auf andere Punkte auf dem runden Bild zu. In den Formeln (10), (11) und (12) wird der Parameter W in einem Bereich von W bis -W in Einheiten von W/d variiert, und der Parameter h wird in einem Bereich von h bis -h in Einheiten von h/e geändert, wodurch die Koordinaten von Punkten auf der Quadrat-Bild-Ebene erhalten werden. Gemäß der so erhaltenen Koordinaten der Punkte auf- der Quadrat-Bild-Ebene wird Bildinformation bei Punkten auf dem runden Bild, die auf der Lichtempfangseinrichtung 4c ausgebildet werden, und dem Punkt P" (tx",ty",tz") entsprechen, auf ein perspektivisches Bild übertragen, wodurch ein vertikal rotiertes Bild erhalten werden kann.
  • Weiterhin kann eine Hineinzoom/Hinauszoom-Funktion für ein perspektivisches Bild mittels des Parameters R bewirkt werden. Insbesondere wird der Parameter R in den Formeln (4) bis (12) um einen bestimmten Betrag ΔR gemäß einer Tasteneingabe geändert, wodurch ein herangezoomtes/herausgezoomtes Bild direkt von dem runden Bild erzeugt wird, das auf der Lichtempfangseinrichtung 4c ausgebildet wird.
  • Des Weiteren kann eine Transformationsgebiet-Bestimmungsfunktion bewirkt werden derart, dass die Reichweite eines Transformationsgebiets bezüglich einer Radius-Richtung des runden Bilds, das auf der Lichtempfangseinrichtung 4c ausgebildet wird, durch eine bestimmte Tasteneingabe während der Transformation von dem runden Bild in das Panoramabild bewirkt wird. Wenn sich die Bilderzeugungseinrichtung in einem Transformationsgebiet-Bestimmungsmodus befindet, kann ein Transformationsgebiet mittels einer bestimmten Tastenoperation festgelegt werden. Ein Transformationsgebiet in dem runden Bild kann insbesondere durch zwei Kreise definiert werden, das heißt, wie in Teil (a) in 7 gezeigt ist, einem inneren Kreis mit dem Referenzpunkt O(ro,θo), dessen Radius ro ist, und einem äußeren Kreis, der einer oberen Seite des Panoramabilds 21 entspricht, wie in Teil (c) von 7 gezeigt ist. Der maximale Radius des runden Eingangsbilds, das auf der Lichtempfangseinrichtung 4c ausgebildet wird, beträgt rmax, und der Minimalradius eines Bilds, das auf der Lichtempfangseinrichtung 4c ausgebildet wird, beträgt rmin. Die Radien der beiden oberen Kreise, die das Transformationsgebiet definieren, können frei gewählt werden innerhalb des Bereichs, der sich von rmin bis rmax er streckt, indem eine entsprechende Tasteneingabe getätigt wird.
  • In der Bildvergleichs-/Abstandsbestimmungseinrichtung 5b, die in 6 gezeigt ist, vergleicht die Bildvergleichs/Abstandsermittlungslogik 16 Daten, die in dem ersten Eingangs-Puffer-Speicher 11 gespeichert sind, und Daten, die in dem zweiten Eingangs-Puffer-Speicher 17 gespeichert sind, womit Winkeldaten hinsichtlich eines Zielobjekts, die Geschwindigkeitsinformation, die die Geschwindigkeit des Fahrzeugs 1 repräsentiert, und eine Zeitdifferenz zwischen den Daten, die in dem ersten Eingangs-Puffer-Speicher 11 gespeichert werden, und den Daten, die in dem zweiten Eingangs-Puffer-Speicher 17 gespeichert werden, erhalten werden. Aus der so gewonnenen Information berechnet die Bildvergleichs-/Abstandsermittlungslogik 16 einen Abstand zwischen dem Fahrzeug 1 und dem Zielobjekt.
  • Im Folgenden soll ein Prinzip der Abstandsbestimmung zwischen dem Fahrzeug 1 und dem Zielobjekt unter Bezugnahme auf 9 beschrieben werden. Teil (a) aus 9 zeigt ein Eingangsbild 23, das zu einer Zeit t0 erhalten wird und in dem zweiten Eingangs-Puffer-Speicher 17 gespeichert wird. Teil (b) in 9 zeigt ein Eingangsbild 24, das t Sekunden nach dem Zeitpunkt t0 erhalten wird und in dem ersten Eingangs-Puffer-Speicher 11 gespeichert wird. Die Verzögerungsschaltung 18 (6) ist dafür verantwortlich, dass der Zeitpunkt (Zeitpunkt t0), zu dem das Eingangsbild 23 in dem zweiten Eingangs-Puffer-Speicher 17 gespeichert wird, und der Zeitpunkt (Zeitpunkt t0+t), zu dem das Eingangsbild 24 in dem ersten Eingangs- Puffer-Speicher 11 gespeichert wird, voneinander verschieden sind.
  • Bildinformation, die durch die Bilderzeugungseinrichtung zum Zeitpunkt t0 erhalten wird, wird in den ersten Eingangs-Puffer-Speicher 11 eingelesen. Die zum Zeitpunkt t0 erhaltene Bildinformation wird durch die Verzögerungsschaltung 18 übertragen und erreicht den zweiten Eingangs-Puffer-Speicher 17t Sekunden, nachdem die Bildinformation in den ersten Eingangs-Puffer-Speicher 11 eingelesen wurde. Zu dem Zeitpunkt, zu dem die Bildinformation, die zum Zeitpunkt t0 erhalten wurde, in den zweiten Eingangs-Puffer-Speicher 17 eingelesen wurde, wird Bildinformation, die t-Sekunden nach dem Zeitpunkt t0 gewonnen wurde, in den ersten Eingangs-Puffer-Speicher 11 eingelesen. Durch Vergleich der in dem ersten Eingangs-Puffer-Speicher 11 gespeicherten Daten und den in dem zweiten Eingangs-Puffer-Speicher 17 gespeicherten Daten kann ein Vergleich zwischen dem Eingangsbild, das zu dem Zeitpunkt t0 erhalten wurde, und dem Eingangsbild, das t Sekunden nach dem Zeitpunkt t0 gewonnen wurde, erfolgen.
  • Im Teil (a) in 9 befinden sich zum Zeitpunkt t0 ein Objekt A und ein Objekt B bei den Positionen (r1,θ1) und (r2,Ψ1) auf dem Eingangsbild 23. Im Teil (b) in 9 befinden sich t Sekunden nach dem Zeitpunkt t0 das Objekt A und das Objekt B bei Positionen (R1,θ2) und (R2, Ψ2) auf dem Eingangsbild 24.
  • Ein Abstand L, um den sich das Fahrzeug 1 innerhalb t Sekunden weiterbewegt hat, wird basierend auf- Geschwindigkeitsinformation von einem Geschwindigkeitssensor des Fahrzeugs 1 wie folgt ermittelt: L = v X twobei v die Geschwindigkeit darstellt (in diesem Beispiel ist die Geschwindigkeit v für t Sekunden konstant). Damit kann die Bildvergleichs-/Abstandsermittlungslogik 16 mit den oben beschriebenen beiden Typen von Information einen Abstand zwischen dem Fahrzeug und einem Zielobjekt basierend auf dem Prinzip der Triangulierung berechnen. Beispielsweise werden t Sekunden nach dem Zeitpunkt t0 ein Abstand La zwischen dem Fahrzeug 1 und dem Objekt A und ein Abstand Lb zwischen dem Fahrzeug 1 und dem Objekt B wie folgt ermittelt: La = Lθ1/(θ2–θ1) Lb = LΨ1/(Ψ2–Ψ1)
  • Berechnungsergebnisse bezüglich La und Lb werden an die Anzeigeeinrichtung 6 (2) gesandt und darauf angezeigt. Wenn das Objekt in einen bestimmten Bereich um das Fahrzeug 1 herum eintritt, gibt der Bildprozessor 5 ( 2) ein Alarmsignal an die Alarm-Erzeugungseinrichtung 8 (2) weiter, die einen Lautsprecher oder dergleichen umfasst, und die Alarm-Erzeugungseinrichtung 8 gibt einen Warnton ab. Zur gleichen Zeit (siehe 2) wird das Alarmsignal auch von dem Bildprozessor 5 an die Anzeigesteuereinrichtung 7 weitergeleitet, die einen Alarm auf dem Bildschirm der Anzeigeeinrichtung 6 erzeugt, beispielsweise dadurch, dass eine Bildschirmanzeige eines perspektivischen Bilds flackert. In 2 und 4 stellt eine Ausgabe 16a der Bildvergleichs-/abstandsbestimmungslogik 16 ein Alarmsignal für die Alarm-Erzeugungseinrichtung 8 dar, und eine Ausgabe 16b der Bildvergleichs-/ab standsbestimmungslogik 16 stellt ein Alarmsignal für die Anzeigesteuereinrichtung 7 dar.
  • Die Anzeigeeinrichtung 6 kann ein Monitor, etc. einer Kathodenstrahlröhre eines LCD, eines EL, oder dergleichen sein. Die Anzeigeeinrichtung 6 erhält eine Ausgabe von dem Ausgabe-Puffer-Speicher 5c des Bildprozessors 5 und zeigt ein Bild an. Unter der Kontrolle der Anzeigesteuereinrichtung 7 kann die Anzeigeeinrichtung 6 ein Panoramabild und ein perspektivisches Bild zu einem Zeitpunkt anzeigen oder selektiv das Panoramabild oder das perspektivische Bild anzeigen. Wenn das perspektivische Bild angezeigt wird, zeigt die Anzeigeeinrichtung 6 Frontal-, Links- und Rechts-Blickfeldbilder in perspektivischer Darstellung gleichzeitig an. Zusätzlich kann, wenn notwendig, ein Rück-Blickfeld-Bild in perspektivischer Darstellung angezeigt werden. Die Anzeigesteuereinrichtung 7 kann eines dieser perspektivischen Bilder auswählen, wobei das ausgewählte perspektivische Bild vertikal/horizontal bewegt oder hochskaliert/herunterskaliert werden kann, bevor es auf der Anzeigeeinrichtung 6 angezeigt wird.
  • In Antwort auf ein Signal von einer Schalteinrichtung 17, die auf einem Vorder-Armaturenbrett nahe des Fahrersitzes angebracht ist, schaltet die Anzeigesteuereinrichtung 7 eine Anzeige auf dem Bildschirm der Anzeigeeinrichtung 6 zwischen einem Bild, das die Umgebung des Fahrzeugs 1 zeigt, und einem Bild, das den Ort des Fahrzeugs darstellt. Wenn beispielsweise die Steuereinrichtung die Anzeigesteuereinrichtung 7 dazu veranlasst, das Bild mit dem Fahrzeugort anzuzeigen, zeigt die Anzeigesteuereinrichtung 7 Fahrzeug-Ortsinformation an, die durch die Fahrzeug-Ortsermittlungseinrichtung 9, beispielsweise einem GPS oder dergleichen, gewonnen wurde, auf der Anzeigeeinrichtung 6 an. Wenn die Schalteinrichtung die Anzeigesteuereinrichtung 7 dazu veranlasst, das Bild, das die Umgebung des Fahrzeugs 1 zeigt, anzuzeigen, sendet die Anzeigesteuereinrichtung 7 Fahrzeug-Umgebungs-Bildinformation von dem Bildprozessor 5 an die Anzeigeeinrichtung 6, womit ein Bild, das die Umgebung des Fahrzeugs 1 zeigt, auf der Anzeigeeinrichtung 6 angezeigt wird, basierend auf der Fahrzeug-Umgebungs-Bildinformation.
  • Die Anzeigesteuereinrichtung 7 kann ein spezieller Mikrocomputer oder dergleichen sein. Die Anzeigesteuereinrichtung 7 wählt den Typ eines auf der Anzeigeeinrichtung 6 anzuzeigenden Bilds aus (beispielsweise ein Panoramabild, ein perspektivisches Bild, etc., das durch die Bildtransformation in dem Bildprozessor 5 gewonnen wurde), und steuert die Orientierung und die Größe des Bilds.
  • 10 zeigt ein Beispiel eines Anzeigeschirms 25 der Anzeigeeinrichtung 6. Der Anzeigeschirm 25 weist auf: ein Fenster 26 zum Anzeigen eines ersten perspektivischen Bilds (im Default-Zustand zeigt das Fenster 26 zum Anzeigen des ersten perspektivischen Bilds ein Frontal-Blickfeld-Bild in perspektivischer Darstellung); ein erstes Fenster 27 zum Anzeigen von Erklärungen/Information, um das Fenster 26 zum Anzeigen des ersten perspektivischen Bilds zu erläutern; ein Fenster 28 zum Anzeigen eines zweiten perspektivischen Bilds (im Default-Zustand zeigt das Fenster 28 zum Anzeigen des zweiten perspektivischen Bilds ein Links-Blickfeld-Bild in perspektivischer Darstellung); ein zweites Fenster 29 zum Anzeigen von Erläu terungen/Erklärungen, um das Fenster 28 zum Anzeigen des zweiten perspektivischen Bilds zu erläutern; ein drittes Fenster 30 zum Anzeigen eines perspektivischen Bilds (im Default-Zustand zeigt das Fenster 30 zum Anzeigen des dritten perspektivischen Bilds ein Rechts-Blickfeld-Bild in perspektivischer Darstellung an); ein drittes Fenster 31 zum Anzeigen von Erläuterungen/Information, um das Fenster 30 zum Anzeigen des dritten perspektivischen Bilds zu kommentieren; ein Fenster 32 zum Anzeigen eines Panoramabilds (in diesem Beispiel wird ein 360°-Bild gezeigt); ein viertes Fenster 33 zum Anzeigen von Erläuterungen/Information zur Erläuterung des Fensters 32 zum Anzeigen des Panoramabilds; eine Richtungstaste (34) zum vertikalen/horizontalen Bewegen von Bildern; einer Hochskalierungstaste 35 zum Hochskalieren von Bildern; und eine Herunterskalierungstaste 36 zum Herunterskalieren von Bildern.
  • Die ersten bis vierten Fenster 27, 29, 31 und 33 zum Anzeigen von Erläuterung/Information fungieren als Schalter zum Aktivieren der Bildanzeigefenster 26, 28, 30 und 32. Ein Benutzer (Fahrer) aktiviert ein gewünschtes Bildanzeigefenster (Fenster 26, 28, 30 oder 32) durch Verwendung eines entsprechenden Informationsanzeigefensters (Fenster 27, 29, 31 oder 33), die als Schalter fungieren, wodurch das entsprechende Erläuterungsanzeigefenster dessen eigene Anzeigefarbe ändert, wobei der Benutzer das Bild, das in dem aktivierten Fenster angezeigt wird, unter Verwendung der Richtungstaste 34, der Hochskalierungstaste 35 und der Herunterskalierungstaste 36 vertikal horizontal bewegen und hochskalieren/herunterskalieren kann. Es sollte erwähnt werden, dass ein Bild, das in dem Panoramabild-Anzeigefenster 32 angezeigt wird, nicht hochskaliert oder herunterskaliert wird.
  • Wenn ein Benutzer (Fahrer) beispielsweise das erste Erläuterungsanzeigefenster 27 berührt, wird ein Signal an die Anzeigesteuereinrichtung 7 (2) gesandt. In Antwort auf die Berührung ändert die Anzeigesteuereinrichtung 7 die Anzeigefarbe des ersten Erläuterungsanzeigefensters 27 in eine Farbe, die anzeigt, dass das Fenster zum Anzeigen des ersten perspektivischen Bilds 26 aktiv ist, oder bewirkt, dass das erste Erläuterungsanzeigefenster 27 flackert bzw. blinkt. In der Zwischenzeit wird das Fenster 26 zum Anzeigen des ersten perspektivischen Bilds aktiv, und der Benutzer kann das Bild, das in dem Fenster 26 angezeigt wird, unter Verwendung der Richtungstaste 34, der Hochskalierungstaste 35 und der Herunterskalierungstaste 36 vertikal/horizontal bewegen und herauf skalieren/herunterskalieren. Insbesondere werden Signale von der Richtungstaste 34, der Hochskalierungstaste 35 sowie der Herunterskalierungstaste 36 durch die Anzeigesteuereinrichtung 7 an den Bild-Transformationsabschnitt 5a des Bildprozessors 5 (2) gesandt. Basierend auf den Signalen, die von der Richtungstaste 34, der Hochskalierungstaste 35 und der Herunterskalierungstaste 36 gesandt wurden, wird ein Bild transformiert, und das transformierte Bild wird der Anzeigeeinrichtung 6 (2) zugeführt und auf dem Schirm 25 der Anzeigeeinrichtung 6 angezeigt.
  • (Ausführungsform 2)
  • In 11A ist eine Draufsicht auf ein Fahrzeug 1 gezeigt, das ein Umgebungs-Überwachungssystem für einen mobilen Körper gemäß der Ausführungsform 2 der Erfindung aufweist. 11B zeigt eine Seitenansicht des Fahrzeugs 1.
  • In der Ausführungsform 2 weist das Fahrzeug 1 eine Vorderseitenstoßstange 2, eine Rückseitenstoßstange 3 sowie Omniazimut-Optiksensoren 4 auf. Ein Omniazimut-Optiksensor 4 wird auf einem zentralen Abschnitt der Vorderseitenstoßstange 2 vorgesehen, und der andere wird auf einem zentralen Abschnitt auf der Rückseitenstoßstange 3 vorgesehen. Jeder der Omniazimut-Optiksensoren 4 erfasst ein 360°-Blickfeld um den jeweiligen Sensor herum in einer im Wesentlichen horizontalen Richtung.
  • Jedoch ist die Hälfte des Blickfelds (Rückblickfeld) des Omniazimut-Optiksensors 4 auf der Vorderseitenstoßstange 2 durch das Fahrzeug 1 blockiert. Das heißt, das Blickfeld des Omniazimut-Optiksensors 4 wird auf das 180°-Frontalblickfeld (von der linken Seite zu der rechten Seite des Fahrzeugs 1) beschränkt. In ähnlicher Weise ist die Hälfte des Blickfelds (Vorderblickfeld) des Omniazimut-Optiksensors 4 auf der Rückseiten-Stoßstange 3 durch das Fahrzeug 1 blockiert. Das heißt, dass das Blickfeld des Omniazimut-Optiksensors 4 auf das 180°-Rückblickfeld (von der linken Seite zur rechten Seite des Fahrzeugs 1) beschränkt ist. Damit kann mit den beiden Omniazimut-Optiksensoren 4 ein Blickfeld von insgesamt ungefähr 360° gewonnen werden.
  • In der Ausführungsform 1 gemäß 1A und 1B ist der Omniazimut-Optiksensor 4 auf einem Dach des Fahrzeugs 1 vorgesehen. Ist der Omniazimut-Optiksensor so positioniert, kann dieser ein 360°-Blickfeld-Gebiet um diesen herum in einer wesentlichen horizontalen Richtung erfassen. Jedoch kann der Omniazimut-Optiksensor 4, der an einem derartigen Ort vorgesehen ist, nicht Schattenbereiche erfassen, die durch das Dach abgeblockt werden, wie aus 1A und 1B ersichtlich ist; das heißt, der auf dem Dach des Fahrzeugs 1 (Ausführungsform 1) vorgesehene Omniazimut-Optiksensor 4 kann Schattenbereiche die sehr nahe am Fahrzeug 1 liegen, nicht bzw. nicht so gut erfassen wie die Omniazimut-Optiksensoren 4, die auf der Vorder- und Rückseite des Fahrzeugs 1 vorgesehen sind (Ausführungsform 2). Weiterhin sollte bei einem Kreuzungsgebiet, wo es Fahrer-Schattenbereiche hinter Hindernissen linker Hand und rechter Hand von dem Fahrzeug 1 gibt, das Fahrzeug 1 so auf die Kreuzung fahren, dass der Omniazimut-Optiksensor 4 Schattenbereiche erfassen kann. Andererseits kann gemäß Ausführungsform 2, da die Omniazimut-Optiksensoren 4 auf der Vorder- und Rückseite des Fahrzeugs 1 vorgesehen sind, einer der Omniazimut-Optiksensoren 4 Schattenbereiche erfassen, ohne dass sich das Fahrzeug 1 so weit auf die Kreuzung hinausbewegen müsste, wie dies bei einem Fahrzeug 1 gemäß Ausführungsform 1 notwendig wäre. Da die Blickfelder der Omniazimut-Optiksensoren 4 nicht durch das Dach des Fahrzeugs 1 blockiert bzw. abgeschirmt werden, können die Omniazimut-Optiksensoren 4 Bereiche in unmittelbarer Umgebung des Fahrzeugs 1 an den Vorder- und Rückseiten erfassen.
  • (Ausführungsform 3)
  • 12A zeigt eine Draufsicht auf ein Fahrzeug 1, das ein Umgebungs-Überwachungssystem für einen mobilen Körper gemäß Ausführungsform 3 der Erfindung enthält. 12B zeigt eine Seitenansicht des Fahrzeugs 1.
  • Gemäß Ausführungsform 3 ist einer der Omniazimut-Optiksensoren 4 auf der linken Ecke der vorderen Stoßstange 2 platziert, der andere ist auf der rechten Ecke der Rückseiten-Stoßstange 3 vorgesehen. Jeder der Omniazimut-Optiksensoren 4 erfasst ein 360°-Blickfeld um den Sensor herum in einer im Wesentlichen horizontalen Richtung.
  • Jedoch ist ein Viertel des Blickfelds (die rechte Hälfte des Rückblickfelds (um 90°)) des Omniazimut-Optiksensors 4 auf der Vorderseiten-Stoßstange 2 durch das Fahrzeug 1 blockiert. Das heißt, dass das Blickfeld des Omniazimut-Optiksensors 4 auf ein ungefähr 270°-Vorder-Blickfeld beschränkt ist. Analog hierzu ist ein Viertel des Blickfelds (eine linke Hälfte des Vorderblickfelds (ungefähr 90°) des Omniazimut-Optiksensors 4 auf der Rückseiten-Stoßstange durch. das Fahrzeug 1 blockiert. Das heißt, dass das Blickfeld des Omniazimut-Optiksensors 4 auf ein ungefähr 270°-Rückseitenblickfeld limitiert ist. Bei diesen beiden Omniazimut-Optiksensoren 4 kann daher ein Blickfeld von ungefähr 360° erhalten werden, wobei die Omniazimut-Optiksensoren 4 Bereiche in unmittelbarer Nähe des Fahrzeugs 1 erfassen können, die die Schattenbereiche des Fahrzeugs 1 gemäß Ausführungsform 1 darstellen.
  • Auch bei Ausführungsform 3 muss das Fahrzeug 1 bei Kreuzungen, wo es Fahrer-Schattenbereiche hinter Hindernissen linker Hand und rechter Hand des Fahrzeugs 1 gibt, nicht zu tief in das Kreuzungsgebiet eintauchen, um Schattenbereiche linker Hand und rechter. Hand zu erfassen. Weiterhin können die Omniazimut-Optiksensoren 4 Gebiete in unmittelbarer Umgebung des Fahrzeugs 1 linker und rechter Hand des Fahrzeugs sowie vor und hinter dem Fahrzeug erfassen, da die Blickfelder der Omniazimut-Optiksensoren 4 durch das Dach des Fahrzeugs 1 nicht wie in Ausführungsform 1 blockiert werden.
  • In den Ausführungsformen 1-3 ist das Fahrzeug 1, das in den Zeichnungen gezeigt ist, ein Fahrzeug für Passagiere. Die Erfindung kann jedoch auch auf große Fahrzeuge angewandt werden, beispielsweise auf einen Bus oder ähnlichem, und ebenfalls auf Fahrzeuge zum Transportieren von Lasten. Insbesondere ist die Erfindung nützlich für Lastfahrzeuge, da in vielen Lastfahrzeugen das Blickfeld des Fahrers in Rückwärtsrichtung durch die Last bzw. das Lastabteil blockiert ist. Die Erfindung ist weiterhin nicht auf motorisierte Fahrzeuge limitiert (einschließlich Automobilen, große motorisierte Fahrzeuge wie Busse, Trucks, und dergleichen, und motorisierten Fahrzeugen für Frachten/Lasten). Die Erfindung ist auf Züge anwendbar.
  • (Ausführungsform 4)
  • 13A zeigt eine Seitenansicht eines Zugs 37, der ein Umgebungs-Überwachungssystem für einem mobilen Körper gemäß Ausführungsform 4 der Erfindung beinhaltet. 13B zeigt eine Draufsicht auf den Zug 37, der in 13A zu sehen ist. Der in 4 gezeigte Zug 37 ist ein Schienenzug.
  • In Ausführungsform 4 befinden sich, wie in 13A und 13B gezeigt ist, die Omniazimut-Optiksensoren 4 des Umgebungs-Überwachungssystems auf der den Vorderseiten der Wagons/Loks oberhalb einer Verbindungsbrücke. Die Omniazimut-Optiksensoren 4 erfassen 180°-Blickfelder in Fahrtrichtung und in der dazu entgegengesetzten Richtung.
  • Die Erfindung wurde im Zusammenhang mit den Ausführungsformen 1–4 anhand eines Fahrzeugs oder eines Zugs beschrieben. Die Erfindung kann jedoch auf alle Arten von mobilen Körpern angewandt werden beispielsweise Flugzeuge, Schiffe, und dergleichen, unabhängig davon, ob die mobilen Körper bemannt oder unbemannt sind.
  • Die Erfindung ist weiterhin nicht auf einen Körper beschränkt, der sich von einem Ort zum anderen bewegt. Wenn ein Umgebungs-Überwachungssystem gemäß der Erfindung auf einen Körper montiert ist, der sich am gleichen Ort bewegt, kann ein Sicherheitscheck um den Körper herum durchgeführt werden können, wenn dieser sich bewegt bzw. wenn der Ort sich bewegt.
  • In den Ausführungsformen 1–4 wird das in 3 gezeigte optische System verwendet, was dazu imstande ist, ein 360°-Blickfeld um das System herum zu erfassen, und dazu im Stande ist, eine Zentral-Projektions-Transformation des Bilds durchzuführen. Die Erfindung verwendet ein optisches System, das in der japanischen Patentoffenlegungsschrift Nr. 11-331654 beschrieben ist.
  • Wie in der vorangehenden Beschreibung deutlich geworden ist, wird erfindungsgemäß ein Omniazimut-Optiksensor bzw. mehrere Sensoren auf einer oberen Seite, auf einem Endabschnitt, etc. eines Fahrzeugs platziert, wodurch Fahrer-Schattenbereiche leicht erfasst werden können. Mit einem derartigen System muss der Fahrer nicht zwischen einer Vielzahl von Kameras hin- und herschalten, um eine dieser Kameras zum Anzeigen eines Bilds auf einer Anzeigevorrichtung zu veranlassen, oder die Orientierung der Kamera zu ändern, wie dies in herkömmlichen Fahrzeug-Überwachungsvorrichtungen der Fall ist. Wenn daher der Fahrer seine Fahrt antritt, das motorisierte Fahrzeug nach links oder nach rechts abbiegt, oder wenn der Fahrer das Fahrzeug ein- oder ausparkt, kann der Fahrer alle Vorgänge um das Fahrzeug herum leicht erfassen, womit ein sicheres Fahren gewährleistet wird.
  • Der Fahrer kann ein gewünschtes Bild anzeigen lassen und die Anzeigerichtung oder die Bildgröße ändern. Damit kann durch Umschalten einer Anzeige beim Rückwärtsfahren ein Sicherheitscheck schnell durchgeführt werden, wodurch Auffahrunfälle oder dergleichen verhindert werden können.
  • Weiterhin ist es möglich, zwischen einer Anzeige der Umgebung des mobilen Körpers und einer Anzeige des Orts des Fahrzeugs zu schalten. Damit wird der Raum um den Fahrersitz herum nicht unnötig mit Vorrichtungen "zugebaut", ferner ist die Bedienung des erfindungsgemäßen Systems leichter als die eines herkömmlichen Systems.
  • Weiterhin werden ein Abstand zwischen dem Objekt um den mobilen Körper herum, die Relativgeschwindigkeit, eine Bewegungsrichtung des mobilen Körpers und dergleichen festgelegt. Wenn das Objekt in einem bestimmten Bereich um den mobilen Körper herum eintritt, gibt das System ein Alarmsignal ab. Dies ermöglicht einfache und schnelle Sicherheitschecks.

Claims (12)

  1. Umgebungs-Radarsystem (200), mit: wenigstens einem Omniazimut-Optiksensor (4) mit einem optischen System (4a), das einen Hyperbolid-Spiegel (22) und eine Bilderzeugungs-Linse aufweist, um ein Bild eines 360°-Blickfelds der Umgebung zu erhalten, und einer Bilderzeugungseinrichtung (4b) zum Umwandeln des Bilds, das durch das optische System (4a) erzeugt wurde, in erste Bilddaten; einem Bildprozessor (5) zum Umwandeln der ersten Bilddaten in zweite Bilddaten für ein Panorama-Bild und/oder für ein perspektivisches Bild; einer Anzeigeeinrichtung (6) zum Anzeigen des Panoramabilds und/oder des perspektivischen Bilds basierend auf den zweiten Bilddaten; und einer Anzeigen-Steuereinrichtung (7) zum Auswählen und zum Steuern des Panoramabilds und/oder des perspektivischen Bilds, wobei mittels des optischen Systems (4a) eine Zentral-Projektions-Transformation und eine Perspektivtransformation für das Bild eines 360°-Blickfelds durchführbar ist.
  2. Umgebungs-Radarsystem (200) gemäß Anspruch 1, wobei die Anzeigeeinrichtung (6) das Panoramabild und das perspektivische Bild zu einem Zeitpunkt anzeigt oder die Anzeigeeinrichtung (6) selektiv das Panoramabild oder das perspektivische Bild anzeigt.
  3. Umgebungs-Radarsystem (200) gemäß Anspruch 1, wobei die Anzeigeeinrichtung (6) gleichzeitig wenigstens Frontal-, Links- und Rechts-Blickfelder in Perspektivdarstellung innerhalb des 360°-Blickfelds basierend auf den zweiten Bilddaten anzeigt.
  4. Umgebungs-Radarsystem (200) gemäß Anspruch 3, wobei die Anzeigesteuereinrichtung (7) eines der Frontal-, Links- und Rechts-Blickfelder mittels der Anzeigeneinrichtung (6) perspektivisch darstellt, der Bildprozessor (5) das perspektivische Blickfeldbild vertikal/horizontal bewegt oder hoch/herunterskaliert, was durch die Anzeigesteuereinrichtung gemäß einer externen Eingabe ausgewählt wurde; und die Anzeigeeinrichtung (6) das bewegte bzw. hochskalierte/herunterskalierte Bild anzeigt.
  5. Umgebungs-Radarsystem (200) gemäß Anspruch 1, wobei das System auf einem mobilen Körper zum Erfassen der Umgebung um den mobilen Körper herum montiert ist.
  6. Umgebungs-Radarsystem (200) gemäß Anspruch 5, wobei die Anzeigeeinrichtung (6) eine Orts-Anzeigeneinrichtung (6b) zum Anzeigen des Ortes des mobilen Körpers aufweist, und die Anzeigesteuereinrichtung (7) die Anzeigeeinrichtung schaltet zwischen einem Bild, das die Umgebung des mobilen Körpers zeigt, und einem Bild, das den Ort des mobilen Körpers zeigt.
  7. Umgebungs-Radarsystem (200) gemäß Anspruch 5, wobei der mobile Körper ein motorisiertes Fahrzeug (1) ist.
  8. Umgebungs-Radarsystem (200) gemäß Anspruch 7, wobei. der wenigstens eine omniazimutale optische Sensor (4) auf einem Dach des motorisierten Fahrzeugs (1) montiert ist.
  9. Umgebungs-Radarsystem (200) gemäß Anspruch 7, wobei: der wenigstens eine omniazimutale optische Sensor erste und zweite omniazimutale optische Sensoren aufweist; der erste omniazimutale optische Sensor (4) auf der Vorderstoßstange des motorisierten Fahrzeugs (1) vorgesehen ist; und der zweite omniazimutale optische Sensor (4) auf der Rückseitenstoßstange des motorisierten Fahrzeugs (1) vorgesehen ist.
  10. Umgebungs-Radarsystem (200) gemäß Anspruch 9, wobei: der erste omniazimutale optische Sensor (4) auf einer linken oder rechten Ecke der Vorderseiten-Stoßstange vorgesehen ist; und der zweite omniazimutale optische Sensor (4) bei einer diagonalen Position auf der Rückseiten-Stoßstange hinsichtlich des ersten omniazimutalen optischen Sensors (4) vorgesehen ist.
  11. Umgebungs-Radarsystem (200) gemäß Anspruch 5, wobei der mobile Körper ein Zug ist.
  12. Umgebungs-Radarsystem (200) gemäß Anspruch 5, mit: einer Einrichtung zum Ermitteln einer Distanz zwischen dem mobilen Körper und einem Objekt um den mobilen Körper herum, einer Relativgeschwindigkeit des Objekts hinsichtlich des mobilen Körpers, und einer Bewegungsrichtung des Objekts basierend auf: einem Signal der Bilddaten von dem wenigstens einen omniazimutalen optischen Sensor (4) und einem Geschwindigkeitssignal von dem mobilen Körper; und einer Alarmeinrichtung (8) zum Erzeugen von Alarminformation für den Fall, dass das Objekt in ein bestimmtes Gebiet um den mobilen Körper herum eintritt.
DE60104599T 2000-05-23 2001-05-23 Umgebungs-Überwachungssystem Expired - Lifetime DE60104599T3 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000152208 2000-05-23
JP2000152208A JP3627914B2 (ja) 2000-05-23 2000-05-23 車両の周囲監視システム

Publications (3)

Publication Number Publication Date
DE60104599D1 DE60104599D1 (de) 2004-09-09
DE60104599T2 true DE60104599T2 (de) 2005-08-04
DE60104599T3 DE60104599T3 (de) 2008-06-12

Family

ID=18657663

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60104599T Expired - Lifetime DE60104599T3 (de) 2000-05-23 2001-05-23 Umgebungs-Überwachungssystem

Country Status (5)

Country Link
US (1) US6693518B2 (de)
EP (1) EP1158473B2 (de)
JP (1) JP3627914B2 (de)
KR (1) KR100486012B1 (de)
DE (1) DE60104599T3 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
DE112013006385B4 (de) 2013-01-09 2018-09-06 Mitsubishi Electric Corporation Fahrzeugperipherie-Anzeigevorrichtung

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US20050140785A1 (en) * 1999-03-16 2005-06-30 Mazzilli Joseph J. 360 degree video camera system
TW468283B (en) 1999-10-12 2001-12-11 Semiconductor Energy Lab EL display device and a method of manufacturing the same
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
EP1263626A2 (de) 2000-03-02 2002-12-11 Donnelly Corporation Video-spiegelsystem mit zusatzmodul
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
EP1150252B1 (de) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Erzeugung eines Bildes aus einer Vielzahl von Kamerabildern
JP3773433B2 (ja) 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
DE10059313A1 (de) 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
ATE363413T1 (de) * 2001-01-23 2007-06-15 Donnelly Corp Verbessertes fahrzeugbeleuchtungssystem
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
JP4006959B2 (ja) * 2001-04-28 2007-11-14 節男 黒木 視認カメラ装着車
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
DE10131196A1 (de) * 2001-06-28 2003-01-16 Bosch Gmbh Robert Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
JP4786076B2 (ja) * 2001-08-09 2011-10-05 パナソニック株式会社 運転支援表示装置
JP2003054316A (ja) * 2001-08-21 2003-02-26 Tokai Rika Co Ltd 車両用撮像装置、車両用監視装置及びドアミラー
JP2003104145A (ja) * 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 運転支援表示装置
DE10253378B4 (de) * 2001-11-16 2010-07-01 AutoNetworks Technologies, Ltd., Nagoya Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem
DE10158415C2 (de) * 2001-11-29 2003-10-02 Daimler Chrysler Ag Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
MXPA04005354A (es) * 2001-12-03 2005-03-31 J Mazzili Joseph Sistema de camara de video de 360 grados para automovil.
JP3979522B2 (ja) * 2002-02-21 2007-09-19 シャープ株式会社 カメラ装置及び監視システム
JP2003269969A (ja) * 2002-03-13 2003-09-25 Sony Corp ナビゲーション装置、地点情報の表示方法およびプログラム
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
DE60320169T2 (de) 2002-05-02 2009-04-09 Sony Corp. Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium
US7218352B2 (en) 2002-05-02 2007-05-15 Sony Corporation Monitoring system for a photography unit, monitoring method, computer program, and storage medium
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
JP3925299B2 (ja) 2002-05-15 2007-06-06 ソニー株式会社 モニタリングシステムおよび方法
US20040001091A1 (en) * 2002-05-23 2004-01-01 International Business Machines Corporation Method and apparatus for video conferencing system with 360 degree view
WO2003105099A1 (en) 2002-06-06 2003-12-18 Donnelly Corporation Interior rearview mirror system with compass
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
DE10227221A1 (de) * 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
US7697025B2 (en) 2002-08-28 2010-04-13 Sony Corporation Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
AU2003278863A1 (en) 2002-09-20 2004-04-08 Donnelly Corporation Mirror reflective element assembly
WO2004103772A2 (en) 2003-05-19 2004-12-02 Donnelly Corporation Mirror assembly for vehicle
DE10303013A1 (de) * 2003-01-27 2004-08-12 Daimlerchrysler Ag Fahrzeug mit einer katadioptrischen Kamera
WO2004076235A1 (de) * 2003-02-25 2004-09-10 Daimlerchrysler Ag Spiegel zur optoelektronischen umgebungserfassung an einem fahrzeug
JP4273806B2 (ja) * 2003-03-31 2009-06-03 マツダ株式会社 車両用監視装置
JP3979330B2 (ja) 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
US7046259B2 (en) * 2003-04-30 2006-05-16 The Boeing Company Method and system for presenting different views to passengers in a moving vehicle
US7088310B2 (en) * 2003-04-30 2006-08-08 The Boeing Company Method and system for presenting an image of an external view in a moving vehicle
US6866225B2 (en) 2003-04-30 2005-03-15 The Boeing Company Method and system for presenting moving simulated images in a moving vehicle
WO2004102479A1 (ja) * 2003-05-14 2004-11-25 Loarant Corporation 画像変換プログラム、画像変換方法、及びプログラムを担持した媒体
US20050062845A1 (en) 2003-09-12 2005-03-24 Mills Lawrence R. Video user interface system and method
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
DE10346484B4 (de) * 2003-10-02 2007-10-11 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346511B4 (de) * 2003-10-02 2008-01-31 Daimler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346510B4 (de) * 2003-10-02 2007-11-15 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346483B4 (de) * 2003-10-02 2007-11-22 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346507B4 (de) * 2003-10-02 2007-10-11 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346482B4 (de) * 2003-10-02 2008-08-28 Daimler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005191962A (ja) 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
JP5254612B2 (ja) * 2004-05-21 2013-08-07 プレスコ テクノロジー インコーポレーテッド グラフィック再検査ユーザ設定インタフェース
JP2006069367A (ja) * 2004-09-02 2006-03-16 Nippon Seiki Co Ltd 車両用撮像装置
JP2006197034A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 画像認識システム、撮像装置及び画像認識方法
US7535247B2 (en) 2005-01-31 2009-05-19 Cascade Microtech, Inc. Interface for testing semiconductors
US7656172B2 (en) * 2005-01-31 2010-02-02 Cascade Microtech, Inc. System for testing semiconductors
WO2006083581A2 (en) * 2005-01-31 2006-08-10 Cascade Microtech, Inc. Microscope system for testing semiconductors
GB0507869D0 (en) * 2005-04-19 2005-05-25 Wqs Ltd Automated surveillance system
ATE517368T1 (de) 2005-05-16 2011-08-15 Donnelly Corp Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil
KR100716338B1 (ko) * 2005-07-04 2007-05-11 현대자동차주식회사 영상인식을 이용한 후측방 접근 차량 경보 방법 및 시스템
JP2007124483A (ja) * 2005-10-31 2007-05-17 Aisin Seiki Co Ltd 移動体通信装置
CN101535087B (zh) 2005-11-01 2013-05-15 唐纳利公司 具有显示装置的内部后视镜
US8194132B2 (en) 2006-01-20 2012-06-05 Old World Industries, Llc System for monitoring an area adjacent a vehicle
US8698894B2 (en) 2006-02-07 2014-04-15 Magna Electronics Inc. Camera mounted at rear of vehicle
CN101401024B (zh) 2006-03-09 2016-03-16 金泰克斯公司 包括高强度显示器的车辆后视组件
JP2007288354A (ja) * 2006-04-13 2007-11-01 Opt Kk カメラ装置、画像処理装置および画像処理方法
US20070278421A1 (en) * 2006-04-24 2007-12-06 Gleason K R Sample preparation technique
US20080136914A1 (en) * 2006-12-07 2008-06-12 Craig Carlson Mobile monitoring and surveillance system for monitoring activities at a remote protected area
US20080266397A1 (en) * 2007-04-25 2008-10-30 Navaratne Dombawela Accident witness
DE102007024752B4 (de) 2007-05-26 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation in einem Kraftfahrzeug
DE102007030226A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
EP2070774B1 (de) 2007-12-14 2012-11-07 SMR Patents S.à.r.l. Sicherheitssystem und Verfahren zur Ableitung eines Sicherheitssignals
US20090202102A1 (en) * 2008-02-08 2009-08-13 Hermelo Miranda Method and system for acquisition and display of images
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US8508350B2 (en) 2008-05-16 2013-08-13 Magna Electronics Inc. System for providing and displaying video information using a plurality of video sources
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
JP5169787B2 (ja) * 2008-12-12 2013-03-27 大日本印刷株式会社 画像変換装置および画像変換方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP4840452B2 (ja) * 2009-01-22 2011-12-21 株式会社デンソー 車両周辺表示装置
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
DE102010004095A1 (de) * 2010-01-07 2011-04-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung zur dreidimensionalen Umfelderfassung
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
CN102591014B (zh) * 2011-01-07 2015-04-08 北京航天万方科技有限公司 一种全景视觉观察系统及其工作方法
WO2013032371A1 (en) * 2011-08-30 2013-03-07 Volvo Technology Corporation Vehicle security system and method for using the same
JP5780083B2 (ja) * 2011-09-23 2015-09-16 日本電気株式会社 検品装置、検品システム、検品方法及びプログラム
US20130215271A1 (en) 2012-02-22 2013-08-22 Magna Electronics, Inc. Indicia and camera assembly for a vehicle
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
US9365162B2 (en) 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
KR101406232B1 (ko) * 2012-12-20 2014-06-12 현대오트론 주식회사 도어 열림 경보 장치 및 방법
KR101406212B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 후사경의 분할 뷰 제공 장치 및 방법
KR101406211B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 avm 영상 제공 장치 및 방법
EP2972569B1 (de) 2013-03-15 2017-12-13 Gentex Corporation Spiegelanordnung für eine anzeige
WO2014147621A1 (en) * 2013-03-21 2014-09-25 Zeev Erlich Aversion of covert pursuit
JP6814040B2 (ja) 2013-06-26 2021-01-13 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH ミラー代替手段、並びに、車両
DE102013214368A1 (de) 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
WO2015048162A1 (en) 2013-09-24 2015-04-02 Gentex Corporation Display mirror assembly
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
CN106061794B (zh) 2014-03-21 2019-06-07 金泰克斯公司 三态显示镜组件
KR101894262B1 (ko) 2014-04-01 2018-09-04 젠텍스 코포레이션 자동 디스플레이 미러 어셈블리
KR102214604B1 (ko) * 2014-09-05 2021-02-10 현대모비스 주식회사 운전 보조 영상 표시 방법
WO2016044746A1 (en) 2014-09-19 2016-03-24 Gentex Corporation Rearview assembly
CN107000642B (zh) 2014-11-07 2020-03-27 金泰克斯公司 全显示镜致动器
CN107000649B (zh) 2014-11-13 2020-04-14 金泰克斯公司 具有显示装置的后视镜系统
WO2016090126A2 (en) 2014-12-03 2016-06-09 Gentex Corporation Display mirror assembly
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
CN107531183B (zh) 2015-04-20 2021-09-03 金泰克斯公司 具有贴花的后视总成
US10112540B2 (en) 2015-05-18 2018-10-30 Gentex Corporation Full display rearview device
US11178353B2 (en) 2015-06-22 2021-11-16 Gentex Corporation System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
DE102015008042B3 (de) * 2015-06-23 2016-12-15 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
US10685623B2 (en) 2015-10-30 2020-06-16 Gentex Corporation Toggle paddle
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
WO2017075473A1 (en) 2015-10-30 2017-05-04 Gentex Corporation Rearview device
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
CN106855999A (zh) * 2015-12-09 2017-06-16 宁波芯路通讯科技有限公司 汽车环视图像的生成方法及装置
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
KR20190104990A (ko) 2016-12-30 2019-09-11 젠텍스 코포레이션 즉각 맞춤형 스포터 뷰를 갖는 풀 디스플레이 미러
WO2018170353A1 (en) 2017-03-17 2018-09-20 Gentex Corporation Dual display reverse camera system
JP7332445B2 (ja) * 2019-11-25 2023-08-23 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
CN111526337B (zh) * 2020-05-08 2021-12-17 三一重机有限公司 一种工程机械的预警系统、预警方法及工程机械
US11887460B2 (en) 2021-08-12 2024-01-30 Toyota Motor North America, Inc. Transport-related contact notification
US12097815B2 (en) 2021-08-12 2024-09-24 Toyota Connected North America, Inc. Protecting living objects in transports
US12030489B2 (en) 2021-08-12 2024-07-09 Toyota Connected North America, Inc. Transport related emergency service notification
US11608030B2 (en) * 2021-08-12 2023-03-21 Toyota Connected North America, Inc. Vehicle surveillance system and early vehicle warning of potential threat
US11894136B2 (en) 2021-08-12 2024-02-06 Toyota Motor North America, Inc. Occupant injury determination
WO2023021481A1 (en) 2021-08-20 2023-02-23 Gentex Corporation Lighting assembly and illumination system having a lighting assembly
JP2023148909A (ja) * 2022-03-30 2023-10-13 株式会社日立製作所 列車走行支援装置及び列車走行支援方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002430A (en) * 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP2939087B2 (ja) 1993-04-07 1999-08-25 シャープ株式会社 全方位視覚系
JP3419103B2 (ja) 1994-09-16 2003-06-23 日産自動車株式会社 車両用監視装置
JP3453960B2 (ja) * 1995-10-24 2003-10-06 日産自動車株式会社 車両周囲モニタ装置
JPH09142236A (ja) 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus
US6064428A (en) * 1996-08-05 2000-05-16 National Railroad Passenger Corporation Automated track inspection vehicle and method
JPH1059068A (ja) * 1996-08-23 1998-03-03 Yoshihisa Furuta 車両の死角確認装置
JP3943674B2 (ja) * 1996-10-25 2007-07-11 キヤノン株式会社 カメラ制御システム並びにカメラサーバ及びその制御方法
JP3976368B2 (ja) 1997-03-18 2007-09-19 富士通テン株式会社 車載用多チャンネル画像処理装置
JP3327255B2 (ja) 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
US6421081B1 (en) * 1999-01-07 2002-07-16 Bernard Markus Real time video rear and side viewing device for vehicles void of rear and quarter windows
US6333759B1 (en) * 1999-03-16 2001-12-25 Joseph J. Mazzilli 360 ° automobile video camera system
JP2002308030A (ja) * 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
DE112013006385B4 (de) 2013-01-09 2018-09-06 Mitsubishi Electric Corporation Fahrzeugperipherie-Anzeigevorrichtung

Also Published As

Publication number Publication date
KR100486012B1 (ko) 2005-05-03
JP3627914B2 (ja) 2005-03-09
US6693518B2 (en) 2004-02-17
KR20010107655A (ko) 2001-12-07
JP2001331789A (ja) 2001-11-30
DE60104599T3 (de) 2008-06-12
EP1158473B1 (de) 2004-08-04
EP1158473B2 (de) 2007-11-21
EP1158473A3 (de) 2002-08-14
DE60104599D1 (de) 2004-09-09
US20020005896A1 (en) 2002-01-17
EP1158473A2 (de) 2001-11-28

Similar Documents

Publication Publication Date Title
DE60104599T2 (de) Umgebungs-Überwachungssystem für bewegliche Körper wie Kraftfahrzeug oder Zug
DE60101440T3 (de) Umgebungsüberwachungssystem für beweglichen Körper
EP1302076B1 (de) Vorrichtung und verfahren zur überwachung der umgebung eines objekts
EP2197707B1 (de) Vorrichtung zum überwachen der umgebung eines kraftfahrzeugs
EP1147032B1 (de) Einrichtung zur überwachung der umgebung eines einparkenden fahrzeugs
DE60124345T2 (de) Bildzusammensetzungssystem und -verfahren
DE10158415C2 (de) Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
EP2484558B1 (de) Anzeigeeinrichtung für Sichtfelder eines Nutzfahrzeugs
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102014115037A1 (de) Sichtbasierte Objekterkennung und -hervorhebung bei Fahrzeugbildanzeigesystemen
DE102016106255A1 (de) Fahrzeugaussenseiten-Kamerasysteme und Verfahren
DE60306614T2 (de) Vorrichtung und Verfahren zur Überwachung der nahen Umgebung eines Fahrzeuges
DE102016116859A1 (de) Sensoranordnung für ein autonom betriebenes Nutzfahrzeug und ein Verfahren zur Rundumbilderfassung
EP2373521B1 (de) Vorrichtung zur überwachung einer umgebung eines fahrzeugs
EP1470958A2 (de) Freiraumüberwachung bei Kraftfahrzeugen
DE102013220669A1 (de) Dynamische Rückspiegelanzeigemerkmale
DE102007059735A1 (de) Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse
EP1375253A2 (de) Verfahren zur Überwachung des Innen-bzw.Aussenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
DE102008001991A1 (de) System zur Vermeidung von Seitenkollisionen
WO2016005232A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
EP4371298A1 (de) Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem
EP2922293A1 (de) Verfahren zur Überwachung des Fahrzeuginnenraums und des Fahrzeugaußenraums
EP2639109B1 (de) Heckbereichssichtsystem
DE102014111186A1 (de) Objekthervorhebung und -erkennung bei Fahrzeugbildanzeigesystemen
DE102020113157A1 (de) Bilddatenverarbeitungseinheit, Anzeigesystem und Verfahren zur Visualisierung der Umgebung eines Fahrzeugs

Legal Events

Date Code Title Description
8363 Opposition against the patent
8366 Restricted maintained after opposition proceedings