DE102020204957A1 - Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungsverfahren - Google Patents

Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungsverfahren Download PDF

Info

Publication number
DE102020204957A1
DE102020204957A1 DE102020204957.2A DE102020204957A DE102020204957A1 DE 102020204957 A1 DE102020204957 A1 DE 102020204957A1 DE 102020204957 A DE102020204957 A DE 102020204957A DE 102020204957 A1 DE102020204957 A1 DE 102020204957A1
Authority
DE
Germany
Prior art keywords
video image
vehicle
unit
image processing
monitoring function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020204957.2A
Other languages
English (en)
Inventor
Noritaka Kokido
Kohei Mori
Nariaki TAKEHARA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE102020204957A1 publication Critical patent/DE102020204957A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0833Indicating performance data, e.g. occurrence of a malfunction using audio means
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Gemeinsame Teile einer Umgebungsüberwachungskameravorrichtung und einer Rück-Lateral-Seiten-Überwachungskameravorrichtung werden geteilt und in einer Vorrichtung integriert, dadurch wird eine Zunahme in der Größe einer Fahrzeugumgebungsüberwachungsvorrichtung verhindert. Die Fahrzeugumgebungsüberwachungsvorrichtung (1) umfasst: eine Umgebungsüberwachungskamera (2) zum Aufnehmen eines Umgebungsüberwachungsvideobilds; eine Rück-Lateral-Seiten-Überwachungskamera (3) zum Aufnehmen eines Rück-Lateral-Seitenüberwachungsvideobilds; eine Überwachungsfunktion-Auswahleinheit (5) zum Auswählen von einer oder mehreren Funktionen als eine Auswahlüberwachungsfunktion von einer oder mehreren Umgebungsüberwachungsfunktionen und einer oder mehreren Rück-Lateral-Seiten-Überwachungsfunktionen auf der Basis einer Fahrzeugsituation eines eigenen Fahrzeugs, zum Bestimmen entweder des Umgebungsüberwachungsvideobilds oder des Rück-Lateral-Seitenüberwachungsvideobilds als ein Eingabevideobild auf der Basis der Auswahlüberwachungsfunktion und zum Bestimmen eines zu der Auswahlüberwachungsfunktion gehörigen Videobildverarbeitungsverfahrens; eine Eingabevideobild-Erfassungseinheit (6) zum Erfassen des durch die Überwachungsfunktion-Auswahleinheit (5) bestimmten Eingabevideobilds, von entweder der Umgebungsüberwachungskamera (2) oder der Rück-Lateral-Seiten-Überwachungskamera (3); und eine Eingabevideobild-Verarbeitungseinheit (7) zum Ausführen einer Videobildverarbeitung an dem Eingabevideobild durch das durch die Überwachungsfunktion-Auswahleinheit (5) bestimmte Videobildverarbeitungsverfahren.

Description

  • Hintergrund der Erfindung
  • Gebiet der Erfindung
  • Die vorliegende Offenbarung betrifft eine Fahrzeugumgebungsüberwachungsvorrichtung und ein Fahrzeugumgebungsüberwachungsverfahren.
  • Beschreibung des Stands der Technik
  • In den vergangenen Jahren wurde eine Überwachungskameravorrichtung beschrieben, die eine an einem Fahrzeug angebrachte Überwachungskamera umfasst und ein Videobild des Umgebungsbereichs des Fahrzeugs bereitstellt, bei dem es wahrscheinlich ist, dass für einen Fahrer tote Winkel vorhanden sind. Kürzlich wurde ebenso eine Umgebungsüberwachungskameravorrichtung beschrieben, die eine Vielzahl von Kameras umfasst, zum Aufnehmen von Videobildern des Umgebungsbereichs eines Fahrzeugs, die an dem Fahrzeug angebracht sind, und ein Videobild in einer Vogelperspektive eines 360° Bereichs um das Fahrzeug bereitstellt. Die Umgebungsüberwachungskameravorrichtung erzeugt ein Videobild in einer Vogelperspektive von einem 360° Bereich um das Fahrzeug durch Ausführen einer Koordinatentransformation von Videobildern, die durch die Vielzahl von Kameras aufgenommen sind, und durch Synthetisieren der Videobilder (siehe beispielsweise Patentdokument 1).
  • Zusätzlich ist eine Rück-Lateral-Seitenüberwachungskameravorrichtung beschrieben, die eine Kamera umfasst, zum Aufnehmen eines Bilds eines Bereichs an einer Rückseite, die an einem Fahrzeug angebracht ist, die eine Fahrspur an einer Rückseite des Fahrzeugs auf der Basis eines aufgenommenen Videobilds erkennt, und die ein in dem Überwachungsbereich in der Fahrspur fahrendes nachfolgendes Fahrzeug detektiert. Die Rück-Lateral-Seiten-Überwachungskameravorrichtung weist eine Funktion zum Ausgeben eines Alarms auf, wenn der Fahrer den Blinker in der Richtung eines detektierten nachfolgenden Fahrzeugs bedient (siehe beispielsweise Patentdokument 2).
    • Patentdokument 1: japanisches Patent mit der Nummer 3286306
    • Patentdokument 2: japanische Patentveröffentlichungsschrift mit der Nummer 2-287799
  • Die Umgebungsüberwachungskameravorrichtung wird hauptsächlich während einem Parken verwendet und die Rück-Lateral-Seiten-Überwachungskameravorrichtung wird hauptsächlich während einer Fahrt verwendet. Falls die zwei Vorrichtungen an einem Fahrzeug angebracht sind, bilden die zwei Vorrichtungen eine Fahrzeugumgebungsüberwachungsvorrichtung, die die Sicherheit des Fahrzeugs sowohl während einem Parken als auch während einem Fahren verbessert. Allerdings, falls die zwei Vorrichtungen lediglich an einem Fahrzeug angebracht sind, sind Plätze für die entsprechenden Vorrichtungen notwendig, und somit gibt es ein Problem darin, dass die Größe der Fahrzeugumgebungsüberwachungsvorrichtung zunimmt.
  • Zusammenfassung der Erfindung
  • Die vorliegende Offenbarung wurde gemacht, um das oben beschriebene Problem zu lösen, und eine Aufgabe der vorliegenden Offenbarung ist es, mit dem Schwerpunkt auf der Tatsache, dass eine Fahrzeugsituation unterschiedlich ist, wenn eine Vielzahl von Überwachungskameravorrichtungen verwendet werden, gemeinsame Teile dieser Vorrichtungen zu teilen und die Teile in einer Vorrichtung zu integrieren, um dadurch eine Zunahme der Größe einer Fahrzeugumgebungsüberwachungsvorrichtung zu verhindern.
  • Eine Fahrzeugumgebungsüberwachungsvorrichtung gemäß der vorliegenden Offenbarung umfasst: eine Kameraeinheit, die eine Vielzahl von Kameras umfasst; eine Fahrzeugsituation-Bestimmungseinheit zum Bestimmen einer Fahrzeugsituation eines eigenen Fahrzeugs; eine Überwachungsfunktion-Auswahleinheit zum Auswählen von einer oder von mehreren Überwachungsfunktionen als eine Auswahlüberwachungsfunktion auf der Basis der Fahrzeugsituation des eigenen Fahrzeugs, die durch die Fahrzeugsituation-Bestimmungseinheit bestimmt ist, Bestimmen eines eingegebenen Videobilds, von der Kameraeinheit, das für die Auswahlüberwachungsfunktion notwendig ist, und Bestimmen eines Videobildverarbeitungsverfahrens, das zu der Auswahlüberwachungsfunktion gehört; eine Eingabevideobild-Erfassungseinheit zum Wechseln und Erfassen des eingegebenen Videobilds, von der Kameraeinheit, bestimmt durch die Überwachungsfunktion-Auswahleinheit; und eine Eingabevideobild-Verarbeitungseinheit zum Ausführen einer Videobildverarbeitung an dem durch die Eingabevideobild-Erfassungseinheit erfassten eingegebenen Videobild, durch das durch die Überwachungsfunktion-Auswahleinheit bestimmte Videobildverarbeitungsverfahren.
  • Eine Zunahme in der Größe der Fahrzeugumgebungsüberwachungsvorrichtung kann verhindert werden, da die Fahrzeugumgebungsüberwachungsvorrichtung der vorliegenden Offenbarung umfasst: eine Überwachungsfunktion-Auswahleinheit zum Auswählen von einer oder mehreren Überwachungsfunktionen als eine Auswahlüberwachungsfunktion auf der Basis der Fahrzeugsituation des eigenen Fahrzeugs, bestimmt durch die Fahrzeugsituation-Bestimmungseinheit, Bestimmen eines Eingabevideobilds von der Kameraeinheit, das für die Auswahlüberwachungsfunktion notwendig ist, und Bestimmen eines Videobildverarbeitungsverfahrens, das zu der Auswahlüberwachungsfunktion gehört; eine Eingabevideobild-Erfassungseinheit zum Wechseln und Erfassen des Eingabevideobilds, von der Kameraeinheit, bestimmt durch die Überwachungsfunktion-Auswahleinheit; und eine Eingabevideobild-Verarbeitungseinheit zum Ausführen einer Videobildverarbeitung an dem durch die Eingabevideobild-Erfassungseinheit erfassten Eingabevideobild, durch das Videobildverarbeitungsverfahren, das durch die Überwachungsfunktion-Auswahleinheit bestimmt ist.
  • Figurenliste
    • 1 ist ein Konfigurationsdiagramm einer Fahrzeugumgebungsüberwachungsvorrichtung gemäß einer ersten Ausführungsform;
    • 2 ist ein schematisches Diagramm, das die Abbildungsbereiche von Überwachungskamera in der ersten Ausführungsform zeigt;
    • 3 ist ein Diagramm, das ein Beispiel eines Umgebungsüberwachungsbilds in der ersten Ausführungsform zeigt;
    • 4 ist ein Diagramm, das ein Beispiel eines Rück-Lateral-Seitenüberwachungsbilds in der ersten Ausführungsform zeigt;
    • 5 ist ein Flussdiagramm eines Fahrzeugumgebungsüberwachungsverfahrens in der ersten Ausführungsform;
    • 6 ist ein Flussdiagramm des Fahrzeugumgebungsüberwachungsverfahrens in der ersten Ausführungsform; und
    • 7 ist ein schematisches Diagramm, das ein Beispiel einer Hardware der Fahrzeugumgebungsüberwachungsvorrichtung in der ersten Ausführungsform zeigt.
  • Detailbeschreibung der bevorzugten Ausführungsformen der Erfindung
  • Nachfolgend wird eine Fahrzeugumgebungsüberwachungsvorrichtung gemäß einer Ausführungsform zum Ausführen der vorliegenden Offenbarung genau mit Bezug zu den Figuren beschrieben. In jeder Figur bezeichnen dieselben Bezugszeichen dieselben oder zugehörige Teile.
  • Erste Ausführungsform
  • 1 ist ein Konfigurationsdiagramm einer Fahrzeugumgebungsüberwachungsvorrichtung gemäß einer ersten Ausführungsform. Die Fahrzeugumgebungsüberwachungsvorrichtung der vorliegenden Ausführungsform ist an einem Fahrzeug angebracht und weist Umgebungsüberwachungsfunktionen und Rück-Lateral-Seiten Überwachungsfunktionen auf. Beispiele der Umgebungsüberwachungsfunktionen umfassen eine Funktion zum Anzeigen eines Videobilds in einer Vogelperspektive, für einen Fahrer, eines 360° Bereichs um das Fahrzeug, eine automatische Parkfunktion zum Detektieren von Parkrahmenrichtlinien aus einem Videobild des Umgebungsbereichs des Fahrzeugs und automatisches Parken des Fahrzeugs entlang der detektierten Parkrahmenlinien und eine Kollisionsvermeidungsfunktion zum Detektieren von Fußgängern, Fahrzeugen, Hindernissen, und so weiter, um und hinter dem Fahrzeug, wenn das Fahrzeug rückwärtsfährt, und Vermeiden einer Kollision durch Ausgeben eines Alarms und Ausführen einer Bremssteuerung. Zusätzlich umfassen Beispiele der Rück-Lateral-Seiten Überwachungsfunktionen eine Nachfolgefahrzeugdetektionsfunktion zum Detektieren eines an einer Rückseite des Fahrzeugs fahrenden nachfolgenden Fahrzeugs und eine Spurwechsel-Alarmfunktion zum Ausgeben eines Alarms, wenn der Fahrer den Blinker in der Richtung eines detektierten nachfolgenden Fahrzeugs bedient.
  • Die in 1 gezeigte Fahrzeugumgebungsüberwachungsvorrichtung 1 der vorliegenden Ausführungsform umfasst eine Umgebungsüberwachungskamera 2, die eine Umgebungsüberwachungsvideobild des Fahrzeugs aufnimmt, eine Rück-Lateral-Seitenüberwachungskamera 3, die ein Rück-Lateral-Seitenüberwachungsvideobild des Fahrzeugs aufnimmt; eine Fahrzeugsituation-Bestimmungseinheit 4, die eine Fahrzeugsituation des Fahrzeugs bestimmt; eine Überwachungsfunktion-Auswahleinheit 5, die eine oder mehrere Funktionen als eine Auswahlüberwachungsfunktion aus einem oder mehreren Umgebungsüberwachungsfunktionen und einem oder mehreren Rück-Lateral-Seiten Überwachungsfunktionen auf der Basis der Fahrzeugsituation des Fahrzeugs auswählt, die durch die Fahrzeugsituation-Bestimmungseinheit 4 bestimmt ist, das Umgebungsüberwachungsvideobild oder das zu Rück-Lateral-Seitenüberwachungsvideobild als ein Eingabevideobild auf der Basis der Auswahlüberwachungsfunktion bestimmt, und ein zu der Auswahlüberwachungsfunktion gehöriges Videobildverarbeitungsverfahren bestimmt; eine Eingabevideobild-Erfassungseinheit 6, die das durch die Überwachungsfunktion-Auswahleinheit 5 bestimmte Eingabevideobild von der Umgebungskamera 2 oder der Rück-Lateral-Seitenüberwachungskamera 3 erfasst; und eine Eingabevideobild-Verarbeitungseinheit 7, die eine Videobildverarbeitung an dem durch die Eingabevideobild-Erfassungseinheit 6 erfassten Eingabevideobild ausführt, durch das durch die Überwachungsfunktion-Auswahleinheit 5 bestimmte Videobildverarbeitungsverfahren.
  • Die Umgebungsüberwachungskamera 2 umfasst eine oder mehrere optische Kameras wie beispielsweise eine Frontkamera, eine Rückkamera, eine linke Seitenkamera und eine rechte Seitenkamera, die jeweils einen Abbildungsbereich um das Fahrzeug aufweisen. In der vorliegenden Ausführungsform umfasst die Umgebungsüberwachungskamera 2 vier Kameras, allerdings kann diese eine beliebige Anzahl von Kameras umfassen, solange diese Kameras zum Aufnehmen eines Bilds des Umgebungsbereichs des Fahrzeugs sind. Die Umgebungsüberwachungskamera 2 gibt durch diese Kameras aufgenommene Videobilder als das Umgebungsüberwachungsvideobild aus.
  • Die Rück-Lateral-Seiten-Überwachungskamera 3 umfasst eine oder mehrere optische Kameras wie beispielsweise eine rechte Rückseitenkamera und eine linke Rückseitenkamera die jeweils einen Abbildungsbereich an einer seitlichen Rückseite des Fahrzeugs aufweisen. In der vorliegenden Ausführungsform umfasst die Rück-Lateral-Seiten-Überwachungskamera 3 zwei Kameras, allerdings kann eine beliebige Anzahl von Kameras umfasst sein, solange diese Kameras zum Aufnehmen eines Bilds eines Bereichs an einer Rück-Lateral-Seite des Fahrzeugs sind. Die Rück-Lateral-Seiten-Überwachungskamera 3 gibt durch diese Kameras ausgegebene Videobilder als das Rück-Lateral-Seitenüberwachungsvideobild aus.
  • 2 ist ein schematisches Diagramm, das ein Beispiel des Abbildungsbereichs der Umgebungsüberwachungskamera 2 und des Überwachungsbereichs der Rück-Lateral-Seiten-Überwachungskamera 3 in der vorliegenden Ausführungsform zeigt. Die Umgebungsüberwachungskamera 2 umfasst eine an dem vorderen Grill eines Fahrzeugs 18 angebrachte Frontkamera 21, eine rechte Seitenkamera 22 und eine linke Seitenkamera 23, die unterhalb der rechten und linken Vordertüren des Fahrzeugs 18 jeweils angebracht sind, und eine Rückkamera 24, die an der hinteren Stoßstange des Fahrzeugs 18 angebracht ist. Die Rück-Lateral-Seiten-Überwachungskamera 3 umfasst eine rechte Rückseitenkamera 31, die an einem rechten Endabschnitt der hinteren Stoßstange angebracht ist, und eine linke Rückseitenkamera 32, die an einem linken Endabschnitt der hinteren Stoßstange angebracht ist. Ein Abbildungsbereich 19 der Umgebungsüberwachungskamera 2 ist ein Bereich von ungefähr 360° um das Fahrzeug 18 innerhalb von 10 m von dem Fahrzeug 18. Abbildungsbereiche 20 der Rück-Lateral-Seiten-Überwachungskamera 3 sind Bereiche an der linken Rückseite und der rechten Rückseite des Fahrzeugs 18 innerhalb von 100 m von dem Fahrzeug 18. In dem in 2 gezeigten Fahrzeug 18 sind die Umgebungskamera 2 und die Rück-Lateral-Seiten-Überwachungskamera 3 an der äußeren Seite des Fahrzeugs 18 angebracht, allerdings können diese an der inneren Seite des Fahrzeugs 18 angebracht sein. Beispielsweise kann die vordere Kamera 21 an der Innenseite eines oberen Abschnitts der Windschutzscheibe angebracht sein.
  • Die Fahrzeugsituation-Bestimmungseinheit 4 empfängt ein Fahrzeuggeschwindigkeitssignal, ein Lenkrad-Lenkwinkel-Signal, ein Blinkersignal, ein Gangsignal und etwas Ähnliches des Fahrzeugs von einer Fahrzeugsituation-Benachrichtigungseinheit 11. Die Fahrzeugsituation-Benachrichtigungseinheit 11 ist beispielsweise eine elektronische Steuereinheit oder etwas Ähnliches. Nachstehend werden das Fahrzeuggeschwindigkeitssignal, das Lenkrad-Lenkwinkel-Signal, das Blinkersignal, das Gangsignal und etwas Ähnliches gemeinsam als eine CAN Information bezeichnet (Steuerbereichsnetzwerkinformation: CAN ist eine eingetragene Handelsmarke). Die Fahrzeugsituation-Bestimmungseinheit 4 empfängt ebenso eine Längengrad- und Breitengrad-Information, eine Karteninformation und etwas Ähnliches von einer Fahrzeugpositionsinformation-Benachrichtigungseinheit 12. Die Fahrzeugpositionsinformation-Benachrichtigungseinheit 12 ist beispielsweise ein Fahrzeugnavigationssystem oder etwas Ähnliches und kann die Längengrad- und Breitengrad-Information von einem GPS (globales Positionierungssystem) und die Karteninformation von einer Kartendatenbank erfassen. Die Fahrzeugsituation-Bestimmungseinheit 4 bestimmt eine Fahrzeugsituation des Fahrzeugs basierend auf der von der Fahrzeugsituation-Benachrichtigungseinheit 11 empfangenen CAN Information, der von der Fahrzeugpositionsinformation-Benachrichtigungseinheit 12 empfangenen Längengrad- und Breitengrad-Information und der Karteninformation, und so weiter. Dann benachrichtigt die Fahrzeugsituation-Bestimmungseinheit 4 die Überwachungsfunktion-Auswahleinheit 5 über die bestimmte Fahrzeugsituation des Fahrzeugs. Drei bestimmte Beispiele einer Fahrzeugsituationsbestimmung werden beschrieben. Als ein erstes Beispiel erfasst die Fahrzeugsituation-Bestimmungseinheit 4 von der CAN Information, ob der Gang in den Rückwärtsgang eingelegt ist, und bestimmt, dass das Fahrzeug rückwärtsfährt, falls der Gang in den Rückwärtsgang eingestellt ist. Falls der Gang in eine Position außer dem Rückwärtsgang eingestellt ist, bestimmt die Fahrzeugsituation-Bestimmungseinheit 4, dass das Fahrzeug vorwärtsfährt oder angehalten ist. Als ein zweites Beispiel bestimmt die Fahrzeugsituation-Bestimmungseinheit 4, ob das Fahrzeug in einem Parkplatz fährt, auf der Basis der aktuellen Position des Fahrzeugs, die von der Längengrad- und Breitengrad-Information des Fahrzeugs und der Karteninformation erhalten ist. Als ein Drittes Beispiel bestimmt die Fahrzeugsituation-Bestimmungseinheit 4, ob das Fahrzeug auf einer Straße fährt, auf der Basis der aktuellen Position des Fahrzeugs. Die durch die Fahrzeugsituation-Bestimmungseinheit 4 bestimmte Fahrzeugsituation kann eine beliebige andere Fahrzeugsituation sein, solange die Fahrzeugsituation zum Auswählen von zumindest einer Funktion als die Auswahlüberwachungsfunktion von den Umgebungsüberwachungsfunktionen und den Rück-Lateral-Seiten-Überwachungsfunktionen geeignet ist. Die Fahrzeugsituation-Bestimmungseinheit 4 kann die aktuelle Position des Fahrzeugs von der Fahrzeugpositionsinformation-Benachrichtigungseinheit 12 direkt erfassen.
  • Die Überwachungsfunktion-Auswahleinheit 5 wählt eine oder mehrere Funktionen aus einer Auswahlüberwachungsfunktion von einer Vielzahl von Umgebungsüberwachungsfunktionen und einer Vielzahl von Rück-Lateral-Seiten-Überwachungsfunktionen auf der Basis der von einer Fahreranweisungsinformation-Benachrichtigungseinheit 13 benachrichtigten Fahreranweisungsinformation und der von der Fahrzeugsituation-Bestimmungseinheit 4 benachrichtigten Fahrzeugsituation aus. Dann bestimmt Überwachungsfunktion-Auswahleinheit 5 entweder das Umgebungsüberwachungsvideobild oder das Rück-Lateral-Seitenüberwachungsvideobild als ein Eingabevideobild basierend auf der Auswahlüberwachungsfunktion. Darüber hinaus, falls eine Umgebungsüberwachungsfunktion als die Auswahlüberwachungsfunktion ausgewählt ist, bestimmt Überwachungsfunktion-Auswahleinheit 5 ein Umgebungsüberwachungsvideobild-Verarbeitungsverfahren, das zu der Umgebungsüberwachungsfunktion gehört, als ein Videobildverarbeitungsverfahren und, falls eine Rück-Lateral-Seiten-Überwachungsfunktion als die Auswahlüberwachungsfunktion ausgewählt ist, bestimmt die Überwachungsfunktion-Auswahleinheit 5 ein Rück-Lateral-Seitenüberwachungsvideobild-Verarbeitungsverfahren, das zu der Rück-Lateral-Seiten-Überwachungsfunktionen gehört, als ein Videobildverarbeitungsverfahren. Weiterhin benachrichtigt die Überwachungsfunktion-Auswahleinheit 5 die Eingabevideobild-Erfassungseinheit 6 über das bestimmte Eingabevideobild und benachrichtigt ebenso die Eingabevideobild-Verarbeitungseinheit 7 über das bestimmte Videobildverarbeitungsverfahren. Die Fahreranweisungsinformation-Benachrichtigungseinheit 13 ist beispielsweise eine auf einer Instrumententafel, einem zentralen Kombiinstrument, einem Lenkrad oder etwas Ähnlichem installierte Ausführungsfunktion-Einstelltaste, eine Taste auf dem Bildschirm eines Fahrzeugnavigationssystems oder etwas Ähnliches. Die Fahreranweisungsinformation-Benachrichtigungseinheit 13 benachrichtigt die Überwachungsfunktion-Auswahleinheit 5 über die Fahreranweisungsinformation, wenn der Fahrer irgendeine dieser Tasten drückt.
  • Als Nächstes wird ein Betrieb der Fahrzeugsituation-Bestimmungseinheit 4 und der Überwachungsfunktion-Auswahleinheit 5 beschrieben. Falls eine Fahreranweisungsinformation von der Fahreranweisungsinformation-Benachrichtigungseinheit 13 gemeldet ist, wählt die Überwachungsfunktion-Auswahleinheit 5 eine oder mehrere Funktionen als die Auswahlüberwachungsfunktion aus den Umgebungsüberwachungsfunktionen und den Rück-Lateral-Seiten-Überwachungsfunktionen entsprechend der Fahreranweisungsinformation aus und bestimmt ein Eingabevideobild und ein Videobildverarbeitungsverfahren, die zu der Auswahlüberwachungsfunktion gehören. Falls keine Fahreranweisungsinformation von der Fahreranweisungsinformation-Benachrichtigungseinheit 13 gemeldet ist, wählt die Überwachungsfunktion-Auswahleinheit 5 eine oder mehrere Funktionen als die Auswahlüberwachungsfunktion aus den Umgebungsüberwachungsfunktionen und den Rück-Lateral-Seiten-Überwachungsfunktionen basierend auf der von der Fahrzeugsituation-Bestimmungseinheit 4 gemeldeten Fahrzeugsituation und bestimmt ein Eingabevideobild und ein Videobildverarbeitungsverfahren, die zu der Auswahlüberwachungsfunktion gehören. Beispielsweise bestimmt die Fahrzeugsituation-Bestimmungseinheit 4, ob das Fahrzeug sich rückwärtsbewegt, vorwärtsbewegt oder angehalten ist, auf der Basis der CAN Information. Falls die Fahrzeugsituation-Bestimmungseinheit 4 bestimmt, dass das Fahrzeug sich rückwärtsbewegt, wählt die Überwachungsfunktion-Auswahleinheit 5 eine oder mehrere Funktionen als die Auswahlüberwachungsfunktion von den Umgebungsüberwachungsfunktionen aus und bestimmt ein Eingabevideobild und ein Videobildverarbeitungsverfahren, die zu der Auswahlüberwachungsfunktion gehören. Falls die Fahrzeugsituation-Bestimmungseinheit 4 bestimmt, dass das Fahrzeug sich vorwärtsbewegt oder angehalten ist, bestimmt die Fahrzeugsituation-Bestimmungseinheit 4, ob die Position des Fahrzeugs ein Parkplatz oder eine Straße oder weder ein Parkplatz noch eine Straße ist, auf der Basis der aktuellen Position des Fahrzeugs, die von der Fahrzeugpositionsinformation-Benachrichtigungseinheit 12 erfasst ist. Falls die Fahrzeugsituation-Bestimmungseinheit 4 bestimmt, dass die Position des Fahrzeugs ein Parkplatz ist, wählt die Überwachungsfunktion-Auswahleinheit 5 eine oder mehrere Funktionen als die Auswahlüberwachungsfunktion aus den Umgebungsüberwachungsfunktionen aus und bestimmt ein Eingabevideobild und ein Videobildverarbeitungsverfahren, die zu der Auswahlüberwachungsfunktion gehören. Falls die Fahrzeugsituation-Bestimmungseinheit 4 bestimmt, dass die Position des Fahrzeugs eine Straße ist wählt die Überwachungsfunktion-Auswahleinheit 5 eine oder mehrere Funktionen als die Auswahlüberwachungsfunktion aus den Rück-Lateral-Seiten-Überwachungsfunktionen aus und bestimmt ein Eingabevideobild und ein Videobildverarbeitungsverfahren, die zu der Auswahlüberwachungsfunktion gehören. Falls die Fahrzeugsituation-Bestimmungseinheit 4 bestimmt, dass die Position des Fahrzeugs weder ein Parkplatz noch eine Straße ist, wählt die Überwachungsfunktion-Auswahleinheit 5 eine oder mehrere Funktionen als die Auswahlüberwachungsfunktion aus den Rück-Lateral-Seiten-Überwachungsfunktionen aus und bestimmt ein Eingabevideobild und ein Videobildverarbeitungsverfahren, die zu der Auswahlüberwachungsfunktion gehören. Dann gibt die Überwachungsfunktion-Auswahleinheit 5 eine Videobildverarbeitungsinformation aus, die das bestimmte Videobildverarbeitungsverfahren bestimmt.
  • Die Eingabevideobild-Erfassungseinheit 6 erfasst das Umgebungsüberwachungsvideobild oder Rück-Lateral-Seitenüberwachungsvideobild, das als das Eingabevideobild durch die Überwachungsfunktion-Auswahleinheit 5 bestimmt ist, von entweder der Umgebungsüberwachungskamera 2 oder der Rück-Lateral-Seiten-Überwachungskamera 3. Die Eingabevideobild-Erfassungseinheit 6 kann das Eingabevideobild zwischen dem Umgebungsüberwachungsvideobild und dem Rück-Lateral-Seitenüberwachungsvideobild durch Hardware oder durch Software wechseln. Die Eingabevideobild-Erfassungseinheit 6 sendet das erfasste Eingabevideobild an die Eingabevideobild-Verarbeitungseinheit 7.
  • Die Eingabevideobild-Verarbeitungseinheit 7 führt eine Videobildverarbeitung an dem Eingabevideobild aus, das von der Eingabevideobild-Erfassungseinheit 6 gesendet ist, mittels dem durch die Überwachungsfunktion-Auswahleinheit 5 bestimmten Videobildverarbeitungsverfahren. Falls das Umgebungsüberwachungsvideobild als das Eingabevideobild gesendet ist, führt die Eingabevideobild-Verarbeitungseinheit 7 eine Videobildverarbeitung mittels dem als das Videobildverarbeitungsverfahren durch die Überwachungsfunktion-Auswahleinheit 5 bestimmte Umgebungsüberwachungsvideobild-Verarbeitungsverfahren aus.0 Falls das Rück-Lateral-Seitenüberwachungsvideobild als das Eingabevideobild gesendet ist, führt die Eingabevideobild-Verarbeitungseinheit 7 eine Videobildverarbeitung mittels dem als das Videobildverarbeitungsverfahren durch die Überwachungsfunktion-Auswahleinheit 5 bestimmte Rück-Lateral-Seitenüberwachungsvideobild-Verarbeitungsverfahren aus. Beispielsweise, falls das Umgebungsüberwachungsvideobild als das Eingabevideobild gesendet ist, erzeugt die Eingabevideobild-Verarbeitungseinheit 7 ein Videobild in einer Vogelperspektive eines 360° Bereichs um das Fahrzeug durch Ausführen einer Koordinatentransformation des Umgebungsüberwachungsvideobilds und durch Synthetisieren des Umgebungsüberwachungsvideobilds. Dann führt die Eingabevideobild-Verarbeitungseinheit 7 eine Detektion von Parkrahmenlinien zum automatischen Parken mittels Maschinenlernen wie beispielsweise einem Deep-Learning oder einer Randdetektion an dem Umgebungsüberwachungsvideobild aus. Alternativ führt die Eingabevideobild-Verarbeitungseinheit 7 beispielsweise eine Detektion von Fußgängern, Fahrzeugen, Hindernissen und so weiter um und hinter dem Fahrzeug mittels einem HoG (Histogramme der Orientierten und Gradienten) Merkmalsbeträge, Maschinenlernen mittels Deep-Learning oder einem optischen Fluss an dem Umgebungsüberwachungsvideobild aus. Wie oben beschrieben, gibt es eine Vielzahl von Umgebungsüberwachungsfunktionen wie beispielsweise eine Funktion zum Anzeigen eines Videobilds in einer Vogelperspektive für einen Fahrer, einer automatischen Parkfunktion zum automatischen Parken entlang Parkrahmenlinien und eine Kollisionsvermeidungsfunktion durch Ausgeben eines Alarms und Ausführen einer Bremssteuerung. Zusätzlich gibt es eine Vielzahl von Umgebungsüberwachungsvideobild-Verarbeitungsverfahren, die jeweils zu diesen Funktionen gehören. Die Überwachungsfunktion-Auswahleinheit 5 wählt einen oder mehrere Funktionen als die Auswahlüberwachungsfunktion aus der Vielzahl von Umgebungsüberwachungsfunktionen aus und bestimmt ein Videobildverarbeitungsverfahren, das zu der Auswahlüberwachungsfunktion gehört.
  • 3 zeigt ein Beispiel eines Umgebungsüberwachungsbilds in der vorliegenden Ausführungsform. Das in 3 gezeigte Umgebungsüberwachungsbild ist ein Videobild in einer Vogelperspektive eines 360° Bereichs um das Fahrzeug und ist ein Umgebungsüberwachungsbild, wenn die automatische Parkfunktion aktiviert ist. Das Umgebungsüberwachungsbild zeigt einen Zustand, bei dem die Eingabevideobild-Verarbeitungseinheit 7 Parkrahmenlinien 25 und ein anderes Fahrzeug 26 in dem Bildbereich 19 der Umgebungsüberwachungskamera 2 detektiert hat.
  • Falls das Rück-Lateral-Seitenüberwachungsvideobild als das Eingabevideobild gesendet ist, führt die Eingabevideobild-Verarbeitungseinheit 7 beispielsweise eine Detektion von Fahrzeugen und Motorrädern an den Rück-Lateral-Seiten aus, mittels einem HoG Merkmalsbetrag, einem Maschinenlernen mittels Deep-Learning oder einem optischen Fluss an dem Rück-Lateral-Seitenüberwachungsvideobild. Ebenso gibt es eine Vielzahl von Rück-Lateral-Seiten-Überwachungsfunktionen wie beispielsweise eine Spurwechsel-Alarmfunktion zum Detektieren eines nachfahrenden Fahrzeugs und Ausgeben eines Alarms, falls der Fahrer den Blinker in der Richtung des detektierten nachfolgenden Fahrzeugs bedient, und eine Funktion zum Detektieren eines durchrutschenden Motorrads und Ausgeben eines Alarms. Zusätzlich gibt es eine Vielzahl von Rück-Lateral-Seitenüberwachungsvideobild-Verarbeitungsverfahren, die jeweils zu diesen Funktionen gehören. Die Überwachungsfunktion-Auswahleinheit 5 wählt eine oder mehrere Funktionen als die Auswahlüberwachungsfunktion aus der Vielzahl von Rück-Lateral-Seiten-Überwachungsfunktionen aus und bestimmt ein zu der Auswahlüberwachungsfunktion gehöriges Videobildverarbeitungsverfahren.
  • 4 zeigt ein Beispiel eines Rück-Lateral-Seitenüberwachungsbilds in der vorliegenden Ausführungsform. Das Rück-Lateral-Seitenüberwachungsbild, gezeigt in 4, ist ein Rück-Lateral-Seitenüberwachungsbild, wenn die Nachfolgendes-Fahrzeugdetektionsfunktion aktiviert ist. Das Rück-Lateral-Seitenüberwachungsbild zeigt einen Zustand, bei dem die Eingabevideobild-Verarbeitungseinheit 7 weiße Linien 27 in dem Abbildungsbereich 20 der Rück-Lateral-Seiten-Überwachungskamera 3 detektiert hat, um eine benachbarte Fahrspur an der Rück-Lateral-Seite zu erkennen. Weiterhin hat die Eingabevideobild-Verarbeitungseinheit 7 ein in der Fahrspur fahrendes nachfolgendes Fahrzeug 28 detektiert.
  • Das durch die Eingabevideobild-Verarbeitungseinheit 7 ausgeführte Videobildverarbeitungsverfahren kann ein Videobildverarbeitungsverfahren außer den obigen Verfahren sein. Die Eingabevideobild-Verarbeitungseinheit 7 gibt ein Ergebnis einer an dem Eingabevideobild ausgeführten Videobildverarbeitung als eine Videobildverarbeitungsergebnisinformation aus. Die Videobildverarbeitungsergebnisinformation ist eine Information, die als ein Ergebnis einer Videobildverarbeitung erhalten ist, und ist beispielsweise eine Information darüber, ob es eine Möglichkeit gibt, dass das Fahrzeug mit einem Fußgänger, einem Fahrzeug, einem Motorrad, einem Hindernis oder etwas Ähnlichem zusammenstößt. Zusätzlich gibt es in der Fahrzeugumgebungsüberwachungsvorrichtung der vorliegenden Ausführungsform eine Vielzahl von Umgebungsüberwachungsfunktionen und gibt es eine Vielzahl von Rück-Lateral-Seiten-Überwachungsfunktionen. Allerdings muss jede der Anzahl von Umgebungsüberwachungsfunktionen und der Anzahl von Rück-Lateral-Seiten-Überwachungsfunktionen nur eine oder mehrere sein.
  • Die Fahrzeugumgebungsüberwachungsvorrichtung 1 der vorliegenden Ausführungsform kann zumindest eine Videobildausgabe-Bestimmungseinheit 8, eine Alarmausgabe-Bestimmungseinheit 9 und eine Fahrzeugsteuerung-Bestimmungseinheit 10 umfassen. Die Videobildausgabe-Bestimmungseinheit 8, die Alarmausgabe-Bestimmungseinheit 9 und die Fahrzeugsteuerung-Bestimmungseinheit 10 werden über die von der Überwachungsfunktion-Auswahleinheit 5 ausgegebene Videobildverarbeitungsinformation und die von der Eingabevideobild-Verarbeitungseinheit 7 ausgegebenen Videobildverarbeitungsergebnisinformation benachrichtigt. Zusätzlich zu der Videobildverarbeitungsergebnisinformation wird ebenso ein Anzeigevideobild für einen Fahrer, das durch Ausführen einer Videobildverarbeitung an dem Eingabevideobild durch die Eingabevideobild-Verarbeitungseinheit 7 erhalten ist, an die Videobildausgabe-Bestimmungseinheit 8 gesendet. Darüber hinaus sind die Alarmausgabe-Bestimmungseinheit 9 und die Fahrzeugsteuerung-Bestimmungseinheit 10 ebenso über die CAN Information von der Fahrzeugsituation-Benachrichtigungseinheit 11 benachrichtigt.
  • Die Videobildausgabe-Bestimmungseinheit 8 bestimmt die Notwendigkeit einer Videobildanzeige auf der Basis der von der Überwachungsfunktion-Auswahleinheit 5 gemeldeten Videobildverarbeitungsinformation und der von der Eingabevideobild-Verarbeitungseinheit 7 gemeldeten Videobildverarbeitungsergebnisinformation. Dann, falls die Videobildausgabe-Bestimmungseinheit 8 bestimmt, dass eine Videobildanzeige notwendig ist, zeigt die Videobildausgabe-Bestimmungseinheit 8 auf einer Videobildausgabeeinheit 14 das Anzeigevideobild für einen Fahrer an, das von der Eingabevideobild-Verarbeitungseinheit 7 gesendet ist. Beispielsweise, falls die Videobildverarbeitungsinformation ein Umgebungsüberwachungsvideobild-Verarbeitungsverfahren ist, zeigt die Videobildausgabe-Bestimmungseinheit 8 auf der Videobildausgabeeinheit 14 ein Videobild in einer Vogelperspektive eines 360° Bereichs um das Fahrzeug an, das durch die Eingabevideobild-Verarbeitungseinheit 7 erzeugt ist. Indessen, falls die Videobildverarbeitungsinformation ein Rück-Lateral-Seitenüberwachungsvideobild-Verarbeitungsverfahren ist, bestimmt die Videobildausgabe-Bestimmungseinheit 8, dass es nicht notwendig ist, ein Videobild auf der Videobildausgabeeinheit 14 anzuzeigen.
  • Die Alarmausgabe-Bestimmungseinheit 9 bestimmt die Notwendigkeit einer Alarmausgabe auf der Basis der von der Fahrzeugsituation-Benachrichtigungseinheit 11 gemeldeten CAN Information, der von der Überwachungsfunktion-Auswahleinheit 5 gemeldeten Videobildverarbeitungsinformation und der von der Eingabevideobild-Verarbeitungseinheit 7 gemeldeten Videobildverarbeitungsergebnisinformation. Dann, falls die Alarmausgabe-Bestimmungseinheit 9 bestimmt, dass eine Alarmausgabe notwendig ist, bestimmt die Alarmausgabe-Bestimmungseinheit 9 ein Alarmausgabeverfahren und benachrichtigt eine Alarmausgabeeinheit 15 über das bestimmte Alarmausgabeverfahren. Beispielsweise, falls die Videobildverarbeitungsinformation ein Umgebungsüberwachungsvideobild-Verarbeitungsverfahren ist, wird angenommen, dass die Alarmausgabe-Bestimmungseinheit 9 bestimmt, dass ein Hindernis um oder hinter dem Fahrzeug vorhanden ist und es eine Möglichkeit gibt, dass das Hindernis mit dem Fahrzeug zusammenstößt, auf der Basis der Videobildverarbeitungsergebnisinformation. Zu diesem Zeitpunkt sendet die Alarmausgabe-Bestimmungseinheit 9 an die Alarmausgabeeinheit 15 eine Anweisung zum Ausgeben eines Alarmtons durch einen Summer oder etwas Ähnlichem oder zum Ausgeben einer Alarmvibration durch ein Vibrieren eines Sitzes oder des Lenkrads.
  • Indessen, falls die Videobildverarbeitungsinformation ein Rück-Lateral-Seitenüberwachungsvideobild-Verarbeitungsverfahren ist, bestimmt die Alarmausgabe-Bestimmungseinheit 9, dass ein nahes Fahrzeug an einer hinteren lateralen Seite vorhanden ist, auf der Basis der Videobildverarbeitungsergebnisinformation. Zu diesem Zeitpunkt sendet die Alarmausgabe-Bestimmungseinheit 9 an die Alarmausgabeeinheit 15 eine Anweisung zum Einschalten eines Anzeigegeräts wie beispielsweise LEDs, die in der Nähe der linken und rechten Seitenspiegel angebracht sind. Dadurch kann die Alarmausgabeeinheit 15 den Fahrer über das Vorhandensein des Hindernisses an der hinteren lateralen Seite durch eine visuelle Information benachrichtigen, um den Fahrer zu alarmieren, wenn die Spur gewechselt wird. Weiterhin, in dem Zustand, bei dem ein Alarmieren durch eine visuelle Information ausgeführt wird, wenn der Fahrer das Lenkrad oder den Blinker bedient, um die Spur zu einer benachbarten Fahrspur zu wechseln, auf der ein nahes Fahrzeug vorhanden ist, sendet die Alarmausgabe-Bestimmungseinheit 9 an die Alarmausgabeeinheit 15 eine Anweisung zum Ausgeben eines Alarmtons durch einen Summer oder etwas Ähnlichem und zum Ausgeben einer Alarmvibration durch Vibrieren des Sitzes oder des Lenkrads. Dadurch kann die Alarmausgabe-Bestimmungseinheit 9 einen Alarm durch eine hörbare Information und eine fühlbare Information zusätzlich zu einer visuellen Information ausgeben. Ein anderes Verfahren kann als das alarmgebende Verfahren verwendet werden.
  • Die Fahrzeugsteuerung-Bestimmungseinheit 10 bestimmt die Notwendigkeit einer Fahrzeugsteuerung auf der Basis der von der Fahrzeugsituation-Benachrichtigungseinheit 11 gemeldeten CAN Information, der von der Überwachungsfunktion-Auswahleinheit 5 gemeldeten Videobildverarbeitungsinformation und der von der Eingabevideobild-Verarbeitungseinheit 7 gemeldeten Videobildverarbeitungsergebnisinformation. Dann, falls die Fahrzeugsteuerung-Bestimmungseinheit 10 bestimmt, dass eine Fahrzeugsteuerung notwendig ist, bestimmt die Fahrzeugsteuerung-Bestimmungseinheit 10 ein Fahrzeug Steuerverfahren und einen Fahrzeugsteuerbetrag und meldet einer Fahrzeugsteuereinheit 16 das bestimmte Fahrzeugsteuerverfahren und den bestimmten Fahrzeugsteuerbetrag. Beispielsweise, falls die Videobildverarbeitungsinformation ein Umgebungsüberwachungsvideobild-Verarbeitungsverfahren ist, wird angenommen, dass die Fahrzeugsteuerung-Bestimmungseinheit 10 bestimmt, dass ein Hindernis um oder hinter dem Fahrzeug vorhanden ist und es eine Möglichkeit gibt, dass das Hindernis mit dem Fahrzeug zusammenstößt, auf der Basis der Videobildverarbeitungsergebnisinformation. Zu diesem Zeitpunkt bestimmt die Fahrzeugsteuerung-Bestimmungseinheit 10 einen Bremssteuerbetrag, sodass ein Kontakt vermieden wird, und meldet der Fahrzeugsteuereinheit 16 den bestimmten Bremssteuerbetrag. Alternativ wird angenommen, dass die Fahrzeugsteuerung-Bestimmungseinheit 10 bestimmt, das Fahrzeug entlang Parkrahmenlinien automatisch zu parken, auf der Basis der Videobildverarbeitungsergebnisinformation. Zu diesem Zeitpunkt bestimmt die Fahrzeugsteuerung-Bestimmungseinheit 10 einen Betrag zum Fahren und einen Betrag zum Lenken des Lenkwinkels und benachrichtigt die Fahrzeugsteuereinheit 16 über die bestimmten Beträge. Indessen, falls die Videobildverarbeitungsinformation ein Rück-Lateral-Seitenüberwachungsvideobild-Verarbeitungsverfahren ist, wird angenommen, dass die Fahrzeugsteuerung-Bestimmungseinheit 10 bestimmt, dass ein nahes Fahrzeug an einer hinteren lateralen Seite vorhanden ist und es eine Möglichkeit gibt, dass das Fahrzeug in Kontakt mit dem nahen Fahrzeug kommt, wenn der Kurs verändert wird, auf der Basis der Videobildverarbeitungsergebnisinformation. Zu diesem Zeitpunkt bestimmt die Fahrzeugsteuerung-Bestimmungseinheit 10 einen Betrag eines Lenken des Lenkrads und einen Bremssteuerbetrag, sodass ein Kontakt vermieden wird, und benachrichtigt die Fahrzeugsteuereinheit 16 über die bestimmten Beträge.
  • Die Videobildausgabeeinheit 14 ist beispielsweise der Monitor eines Fahrzeugnavigationssystems, eine Instrumententafel, ein Rückspiegelmonitor oder etwas Ähnliches. Wenn ein einer Videobildverarbeitung unterzogenes Eingabevideobild von der Videobildausgabe-Bestimmungseinheit 8 gesendet wird, zeigt die Videobildausgabeeinheit 14 das Eingabevideobild darauf an. Die Alarmausgabeeinheit 15 gibt einen notwendigen Alarm mittels einem Summer, einer LED, dem Sitz, dem Lenkrad und so weiter auf der Basis einer von der Alarmausgabe-Bestimmungseinheit 9 gemeldeten Alarmausgabe Information aus. Die Fahrzeugsteuereinheit 16 ist beispielsweise eine elektronische Steuereinheit oder etwas Ähnliches und führt eine Fahrsteuerung, eine Lenkradsteuerung, eine Bremssteuerung und so weiter auf der Basis des Fahrzeugsteuerverfahrens und des Fahrzeugsteuerbetrags, gemeldet von der Fahrzeugsteuerung-Bestimmungseinheit 10, aus.
  • Es wird bevorzugt, dass, wie in 1 gezeigt, die Fahrzeugsituation-Bestimmungseinheit 4, die Überwachungsfunktion-Auswahleinheit 5, die Eingabevideobild-Verarbeitungseinheit 7, die Videobildausgabe-Bestimmungseinheit 8, die Alarmausgabe-Bestimmungseinheit 9 und die Fahrzeugsteuerung-Bestimmungseinheit 10 in einer CPU (zentrale Verarbeitungseinheit) 17 integriert sind. Durch Integrieren dieser Komponenten in die eine CPU 17 wird die Zeit einer Datenübertragung zwischen den Komponenten verkürzt.
  • Als Nächstes wird ein Fahrzeugumgebungsüberwachungsverfahren in der Fahrzeugumgebungsüberwachungsvorrichtung der vorliegenden Ausführungsform beschrieben. 5 und 6 sind Flussdiagramme des Fahrzeugumgebungsüberwachungsverfahrens in der vorliegenden Ausführungsform. Das Flussdiagramm aus 5 und das Flussdiagramm aus 6 sind ein Flussdiagramm, die bei Punkten A und B verbunden sind, die in 5 und 6 gezeigt sind.
  • Im Schritt S1 in 5 wird der Schlüssel des Fahrzeugs eingeschaltet. Als Nächstes erfasst die Fahrzeugsituation-Bestimmungseinheit 4 die CAN Information von der Fahrzeugsituation-Benachrichtigungseinheit 11. Als Nächstes erfasst im Schritt S3 die Fahrzeugsituation-Bestimmungseinheit 4 die von dem GPS erfasste Längengrad- und Breitengrad-Information und die von der Kartendatenbank erfasste Karteninformation von der Fahrzeugpositionsinformation-Benachrichtigungseinheit 12. Als Nächstes erfasst im Schritt S4 die Überwachungsfunktion-Auswahleinheit 5 die Fahreranweisungsinformation von der Fahreranweisungsinformation-Benachrichtigungseinheit 13. Als Nächstes bestimmt im Schritt S5 die Fahrzeugsituation-Bestimmungseinheit 4 eine Fahrzeugsituation des Fahrzeugs, umfassend die aktuelle Position des Fahrzeugs, und eine Fahrbedingung wie beispielsweise die Fahrrichtung und die Geschwindigkeit des Fahrzeugs, auf der Basis der erfassten CAN Information, der Längengrad- und Breitengrad-Information und der Karteninformation. Die Fahrzeugsituation-Bestimmungseinheit 4 benachrichtigt die Überwachungsfunktion-Auswahleinheit 5 über die bestimmte Fahrzeugsituation.
  • Im Schritt S6 wählt die Überwachungsfunktion-Auswahleinheit 5 eine oder mehrere Funktionen einer Auswahlüberwachungsfunktion aus einer oder mehreren Umgebungsüberwachungsfunktionen und eine oder mehrere Rück-Lateral-Seiten-Überwachungsfunktionen auf der Basis der Fahrzeugsituation des Fahrzeugs, gemeldet von der Fahrzeugsituation-Bestimmungseinheit 4, und der Fahreranweisungsinformation, gemeldet von der Fahreranweisungsinformation-Benachrichtigungseinheit 13, aus. Zusätzlich bestimmt die Überwachungsfunktion-Auswahleinheit 5 ein Eingabevideobild und ein Videobildverarbeitungsverfahren, das zu der Auswahlüberwachungsfunktion gehört. Weiter benachrichtigt die Überwachungsfunktion-Auswahleinheit 5 die Eingabevideobild-Erfassungseinheit 6 über das bestimmte Eingabevideobild und benachrichtigt die Eingabevideobild-Verarbeitungseinheit 7 über das bestimmte Videobildverarbeitungsverfahren. Darüber hinaus benachrichtigt die Überwachungsfunktion-Auswahleinheit 5 die Videobildausgabe-Bestimmungseinheit 8, die Alarmausgabe-Bestimmungseinheit 9, die Fahrzeugsteuerung-Bestimmungseinheit 10 über eine Videobildverarbeitungsinformation über das bestimmte Videobildverarbeitungsverfahren.
  • Falls die Überwachungsfunktion-Auswahleinheit 5 eine Umgebungsüberwachungsfunktion als die Auswahlüberwachungsfunktion im Schritt S6 auswählt, wechselt im Schritt S7 die Eingabevideobild-Erfassungseinheit 6 das Eingabevideobild und erfasst das Umgebungsüberwachungsvideobild von der Umgebungsüberwachungskamera 2. Dann sendet die Eingabevideobild-Erfassungseinheit 6 das erfasste Umgebungsüberwachungsvideobild als das Eingabevideobild an die Eingabevideobild-Verarbeitungseinheit 7. Im Schritt S8 führt die Eingabevideobild-Verarbeitungseinheit 7 eine Videobildverarbeitung an dem von der Eingabevideobild-Erfassungseinheit 6 gesendeten Eingabevideobild unter Verwendung eines als das Videobildverarbeitungsverfahren durch die Überwachungsfunktion-Auswahleinheit 5 bestimmten Umgebungsüberwachungsvideobild-Verarbeitungsverfahren aus. Dann benachrichtigt die Eingabevideobild-Verarbeitungseinheit 7 die Videobildausgabe-Bestimmungseinheit 8, die Alarmausgabe-Bestimmungseinheit 9 und die Fahrzeugsteuerung-Bestimmungseinheit 10 über die Videobildverarbeitungsergebnisinformation über das der Videobildverarbeitung unterzogen ein Eingabevideobild.
  • Falls die Überwachungsfunktion-Auswahleinheit 5 eine Rück-Lateral-Seiten-Überwachungsfunktionen als die Auswahlüberwachungsfunktion im Schritt S6 auswählt, wechselt im Schritt S9 die Eingabevideobild-Erfassungseinheit 6 das Eingabevideobild und erfasst das Rück-Lateral-Seitenüberwachungsvideobild von der Rück-Lateral-Seiten-Überwachungskamera 3. Dann sendet die Eingabevideobild-Erfassungseinheit 6 das erfasste Rück-Lateral-Seitenüberwachungsvideobild als das Eingabevideobild an die Eingabevideobild-Verarbeitungseinheit 7. Im Schritt S10 führt die Eingabevideobild-Verarbeitungseinheit 7 eine Videobildverarbeitung an dem von der Eingabevideobild-Erfassungseinheit 6 gesendeten Eingabevideobild unter Verwendung eines als das Videobildverarbeitungsverfahren durch die Überwachungsfunktion-Auswahleinheit 5 bestimmten Rück-Lateral-Seiten Videobildverarbeitungsverfahren aus. Dann benachrichtigt die Eingabevideobild-Verarbeitungseinheit 7 die Videobildausgabe-Bestimmungseinheit 8, die Alarmausgabe-Bestimmungseinheit 9 und die Fahrzeugsteuerung-Bestimmungseinheit 10 über die Videobildverarbeitungsergebnisinformation über das der Videobildverarbeitung unterzogene Eingabevideobild.
  • Im Schritt S11 bestimmt die Videobildausgabe-Bestimmungseinheit 8, ob es notwendig ist, das der Videobildverarbeitung durch die Eingabevideobild-Verarbeitungseinheit 7 unterzogene Eingabevideobild auszugeben, auf der Basis der Videobildverarbeitungsinformation und der Videobildverarbeitungsergebnisinformation. Falls im Schritt S11 bestimmt wird, dass die Videobild Anzeigen notwendig ist (Ja), meldet die Videobildausgabe-Bestimmungseinheit 8 der Videobildausgabeeinheit 14 die Videobildausgabeinformation. Im Schritt S12 zeigt die Videobildausgabeeinheit 14 das benötigte Videobild darauf an. Falls im Schritt S11 bestimmt ist, dass eine Videobildanzeige nicht notwendig ist (Nein), fährt die Verarbeitung mit dem Schritt S13 fort.
  • Im Schritt S13 in 6 bestimmt die Alarmausgabe-Bestimmungseinheit 9, ob es notwendig ist einen Alarm auszugeben, auf der Basis der CAN Information, der Videobildverarbeitungsinformation und der Videobildverarbeitungsergebnisinformation. Falls bestimmt wird im Schritt S13, dass es notwendig ist, einen Alarm auszugeben (Ja), bestimmt die Alarmausgabe-Bestimmungseinheit 9 ein Alarmausgabeverfahren im Schritt S14 und benachrichtigt die Alarmausgabeeinheit 15 über das bestimmte Alarmausgabeverfahren. Im Schritt S15 gibt die Alarmausgabeeinheit 15 einen Alarm auf der Basis des von der Alarmausgabe-Bestimmungseinheit 9 gemeldeten Alarmausgabeverfahrens aus. Falls im Schritt S13 bestimmt ist, dass es unnötig ist, einen Alarm auszugeben (Nein), fährt die Verarbeitung mit Schritt S16 fort.
  • Im Schritt S16 bestimmt die Fahrzeugsteuerung-Bestimmungseinheit 10, ob eine Fahrzeugsteuerung notwendig ist, auf der Basis der CAN Information, der Videobildverarbeitungsinformation und der Videobildverarbeitungsergebnisinformation. Falls im Schritt S16 bestimmt ist, dass die Fahrzeugsteuerung notwendig ist (Ja), bestimmt die Fahrzeugsteuerung-Bestimmungseinheit 10 ein Fahrzeugsteuerverfahren im Schritt S17, bestimmt einen Fahrzeugsteuerbetrag im Schritt S18 und meldet der Fahrzeugsteuereinheit 16 das bestimmte Verfahren und den Betrag. Im Schritt S19 steuert die Fahrzeugsteuereinheit 16 das Fahrzeug auf der Basis des Fahrzeugsteuerverfahrens und des Fahrzeugsteuerbetrags, gemeldet von der Fahrzeugsteuerung-Bestimmungseinheit 10. Falls im Schritt S16 bestimmt ist, dass eine Fahrzeugsteuerung nicht notwendig ist (Nein), fährt die Verarbeitung mit dem Schritt S20 fort.
  • Im Schritt S20 wird bestimmt, ob der Schlüssel ausgeschaltet wurde. Falls der Schlüssel ausgeschaltet wurde (Ja), wird die Verarbeitungsserie des Fahrzeugumgebungsüberwachungsverfahrens beendet. Falls der Schlüssel nicht ausgeschaltet wurde (Nein), fährt die Verarbeitung mit dem Schritt S2 fort.
  • Die Fahrzeugsituation-Bestimmungseinheit 4 erfasst die Längengrad- und Breitengrad-Information und die Karteninformation von der Fahrzeugpositionsinformation-Benachrichtigungseinheit 12 im Schritt S3 und bestimmt die aktuelle Position des Fahrzeugs auf der Basis der Längengrad- und Breitengrad-Information und der Karteninformation im Schritt S5. Allerdings kann die Fahrzeugsituation-Bestimmungseinheit 4 ebenso die aktuelle Position des Fahrzeugs direkt von der Fahrzeugpositionsinformation-Benachrichtigungseinheit 12 im Schritt S3 erfassen.
  • Darüber hinaus kann die Reihenfolge der Operation der Videobildausgabe-Bestimmungseinheit 8, gezeigt in den Schritten S11 und S12, die Operation der Alarmausgabe-Bestimmungseinheit 9, gezeigt in den Schritten S13 bis S15, und die Operation der Fahrzeugsteuerung-Bestimmungseinheit 10, gezeigt in den Schritten S16 bis S19, vertauscht werden.
  • In der Fahrzeugumgebungsüberwachungsvorrichtung, die wie oben beschrieben ausgebildet ist, kann, selbst für den Fall, bei dem eine Umgebungsüberwachungskameravorrichtung und eine Rück-Lateral-Seiten-Überwachungskameravorrichtung an einem Fahrzeug angebracht sind, da die Überwachungsfunktion-Auswahleinheit eine oder mehrere Funktionen als eine Auswahlüberwachungsfunktion aus einer oder mehreren Umgebungsüberwachungsfunktionen und einer oder mehreren Rück-Lateral-Seiten-Überwachungsfunktionen auswählt und weiter ein Eingabevideobild und ein Videobildverarbeitungsverfahren bestimmt, die zu der Auswahlüberwachungsfunktion gehören, die Eingabevideobild-Verarbeitungseinheit geteilt und in einer Vorrichtung integriert werden. Im Ergebnis kann eine Zunahme in der Größe der Fahrzeugumgebungsüberwachungsvorrichtung verhindert werden. Zusätzlich, da die Eingabevideobild-Verarbeitungseinheit geteilt ist und die Videobildverarbeitung geeignet entsprechend der Fahrzeugsituation des Fahrzeugs gewechselt wird, wird die Verarbeitungslast einer Berechnungsverarbeitung reduziert und kann somit der Preis eines Chips der Eingabevideobild-Verarbeitungseinheit reduziert werden.
  • Da die Überwachungsfunktion-Auswahleinheit 5 eine oder mehrere Funktionen als eine Auswahlüberwachungsfunktion aus einer Vielzahl von Umgebungsüberwachungsfunktionen und einer Vielzahl von Rück-Lateral-Seiten-Überwachungsfunktionen auf der Basis der Fahrzeugsituation des Fahrzeugs auswählt und das Eingabevideobild und die Videobildverarbeitung entsprechend der Auswahlüberwachungsfunktion wechselt, kann die Fahrzeugumgebungsüberwachungsvorrichtung eine geeignete Umgebungsüberwachung ausführen. Beispielsweise kann die Überwachungsfunktion-Auswahleinheit 5 die Rück-Lateral-Seiten-Überwachungsfunktionen während einer Fahrt mit einer hohen Geschwindigkeit auswählen und kann die Umgebungsüberwachungsfunktionen während einer Fahrt mit einer geringen Geschwindigkeit auswählen. Allerdings, wenn der Fahrer eine Fahrt von einem Zustand beginnt, bei dem das Fahrzeug auf einer Straße angehalten ist, kann der Fahrer wünschen, die Rück-Lateral-Seiten-Überwachungsfunktionen zu verwenden, um ein hinten fahrendes Fahrzeug zu überprüfen. In der Fahrzeugumgebungsüberwachungsvorrichtung der vorliegenden Ausführungsform, kann bestimmt werden, ob die aktuelle Position des Fahrzeugs eine Straße, ein Parkplatz oder eine Position außer diesen Positionen ist, auf der Basis der von der Fahrzeugpositionsinformation-Benachrichtigungseinheit gemeldeten Information. Daher kann, selbst während einer Fahrt mit einer geringen Geschwindigkeit, falls die Position des Fahrzeugs eine Straße ist, die Überwachungsfunktion-Auswahleinheit 5 automatisch die Rück-Lateral-Seiten-Überwachungsfunktionen auswählen. Im Ergebnis, wenn der Fahrer eine Fahrt von einem Zustand beginnt, bei dem das Fahrzeug angehalten ist, werden die Rück-Lateral-Seiten-Überwachungsfunktionen automatisch aktiviert.
  • Beispielsweise kann die Überwachungsfunktion-Auswahleinheit 5 die Umgebungsüberwachungsfunktionen auswählen, wenn der Gang in den Rückwärtsgang eingelegt ist, und kann die Rück-Lateral-Seiten-Überwachungsfunktionen auswählen, wenn der Gang in eine andere Position außer dem Rückwärtsgang eingelegt ist. Allerdings parkt der Fahrer nicht immer rückwärts ein. Wenn der Fahrer entlang Parkrahmenlinien parkt, während er sich vorwärtsbewegt, kann der Fahrer wünschen, die Umgebungsüberwachungsfunktionen zu verwenden, um umgebende Hindernisse zu überprüfen. In der Fahrzeugumgebungsüberwachungsvorrichtung der vorliegenden Ausführungsform kann bestimmt werden, ob die aktuelle Position des Fahrzeugs eine Straße, ein Parkplatz oder eine Position außer diesen Positionen ist, auf der Basis der von der Fahrzeugpositionsinformation-Benachrichtigungseinheit gemeldeten Information. Daher kann die Überwachungsfunktion-Auswahleinheit 5 die Umgebungsüberwachungsfunktionen automatisch auswählen, wenn die Position des Fahrzeugs selbst ein Parkplatz ist, selbst wenn der Gang in eine Position außer dem Rückwärtsgang eingelegt ist. Im Ergebnis, wenn der Fahrer entlang Parkrahmenlinien parkt, während sich das Fahrzeug vorwärtsbewegt, werden die Umgebungsüberwachungsfunktionen automatisch aktiviert.
  • In der vorliegenden Ausführungsform sind die Umgebungsüberwachungskamera und die Rück-Lateral-Seiten-Überwachungskamera 3 als getrennte Kameras ausgebildet. Allerdings kann eine Kamera, die einen weiten Abbildungsbereich aufweist, als manche von den Kameras verwendet werden. Selbst an einem durch die eine Kamera aufgenommenen Videobild kann die Eingabevideobild-Verarbeitungseinheit eine Videobildverarbeitung mittels dem durch die Überwachungsfunktion-Auswahleinheit bestimmten Videobildverarbeitungsverfahren ausführen, wodurch eine Verarbeitung des Videobilds als ein Umgebungsüberwachungsvideobild oder ein Rück-Lateral-Seitenüberwachungsvideobild geeignet ausgeführt wird.
  • In der vorliegenden Ausführungsform wählt die Überwachungsfunktion-Auswahleinheit eine Auswahlüberwachungsfunktion aus den Umgebungsüberwachungsfunktionen und den Rück-Lateral-Seiten-Überwachungsfunktionen aus allerdings kann eine Überwachungsfunktion außer der obigen ausgewählt werden. Ein Beispiel der Überwachungsfunktion außer der obigen ist eine Vorwärts-Überwachungsfunktion zum Überwachen von vorausfahrenden Fahrzeugen, um einen Heckaufprall zu vermeiden.
  • Es wird bevorzugt, dass die Fahrzeugsituation-Bestimmungseinheit 4, die Überwachungsfunktion-Auswahleinheit 5, die Eingabevideobild-Verarbeitungseinheit 7, die Videobildausgabe-Bestimmungseinheit 8, die Alarmausgabe-Bestimmungseinheit 9 und die Fahrzeugsteuerung-Bestimmungseinheit 10 in die CPU 17 integriert sind. 7 zeigt ein Beispiel der CPU 17. Die CPU 17 umfasst einen Prozessor 100 und eine Speichervorrichtung 101. Obwohl dies nicht gezeigt ist, umfasst die Speichervorrichtung 101 eine flüchtige Speichervorrichtung wie beispielsweise einen Arbeitsspeicher und eine nicht flüchtige Hilfsspeichervorrichtung wie beispielsweise einen Flashspeicher. Darüber hinaus kann die Speichervorrichtung 101 Hilfsspeichervorrichtung wie beispielsweise eine Festplatte anstelle des Flashspeichers umfassen. Der Prozessor 100 führt einen von der Speichervorrichtung 101 ein gegebenes Programm aus. In diesem Fall wird das Programm von der Hilfsspeichervorrichtung über die flüchtige Speichervorrichtung an den Prozessor 100 eingegeben. Weiterhin kann der Prozessor 100 Daten wie beispielsweise ein Berechnungsergebnis an die flüchtige Speichervorrichtung der Speichervorrichtung 101 ausgeben oder kann die Daten in der Hilfsspeichervorrichtung über die flüchtige Speichervorrichtung speichern.
  • Obwohl die vorliegende Offenbarung oben in Bezug auf verschiedene beispielhafte Ausführungsformen beschrieben ist, sollte verstanden werden, dass verschiedene Merkmale, Aspekte und eine Funktionalität, beschrieben in einer oder mehreren der einzelnen Ausführungsformen, nicht in deren Anwendbarkeit auf die bestimmte Ausführungsform, mit der diese beschrieben sind, beschränkt sind, sondern stattdessen alleine oder in verschiedenen Kombinationen auf eine oder mehrere der Ausführungsformen der Offenbarung angewendet werden können.
  • Es versteht sich daher, dass zahlreiche Modifikationen, die nicht beispielhaft angeführt sind, erdacht werden können, ohne von dem Schutzbereich der vorliegenden Offenbarung abzuweichen. Beispielsweise kann zumindest eine der Merkmalskomponenten modifiziert, hinzugefügt oder ausgeschlossen werden. Zumindest eine der Merkmalskomponenten, die in zumindest einer der bevorzugten Ausführungsformen beschrieben sind, kann ausgewählt und mit den in einer anderen bevorzugten Ausführungsform beschriebenen Merkmalskomponenten kombiniert werden.
  • Bezugszeichenliste
  • 1
    Fahrzeugumgebungsüberwachungsvorrichtung
    2
    Umgebungsüberwachungskamera
    3
    Rück-Lateral-Seiten-Überwachungskamera
    4
    Fahrzeugsituation-Bestimmungseinheit
    5
    Überwachungsfunktion-Auswahleinheit
    6
    Eingabevideobild-Erfassungseinheit
    7
    Eingabevideobild-Verarbeitungseinheit
    8
    Videobildausgabe-Bestimmungseinheit
    9
    Alarmausgabe-Bestimmungseinheit
    10
    Fahrzeugsteuerung-Bestimmungseinheit
    11
    Fahrzeugsituation-Benachrichtigungseinheit
    12
    Fahrzeugpositionsinformation-Benachrichtigungseinheit
    13
    Fahreranweisungsinformation-Benachrichtigungseinheit
    14
    Videobildausgabeeinheit
    15
    Alarmausgabeeinheit
    16
    Fahrzeugsteuereinheit
    17
    CPU
    18
    Fahrzeug
    19,20
    Abbildungsbereich
    21
    Frontkamera
    22
    rechte Seitenkamera
    23
    linke Seitenkamera
    24
    Rückkamera
    25
    Parkrahmenlinien
    26
    Anderes Fahrzeug
    27
    weiße Linie
    28
    nachfolgendes Fahrzeug
    31
    rechte Rückseitenkamera
    32
    linke Rückseitenkamera
    100
    Prozessor
    101
    Speichervorrichtung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 3286306 [0003]

Claims (12)

  1. Eine Fahrzeugumgebungsüberwachungsvorrichtung (1), umfassend: eine Kameraeinheit, umfassend eine Vielzahl von Kameras; eine Fahrzeugsituation-Bestimmungseinheit (4) zum Bestimmen einer Fahrzeugsituation eines eigenen Fahrzeugs; eine Überwachungsfunktion-Auswahleinheit (5) zum Auswählen von einer oder mehreren Überwachungsfunktionen als eine Auswahlüberwachungsfunktion auf der Basis der Fahrzeugsituation des eigenen Fahrzeugs, bestimmt durch die Fahrzeugsituation-Bestimmungseinheit (4) zum Bestimmen eines Eingabevideobilds, von der Kameraeinheit, notwendig für die Auswahlüberwachungsfunktion, und zum Bestimmen eines zu der Auswahlüberwachungsfunktion gehörigen Videobildverarbeitungsverfahrens; eine Eingabevideobild-Erfassungseinheit (6) zum Wechseln und Erfassen des durch die Überwachungsfunktion-Auswahleinheit (5) bestimmten Eingabevideobilds, von der Kameraeinheit; und eine Eingabevideobild-Verarbeitungseinheit (7) zum Ausführen einer Videobildverarbeitung an dem durch die Eingabevideobild-Erfassungseinheit (6) erfassten Eingabevideobild durch das durch die Überwachungsfunktion-Auswahleinheit (5) bestimmte Videobildverarbeitungsverfahren.
  2. Eine Fahrzeugumgebungsüberwachungsvorrichtung (1), umfassend: eine Umgebungsüberwachungskamera (2) zum Aufnehmen eines Umgebungsüberwachungsvideobilds; eine Rück-Lateral-Seiten-Überwachungskamera (3) zum Aufnehmen eines Rück-Lateral-Seitenüberwachungsvideobilds; eine Fahrzeugsituation-Bestimmungseinheit (4) zum Bestimmen einer Fahrzeugsituation eines eigenen Fahrzeugs, umfassend eine Position des eigenen Fahrzeugs oder einen Fahrzustand des eigenen Fahrzeugs; eine Überwachungsfunktion-Auswahleinheit (5) zum Auswählen von einer oder mehreren Funktionen als eine Auswahlüberwachungsfunktion aus einer oder mehreren Umgebungsüberwachungsfunktionen und einer oder mehreren Rück-Lateral-Seiten-Überwachungsfunktionen auf der Basis der Fahrzeugsituation des eigenen Fahrzeugs, die durch die Fahrzeugsituation-Bestimmungseinheit (4) bestimmt ist, zum Bestimmen des Umgebungsüberwachungsvideobilds als ein Eingabevideobild, falls die Auswahlüberwachungsfunktion die Umgebungsüberwachungsfunktion ist, zum Bestimmen des Rück-Lateral-Seitenüberwachungsvideobilds als das Eingabevideobild, falls die Auswahlüberwachungsfunktion die Rück-Lateral-Seiten-Überwachungsfunktion ist, und Bestimmen eines zu der Auswahlüberwachungsfunktion gehörigen Videobildüberwachungsverfahrens; eine Eingabevideobild-Erfassungseinheit (6) zum Erfassen des durch die Überwachungsfunktion-Auswahleinheit (5) bestimmten Eingabevideobilds, von entweder der Umgebungsüberwachungskamera (2) oder der Rück-Lateral-Seiten-Überwachungskamera (3); und eine Eingabevideobild-Verarbeitungseinheit (7) zum Ausführen einer Videobildverarbeitung an dem durch die Eingabevideobild-Erfassungseinheit (6) erfassten Eingabevideobild, durch das durch die Überwachungsfunktion-Auswahleinheit (5) bestimmte Videobildverarbeitungsverfahren.
  3. Fahrzeugumgebungsüberwachungsvorrichtung (1) gemäß Anspruch 2, wobei die Fahrzeugsituation-Bestimmungseinheit (4) bestimmt, ob ein Gang des eigenen Fahrzeugs in einen Rückwärtsgang eingelegt ist, die Überwachungsfunktion-Auswahleinheit die Umgebungsüberwachungsfunktion als die Auswahlüberwachungsfunktion auswählt, falls die Fahrzeugsituation-Bestimmungseinheit (4) bestimmt, dass der Gang des Fahrzeugs in den Rückwärtsgang eingelegt ist, und die Überwachungsfunktion-Auswahleinheit (5) die Rück-Lateral-Seiten-Überwachungsfunktion als die Auswahlüberwachungsfunktion auswählt, falls die Fahrzeugsituation-Bestimmungseinheit (4) bestimmt, dass der Gang des eigenen Fahrzeugs in eine Position außer dem Rückwärtsgang eingelegt ist.
  4. Fahrzeugumgebungsüberwachungsvorrichtung (1) gemäß Anspruch 2, wobei die Fahrzeugsituation-Bestimmungseinheit (4) eine aktuelle Position des eigenen Fahrzeugs bestimmt und die Überwachungsfunktion-Auswahleinheit (5) die Auswahlüberwachungsfunktion auf der Basis der aktuellen Position des eigenen Fahrzeugs auswählt, die durch die Fahrzeugsituation-Bestimmungseinheit (4) bestimmt ist.
  5. Fahrzeugumgebungsüberwachungsvorrichtung (1) gemäß Anspruch 4, wobei, falls die Fahrzeugsituation-Bestimmungseinheit (4) bestimmt, dass die aktuelle Position des eigenen Fahrzeugs ein Parkplatz ist, die Überwachungsfunktion-Auswahleinheit (5) die Umgebungsüberwachungsfunktion als die Auswahlüberwachungsfunktion auswählt.
  6. Fahrzeugumgebungsüberwachungsvorrichtung (1) gemäß Anspruch 4, wobei, falls die Fahrzeugsituation-Bestimmungseinheit (4) bestimmt, dass die aktuelle Position des eigenen Fahrzeugs eine Straße ist, die Überwachungsfunktion-Auswahleinheit (5) die Rück-Lateral-Seiten-Überwachungsfunktion als die Auswahlüberwachungsfunktion auswählt.
  7. Fahrzeugumgebungsüberwachungsvorrichtung (1) gemäß einem der Ansprüche 1-6, weiter umfassend eine Videobildausgabe-Bestimmungseinheit (8) zum Bestimmen, ob das Eingabevideobild, das der Videobildverarbeitung durch die Eingabevideobild-Verarbeitungseinheit (7) unterzogen ist, auszugeben ist, auf der Basis einer von der Überwachungsfunktion-Auswahleinheit (5) gemeldeten Videobildverarbeitungsinformation und einer von der Eingabevideobild-Verarbeitungseinheit (7) gemeldeten Videobildverarbeitungsergebnisinformation.
  8. Fahrzeugumgebungsüberwachungsvorrichtung (1) gemäß einem der Ansprüche 1 bis 6, weiter umfassend eine Alarmausgabe-Bestimmungseinheit (9) zum Bestimmen, ob ein Alarm auszugeben ist, auf der Basis der von der Überwachungsfunktion-Auswahleinheit (5) gemeldeten Videobildverarbeitungsinformation und der von der Eingabevideobild-Verarbeitungseinheit (7) gemeldeten Videobildverarbeitungsergebnisinformation.
  9. Fahrzeugumgebungsüberwachungsvorrichtung (1) gemäß einem der Ansprüche 1 bis 6, weiter umfassend eine Fahrzeugsteuerung-Bestimmungseinheit (10) zum Bestimmen, ob eine Fahrzeugsteuerung auszuführen ist, auf der Basis einer von der Überwachungsfunktion-Auswahleinheit (5) gemeldeten Videobildverarbeitungsinformation und einer von der Eingabevideobild-Verarbeitungseinheit (7) gemeldeten Videobildverarbeitungsergebnisinformation.
  10. Fahrzeugumgebungsüberwachungsvorrichtung (1) gemäß einem der Ansprüche 1 bis 9, wobei, falls die Überwachungsfunktion-Auswahleinheit (5) über eine Fahreranweisungsinformation benachrichtigt wird, die Überwachungsfunktion-Auswahleinheit (5) die Auswahlüberwachungsfunktion auf der Basis der Fahreranweisungsinformation bevorzugt zu der Fahrzeugsituation des eigenen Fahrzeugs, die durch die Fahrzeugsituation-Bestimmungseinheit (4) bestimmt ist, auswählt.
  11. Ein Fahrzeugumgebungsüberwachungsverfahren umfassend: einen Überwachungsfunktion-Auswahlschritt zum Auswählen von einer oder mehreren Funktionen als eine Auswahlüberwachungsfunktion auf der Basis einer Fahrzeugsituation eines eigenen Fahrzeugs, zum Bestimmen eines Eingabevideobilds, von einer Kameraeinheit, notwendig für die Auswahlüberwachungsfunktion, und zum Bestimmen eines zu der Auswahlüberwachungsfunktion gehörigen Videobildverarbeitungsverfahrens; einen Eingabevideobild-Erfassungsschritt zum Wechseln und Erfassen des in dem Überwachungsfunktion-Auswahlschritt bestimmten Eingabevideobilds, von der Kameraeinheit; und einen Eingabevideobild-Verarbeitungsschritt zum Ausführen einer Videobildverarbeitung an dem in dem Eingabevideobild Erfassungsschritt erfassten Eingabevideobild durch das in dem Überwachungsfunktion-Auswahlschritt bestimmten Videobildverarbeitungsverfahren.
  12. Ein Fahrzeugumgebungsüberwachungsverfahren, umfassend: einen Fahrzeugsituation-Bestimmungsschritt zum Bestimmen einer Fahrzeugsituation eines eigenen Fahrzeugs, umfassend eine Position des eigenen Fahrzeugs oder eine Fahrbedingung des eigenen Fahrzeugs; einen Überwachungsfunktion-Auswahlschritt zum Auswählen von einer oder mehreren Funktionen als eine Auswahlüberwachungsfunktion aus einer oder mehreren Umgebungsüberwachungsfunktionen und einer oder mehreren Rück-Lateral-Seiten-Überwachungsfunktionen auf der Basis der Fahrzeugsituation des eigenen Fahrzeugs, die in dem Fahrzeugsituation-Bestimmungsschritt bestimmt ist, zum Bestimmen entweder eines Umgebungsüberwachungsvideobilds oder eines Rück-Lateral-Seitenüberwachungsvideobilds als ein Eingabevideobild auf der Basis der Auswahlüberwachungsfunktion und zum Bestimmen eines zu der Auswahlüberwachungsfunktion gehörigen Videobildverarbeitungsverfahrens; einen Eingabevideobild-Erfassungsschritt zum Erfassen des in dem Überwachungsfunktion-Auswahlschritt bestimmten Eingabevideobilds von entweder einer Umgebungsüberwachungskamera (2) oder einer Rück-Lateral-Seiten-Überwachungskamera (3); und einen Eingabevideobild-Verarbeitungsschritt zum Ausführen einer Videobildverarbeitung an dem in dem Eingabevideobild Erfassungsschritt erfassten Eingabevideobild durch das in dem Überwachungsfunktion-Auswahlschritt bestimmte Videobildverarbeitungsverfahren.
DE102020204957.2A 2019-10-28 2020-04-20 Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungsverfahren Pending DE102020204957A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-194994 2019-10-28
JP2019194994A JP6976298B2 (ja) 2019-10-28 2019-10-28 車両用周囲監視装置および車両用周囲監視方法

Publications (1)

Publication Number Publication Date
DE102020204957A1 true DE102020204957A1 (de) 2021-04-29

Family

ID=75378913

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020204957.2A Pending DE102020204957A1 (de) 2019-10-28 2020-04-20 Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungsverfahren

Country Status (3)

Country Link
JP (1) JP6976298B2 (de)
CN (1) CN112734981A (de)
DE (1) DE102020204957A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023094007A1 (en) * 2021-11-29 2023-06-01 Zf Cv Systems Global Gmbh Adaptive camera system for a vehicle and vehicle comprising the adaptive camera system and method for operating the adaptive camera system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110177A (ja) * 2005-10-10 2007-04-26 Denso Corp 画像処理装置及びプログラム
JP2008279875A (ja) * 2007-05-10 2008-11-20 Alpine Electronics Inc 駐車支援装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
JP5094754B2 (ja) * 2009-01-26 2012-12-12 株式会社デンソーアイティーラボラトリ 情報提供装置、情報提供方法およびプログラム
JP5035321B2 (ja) * 2009-11-02 2012-09-26 株式会社デンソー 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム
CN102145688A (zh) * 2010-02-08 2011-08-10 鸿富锦精密工业(深圳)有限公司 车辆防撞监控系统及方法
CN202573990U (zh) * 2012-03-27 2012-12-05 北京汽车股份有限公司 全景影像系统及车辆
JP5888164B2 (ja) * 2012-07-20 2016-03-16 トヨタ自動車株式会社 車両周辺監視装置、車両周辺監視システム
CN102806851B (zh) * 2012-07-25 2016-08-03 广东好帮手电子科技股份有限公司 一种带扩展行车视野功能的汽车仪表及汽车
JP6361988B2 (ja) * 2016-05-30 2018-07-25 マツダ株式会社 車両用表示装置
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN108955712A (zh) * 2017-05-18 2018-12-07 佛山市顺德区顺达电脑厂有限公司 预览拍摄影像的方法及多镜头行车记录系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023094007A1 (en) * 2021-11-29 2023-06-01 Zf Cv Systems Global Gmbh Adaptive camera system for a vehicle and vehicle comprising the adaptive camera system and method for operating the adaptive camera system

Also Published As

Publication number Publication date
JP2021069075A (ja) 2021-04-30
CN112734981A (zh) 2021-04-30
JP6976298B2 (ja) 2021-12-08

Similar Documents

Publication Publication Date Title
DE112017007050B4 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Informationsverarbeitungsprogramm
DE60005426T2 (de) Rückblicksüberwachungssystem für Fahrzeuge
DE102010035232B4 (de) Verfahren und System zum Anzeigen von Fahrzeugrückfahrkamerabildern in verschiedenen Modi
DE102010035772B4 (de) System und Verfahren zum Liefern von Leitinformation für einen Fahrer eines Fahrzeugs
DE112017001746T5 (de) Fahrunterstützungsvorrichtung, autonome Fahrsteuerungsvorrichtung, Fahrzeug, Fahrunterstützungsverfahren und Programm
DE102018127164A1 (de) Vorrichtung zum bestimmen abgelenkten fahrens, verfahren zum bestimmen abgelenkten fahrens, und programm zum bestimmen abgelenkten fahrens
DE112014007249T5 (de) Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE112014006721T5 (de) Adaptive Warnungsverwaltung für das fortschrittiiche Fahrerassistenzsystem (ADAS)
DE102018216012A1 (de) Vorrichtung zum bestimmen abgelenkten fahrens, verfahren zum bestimmen abgelenkten fahrens, und programm
DE112016003517T5 (de) Vorrichtung zum Darstellen von Unterstützungsbildern für einen Fahrer und Verfahren dazu
DE10101250A1 (de) Überwachung der Umgebung eines Motorfahrzeugs auf Kollisionsgefahr
DE112012006761T5 (de) Fahrassistenzvorrichtung
DE102018131209A1 (de) Synchrone nahbereichsradare zur automatischen anhängerdetektion
DE112017007211T5 (de) Steuervorrichtung, Verfahren und Programm zur Fahrmodusumschaltung
DE102010044219A1 (de) Verfahren zur Erfassung der Umgebung eines Fahrzeugs
DE112017007190T5 (de) Steuerung, verfahren und programm zur fahrmodus-umschaltung
DE102012213344A1 (de) Verkehrszeichenerkennung
DE112017007216T5 (de) Steuereinrichtung, System und Verfahren zum Umschalten des Fahrmodus
DE112016006386T5 (de) Fahrzeugseitige vorrichtung, warnungsausgabeverfahren und warnungsausgabeprogramm
DE102016209240A1 (de) Fahrassistenzvorrichtung und fahrassistenzverfahren
DE112016003546T5 (de) Vorrichtung zum Darstellen von Unterstützungsbildern für einen Fahrer und Verfahren dazu
DE102008010119A1 (de) Vorrichtung zum Erfassen eines Objekts und System zur Kommunikation zwischen Fahrzeugen
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE102016219542A1 (de) Informationsverarbeitungsvorrichtung
DE112018004439T5 (de) Fahrzeuggeschwindigkeitssteuervorrichtung undfahrzeuggeschwindigkeitssteuerverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R084 Declaration of willingness to licence