DE112015004637T5 - Bordkamerakalibriervorrichtung, Bildgenerator, Bordkamerakalibrierverfahren und Bilderzeugungsverfahren - Google Patents

Bordkamerakalibriervorrichtung, Bildgenerator, Bordkamerakalibrierverfahren und Bilderzeugungsverfahren Download PDF

Info

Publication number
DE112015004637T5
DE112015004637T5 DE112015004637.2T DE112015004637T DE112015004637T5 DE 112015004637 T5 DE112015004637 T5 DE 112015004637T5 DE 112015004637 T DE112015004637 T DE 112015004637T DE 112015004637 T5 DE112015004637 T5 DE 112015004637T5
Authority
DE
Germany
Prior art keywords
camera
board
criterion
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112015004637.2T
Other languages
English (en)
Other versions
DE112015004637B4 (de
Inventor
Hitoshi Tanaka
Muneaki Matsumoto
Youji Morishita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE112015004637T5 publication Critical patent/DE112015004637T5/de
Application granted granted Critical
Publication of DE112015004637B4 publication Critical patent/DE112015004637B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Mechanical Engineering (AREA)

Abstract

Eine Bordkamerakalibriervorrichtung ist vorgesehen. Die Bordkamerakalibriervorrichtung beinhaltet einen Sollkameraauswahlabschnitt (106) zum Auswählen einer Sollkamera, die Kalibrierung benötigt, von den Bordkameras, einen Zwischenkameraauswahlabschnitt (108) zum Auswählen einer Zwischenkamera, wenn es die Zwischenkamera gibt, die die Bordkamera ist, die sich zwischen der Sollkamera und einer Kriteriumskamera befindet, einen ersten Kalibrierabschnitt (109) zum, wenn die Zwischenkamera nicht ausgewählt ist, Kalibrieren der Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen, und einen zweiten Kalibrierabschnitt (110) zum, wenn die Zwischenkamera ausgewählt ist, Kalibrieren der Zwischenkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen, und dann Kalibrieren der Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen.

Description

  • Querverweis auf zugehörige Anmeldung
  • Diese Anmeldung basiert auf der am 9. Oktober 2014 eingereichten Japanischen Patentanmeldung mit der Nummer 2014-208448 auf deren Offenbarung vollinhaltlich Bezug genommen wird.
  • Technisches Gebiet
  • Die vorliegende Offenbarung betrifft eine Technologie, die auf ein Fahrzeug angewandt wird, das mit mehreren Bordkameras ausgestattet ist, und die ein Bild zum Überwachen einer Situation um das Fahrzeug durch Verwenden eines Bilds erzeugt, das durch eine Bordkamera aufgenommen ist. Alternativ betrifft die vorliegende Offenbarung eine Technologie, die eine Bordkamera kalibriert.
  • Stand der Technik
  • Wichtig beim sicheren Fahren eines Fahrzeugs ist es, Positionen unterschiedlicher Objekte (wie beispielsweise eines Hindernisses und eines Fußgängers) zu verstehen, die um ein Fahrzeug existieren. Ein heutiges Fahrzeug nimmt ein Umgebungsbild durch Verwenden mehrerer Bordkameras auf und erfasst dabei die Position eines Objekts oder ermöglicht einem Fahrer einfach die Position eines Objekts zu verstehen, das um das Fahrzeug herum existiert.
  • Beispielsweise wird eine Technologie vorgeschlagen, die Vogelperspektivkonversion auf ein Bild, das durch eine Bordkamera aufgenommen wird, in ein Bild (Vogelperspektivbild) anwendet, das wie von einen Richtung herabblickend auf das Fahrzeug aufgenommen erscheint, das Bild anzeigt und einem Fahrer ermöglicht, einfach eine Positionsbeziehung zwischen dem Fahrzeug und einem Objekt zu verstehen.
  • Die Technologie geht davon aus, dass die Bordkamera an dem Fahrzeug an einer korrekten Installationsposition und mit einem korrekten Installationswinkel installiert ist. Jedoch tritt ein Installationsfehler immer auf, wenn die Bordkamera installiert wird. Es besteht ein Bedarf, einen Einfluss des Installationsfehlers durch Erfassen von Installationspositionen und Installationswinkeln bei allen Bordkameras bei einer Fabrikauslieferung von Fahrzeugen zu eliminieren. Die Inhalte einer Verarbeitung für ein aufgenommenes Bilds werden optimiert, um einen Einfluss des Installationsfehlers zu eliminieren, unter der Annahme, dass jede Bordkamera an einem Fahrzeug an der Installationsposition und dem Installationswinkel der Bordkamera installiert ist.
  • Die Installationsposition und/oder der Installationswinkel der Bordkamera werden erfasst oder der Versatzbetrag gegenüber der korrekten Installationsposition und dem korrekten Installationswinkel wird erfasst, um die Inhalte einer Verarbeitung eines aufgenommenen Bilds zu optimieren. Dies kann als Kalibrierung der Bordkamera bezeichnet werden.
  • Die Installationsposition oder der Installationswinkel der Bordkamera können gegenüber dem Fabrikauslieferungszustand aus unterschiedlichen Gründen wie beispielsweise einer Vibration während einer Fahrzeugfahrt oder einer Interferenz der Bordkamera mit etwas variieren. In so einem Fall ist es ungelegen, das Fahrzeug zu einer Wartungseinrichtung zu transportieren und die Bordkamera zu kalibrieren. Zur Lösung wird eine Technologie vorgeschlagen (Patentdokument 1), in der Aufnahmeregionen für benachbarte Bordkameras sich teilweise überlappen. Falls sich die Installationsposition oder der Installationswinkel einer Bordkamera vom Fabrikauslieferungszustand ändert, kalibriert die Technologie dann die Bordkamera, deren Installationsposition oder Installationswinkel sich geändert hat, basierend auf einem aufgenommenem Bild von einer Überlappungsregion für die benachbarte Bordkamera.
  • Literatur des Stands der Technik
  • Patentliteratur
    • Patentdokument 1: JP 2014-101075 A
  • ÜBERBLICK ÜBER DIE ERFINDUNG
  • Jedoch haben die Erfinder der vorliegenden Anmeldung die vorgeschlagene Technologie untersucht und herausgefunden, dass wiederholtes Kalibrieren einer Bordkamera die Kalibrierungsgenauigkeit verschlechtern kann und es erschweren kann, genau Positionen von Objekten um das Fahrzeug herum zu erkennen. Der Grund wird wie folgt angenommen. Die später folgende Beschreibung verwendet ein Beispiel, in dem eine Situation um das Fahrzeug angezeigt wird, indem Vogelperspektivkonversion auf ein aufgenommenes Bild angewandt wird, das von mehreren Bordkameras erzeugt wird.
  • Es wird angenommen, dass eine von Bordkameras einen Versatz der Installationsposition oder des Installationswinkels bezüglich des Fahrzeugs erfährt und Kalibrierung benötigt. In der nachfolgenden Beschreibung wird eine zu kalibrierende Bordkamera als eine ”Sollkamera” bezeichnet, um sie von den anderen Bordkameras zu unterscheiden. Die Sollkamera kann korrekt kalibriert werden, durch Überlappen von Vogelperspektivbildern miteinander in einer Überlappungsregion bezüglich eines Vogelperspektivbilds von einer benachbarten Bordkamera, falls die benachbarte Bordkamera die Installationsposition und den Installationswinkel unverändert ausgehend von der Fabrikauslieferung beibehält.
  • Jedoch kann der Bedarf zum Kalibrieren der Sollkamera eine Möglichkeit involvieren, dass es für die Installationsposition und den Installationswinkel der benachbarten Bordkamera ebenso wahrscheinlich ist, dass sie ausgehend vom Fabrikauslieferungszustand verstellt bzw. versetzt sind. In diesem Fall wird die Sollkamera basierend auf der verstellten Bordkamera kalibriert. Ein Fehler der Bordkamera, die als Kriterium verwendet wird, breitet sich zur Sollkamera aus. Offensichtlich ist es ebenso wahrscheinlich, dass eine Kalibrierverarbeitung einen Fehler verursacht.
  • Eine weitere Bordkamera kann danach die Kalibrierung benötigen. In so einem Fall, wurde eine Bordkamera benachbart zur Sollkamera möglicherweise vorher kalibriert und ein Fehler kann sich zu dieser Zeit zur Sollkamera ausgebreitet haben. In diesem Fall breitet sich der Fehler ebenso zur Sollkamera aus, die erneut zu kalibrieren ist. Eine Vibration während der Fahrt kann einen Fehler nach Kalibrieren der Bordkamera verursachen, die als Kriterium verwendet wird. Der Fehler breitet sich ebenso zur Sollkamera aus.
  • Wiederholtes Kalibrieren von Bordkameras häuft nach und nach Fehler an und verschlechtert die Kalibrierungsgenauigkeit. Demzufolge, wird es als schwierig angenommen, genau Positionen von Objekten um das Fahrzeug zu verstehen.
  • Es ist eine Aufgabe der vorliegenden Offenbarung eine Technologie bereitzustellen, die ohne Verschlechtern der Genauigkeit sogar, falls eine Bordkamera wiederholt kalibriert wird, kalibrieren kann.
  • In einem Aspekt der vorliegenden Offenbarung wird eine Bordkamerakalibriervorrichtung bereitgestellt, die für ein Fahrzeug verwendet wird, das mit mehreren Bordkameras ausgestattet ist, die so angebracht sind, dass sich Aufnahmeregionen der Bordkameras, die benachbart zueinander sind, teilweise überlappen, und die eine Installationsposition und/oder einen Installationswinkel von irgendeiner der Bordkameras, die einen Versatz der Installationsposition und/oder des Installationswinkels bezüglich des Fahrzeugs hat, kalibriert. Die Bordkamerakalibriervorrichtung weist auf: einen Variationserfassungsabschnitt, der eine Variation von einem Ausgangszustand eines Installationswinkel und/oder einer Installationsposition von jeder der Bordkameras bezüglich des Fahrzeugs erfasst; einen Sollkameraauswahlabschnitt, der die Bordkamera, die die Variation größer als einen vorbestimmten Grenzwert angibt, als eine Sollkamera auswählt, die die Kalibrierung benötigt; einen Kriteriumskameraauswahlabschnitt, der die Bordkamera, die die kleinste Variation von den Bordkameras angibt, als eine Kriteriumskamera auswählt, wenn die Sollkamera von den Bordkameras ausgewählt ist; einen Zwischenkameraauswahlabschnitt, der eine Zwischenkamera auswählt, wenn die Zwischenkamera existiert, wobei die Zwischenkamera die Bordkamera ist, die sich zwischen der Sollkamera und der Kriteriumskamera befindet; einen ersten Kalibrierabschnitt der, wenn die Zwischenkamera nicht ausgewählt ist, die Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen; und einen zweiten Kalibrierabschnitt der, wenn die Zwischenkamera ausgewählt ist, die Zwischenkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen, und dann die Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen.
  • In einem weiteren Aspekt der vorliegenden Offenbarung, wird ein Bildgenerator bereitgestellt, der für ein Fahrzeug verwendet wird, das mit mehreren Bordkameras ausgestattet ist, die so angebracht sind, dass sich Aufnahmeregionen der Bordkameras, die benachbart zueinander sind, teilweise überlappen, und der ein Überwachungsbild zum Überwachen einer Situation um das Fahrzeug basierend auf aufgenommenen Bilder erzeugt, die durch die Bordkameras erlangt werden. Der Bildgenerator weist auf: einen Bilderlangungsabschnitt, der die aufgenommenen Bilder von den Bordkameras erlangt; einen Variationserfassungsabschnitt, der eine Variation von einem Ausgangszustand eines Installationswinkel und/oder einer Installationsposition von jeder der Bordkameras bezüglich des Fahrzeugs erfasst;
    einen Sollkameraauswahlabschnitt, der die Bordkamera, die die Variation größer als einen vorbestimmter Grenzwert angibt, als eine Sollkamera auswählt, die Kalibrieren des Installationswinkels oder der Installationsposition erfordert; einen Kriteriumskameraauswahlabschnitt, der die Bordkamera, die die kleinste Variation von den Bordkameras angibt, als eine Kriteriumskamera auswählt, wenn die Sollkamera von den Bordkameras ausgewählt ist; einen Zwischenkameraauswahlabschnitt, der eine Zwischenkamera auswählt, wenn die Zwischenkamera existiert, wobei die Zwischenkamera die Bordkamera ist, die sich zwischen der Sollkamera und der Kriteriumskamera befindet; einen ersten Kalibrierabschnitt der, wenn die Zwischenkamera nicht ausgewählt ist, die Sollkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen; einen zweiten Kalibrierabschnitt der, wenn die Zwischenkamera ausgewählt ist, die Zwischenkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Zwischenkamera überlappen, und dann die Sollkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen; und einen Bildgeneratorabschnitt, der das Überwachungsbild durch Anwenden einer Sichtlinienkonversion auf die aufgenommenen Bilder, die von den Bordkameras erlangt werden, basierend auf einem Ergebnis des Kalibrierens der Bordkamera erzeugt.
  • In einem weiteren Aspekt der vorliegenden Offenbarung wird ein Bordkamerakalibrierverfahren bereitgestellt, das für ein Fahrzeug verwendet wird, das mit mehreren Bordkameras ausgestattet ist, die so angebracht sind, dass sich Aufnahmeregionen der Bordkameras, die benachbart zueinander sind, teilweise überlappen, und das eine Installationsposition oder einen Installationswinkel von irgendeiner der Bordkameras kalibriert, die einen Versatz einer Installationsposition oder eines Installationswinkels bezüglich des Fahrzeugs hat. Das Verfahren umfasst: Erfassen einer Variation von einem Ausgangszustand eines Installationswinkels oder einer Installationsposition von jeder der Bordkameras bezüglich des Fahrzeugs; Auswählen der Bordkamera, die die Variation größer als ein vorbestimmter Grenzwert angibt, als eine Sollkamera die die Kalibrierung benötigt; Auswählen der Bordkamera, die die kleinste Variation von den Bordkameras angibt, als eine Kriteriumskamera, wenn die Sollkamera von den Bordkameras ausgewählt ist; Auswählen einer Zwischenkamera, wenn die Zwischenkamera existiert, wobei die Zwischenkamera die Bordkamera ist, die sich zwischen der Sollkamera und der Kriteriumskamera befindet; wenn die Zwischenkamera nicht ausgewählt ist, Kalibrieren der Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen; und wenn die Zwischenkamera ausgewählt ist, Kalibrieren der Zwischenkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Zwischenkamera überlappen, und dann Kalibrieren der Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen.
  • In einem weiteren Aspekt der vorliegenden Offenbarung wird ein Bilderzeugungsverfahren bereitgestellt, das für ein Fahrzeug verwendet wird, das mit mehreren Bordkameras ausgestattet ist, die so angebracht sind, dass sich Aufnahmeregionen der Bordkameras, die benachbart zueinander sind, teilweise überlappen, und das ein Überwachungsbild zum Überwachen einer Situation um das Fahrzeug basierend auf aufgenommenen Bildern erzeugt, die durch die Bordkameras erlangt werden. Das Verfahren umfasst: Erlangen der aufgenommenen Bilder von den Bordkameras; Erfassen einer Variation von einem Ausgangszustand eines Installationswinkels und/oder einer Installationsposition von jeder der Bordkameras bezüglich des Fahrzeugs; Auswählen der Bordkamera, die die Variation größer als einen vorbestimmten Grenzwert angibt, als eine Sollkamera, die Kalibrieren des Installationswinkels oder der Installationsposition benötigt; Auswählen der Bordkamera, die die kleinste Variation von den Bordkameras angibt, als eine Kriteriumskamera, wenn die Sollkamera von den Bordkameras ausgewählt ist; Auswählen einer Zwischenkamera, wenn die Zwischenkamera existiert, wobei die Zwischenkamera die Bordkamera ist, die sich zwischen der Sollkamera und der Kriteriumskamera befindet; wenn die Zwischenkamera nicht ausgewählt ist, Kalibrieren der Sollkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen; wenn die Zwischenkamera ausgewählt ist, Kalibrieren der Zwischenkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Zwischenkamera überlappen, und dann Kalibrieren der Sollkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen; und Erzeugen des Überwachungsbilds durch Anwenden einer Sichtlinienkonversion auf das aufgenommene Bild, das von den Bordkameras erlangt wird, basierend auf dem Ergebnis des Kalibrierens der Bordkamera.
  • Die Bordkamerakalibriervorrichtung, der Bildgenerator, das Bordkamerakalibrierverfahren und das Bilderzeugungsverfahren, die vorstehend beschrieben sind, können nicht nur die Sollkamera durch Verwenden der Kriteriumskamera, sondern ebenso die Zwischenkamera, falls ausgewählt, durch Verwenden die Kriteriumskamera kalibrieren. Es wird angenommen, das mindestens eine der Kriteriumskameras, der Sollkamera und der Zwischenkamera, die jüngst kalibriert wurde, die Installationsposition und den Installationswinkel unverändert beibehält, wenn die Kalibrierung das nächste Mal erforderlich ist. In diesem Fall ist die Kalibrierung mit der gleichen Genauigkeit verfügbar wie vorhergehende Kalibrierung, indem die Bordkamera als die Kriteriumskamera ausgewählt wird. Daraus resultiert, dass verhindert werden kann, dass wiederholtes Kalibrieren die Genauigkeit verschlechtert.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die vorstehenden und weitere Aufgaben, Merkmale und Vorteile der Offenbarung werden aus der nachfolgenden detaillierten Beschreibung in Zusammenschau mit den Zeichnungen ersichtlicher.
  • Es zeigen:
  • 1 eine erläuternde Zeichnung, die ein Fahrzeug ausgestattet mit einem Bildgenerator und einer Bordkamerakalibriervorrichtung gemäß einer Ausführungsform illustriert;
  • 2 eine erläuternde Zeichnung, die konzeptionell Aufnahmeregionen von mehreren Bordkameras, die an einem Fahrzeug angebracht sind, illustriert;
  • 3 eine erläuternde Zeichnung, die schematisch eine interne Konfiguration eines Bildgenerators und einer Bordkamerakalibriervorrichtung illustriert;
  • 4 ein Ablaufdiagramm, das einen ersten Teil einer Bilderzeugungsverarbeitung zum Erzeugen eines Bilds für den Bildgenerator zum Überwachen von Umgebungen eines Fahrzeugs illustriert;
  • 5 ein Ablaufdiagramm, das einen zweiten Teil der Bilderzeugungsverarbeitung illustriert;
  • 6 eine erläuternde Zeichnung, die eine Variation, die zu erfassen ist, um zu bestimmen, ob eine Installationsposition und ein Installationswinkel einer Bordkamera sich ausgehend von einem Ausgangszustand ändern, illustriert;
  • 7A eine erläuternde Zeichnung, die einen Modus zum Auswählen einer Sollkamera und einer Kriteriumskamera illustriert;
  • 7B eine erläuternde Zeichnung, die einen Modus zum Auswählen einer Sollkamera und einer Kriteriumskamera illustriert;
  • 8A eine erläuternde Zeichnung, die einen weiteren Modus zum Auswählen einer Sollkamera und einer Kriteriumskamera illustriert;
  • 8B eine erläuternde Zeichnung, die einen weiteren Modus zum Auswählen einer Sollkamera und einer Kriteriumskamera illustriert;
  • 9 ein Ablaufdiagramm, das eine erste Kalibrierverarbeitung zum Kalibrieren einer Sollkamera basierend auf einer Kriteriumskamera, wenn die Kriteriumskamera und die Sollkamera benachbart zueinander sind, illustriert;
  • 10A eine erläuternde Zeichnung, die ein Beispiel des Extrahierens eines Bilds einer Überlappungsregion, die mit der Sollkamera überlappt, von aufgenommenen Bildern, die durch die Kriteriumskamera aufgenommen werden, illustriert;
  • 10B eine erläuternde Zeichnung, die ein Beispiel des Extrahierens eines Bilds der Überlappungsregion und Erfassen eines Merkmalspunkts illustriert;
  • 11A eine erläuternde Zeichnung, die ein Beispiel des Erfassens eines Merkmalspunkts in dem Bild der Überlappungsregion illustriert;
  • 11B eine erläuternde Zeichnung, die ein Beispiel des Erfassens eines Merkmalspunkts in dem Bild der Überlappungsregion illustriert;
  • 12 eine erläuternde Zeichnung, die ein Beispiel des Extrahierens eines Bilds der Überlappungsregion von aufgenommenen Bildern, die durch die Sollkamera aufgenommen werden, und Erfassen eines Merkmalspunkts illustriert;
  • 13 ein Ablaufdiagramm, das einen ersten Teil einer zweiten Kalibrierverarbeitung zum Kalibrieren einer Sollkamera basierend auf einer Kriteriumskamera, wenn die Kriteriumskamera und die Sollkamera nicht benachbart zueinander sind, illustriert;
  • 14 ein Ablaufdiagramm, das einen Zwischenteil der zweiten Kalibrierverarbeitung illustriert;
  • 15 ein Ablaufdiagramm, das den letzten Teil der zweiten Kalibrierverarbeitung illustriert;
  • 16 eine erläuternde Zeichnung, die schematisch ein Beispiel des Kalibrierens einer Sollkamera basierend auf einer Kriteriumskamera, wenn die Kriteriumskamera und die Sollkamera nicht benachbart zueinander sind, illustriert;
  • 17A eine erläuternde Zeichnung, die schematisch einen weiteren Modus des Kalibrierens einer Sollkamera basierend auf einer Kriteriumskamera, wenn die Kriteriumskamera und die Sollkamera nicht benachbart zueinander sind, illustriert;
  • 17B eine erläuternde Zeichnung, die schematisch einen weiteren Modus des Kalibrierens einer Sollkamera basierend auf einer Kriteriumskamera, wenn die Kriteriumskamera und die Sollkamera nicht benachbart zueinander sind, illustriert;
  • 18 eine erläuternde Zeichnung, die schematisch eine interne Konfiguration eines Bildgenerators gemäß einer Modifikation illustriert;
  • 19 eine erläuternde Zeichnung, die konzeptionell ein Beispiel, in dem ein Bildgenerator und eine Bordkamerakalibriervorrichtung gemäß der Modifikation eine Bordkamera kalibrieren, illustriert;
  • 20 eine erläuternde Zeichnung, die konzeptionell einen weiteren Modus, in dem der Bildgenerator und die Bordkamerakalibriervorrichtung gemäß der Modifikation eine Bordkamera kalibrieren, illustriert;
  • 21 eine erläuternde Zeichnung, die konzeptionell ein Beispiel, in dem der Bildgenerator gemäß der Modifikation eine Bordkamera kalibriert, wenn es mehrere Wege zum Auswählen einer Zwischenkamera gibt, illustriert; und
  • 22 eine erläuternde Zeichnung, die konzeptionell einen weiteren Modus, in dem der Bildgenerator gemäß der Modifikation eine Bordkamera kalibriert, wenn es mehrere Wege zum Auswählen einer Zwischenkamera gibt, illustriert.
  • AUSFÜHRUNGSFORMEN DER ERFINDUNG
  • Eine Ausführungsform der vorliegenden Offenbarung wird beschrieben.
  • A. Vorrichtungskonfiguration
  • 1 illustriert ein Fahrzeug 1 ausgestattet mit einem Bildgenerator 100 (und einem Bordkamerakalibriervorrichtung 200) gemäß der Ausführungsform. Wie in 1 illustriert ist, ist das Fahrzeug 1 mit mehreren (vier in der Zeichnung) Bordkameras 10F, 10B, 10L und 10R, dem Bildgenerator 100 (und der Bordkamerakalibriervorrichtung 200) und einem Anzeigebildschirm 20 ausgestattet.
  • Der Bildgenerator 100 (und die Bordkamerakalibriervorrichtung 200) repräsentiert einen Mikrocomputer einschließlich einer CPU als ein Hauptteil, eines Speichermoduls, eines Zeitgebers und einer peripheren Eingabe-/Ausgabeeinheit, die mittels eines Bus verbunden sind, um Daten miteinander kommunizieren zu können. Der Bildgenerator 100 empfängt aufgenommene Bilder von den Bordkameras 10F, 10B, 10L und 10R, führt eine vorbestimmte Verarbeitung aus (später beschrieben), um ein Überwachungsbild zu erzeugen, und gibt dann das Bild an den Anzeigebildschirm 20 wie beispielsweise eine Flüssigkristallanzeige aus.
  • 2 illustriert konzeptionell Einbaulagen und Aufnahmeregionen der Bordkameras 10F, 10B, 10L und 10R. Die Bordkamera 10F ist auf der Oberseite einer Frontstoßstange des Fahrzeugs 1 montiert und nimmt eine Aufnahmeregion D (F) vor dem Fahrzeug 1 auf. Die Bordkamera 10B ist auf der Oberseite einer Heckstoßstange des Fahrzeugs 1 montiert und nimmt eine Aufnahmeregion D (B) hinter dem Fahrzeug 1 auf. Die Bordkamera 10L ist auf der Bodenoberfläche eines linken Seitenspiegels 12L des Fahrzeugs 1 montiert und nimmt eine Aufnahmeregion D (L) zur Linken des Fahrzeugs 1 auf. Die Bordkamera 10R ist auf der Bodenoberfläche eines rechten Seitenspiegels 12R des Fahrzeugs 1 montiert und nimmt Aufnahmeregion D (R) zur Rechten des Fahrzeugs 1 auf.
  • Die Bordkameras 10F, 10B, 10L und 10R beinhalten jeweils eine Weitwinkellinse wie beispielsweise eine Fischaugenlinse und können einen Weitwinkelbereich aufnehmen. Wie in 2 illustriert ist, überlappen sich Aufnahmeregion D (F) für die Bordkamera 10F und Aufnahmeregion D (R) für die Bordkamera 10R teilweise in Region D (FR). Aufnahmeregion D (F) für die Bordkamera 10F und Aufnahmeregion D (L) für die Bordkamera 10L überlappen sich teilweise in Region D (FL). Auf ähnliche Weise überlappen sich Aufnahmeregion D (B) für die Bordkamera 10B und Aufnahmeregion D (R) für die Bordkamera 10R teilweise in Region D (BR). Aufnahmeregion D (B) für die Bordkamera 10B und Aufnahmeregion D (L) für die Bordkamera 10L überlappen sich teilweise in Region D (BL). Aneinandergehängte aufgenommene Bilder von den Bordkameras 10F, 10B, 10L und 10R können ein aufgenommenes Bild in allen Richtungen des Fahrzeugs 1 erzeugen.
  • Der Bildgenerator 100 gemäß der Ausführungsform wendet Sichtlinienkonversion auf die aufgenommenen Bilder an, um ein sichtlinienkonvertiertes Bild zu erzeugen. Der Bildgenerator 100 erzeugt ein Überwachungsbild zum Überwachen um das Fahrzeug 1 von dem sichtlinienkonvertierten Bild und gibt das Überwachungsbild an den Anzeigebildschirm 20 aus. Die ”Sichtlinienkonversion” kennzeichnet eine Verarbeitung, die ein aufgenommenes Bild von der Bordkamera in ein Bild konvertiert, als wäre es von einer Richtung aufgenommen, die sich von der tatsächlichen Aufnahmerichtung unterscheidet. Die Verarbeitung kann die Sichtlinienkonversion ausführen, um ein Bild zu erzeugen, als wie wenn das Fahrzeug 1 von oben nach unten betrachtet würde (oder schräg nach unten). Diese Verarbeitung wird ebenso als ”Vogelperspektivkonversion” bezeichnet. Das ”sichtlinienkonvertierte Bild” resultiert aus Anwenden der Sichtlinienkonversion auf ein aufgenommenes Bild. Ein ”Vogelperspektivbild” resultiert aus Anwenden der Vogelperspektivkonversion auf ein aufgenommenes Bild.
  • In der nachfolgenden Beschreibung wird ein Vogelperspektivbild durch Anwenden der Vogelperspektivkonversion auf ein aufgenommenes Bild zum Zweck der Illustration erzeugt. Die Beschreibung kann demnach verallgemeinert werden, indem ”Vogelperspektivkonversion” durch ”Sichtlinienkonversion” ersetzt wird.
  • In 2 illustriert ein Rechteck mit unterbrochener Linie den Anzeigebereich eines Vogelperspektivbilds, das auf dem Anzeigebildschirm 20 angezeigt wird. Ein Fahrer kann eine Umgebungssituation einfach verstehen, falls die Vogelperspektivkonversion auf ein aufgenommenes Bild von der Bordkamera zum Anzeigen des Bilds angewandt wird.
  • Die Vogelperspektivkonversion muss korrekt auf ein Vogelperspektivbild angewandt werden, das auf dem Anzeigebildschirm 20 anzuzeigen ist, um die tatsächliche Situation zu reflektieren, damit der Fahrer eine Situation um das Fahrzeug 1 herum korrekt verstehen kann. Zu diesem Zweck müssen Installationspositionen und Installationswinkel der Bordkameras 10F, 10B, 10L und 10R basierend auf dem Fahrzeug 1 unverändert gegenüber Installationspositionen und Installationswinkeln sein, die für die Vogelperspektivkonversion vorausgesetzt werden.
  • Offensichtlich können Installationspositionen oder Installationswinkel der Bordkameras 10F, 10B, 10L und 10R aus unterschiedlichen Gründen nach Fabrikauslieferung des Fahrzeugs 1 verstellt bzw. versetzt sein. Es wird ebenso eine Technologie zum Kalibrieren der Bordkameras 10F, 10B, 10L und 10R vorgeschlagen, falls Installationspositionen oder Installationswinkel der Bordkameras 10F, 10B, 10L und 10R verstellt sind. Die ”Bordkamerakalibrierung” kennzeichnet Erfassen einer Installationsposition oder eines Installationswinkels der Bordkamera basierend auf dem Fahrzeug oder Erfassen des Versatzbetrags gegenüber der korrekten Installationsposition oder dem korrekten Installationswinkel und angemessenes Anwenden der Vogelperspektivkonversion auf ein aufgenommenes Bild basierend auf dem Ergebnis.
  • Jedoch kann Wiederholen der Bordkamerakalibrierung die Vogelperspektivkonversion nicht korrekt ausführen. Demzufolge kann der Fahrer nicht einfach eine Situation um das Fahrzeug verstehen. Der Bildgenerator 100 (und die Bordkamerakalibriervorrichtung 200) gemäß der Ausführungsform ist speziell wie folgt konfiguriert, um in der Lage zu sein, die Vogelperspektivkonversion sogar korrekt auszuführen, falls die Bordkamera wiederholt kalibriert wird.
  • 3 illustriert schematisch eine interne Konfiguration des Bildgenerators 100 (und der Bordkamerakalibriervorrichtung 200) gemäß der Ausführungsform. Wie in der Zeichnung illustriert ist, beinhaltet der Bildgenerator 100 einen Bilderlangungsabschnitt 101, einen Vogelperspektivbildgeneratorabschnitt 102, einen Bildsynthetisierabschnitt 103, einen Bildausgabeabschnitt 104, einen Variationserfassungsabschnitt 105, einen Sollkameraauswahlabschnitt 106, einen Kriteriumskameraauswahlabschnitt 107, einen Zwischenkameraauswahlabschnitt 108, einen ersten Kalibrierabschnitt 109, einen zweiten Kalibrierabschnitt 110 und einen Alarmausgabeabschnitt 111.
  • Diese elf ”Abschnitte” klassifizieren die interne Konfiguration des Bildgenerators 100 für beschreibende Zwecke hinsichtlich einer Funktion des Bildgenerators 100 zum Ausgeben eines Bilds zum Überwachen um das Fahrzeug 1 und kennzeichnen nicht, dass der Bildgenerator 100 physikalisch in diese ”Abschnitte” unterteilt ist. Die ”Abschnitte” können als ein Computerprogramm, das auf der CPU läuft, als eine elektronische Schaltung einschließlich LSI und Speicher oder als eine Kombination dieser implementiert werden. Das Computerprogramm kann als ein nichtflüchtiges Speichermedium zum Speichern des Computerprogramms oder kann mittels einer elektrischen Kommunikationsleitung bereitgestellt werden.
  • Der Variationserfassungsabschnitt 105, der Sollkameraauswahlabschnitt 106, der Kriteriumskameraauswahlabschnitt 107, der Zwischenkameraauswahlabschnitt 108, der erste Kalibrierabschnitt 109, der zweite Kalibrierabschnitt 110 und der Alarmausgabeabschnitt 111 in dem Bildgenerator 100 entsprechen der ”Bordkamerakalibriervorrichtung 200.”
  • Wie in 3 illustriert ist, ist der Bilderlangungsabschnitt 101 mit den Bordkameras 10F, 10B, 10L und 10R verbunden und erlangt aufgenommene Bilder von den Bordkameras 10F, 10B, 10L und 10R.
  • Der Vogelperspektivbildgeneratorabschnitt 102 erlangt aufgenommene Bilder, die durch die Bordkameras 10F, 10B, 10L und 10R aufgenommen werden, vom Bilderlangungsabschnitt 101 und wendet Vogelperspektivkonversion auf jedes aufgenommene Bild zum Erzeugen eines Vogelperspektivbilds an. Der Bildsynthetisierabschnitt 103 synthetisiert ein Überwachungsbild, das auf dem Anzeigebildschirm 20 angezeigt wird, durch Verwenden der Vogelperspektivbilder, die durch den Vogelperspektivbildgeneratorabschnitt 102 erzeugt werden. Der Bildausgabeabschnitt 104 gibt das Überwachungsbild, das durch den Bildsynthetisierabschnitt 103 synthetisiert wird, an den Anzeigebildschirm 20 aus.
  • Der Bilderlangungsabschnitt 101 gibt ebenso aufgenommene Bilder, die durch die Bordkameras 10F, 10B, 10L und 10R aufgenommen werden, an den Variationserfassungsabschnitt 105 aus. Der Variationserfassungsabschnitt 105 erlangt die aufgenommenen Bilder, die durch die Bordkameras 10F, 10B, 10L und 10R aufgenommen werden, vom Bilderlangungsabschnitt 101 und erfasst dann Variationen in Installationspositionen und Installationswinkeln der Bordkameras 10F, 10B, 10L und 10R basierend auf dem Fahrzeug 1 durch Verwenden eines später beschriebenen Verfahrens.
  • Der Sollkameraauswahlabschnitt 106 wählt eine zu kalibrierende „Sollkamera” von den Bordkameras 10F, 10B, 10L und 10R unter der Bedingung aus, dass die Sollkamera einen vorbestimmten Grenzwert überschreitet.
  • Beim Auswählen der Sollkamera wählt der Kriteriumskameraauswahlabschnitt 107 eine ”Kriteriumskamera”, die als ein Kalibrierkriterium verwendet wird, aus den Bordkameras 10F, 10B, 10L und 10R unter der Bedingung aus, dass die Kriteriumskamera die kleinste Variation angibt.
  • Die Sollkamera und die Kriteriumskamera müssen nicht benachbart zueinander sein. In diesem Fall wird eine Bordkamera, die zwischen der Sollkamera und der Kriteriumskamera existiert, als eine ”Zwischenkamera” ausgewählt. Das Beispiel in 2 illustriert, dass die Sollkamera der Bordkamera 10B entspricht und die Kriteriumskamera der Bordkamera 10F entspricht. In diesem Fall wird die Bordkamera 10L oder 10R als die Zwischenkamera ausgewählt.
  • Keine Zwischenkamera wird ausgewählt, wenn die Sollkamera und die Kriteriumskamera benachbart zueinander sind. In diesem Fall kalibriert der erste Kalibrierabschnitt 109 die Sollkamera durch Verwenden eines aufgenommenen Bilds von der Kriteriumskamera.
  • Der erste Kalibrierabschnitt 109 erlangt Informationen zum Spezifizieren der Sollkamera vom Sollkameraauswahlabschnitt 106 und erlangt Informationen zum Spezifizieren der Kriteriumskamera vom Kriteriumskameraauswahlabschnitt 107. Der erste Kalibrierabschnitt 109 erlangt aufgenommene Bilder für die Kriteriumskamera und die Sollkamera vom Bilderlangungsabschnitt 101.
  • Der erste Kalibrierabschnitt 109 erlangt Informationen durch Kalibrieren der Sollkamera und gibt die erlangten Informationen an den Vogelperspektivbildgeneratorabschnitt 102 aus.
  • Eine Zwischenkamera wird ausgewählt, wenn die Sollkamera und die Kriteriumskamera nicht benachbart zueinander sind. In diesem Fall kalibriert der zweite Kalibrierabschnitt 110 die Zwischenkamera durch Verwenden eines aufgenommenen Bilds für die Kriteriumskamera und kalibriert dann die Sollkamera durch Verwenden eines aufgenommenen Bilds für die Zwischenkamera.
  • Informationen zum Spezifizieren der Sollkamera und der Kriteriumskamera werden vom Sollkameraauswahlabschnitt 106 und vom Kriteriumskameraauswahlabschnitt 107 erlangt. Informationen zum Spezifizieren der Zwischenkamera werden vom Zwischenkameraauswahlabschnitt 108 erlangt. Aufgenommene Bilder für die Kriteriumskamera, die Zwischenkamera und die Sollkamera werden vom Bilderlangungsabschnitt 101 erlangt.
  • Der zweite Kalibrierabschnitt 110 gibt die Informationen, die durch Kalibrieren der Zwischenkamera erlangt werden und die Informationen, die durch Kalibrieren der Sollkamera erlangt werden, an den Vogelperspektivbildgeneratorabschnitt 102 aus.
  • Es wird angenommen, dass eine große Variation von einer Bordkamera erfasst wird, die als die Kriteriumskamera ausgewählt ist, und ausreichende Kalibriergenauigkeit nicht sichergestellt ist, sogar falls der erste Kalibrierabschnitt 109 oder der zweite Kalibrierabschnitt 110 die anderen Bordkameras kalibriert. In diesem Fall ermöglicht der Alarmausgabeabschnitt 111 dem Bildausgabeabschnitt 104 vorab einen Alarm an den Anzeigebildschirm 20 auszugeben, um darüber zu unterrichten, dass eine Variation der Bordkamera, die als die Kriteriumskamera ausgewählt ist, mit einer vorbestimmten Toleranz verglichen wird und die Variation der Kriteriumskamera größer als die Toleranz ist.
  • Der Vogelperspektivbildgeneratorabschnitt 102 empfängt Informationen über ein Ergebnis des Kalibrierens der Bordkamera vom ersten Kalibrierabschnitt 109 oder vom zweiten Kalibrierabschnitt 110 und reflektiert dann die Informationen auf die nachfolgende Vogelperspektivkonversion. Beispielsweise empfängt der Vogelperspektivbildgeneratorabschnitt 102 ein Ergebnis des Kalibrierens der Sollkamera vom ersten Kalibrierabschnitt 109 und reflektiert die Informationen auf die nachfolgende Vogelperspektivkonversion, die auf aufgenommene Bilder von der Sollkamera auszuüben ist. Der Vogelperspektivbildgeneratorabschnitt 102 empfängt Ergebnisse des Kalibrierens der Sollkamera und der Zwischenkamera vom zweiten Kalibrierabschnitt 110 und reflektiert die Informationen auf die nachfolgende Vogelperspektivkonversion, die auf aufgenommene Bilder von der Sollkamera und der Zwischenkamera auszuüben ist.
  • Dies kann die Kalibrierung ohne Verschlechtern der Genauigkeit sogar ermöglichen, falls die Bordkameras 10F, 10B, 10L und 10R wiederholt kalibriert werden. Die nachfolgende Beschreibung erläutert eine Bilderzeugungsverarbeitung, die ein Bild (das auf dem Anzeigebildschirm 20 angezeigt wird) für den Bildgenerator 100 zum Überwachen um das Fahrzeug 1 herum erzeugt. Die Beschreibung erläutert ebenso, warum sich die Genauigkeit nicht verschlechtert, sogar, falls die Bordkameras 10F, 10B, 10L und 10R wiederholt kalibriert werden.
  • B. Bilderzeugungsverarbeitung
  • 4 und 5 zeigen ein Ablaufdiagramm, die die Bilderzeugungsverarbeitung für den Bildgenerator 100 gemäß der Ausführungsform zum Erzeugen eines Bilds illustriert, das auf dem Anzeigebildschirm 20 anzuzeigen ist.
  • Wie in der Zeichnung illustriert ist, erlangt die Bilderzeugungsverarbeitung als erstes aufgenommene Bilder von den Bordkameras 10F, 10B, 10L und 10R (S100).
  • Die Verarbeitung erfasst einen Index (eine Variation), der den Versatzbetrag repräsentiert, nämlich Änderungen der Installationsposition und des Installationswinkels basierend auf dem Fahrzeug 1 vom Ausgangszustand bei der Fabrikauslieferung in jeder der Bordkameras 10F, 10B, 10L und 10R (S101). Unterschiedliche Verfahren können verwendet werden, um Variationen in den Bordkameras 10F, 10B, 10L und 10R zu erfassen. Die Ausführungsform verwendet einfach das folgende Verfahren zum Erfassen von Variationen.
  • 6 illustriert, wie der Bildgenerator 100 (und die Bordkamerakalibriervorrichtung 200) gemäß der Ausführungsform Variationen in den Bordkameras 10F, 10B, 10L und 10R erfasst. Wie vorstehend beschrieben ist, beinhalten die Bordkameras 10F, 10B, 10L und 10R Weitwinkellinsen. Ein resultierendes aufgenommenes Bild beinhaltet einen Teil des Fahrzeugs 1 als einen Ausgangszustand, der in 6 illustriert ist. Die Position des Fahrzeugs 1, die in dem aufgenommenen Bild beinhaltet ist, ändert sich entsprechend einer Änderung der Installationsposition und/oder des Installationswinkels der Bordkameras 10F, 10B, 10L und 10R basierend auf dem Fahrzeug 1. 6 illustriert den Versatz, der aufgetreten ist, wenn die Position des Fahrzeugs 1, die in dem aufgenommenen Bild beinhaltet ist, sich aufgrund einer Änderung der Installationsposition oder des Installationswinkels ändert.
  • Die Verarbeitung speichert die Umrissposition des Fahrzeugs 1, die bzw. das in dem aufgenommenen Bild beinhaltet ist (das in 6 illustriert ist) als den Ausgangszustand entsprechend der Fabrikauslieferung des Fahrzeugs 1. Die Verarbeitung speichert die Umrissposition des Fahrzeugs 1 in dem aufgenommenen Bild von jeder der Bordkameras 10F, 10B, 10L und 10R. Die Verarbeitung erlangt danach ein aufgenommenes Bild, falls verfügbar, erfasst eine Umrissposition des Fahrzeugs 1, die in dem aufgenommenen Bild beinhaltet ist, und vergleicht die Umrissposition mit der Position, die als die Ausgangsposition gespeichert ist.
  • 6 illustriert die Umrissposition, die als der Ausgangszustand gespeichert ist (unterbrochene Linie in der Zeichnung) verglichen mit einer nachfolgend erfassten Umrissposition (durchgezogene Linie in der Zeichnung) des Fahrzeugs 1. In 6 ist der Versatzbereich S (in der Zeichnung schraffiert) durch die unterbrochene Linie, die den Ausgangszustand repräsentiert, und die durchgezogene Linie umgeben, die den nachfolgend erfassten Umriss repräsentiert, und entspricht dem Versatzbetrag, der in der Installationsposition und dem Installationswinkel basierend auf dem Fahrzeug 1 aufgetreten ist.
  • Der Versatzbereich S tendiert dazu, zuzunehmen, wenn sich der Umriss des Fahrzeugs 1, der in dem aufgenommenen Bild beinhaltet ist, verlängert. Die Verarbeitung speichert eine Linienlänge L des Umrisses in dem Ausgangszustand und teilt den Versatzbereich S durch die Linienlänge L des Umrisses zum Berechnen von Variation C (vergleiche eine Formel in 6). Unterschiedliche Umrisslängen sind in aufgenommenen Bildern von den Bordkameras 10F, 10B, 10L und 10R beinhaltet. Jedoch kann Berechnen der Variation C Versatzbeträge ungeachtet Umrisslängen des Fahrzeugs 1, die in aufgenommenen Bildern beinhaltet sind, vergleichen.
  • Das hier beschriebene Verfahren verwendet den Umriss des Fahrzeugs 1, der in dem aufgenommenen Bild beinhaltet ist, zum Erfassen von Variation C in jeder der Bordkameras 10F, 10B, 10L und 10R. Jedoch ist das Verfahren zum Erfassen von Variation C nicht darauf beschränkt. Ein direkteres Verfahren kann zum Erfassen von Variation C verwendet werden, indem beispielsweise ein genauerer Positionssensor an jede der Bordkameras 10F, 10B, 10L und 10R angebracht wird.
  • Wie vorstehend beschrieben ist, erfasst die Verarbeitung Variation C in jeder der Bordkameras 10F, 10B, 10L und 10R (S101 in 4). Die Verarbeitung bestimmt dann, ob es eine Bordkamera gibt, deren Variation C einen vorbestimmten Grenzwert überschreitet (S102).
  • Die Verarbeitung kann dann bestimmen, dass eine Bordkamera nicht existiert, deren Variation C einen vorbestimmten Grenzwert überschreitet (S102: nein). In diesem Fall wird die Kalibrierung für jede der Bordkameras 10F, 10B, 10L und 10R als unnötig erachtet. Die Verarbeitung wendet die Vogelperspektivkonversion auf die aufgenommene Bilder, die von den Bordkameras 10F, 10B, 10L und 10R erlangt werden, an und synthetisiert die konvertierten Vogelperspektivbilder zum Erzeugen eines Bilds (Überwachungsbilds), das auf dem Anzeigebildschirm 20 anzuzeigen ist (S111).
  • Die Verarbeitung gibt das synthetisierte Überwachungsbild an den Anzeigebildschirm 20 aus (S112) und bestimmt dann, ob die Bilderzeugung abgeschlossen werden soll (S113). Die Verarbeitung kann bestimmen, dass die Bilderzeugung nicht abschließt (S113: nein). In diesem Fall kehrt die Verarbeitung zum Anfang zurück und erlangt erneut ein aufgenommenes Bild (S100). Die Verarbeitung erfasst Variation C in jeder der Bordkameras 10F, 10B, 10L und 10R (S101) und bestimmt, ob es eine Bordkamera gibt, deren Variation C einen vorbestimmten Grenzwert überschreitet (S102).
  • Eine Sequenz der vorstehenden Verarbeitung wird wiederholt, bis für die Verarbeitung bestimmt wird, dass sie abschließen soll (S113: ja) unter der Bedingung, dass Variation C einen vorbestimmten Grenzwert nicht in irgendeiner der Bordkameras 10F, 10B, 10L und 10R überschreitet.
  • Im Gegensatz dazu soll eine Bordkamera Kalibrieren benötigen, falls die Variation C einen vorbestimmten Grenzwert in irgendeiner der Bordkameras 10F, 10B, 10L und 10R überschreitet (S102: ja).
  • Die Verarbeitung wählt eine zu kalibrierende „Sollkamera” unter der Bedingung aus, dass die Sollkamera einer Bordkamera entspricht, deren Variation C einen vorbestimmten Grenzwert überschreitet (S103). Die Verarbeitung wählt dann eine ”Kriteriumskamera”, die als ein Kalibrierkriterium verwendet wird, unter der Bedingung aus, dass die Kriteriumskamera die kleinste Variation C der Bordkameras 10F, 10B, 10L und 10R angibt (S104).
  • Obwohl es unrealistisch ist, kann Variation C den Grenzwert gleichzeitig in zwei oder mehr Bordkameras überschreiten. In so einem Fall wird eine Sollkamera unter der Bedingung ausgewählt, dass die Sollkamera die größte Variation C unter den Bordkameras angibt. Variation C kann immer noch den Grenzwert in einer Bordkamera überschreiten, die nicht als die Sollkamera ausgewählt ist, nachdem die Sollkamera basierend auf einem später beschriebenen Verfahren kalibriert ist. In so einem Fall kann die Bordkamera erneut als eine Sollkamera ausgewählt werden.
  • Die Verarbeitung bestimmt, ob die Bordkamera, die als eine Kriteriumskamera ausgewählt ist, die Variation angibt, die kleiner oder gleich einer vorbestimmten Toleranz ist (S105). Die Variation der Kriteriumskamera kann die Toleranz überschreiten (S105: nein). In diesem Fall wird ausreichende Kalibriergenauigkeit als nicht verfügbar angenommen, sogar falls die Sollkamera durch Verwenden der Kriteriumskamera als Kriterium kalibriert wird. Die Verarbeitung unterrichtet dann einen Fahrer über diese Situation durch Anzeigen eines geeigneten Alarms auf dem Anzeigebildschirm 20 (S106). Alternativ kann die Verarbeitung ein Audiosignal ausgeben, das ankündigt, dass ausreichende Kalibriergenauigkeit nicht verfügbar ist. Die Alarmausgabe kann dem Fahrer helfen, die Bordkamera durch Bringen des Fahrzeugs 1 zu einer Wartungseinrichtung korrekt neu zu kalibrieren.
  • Kein Alarm wird ausgegeben, falls die Variation der Kriteriumskamera die Toleranz nicht überschreitet (S105: ja).
  • Die Verarbeitung bestimmt dann, ob die Bordkamera, die als die Sollkamera ausgewählt ist, benachbart zur Bordkamera ist, die als die Kriteriumskamera ausgewählt ist (S107). Wie in 7A illustriert ist bestimmt die Verarbeitung beispielsweise, dass die Sollkamera benachbart zur Kriteriumskamera ist, wenn die Bordkamera 10B als die Sollkamera ausgewählt wird und die Bordkamera 10R als die Kriteriumskamera ausgewählt wird.
  • Ein Rechteck mit unterbrochener Linie, das die Bordkamera 10B in der Zeichnung umgibt, gibt an, dass die Bordkamera 10B als die Sollkamera ausgewählt ist. Ein Kreis mit unterbrochener Linie, der die Bordkamera 10R in der Zeichnung umgibt, gibt an, dass die Bordkamera 10R als die Kriteriumskamera ausgewählt ist.
  • Wie in 7B illustriert ist, bestimmt die Verarbeitung, dass die Sollkamera nicht benachbart zur Kriteriumskamera ist, wenn die Bordkamera 10B als die Sollkamera ausgewählt ist und die Bordkamera 10F als die Kriteriumskamera ausgewählt ist.
  • Wie vorstehend beschrieben ist, bestimmt die Verarbeitung, ob die Sollkamera benachbart zur Kriteriumskamera ist (S107 in 4). Die Verarbeitung kann bestimmen, dass die Sollkamera benachbart zur Kriteriumskamera ist (S107: ja). Die Verarbeitung startet dann eine erste Kalibrierverarbeitung (S108). Wie später im Detail beschrieben wird, wird die erste Kalibrierverarbeitung in der vorstehend erwähnten Bilderzeugungsverarbeitung gestartet und kalibriert eine Sollkamera parallel zur Bilderzeugungsverarbeitung.
  • Die Verarbeitung kann bestimmen, dass die Sollkamera nicht benachbart zur Kriteriumskamera ist (S107: nein). Die Verarbeitung wählt dann eine Bordkamera, die zwischen der Sollkamera und der Kriteriumskamera existiert, als eine Zwischenkamera aus (S109). Gemäß dem Beispiel in 7B wählt die Verarbeitung die Bordkamera 10L oder die Bordkamera 10R als die Zwischenkamera aus.
  • Gemäß der Ausführungsform ist das Fahrzeug 1 mit den vier Bordkameras 10F, 10B, 10L und 10R ausgestattet. Demnach existiert eine Bordkamera (Zwischenkamera) immer zwischen der Sollkamera und der Kriteriumskamera, wenn die Sollkamera und die Kriteriumskamera nicht benachbart zueinander sind. Jedoch ist die Anzahl von Bordkameras, die als die Zwischenkamera ausgehwählt werden, nicht auf eins beschränkt.
  • Wie in 8A illustriert ist, wird beispielsweise angenommen, dass das Fahrzeug 1 mit sechs Bordkameras ausgestattet ist, die Bordkamera 10B als die Sollkamera ausgewählt wird und die Bordkamera 10F als die Kriteriumskamera ausgewählt wird. In diesem Fall sind die ausgewählten Zwischenkameras zwei Kameras wie beispielsweise die Bordkamera 10Rf und die Bordkamera 10Rb, die rechts am Fahrzeug 1 angebracht sind, oder zwei Kameras wie beispielsweise die Bordkamera 10Lf und die Bordkamera 10Lb, die links am Fahrzeug 1 angebracht sind.
  • Wie in 8B illustriert ist, wird angenommen, dass die Bordkamera 10B als die Sollkamera ausgewählt ist und die Bordkamera 10Rf als die Kriteriumskamera ausgewählt ist. In diesem Fall kann eine Bordkamera (Bordkamera 10Rb) als die Zwischenkamera ausgewählt werden. Drei Bordkameras, nämlich die Bordkamera 10F, die Bordkamera 10Lf und die Bordkamera 10Lb können als die Zwischenkameras ausgewählt werden.
  • Wird sich auf schnelles Kalibrieren der Sollkamera fokussiert, ist es bevorzugt, eine Zwischenkamera auszuwählen, um die Anzahl auszuwählender Bordkameras zu verringern. Wird sich darauf fokussiert, zu verhindern, dass Genauigkeit ungeachtet wiederholter Kalibrierung verschlechtert, ist es bevorzugt, eine Zwischenkamera auszuwählen, um die Anzahl auszuwählender Bordkameras zu erhöhen. Der Grund wird später im Detail beschrieben.
  • Die Verarbeitung startet eine zweite Kalibrierverarbeitung (S110) nach Auswählen der Zwischenkamera. Wie später im Detail beschrieben wird, wird die zweite Kalibrierverarbeitung ebenso in der vorstehend erwähnten Bilderzeugungsverarbeitung gestartet und kalibriert eine Sollkamera parallel zur Bilderzeugungsverarbeitung.
  • C. Erste Kalibrierverarbeitung
  • 9 ist ein Ablaufdiagramm, das die erste Kalibrierverarbeitung illustriert. Wie vorstehend beschrieben ist, startet die erste Kalibrierverarbeitung, wenn die Sollkamera und die Kriteriumskamera, die durch die Bilderzeugungsverarbeitung in 4 ausgewählt werden, benachbarte Bordkameras sind. Der Bildgenerator 100 (und die Bordkamerakalibriervorrichtung 200) führen die erste Kalibrierverarbeitung aus.
  • Die erste Kalibrierverarbeitung startet (S200). Die Verarbeitung erlangt ein aufgenommenes Bild von einer Bordkamera, die als die Kriteriumskamera ausgewählt ist, und ein aufgenommenes Bild von einer Bordkamera, die als die Sollkamera ausgewählt ist, vom Bilderlangungsabschnitt 101 (S201).
  • Basierend auf dem Beispiel in 7A, geht die nachfolgende Beschreibung davon aus, dass die Kriteriumskamera der Bordkamera 10R entspricht und die Sollkamera der Bordkamera 10B entspricht.
  • Das aufgenommene Bild von der Kriteriumskamera beinhaltet ein Regionsbild, wo sich die Aufnahmeregion mit der Sollkamera überlappt. Die Verarbeitung extrahiert das sich überlappende Regionsbild und erfasst einen Merkmalspunkt von dem Bild (S202).
  • Die Bordkamera 10R wird als die Kriteriumskamera angenommen. Die Bordkamera 10B wird als die Sollkamera angenommen. Wie illustriert ist in 10A, überlappt Aufnahmeregion D (R) für die Bordkamera 10R mit Aufnahmeregion D (B) für die Bordkamera 10B bei Region D (BR). Die Verarbeitung extrahiert ein Bild von Region D (BR) von dem aufgenommenen Bild von der Bordkamera 10R. Wie in 10B illustriert ist, erfasst die Verarbeitung Merkmalspunkte F von dem extrahierten Bild.
  • Unterschiedliche Punkte wie beispielsweise eine Kreuzung zwischen weißen Linien auf einer Straßenoberfläche können als Merkmalspunkt F erfasst werden, falls der Punkt eine Position in dem aufgenommenen Bild spezifizieren kann.
  • Die Ausführungsform wendet die Vogelperspektivkonversion auf ein aufgenommenes Bild zum Anzeigen eines Vogelperspektivbilds an. In diesem Fall, kann die Verarbeitung einen Bereich eines als das Vogelperspektivbild anzuzeigenden Bilds, wie durch unterbrochene Linien in 10A und 10B angegeben, anstelle eines gesamten Bilds der Überlappungsregion D (BR) extrahieren und Merkmalspunkte F von dem Bild erfassen.
  • Die Verarbeitung berechnet einen Verlässlichkeitsevaluierungswert für den erfassten Merkmalspunkt (S203). Der Verlässlichkeitsevaluierungswert für den Merkmalspunkt stellt einen Index bereit, um zu evaluieren, wie verlässlich die Kalibrierung durch Verwenden des erfassten Merkmalspunkts kalibriert werden kann.
  • Beispielsweise wird hochverlässliche Kalibrierung als schwierig erachtet, falls es eine kleine Anzahl erfasster Merkmalspunkte F gibt, wie in 11A illustriert ist.
  • Hochverlässliche Kalibrierung wird ebenso als schwierig erachtet, vorbelastete Verteilung aus vielen Merkmalspunkten F, falls erfasst, resultiert. Vorbelastete Verteilung von Merkmalspunkten F kann durch Verwenden Verteilungsbreite W von Merkmalspunkten F evaluiert werden, wie in 11B illustriert ist. Vorbelastete Verteilung kann ebenso durch Verwenden einer Verteilung von Koordinatenwerten für Merkmalspunkte F evaluiert werden.
  • Ferner wird hochverlässliche Kalibrierung als schwierig erachtet, falls viele Merkmalspunkte F, falls als in einem weiten Bereich verteilt erfasst, jeweils eine niedrige Positionsgenauigkeit bereitstellen. Beispielsweise kann Merkmalspunkt F, falls erfasst, nicht mit der ausreichenden Positionsgenauigkeit erfasst werden, falls ein aufgenommenes Bild verschwommen ist. Merkmalspunkt F kann nicht mit der ausreichenden Positionsgenauigkeit erfasst werden, falls der Kontrast aufgrund eines zu dunkel (oder eines zu hell) aufgenommenen Bilds unzureichend ist. Hochverlässliche Kalibrierung wird als schwierig erachtet, falls Merkmalspunkt F nicht mit der ausreichenden Positionsgenauigkeit erfasst werden kann.
  • Die Ausführungsform evaluiert die Positionsgenauigkeit des erfassten Merkmalspunkts F durch Verwenden eines Helligkeitsgradienten des Bilds an der Position, wo der Merkmalspunkt erfasst wird. Dies kommt daher, da für die Bildhelligkeit angenommen wird, dass sie sich an der Position von Merkmalspunkt F stark (um einen hohen Helligkeitsgradienten zu verursachen) ändert, falls das Bild nicht an der Position verschwommen ist, um Merkmalspunkt F zu erfassen, und der ausreichende Kontrast wird erlangt.
  • Hinsichtlich des vorstehenden berechnet die Verarbeitung einen Verlässlichkeitsevaluierungswert für den Merkmalspunkt bei S203 in 9 durch Verwenden der folgenden Formel. Verlässlichkeitsevaluierungswert = α·(die Anzahl von Merkmalspunkten) + β·(Verteilung von Merkmalspunkten) + γ·(Mittelwert von Helligkeitsgradienten entsprechend der Merkmalspunkte)
  • In dieser Formel kennzeichnen α, β und γ Gewichtungskoeffizienten entsprechend der Anzahl von Merkmalspunkten, der Verteilung von Merkmalspunkten und dem Mittelwert von Helligkeitsgradienten entsprechend den Merkmalspunkten. Vorbestimmen eines angemessenen Verhältnisses unter den Gewichtungskoeffizienten kann einen Verlässlichkeitsevaluierungswert berechnen, der angemessen eine Wirkung der Anzahl von Merkmalspunkten, der Verteilung von Merkmalspunkten und den Mittelwert von Helligkeitsgradienten entsprechend den Merkmalspunkten reflektiert. Gemäß der Berechnungsformel nimmt der Verlässlichkeitsevaluierungswert zu, wenn die Anzahl von Merkmalspunkten zunimmt, die Verteilung von Merkmalspunkten sich verbreitert und der Mittelwert von Helligkeitsgradienten entsprechend den Merkmalspunkten zunimmt.
  • Wie vorstehend beschrieben ist, berechnet die Verarbeitung den Verlässlichkeitsevaluierungswert für die Merkmalspunkte (S203 in 9). Die Verarbeitung bestimmt dann, ob der berechnete Verlässlichkeitsevaluierungswert größer oder gleich einem vorbestimmten Kriteriumswert ist (S204).
  • Der Verlässlichkeitsevaluierungswert kann kleiner werden als der Kriteriumswert (S204: nein). Hochverlässliche Kalibrierung wird dann als nicht verfügbar angenommen, sogar falls die Kalibrierung die erfassten Merkmalspunkte verwendet. Die Verarbeitung kehrt zum Anfang zurück, erlangt aufgenommene Bilder von der Kriteriumskamera und der Sollkamera (S201) und erfasst dann einen Merkmalspunkt von einem Bild der Überlappungsregion in den aufgenommenen Bildern (S202). Die Verarbeitung berechnet einen Verlässlichkeitsevaluierungswert für den erfassten Merkmalspunkt (S203) und bestimmt dann, ob der erlangte Verlässlichkeitsevaluierungswert einen Kriteriumswert überschreitet (S204).
  • Die Verarbeitung wird wiederholt, um schließlich zu bestimmen, dass der Verlässlichkeitsevaluierungswert größer oder gleich dem Kriteriumswert ist (S204: ja). In diesem Fall wird für die Verarbeitung angenommen, dass sie Merkmalspunkte erfasst hat, die hochverlässliche Kalibrierung ermöglichen. Die Verarbeitung startet Kalibrieren der Sollkamera wie folgt.
  • Die Verarbeitung extrahiert ein Bild der Region, die mit der Kriteriumskamera (Bordkamera 10R) überlappt, von einem aufgenommenen Bild von der Sollkamera (Bordkamera 10B) und erfasst einen Merkmalspunkt in dem Bild (S205).
  • 12 illustriert, dass die Verarbeitung ein Bild von Region D (BR) von dem aufgenommenen Bild von der Bordkamera 10B extrahiert und Merkmalspunkte G erfasst. Region D (BR) entspricht einer Überlappung zwischen Aufnahmeregion D (B) für die Bordkamera 10B (Sollkamera) und Aufnahmeregion D (R) für die Bordkamera 10R (Kriteriumskamera). Ebenso kann in diesem Fall die Verarbeitung einen Bereich eines als das Vogelperspektivbild anzuzeigenden Bilds, wie durch eine unterbrochene Linie in 12 angegeben, anstelle eines gesamten Bilds der Überlappungsregion D (BR) extrahieren und Merkmalspunkte G von dem Bild erfassen.
  • Die Verarbeitung kalibriert die Installationsposition und den Installationswinkel der Sollkamera basierend auf dem Fahrzeug 1, so dass Merkmalspunkt G (vergleiche 12), der von dem aufgenommenen Bild von der Sollkamera erfasst wird, mit Merkmalspunkt F (vergleiche 10B) überlappt, der von dem aufgenommenen Bild von der Kriteriumskamera erfasst wird. Die Kalibrierung basiert auf dem folgenden Prinzip.
  • Beispielsweise unterscheiden sich Merkmalspunkt F in 10B und Merkmalspunkt G in 12, wenn sie verglichen werden, voneinander in Positionen bezüglich des Fahrzeugs 1. Für dieses Phänomen wird angenommen, dass es auftritt, weil die Installationsposition und/oder der Installationswinkel der Bordkamera 10B, die die Sollkamera darstellt, bezüglich des Fahrzeugs 1 verstellt bzw. versetzt ist und die Vogelperspektivkonversion nicht korrekt auf ein aufgenommenes Bild angewandt werden kann.
  • Die Verarbeitung führt die Vogelperspektivkonversion durch unterschiedliches Ändern der Installationsposition und des Installationswinkel der Sollkamera basierend auf einer gegenwärtig geschätzten Installationsposition und Installationswinkel zum Erlangen der Position von Merkmalspunkt G aus. Die Verarbeitung vergleicht die Position von Merkmalspunkt G mit der Position von Merkmalspunkt F, der von der Kriteriumskamera erlangt wird. Die Verarbeitung erlangt schließlich ein Vogelperspektivbild, das ermöglich, dass sich die Position von Merkmalspunkt G der Position von Merkmalspunkt F annähert, um einen Fehler zu befriedigen. Die Installationsposition und der Installationswinkel, die für die Vogelperspektivkonversion zu der Zeit angenommen werden, können als korrekt anwendbar auf die verstellte Sollkamera betrachtet werden. Die Sollkamera kann durch Finden einer Installationsposition und eines Installationswinkels, um die Vogelperspektivkonversion zu ermöglichen, die erlaubt, dass Merkmalspunkt G, der von einem aufgenommenen Bild von der Sollkamera erfasst wird, Merkmalspunkt F überlappt, der von einem aufgenommenen Bild von der Kriteriumskamera erfasst wird, kalibriert werden.
  • Die Verarbeitung kalibriert die Sollkamera wie vorstehend (S206) und aktualisiert die Position des Umrisses, die als ein Ausgangszustand der Sollkamera gespeichert ist (S207). Die erste Kalibrierverarbeitung in 9 schließt dann ab. Nämlich wird die Umrissposition des Fahrzeugs 1 von dem aufgenommenen Bild von der Sollkamera erfasst, die für die Kalibrierung verwendet wird, um die Position des Umrisses als die Ausgangsposition der Sollkamera (Bordkamera 10B) zu aktualisieren, bevor die erste Kalibrierverarbeitung abschließt.
  • Die vorstehend erwähnte Bilderzeugungsverarbeitung (vergleiche 4 und 5) wendet anschließend die Vogelperspektivkonversion (S111 in 5) auf ein aufgenommenes Bild von der Sollkamera (Bordkamera 10B) unter der Annahme an, dass die Installationsposition und der Installationswinkel der Sollkamera kalibriert sind.
  • Vorgehend wurde die Verarbeitung (erste Kalibrierverarbeitung) zum Kalibrieren der Sollkamera beschrieben, wenn die zu kalibrierende Sollkamera benachbart zur Kriteriumskamera ist, die als ein Kriterium für die Kalibrierung verwendet wird. Im Gegensatz dazu wird die Sollkamera wie folgt kalibriert, wenn die Sollkamera nicht benachbart zur Kriteriumskamera ist.
  • D. Zweite Kalibrierverarbeitung
  • 13 bis 15 illustrieren ein Ablaufdiagramm einer zweiten Kalibrierverarbeitung. Wie vorstehend beschrieben ist, startet die Verarbeitung, wenn die Sollkamera und die Kriteriumskamera, die in der Bilderzeugungsverarbeitung in 4 und 5 angenommen werden, Bordkameras entsprechen, die nicht benachbart zueinander sind. Der Bildgenerator 100 (und die Bordkamerakalibriervorrichtung 200) führt die Verarbeitung aus.
  • Vor der detaillierten Beschreibung der zweiten Kalibrierverarbeitung, fasst die nachfolgende Beschreibung zum besseren Verständnis einen Unterschied zwischen der ersten Kalibrierverarbeitung und der zweiten Kalibrierverarbeitung zusammen. Die vorstehend erwähnte erste Kalibrierverarbeitung wird verwendet, wenn die Kriteriumskamera benachbart zur Sollkamera ist und ein Teil der Aufnahmeregion für die Kriteriumskamera mit einem Teil der Aufnahmeregion für die Sollkamera überlappt. Die erste Kalibrierverarbeitung kann demnach die Sollkamera durch Verwenden eines aufgenommenen Bilds von der Kriteriumskamera kalibrieren.
  • Die zweite Kalibrierverarbeitung kann nicht direkt die Sollkamera durch Verwenden eines aufgenommenen Bilds von der Kriteriumskamera kalibrieren, weil die Kriteriumskamera und die Sollkamera nicht benachbart sind. Die Verarbeitung kalibriert demnach als erstes eine Zwischenkamera benachbart zur Kriteriumskamera durch Verwenden eines aufgenommenen Bilds von der Kriteriumskamera. Die Verarbeitung kalibriert die Sollkamera durch Verwenden eines aufgenommenen Bilds von der kalibrierten Zwischenkamera, wenn die Zwischenkamera benachbart zur Sollkamera ist.
  • Die Verarbeitung kalibriert die Zwischenkamera benachbart zur Kriteriumskamera durch Verwenden eines aufgenommenen Bilds von der Kriteriumskamera, wenn die Zwischenkamera benachbart zur Kriteriumskamera nicht benachbart zur Sollkamera ist. Die Verarbeitung kalibriert eine Zwischenkamera benachbart zur kalibrierten Zwischenkamera durch Verwenden eines aufgenommenen Bilds von der kalibrierten Zwischenkamera. Die Verarbeitung kalibriert sukzessive Zwischenkameras ausgehend von der Zwischenkamera, die benachbart zur Kriteriumskamera ist, und kann schließlich eine Zwischenkamera benachbart zur Sollkamera kalibrieren. Die Verarbeitung kalibriert die Zwischenkamera, die benachbart zur Sollkamera ist, und kalibriert dann die Sollkamera durch Verwenden eines aufgenommenen Bilds von der kalibrierten Zwischenkamera.
  • Die nachfolgende Beschreibung erläutert kurzgefasst die zweite Kalibrierverarbeitung hauptsächlich hinsichtlich eines Unterschieds zur ersten Kalibrierverarbeitung.
  • Wie in 13 illustriert ist, startet die zweite Kalibrierverarbeitung (S300). Die Verarbeitung erlangt ein aufgenommenes Bild, das durch die Kriteriumskamera aufgenommen wird, und ein aufgenommenes Bild, das durch eine Zwischenkamera aufgenommen wird, die benachbart zur Kriteriumskamera ist, vom Bilderlangungsabschnitt 101 (S301). Basierend auf dem Beispiel in 7B, geht die nachfolgende Beschreibung davon aus, dass die Kriteriumskamera Bordkamera 10F entspricht der und die Sollkamera der Bordkamera 10B entspricht.
  • Die Verarbeitung extrahiert ein Bild einer Region, die die Aufnahmeregion für die benachbarte Zwischenkamera überlappt, von einem aufgenommenen Bild, das durch die Kriteriumskamera aufgenommen wird, und erfasst einen Merkmalspunkt in dem Bild (S302). Es wird angenommen, dass die Kriteriumskamera der Bordkamera 10F entspricht und die benachbarte Zwischenkamera der Bordkamera 10R entspricht. In diesem Fall extrahiert die Verarbeitung ein Bild von Region D (FR) von einem aufgenommenen Bild aufgenommen durch die Bordkamera 10F (vergleiche 2) und erfasst Merkmalspunkt F.
  • Die Verarbeitung berechnet einen Verlässlichkeitsevaluierungswert für den erfassten Merkmalspunkt (S303). Der Verlässlichkeitsevaluierungswert für einen Merkmalspunkt und das Verfahren zum Berechnen des Verlässlichkeitsevaluierungswert haben den gleichen Inhalt wie die vorstehend erwähnte erste Kalibrierverarbeitung und ihre Beschreibung wird hier weggelassen.
  • Die Verarbeitung bestimmt dann, ob der berechnete Verlässlichkeitsevaluierungswert größer oder gleich einem vorbestimmten Kriteriumswert ist (S304).
  • Der Verlässlichkeitsevaluierungswert kann kleiner werden als der Kriteriumswert (S304: nein). Die Verarbeitung kehrt dann zum Anfang zurück, erlangt erneut aufgenommene Bilder von der Kriteriumskamera und der Zwischenkamera benachbart zur Kriteriumskamera (S301) und wiederholt die vorstehend erwähnte Sequenz von Verarbeitungen (S302 bis S304).
  • Die Verarbeitung wird wiederholt, um schließlich zu bestimmen, dass der Verlässlichkeitsevaluierungswert größer oder gleich dem Kriteriumswert ist (S304: ja). Die Verarbeitung extrahiert ein Bild der Region, die mit der Kriteriumskamera (Bordkamera 10F) überlappt, von einem aufgenommenen Bild von der Zwischenkamera (Bordkamera 10R), die benachbart zur Kriteriumskamera ist, und erfasst einen Merkmalspunkt in dem Bild (S305).
  • Die Verarbeitung kalibriert die Zwischenkamera durch Finden einer Installationsposition und eines Installationswinkels, die erlauben, dass ein Merkmalspunkt, der von dem aufgenommenen Bild erfasst wird, das durch die Zwischenkamera aufgenommen wird, einen Merkmalspunkt überlappt, der von dem aufgenommenen Bild erfasst wird, das durch die Kriteriumskamera aufgenommen wird.
  • Die Installationsposition und der Installationswinkel der Zwischenkamera werden lediglich versetzt bzw. verstellt, um den Bedarf für die Kalibrierung zu eliminieren. Jedoch entspricht die Kriteriumskamera einer der Bordkameras, die an dem Fahrzeug angebracht sind, und gibt den minimalen Versatz an. Eine Zwischenkamera kann viel mehr als die Kriteriumskamera verstellt bzw. versetzt sein. Wie vorstehend beschrieben ist, kann Kalibrierten einer benachbarten Zwischenkamera durch Verwenden eines aufgenommenen Bilds, das durch die Kriteriumskamera aufgenommen wird, den Versatzbetrag der Zwischenkamera auf ein Maß reduzieren, das gleich dem Versatzbetrag der Kriteriumskamera ist.
  • Die Verarbeitung kalibriert die Zwischenkamera benachbart zur Kriteriumskamera (S306) wie vorstehend, aktualisiert die Position des Umrisses, die als der Ausgangszustand gespeichert ist, der Zwischenkamera (S307), und bestimmt dann, ob es eine nächste Zwischenkamera benachbart zur Zwischenkamera gibt (S308). Wie in 7B illustriert ist, entspricht die Kriteriumskamera der Bordkamera 10F, die Zwischenkamera entspricht der Bordkamera 10R und die Sollkamera entspricht der Bordkamera 10B. Die Verarbeitung bestimmt demnach, dass es keine nächste Zwischenkamera gibt (S308: nein).
  • Im Gegensatz dazu bestimmt die Verarbeitung, dass es eine nächste Zwischenkamera gibt (S308: ja), wenn es mehrere Zwischenkameras zwischen der Kriteriumskamera und der Sollkamera gibt, wie in 8A illustriert ist. In diesem Fall erlangt die Verarbeitung erneut ein aufgenommenes Bild aufgenommen durch die kalibrierte Zwischenkamera und ein aufgenommenes Bild aufgenommen durch die nächste Zwischenkamera, die benachbart dieser Zwischenkamera ist, vom Bilderlangungsabschnitt 101 (S309 in 14). Die Verarbeitung kalibriert dann die nächste Zwischenkamera durch Verwenden dieser aufgenommenen Bilder ähnlich zur vorstehend erwähnten Sequenz von Verarbeitungen (S302 bis S307).
  • Gemäß 14 extrahiert die Verarbeitung ein Bild der Überlappungsregion, die mit der benachbarter Zwischenkamera überlappt, von einem aufgenommenen Bild aufgenommen durch die kalibrierte Zwischenkamera und erfasst einen Merkmalspunkt von dem Bild (S310). Die Verarbeitung berechnet einen Verlässlichkeitsevaluierungswert für den erfassten Merkmalspunkt (S311) und bestimmt, ob der erlangte Verlässlichkeitsevaluierungswert größer oder gleich einem vorbestimmten Kriteriumswert ist (S312).
  • Der Verlässlichkeitsevaluierungswert kann kleiner sein als der Kriteriumswert (S312: nein). Die Verarbeitung kehrt dann zum Anfang der Verarbeitung zurück und erlangt ein neues aufgenommenes Bild (S309). Der Verlässlichkeitsevaluierungswert kann größer oder gleich dem Kriteriumswert sein (S312: ja). Die Verarbeitung extrahiert dann ein Bild der Überlappungsregion, die mit der kalibrierte Zwischenkamera überlappt, von einem aufgenommenen Bild, das durch eine Zwischenkamera aufgenommen wird, die benachbart zur kalibrierten Zwischenkamera ist, und erfasst einen Merkmalspunkt in dem Bild (S313).
  • Die Verarbeitung kalibriert die Zwischenkamera, so dass der Merkmalspunkt, der von dem aufgenommenen Bild erfasst wird, das durch die Zwischenkamera aufgenommen wird, einen Merkmalspunkt überlappt, der von dem aufgenommenen Bild erfasst wird, das durch die kalibrierte Zwischenkamera aufgenommen wird (S314). Die Verarbeitung aktualisiert die Position des Umrisses, die als der Ausgangszustand der Zwischenkamera gespeichert ist (S315).
  • Die Verarbeitung bestimmt dann, ob es eine nächste Zwischenkamera benachbart zur Zwischenkamera gibt (S316). Die nächste Zwischenkamera kann existieren (S316: ja). Die Verarbeitung kehrt dann zu S309 zurück und wiederholt eine Sequenz der nachfolgenden Verarbeitungen (S309 bis S316).
  • Es kann sein, dass es keine nächste Zwischenkamera gibt (S316: nein). In diesem Fall wird die Verarbeitung ähnlich zur vorstehenden zwischen der kalibrierten Zwischenkamera und der Sollkamera, die benachbart zur Zwischenkamera ist, zum Kalibrieren der Sollkamera ausgeführt.
  • Die Verarbeitung erlangt ein aufgenommenes Bild aufgenommen durch die kalibrierte Zwischenkamera und ein aufgenommenes Bild aufgenommen durch die Sollkamera, die benachbart zu dieser Zwischenkamera ist, vom Bilderlangungsabschnitt 101 (S317 in 15). Die Verarbeitung extrahiert ein Bild der Überlappungsregion, die mit der Sollkamera überlappt, von einem aufgenommenen Bild, das durch die kalibrierte Zwischenkamera aufgenommen wird, und erfasst einen Merkmalspunkt (S318). Die Verarbeitung berechnet einen Verlässlichkeitsevaluierungswert für den Merkmalspunkt (S319) und bestimmt, ob der Verlässlichkeitsevaluierungswert größer oder gleich einem vorbestimmten Kriteriumswert ist (S320).
  • Der Verlässlichkeitsevaluierungswert kann kleiner sein als der Kriteriumswert (S320: nein). Die Verarbeitung kehrt dann zum Anfang zurück und erlangt ein neues aufgenommenes Bild (S317). Der Verlässlichkeitsevaluierungswert kann größer oder gleich dem Kriteriumswert sein (S320: ja). Die Verarbeitung extrahiert dann ein Bild der Überlappungsregion, die mit der kalibrierten Zwischenkamera überlappt, von einem aufgenommenen Bild, das durch die Sollkamera aufgenommen wird, und erfasst einen Merkmalspunkt (S321). Die Verarbeitung kalibriert die Sollkamera, so dass er Merkmalspunkt, der von dem aufgenommenen Bild erfasst wird, das durch die Sollkamera aufgenommen wird, einen Merkmalspunkt überlappt, der von dem aufgenommenen Bild erfasst wird, das durch die kalibrierte Zwischenkamera aufgenommen wird (S322). Die Verarbeitung aktualisiert die Position des Umrisses, die als ein Ausgangszustand der Sollkamera gespeichert ist (S323). Die zweite Kalibrierverarbeitung in 13 bis 15 schließt dann ab.
  • Die vorstehend erwähnte Bilderzeugungsverarbeitung (vergleiche 4 und 5) kann später die Vogelperspektivkonversion auf aufgenommene Bilder aufgenommen durch die Sollkamera und die Zwischenkamera (S111 in 5) basierend auf der Installationsposition und dem kalibrierten Installationswinkel anwenden.
  • 16 illustriert konzeptionell, wie die vorstehend erwähnte zweite Kalibrierverarbeitung die Sollkamera kalibriert. Gemäß dem illustrierten Beispiel kalibriert die Kriteriumskamera (Bordkamera 10F) die Zwischenkamera (Bordkamera 10R). Die kalibrierte Zwischenkamera (Bordkamera 10R) kalibriert die Sollkamera (Bordkamera 10B).
  • Die Sollkamera (Bordkamera 10B) kann basierend auf der am wenigsten verstellten Kriteriumskamera bzw. der Kriteriumskamera mit dem geringsten Versatz (Bordkamera 10F) kalibriert werden und kann demnach genauer als basierend auf der benachbarten Zwischenkamera (Bordkamera 10R) kalibriert werden.
  • Die Zwischenkamera (Bordkamera 10R) wird ebenso durch Verwenden der Kriteriumskamera (Bordkamera 10F) vor Kalibrieren der Sollkamera (Bordkamera 10B) kalibriert. Drei der vier der Bordkameras können demnach den Versatzbetrag der Installationsposition und des Installationswinkel in gleichem Maß wie die Kriteriumskamera behalten.
  • Offensichtlich kann die verbleibende Bordkamera 10L nicht auf das Ausmaß gleich der Kriteriumskamera eingestellt werden. Jedoch, falls diese Bordkamera stark verstellt ist und der Kalibrierung bedarf, muss mindestens eine der drei Bordkameras 10F, 10R und 10B lediglich den Zustand unmittelbar nach der Kalibrierung beibehalten. Diese Bordkamera kann als die Kriteriumskamera zur Kalibrierung verwendet werden. Die genaue Kalibrierung ist demnach sogar verfügbar, falls die Kalibrierung wiederholt wird.
  • Wie vorstehend gemäß 8B kann eine Zwischenkamera ausgewählt werden, um die Anzahl von Zwischenkameras zu verringern oder die Anzahl von Zwischenkameras zu erhöhen. 17A und 17B illustrieren konzeptionell Kalibrieren der Sollkamera in diesem Fall.
  • 17A illustriert Auswählen einer Zwischenkamera zum Verringern der Anzahl von Zwischenkameras. Die Anzahl von zu kalibrierenden Zwischenkameras nimmt ab und demnach wird schnelle Kalibrierung der Sollkamera möglich.
  • 17B illustriert Auswählen einer Zwischenkamera zum Erhöhen der Anzahl von Zwischenkameras. Viele Zwischenkameras können den Bordkameraversatzbetrag in gleichem Ausmaß wie den der Kriteriumskamera halten. Es gibt eine ständig wachsende Möglichkeit, eine zulässig falsch ausgerichtete Bordkamera als die Kriteriumskamera auszuwählen, wenn die Kalibrierung nächstes Mal erforderlich ist. Demzufolge wird die Genauigkeit nicht verschlechtert, sogar falls die Kalibrierung wiederholt wird.
  • E. Modifikation
  • Die Ausführungsform wurde unter der Annahme beschrieben, dass die Kriteriumskamera zum Kalibrieren der Sollkamera verwendet wird, wenn die Kriteriumskamera und die Sollkamera benachbart zueinander sind. In diesem Fall bleibt mindestens eine Bordkamera unkalibriert. Es wurde ebenso Ausführungsform unter der Annahme beschrieben, dass die Kriteriumskamera verwendet wird, um eine Zwischenkamera zu kalibrieren, und die kalibrierte Zwischenkamera zum Kalibrieren der Sollkamera verwendet wird, wenn die Kriteriumskamera und die Sollkamera nicht benachbart zueinander sind. Ebenso verbleibt in diesem Fall mindestens eine Bordkamera unkalibriert.
  • Die Kriteriumskamera kann verwendet werden, um all die verbleibenden Bordkameras zu kalibrieren.
  • 18 illustriert schematisch eine interne Konfiguration des Bildgenerators 100 gemäß der Modifikation und die Bordkamerakalibriervorrichtung 200 gemäß der Modifikation. Der Bildgenerator 100 (und die Bordkamerakalibriervorrichtung 200) in 18 gemäß der Modifikation unterscheidet sich vom Bildgenerator 100 (und der Bordkamerakalibriervorrichtung 200) in 3 gemäß der vorstehend erwähnten Ausführungsform dadurch, dass der Alarmausgabeabschnitt 111 durch einen dritten Kalibrierabschnitt 112 ersetzt ist. Der Bildgenerator 100 gemäß der Modifikation kann den Alarmausgabeabschnitt 111 beinhalten.
  • Der dritte Kalibrierabschnitt 112 erlangt Informationen über eine Bordkamera, die als die Sollkamera vom Sollkameraauswahlabschnitt 106 ausgewählt wird, Informationen über eine Bordkamera, die als die Kriteriumskamera vom Kriteriumskameraauswahlabschnitt 107 ausgewählt wird, und Informationen über eine Bordkamera, die als die Zwischenkamera vom Zwischenkameraauswahlabschnitt 108 ausgewählt wird. Der dritte Kalibrierabschnitt 112 verwendet die Kriteriumskamera oder die Sollkamera als ein Kriterium zum Aktualisieren einer der Bordkameras 10F, 10B, 10L und 10R, die nicht als die Kriteriumskamera, die Sollkamera oder die Zwischenkamera ausgewählt ist.
  • Wie in 19 illustriert ist, wird beispielsweise angenommen, dass die Sollkamera der Bordkamera 10B entspricht (umgeben von einem Rechteck mit unterbrochener Linie in der Zeichnung) und die Kriteriumskamera der Bordkamera 10R entspricht (umgeben von einem Kreis mit unterbrochener Linie in der Zeichnung). In diesem Fall kalibriert der erste Kalibrierabschnitt 109 die Sollkamera (Bordkamera 10B) durch Verwenden der Kriteriumskamera (Bordkamera 10R), wie im linken Teil von 19 illustriert ist.
  • Der dritte Kalibrierabschnitt 112 kalibriert dann die Bordkamera 10F durch Verwenden der Kriteriumskamera (Bordkamera 10R) und kalibriert die Bordkamera 10L durch Verwenden der aktualisierten Bordkamera 10F, wie im rechten Teil von 19 illustriert ist.
  • Der dritte Kalibrierabschnitt 112 kann die Kalibrierung, wie in 20 illustriert ist, ausführen. Der erste Kalibrierabschnitt 109 kalibriert die Sollkamera (Bordkamera 10B) durch Verwenden der Kriteriumskamera (Bordkamera 10R) (vergleiche den linken Teil von 20). Der dritte Kalibrierabschnitt 112 kann die Bordkamera 10L durch Verwenden der kalibrierten Sollkamera kalibrieren und kann die Bordkamera 10F durch Verwenden der kalibrierten Bordkamera 10L kalibrieren (vergleiche den rechten Teil von 20).
  • Wie vorstehend gemäß 17A und 17B kann eine Zwischenkamera ausgewählt werden, um die Anzahl von Zwischenkameras zu verringern oder die Anzahl von Zwischenkameras zu erhöhen. In diesem Fall kalibriert die Modifikation eine Bordkamera wie folgt.
  • Beispielsweise wird angenommen, dass das Fahrzeug 1 mit sechs Bordkameras 10F, 10B, 10Rf, 10Rb, 10Lf und 10Lb ausgestattet ist, wie in 21 illustriert ist, die Bordkamera 10B der Sollkamera entspricht und die Bordkamera 10Rf der Kriteriumskamera entspricht. In diesem Fall wählt die Modifikation die Bordkamera 10Rb als die Zwischenkamera aus, um die Anzahl von Zwischenkameras verringern.
  • Wie auf der linken Seite von 21 illustriert ist, verwendet der zweite Kalibrierabschnitt 110 die Kriteriumskamera (Bordkamera 10Rf) zum Kalibrieren der Zwischenkamera (Bordkamera 10Rb) und verwendet dann die kalibrierte Zwischenkamera zum Kalibrieren der Sollkamera (Bordkamera 10B).
  • Der dritte Kalibrierabschnitt 112 verwendet dann die Kriteriumskamera (Bordkamera 10Rf) zum Kalibrieren der verbleibenden Bordkamera 10F, der Bordkamera 10Lf und schließlich der Bordkamera 10Lb, wie auf der rechten Seite von 21 illustriert ist.
  • Alternativ kann der zweite Kalibrierabschnitt 110 die Kriteriumskamera (Bordkamera 10Rf) zum Kalibrieren der Zwischenkamera (Bordkamera 10Rb) verwenden und dann der Sollkamera (Bordkamera 10B) verwenden, wie auf der linken Seite von 22 illustriert ist. Der dritte Kalibrierabschnitt 112 kann dann die kalibrierte Sollkamera (Bordkamera 10B) zum Kalibrieren der Bordkamera 10Lb, der Bordkamera 10Lf und schließlich der Bordkamera 10F verwenden, wie auf der rechten Seite von 22 illustriert ist.
  • Die vorstehend erwähnte Modifikation kann schnell die Sollkamera durch Verwenden der Kriteriumskamera kalibrieren, wenn die Kriteriumskamera und die Sollkamera benachbart zueinander sind. eine Zwischenkamera wird ausgewählt, wenn die Kriteriumskamera und die Sollkamera nicht benachbart zueinander sind. Eine Zwischenkamera wird ausgewählt, um die Anzahl von Zwischenkameras zu verringern, wenn es Optionen zum Auswählen einer Zwischenkamera gibt, um die Anzahl von Zwischenkameras zu verringern und die Anzahl von Zwischenkameras zu erhöhen. Die Kriteriumskamera wird zum Kalibrieren der Zwischenkamera verwendet. Die kalibrierte Zwischenkamera wird dann zum Kalibrieren der Sollkamera verwendet. Die Sollkamera kann schnell kalibriert werden sogar, wenn eine Zwischenkamera für die Kalibrierung verwendet wird.
  • Nachdem die Sollkamera kalibriert ist, können die verbleibenden unkalibrierten Bordkameras in gleichem Ausmaß wie die Kriteriumskamera kalibriert werden. Wenn die Kalibrierung nächstes Mal erforderlich ist, wird mindestens eine der Bordkameras in Betracht gezogen, um den Zustand unmittelbar nach der Kalibrierung ohne Versatz beizubehalten. Sogar wiederholtes Kalibrieren kann die Kalibrierung vor Verschlechterung bewahren.
  • Während die vorliegende Offenbarung mit Bezug auf ihre Ausführungsformen beschrieben wurde, ist es ersichtlich, dass die Offenbarung nicht auf die Ausführungsformen und Konstruktionen beschränkt ist. Die vorliegende Offenbarung soll unterschiedliche Modifikationen und äquivalente Anordnungen abdecken. Zusätzlich zu den unterschiedlichen Kombinationen und Konfigurationen sind weitere Kombinationen und Konfigurationen einschließlich mehr weniger oder nur einem einzelnen Element ebenso innerhalb der Lehre und des Umfangs der vorliegenden Offenbarung.

Claims (6)

  1. Bordkamerakalibriervorrichtung (200), die für ein Fahrzeug (1) verwendet wird, das mit mehreren Bordkameras (10F, 10B, 10L, 10R) ausgestattet ist, die so angebracht sind, dass sich Aufnahmeregionen der Bordkameras, die benachbart zueinander sind, teilweise überlappen, und die eine Installationsposition und/oder einen Installationswinkel von irgendeiner der Bordkameras, die einen Versatz der Installationsposition und/oder des Installationswinkels bezüglich des Fahrzeugs hat, kalibriert, wobei die Bordkamerakalibriervorrichtung aufweist: einen Variationserfassungsabschnitt (105), der eine Variation von einem Ausgangszustand eines Installationswinkel und/oder einer Installationsposition von jeder der Bordkameras bezüglich des Fahrzeugs erfasst; einen Sollkameraauswahlabschnitt (106), der die Bordkamera, die die Variation größer als einen vorbestimmten Grenzwert angibt, als eine Sollkamera auswählt, die die Kalibrierung benötigt; einen Kriteriumskameraauswahlabschnitt (107), der die Bordkamera, die die kleinste Variation von den Bordkameras angibt, als eine Kriteriumskamera auswählt, wenn die Sollkamera von den Bordkameras ausgewählt ist; einen Zwischenkameraauswahlabschnitt (108), der eine Zwischenkamera auswählt, wenn die Zwischenkamera existiert, wobei die Zwischenkamera die Bordkamera ist, die sich zwischen der Sollkamera und der Kriteriumskamera befindet; einen ersten Kalibrierabschnitt (109) der, wenn die Zwischenkamera nicht ausgewählt ist, die Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen; und einen zweiten Kalibrierabschnitt (110) der, wenn die Zwischenkamera ausgewählt ist, die Zwischenkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen, und dann die Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen.
  2. Bordkamerakalibriervorrichtung gemäß Anspruch 1, ferner aufweisend: einen dritten Kalibrierabschnitt (112), der die unkalibrierte Bordkamera kalibriert, nachdem die Sollkamera kalibriert ist.
  3. Bordkamerakalibriervorrichtung gemäß Anspruch 1 oder 2, ferner aufweisend: einen Alarmausgabeabschnitt (111), der einen vorbestimmten Alarm ausgibt, wenn die Variation der Bordkamera, die als die Kriteriumskamera ausgewählt ist, größer als eine vorbestimmte Toleranz ist.
  4. Bildgenerator (100), der für ein Fahrzeug (1) verwendet wird, das mit mehreren Bordkameras (10F, 10B, 10L, 10R) ausgestattet ist, die so angebracht sind, dass sich Aufnahmeregionen der Bordkameras, die benachbart zueinander sind, teilweise überlappen, und der ein Überwachungsbild zum Überwachen einer Situation um das Fahrzeug basierend auf aufgenommenen Bilder erzeugt, die durch die Bordkameras erlangt werden, wobei der Bildgenerator aufweist: einen Bilderlangungsabschnitt (101), der die aufgenommenen Bilder von den Bordkameras erlangt; einen Variationserfassungsabschnitt (105), der eine Variation von einem Ausgangszustand eines Installationswinkel und/oder einer Installationsposition von jeder der Bordkameras bezüglich des Fahrzeugs erfasst; einen Sollkameraauswahlabschnitt (106), der die Bordkamera, die die Variation größer als einen vorbestimmter Grenzwert angibt, als eine Sollkamera auswählt, die Kalibrieren des Installationswinkels oder der Installationsposition erfordert; einen Kriteriumskameraauswahlabschnitt (107), der die Bordkamera, die die kleinste Variation von den Bordkameras angibt, als eine Kriteriumskamera auswählt, wenn die Sollkamera von den Bordkameras ausgewählt ist; einen Zwischenkameraauswahlabschnitt (108), der eine Zwischenkamera auswählt, wenn die Zwischenkamera existiert, wobei die Zwischenkamera die Bordkamera ist, die sich zwischen der Sollkamera und der Kriteriumskamera befindet; einen ersten Kalibrierabschnitt (109) der, wenn die Zwischenkamera nicht ausgewählt ist, die Sollkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen; einen zweiten Kalibrierabschnitt (110) der, wenn die Zwischenkamera ausgewählt ist, die Zwischenkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Zwischenkamera überlappen, und dann die Sollkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion kalibriert, bei der sich die Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen; und einen Bildgeneratorabschnitt (102), der das Überwachungsbild durch Anwenden einer Sichtlinienkonversion auf die aufgenommenen Bilder, die von den Bordkameras erlangt werden, basierend auf einem Ergebnis des Kalibrierens der Bordkamera erzeugt.
  5. Bordkamerakalibrierverfahren, das für ein Fahrzeug (1) verwendet wird, das mit mehreren Bordkameras (10F, 10B, 10L, 10R) ausgestattet ist, die so angebracht sind, dass sich Aufnahmeregionen der Bordkameras, die benachbart zueinander sind, teilweise überlappen, und das eine Installationsposition oder einen Installationswinkel von irgendeiner der Bordkameras kalibriert, die einen Versatz einer Installationsposition oder eines Installationswinkels bezüglich des Fahrzeugs hat, wobei das Verfahren umfasst: Erfassen einer Variation von einem Ausgangszustand eines Installationswinkels oder einer Installationsposition von jeder der Bordkameras bezüglich des Fahrzeugs (S101); Auswählen der Bordkamera, die die Variation größer als ein vorbestimmter Grenzwert angibt, als eine Sollkamera die die Kalibrierung benötigt (S103); Auswählen der Bordkamera, die die kleinste Variation von den Bordkameras angibt, als eine Kriteriumskamera, wenn die Sollkamera von den Bordkameras ausgewählt ist (S104); Auswählen einer Zwischenkamera, wenn die Zwischenkamera existiert (S109), wobei die Zwischenkamera die Bordkamera ist, die sich zwischen der Sollkamera und der Kriteriumskamera befindet; wenn die Zwischenkamera nicht ausgewählt ist, Kalibrieren der Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen (S200); und wenn die Zwischenkamera ausgewählt ist, Kalibrieren der Zwischenkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Zwischenkamera überlappen, und dann Kalibrieren der Sollkamera basierend auf einem aufgenommenem Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen (S300).
  6. Bilderzeugungsverfahren, das für ein Fahrzeug (1) verwendet wird, das mit mehreren Bordkameras (10F, 10B, 10L, 10R) ausgestattet ist, die so angebracht sind, dass sich Aufnahmeregionen der Bordkameras, die benachbart zueinander sind, teilweise überlappen, und das ein Überwachungsbild zum Überwachen einer Situation um das Fahrzeug basierend auf aufgenommenen Bildern erzeugt, die durch die Bordkameras erlangt werden, wobei das Verfahren umfasst: Erlangen der aufgenommenen Bilder von den Bordkameras (S100); Erfassen einer Variation von einem Ausgangszustand eines Installationswinkels und/oder einer Installationsposition von jeder der Bordkameras bezüglich des Fahrzeugs (S101); Auswählen der Bordkamera, die die Variation größer als einen vorbestimmten Grenzwert angibt, als eine Sollkamera, die Kalibrieren des Installationswinkels oder der Installationsposition benötigt (S103); Auswählen der Bordkamera, die die kleinste Variation von den Bordkameras angibt, als eine Kriteriumskamera, wenn die Sollkamera von den Bordkameras ausgewählt ist (S104); Auswählen einer Zwischenkamera, wenn die Zwischenkamera existiert, wobei die Zwischenkamera die Bordkamera ist, die sich zwischen der Sollkamera und der Kriteriumskamera befindet (S109); wenn die Zwischenkamera nicht ausgewählt ist, Kalibrieren der Sollkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Sollkamera überlappen (S200); wenn die Zwischenkamera ausgewählt ist, Kalibrieren der Zwischenkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der Kriteriumskamera und der Zwischenkamera überlappen, und dann Kalibrieren der Sollkamera basierend auf dem aufgenommenen Bild einer Überlappungsregion, bei der sich die Aufnahmeregionen der kalibrierten Zwischenkamera und der Sollkamera überlappen (S300); und Erzeugen des Überwachungsbilds durch Anwenden einer Sichtlinienkonversion auf das aufgenommene Bild, das von den Bordkameras erlangt wird, basierend auf dem Ergebnis des Kalibrierens der Bordkamera (S111).
DE112015004637.2T 2014-10-09 2015-09-24 Bordkamerakalibriervorrichtung, Bildgenerator, Bordkamerakalibrierverfahren und Bilderzeugungsverfahren Active DE112015004637B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014208448A JP6458439B2 (ja) 2014-10-09 2014-10-09 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP2014-208448 2014-10-09
PCT/JP2015/004855 WO2016056197A1 (ja) 2014-10-09 2015-09-24 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法

Publications (2)

Publication Number Publication Date
DE112015004637T5 true DE112015004637T5 (de) 2017-06-22
DE112015004637B4 DE112015004637B4 (de) 2022-06-30

Family

ID=55652834

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112015004637.2T Active DE112015004637B4 (de) 2014-10-09 2015-09-24 Bordkamerakalibriervorrichtung, Bildgenerator, Bordkamerakalibrierverfahren und Bilderzeugungsverfahren

Country Status (5)

Country Link
US (1) US10176594B2 (de)
JP (1) JP6458439B2 (de)
CN (1) CN107107822B (de)
DE (1) DE112015004637B4 (de)
WO (1) WO2016056197A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018210352A1 (de) * 2018-06-26 2020-01-02 Zf Friedrichshafen Ag Kalibrierungsverfahren zur extrinsischen Kalibrierung eines Kamerasystems eines Fahrzeugs

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI536313B (zh) * 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法
EP3206184A1 (de) * 2016-02-11 2017-08-16 NXP USA, Inc. Vorrichtung, verfahren und system zur einstellung von vordefinierten kalibrierungsdaten zur erzeugung einer perspektivischen ansicht
JP6817742B2 (ja) * 2016-08-01 2021-01-20 キヤノン株式会社 情報処理装置およびその制御方法
US20220182552A1 (en) * 2020-12-08 2022-06-09 Westinghouse Air Brake Technologies Corporation Automatic camera configuration systems and methods
CN109661812B (zh) * 2016-09-01 2021-04-02 松下知识产权经营株式会社 多视点摄像系统、三维空间重构系统及三维空间识别系统
JP6211157B1 (ja) * 2016-09-01 2017-10-11 三菱電機株式会社 キャリブレーション装置およびキャリブレーション方法
CN107878360A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 确定全景泊车系统标定时机的方法及装置
JP6536529B2 (ja) * 2016-10-17 2019-07-03 株式会社デンソー 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
JP6794879B2 (ja) * 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両
DE102017109445A1 (de) * 2017-05-03 2018-11-08 Connaught Electronics Ltd. Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
US20190122382A1 (en) * 2017-10-24 2019-04-25 GM Global Technology Operations LLC Method and apparatus that display view alert
JP6776213B2 (ja) * 2017-11-01 2020-10-28 株式会社東芝 軌道識別装置
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
JP6447706B1 (ja) * 2017-12-20 2019-01-09 オムロン株式会社 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
US10298910B1 (en) * 2018-06-29 2019-05-21 Zoox, Inc. Infrastructure free intrinsic calibration
US10733761B2 (en) 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
JP7177618B2 (ja) * 2018-07-30 2022-11-24 株式会社デンソーテン 信頼性判定装置および信頼性判定方法
FR3085910A1 (fr) * 2018-09-19 2020-03-20 Psa Automobiles Sa Procede et systeme de retrovision numerique pour un vehicule automobile
JP2020060899A (ja) * 2018-10-09 2020-04-16 株式会社デンソー 車載カメラのキャリブレーション装置
JP7263807B2 (ja) * 2019-02-06 2023-04-25 株式会社デンソー 情報処理装置
JP7251310B2 (ja) * 2019-05-22 2023-04-04 株式会社Ｊｖｃケンウッド カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
CN110285779A (zh) * 2019-06-12 2019-09-27 智久(厦门)机器人科技有限公司 一种深度相机的角度误差补偿方法、装置、存储介质
JP7467107B2 (ja) 2019-12-25 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7320459B2 (ja) * 2020-01-14 2023-08-03 京セラ株式会社 画像処理装置、撮像装置、路側機、および画像処理方法
JP7405630B2 (ja) * 2020-01-24 2023-12-26 京セラ株式会社 情報処理装置、検出装置、路側機、および較正方法
WO2021145236A1 (ja) * 2020-01-14 2021-07-22 京セラ株式会社 画像処理装置、撮像装置、情報処理装置、検出装置、路側機、画像処理方法、及び較正方法
US20210262804A1 (en) * 2020-02-21 2021-08-26 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium
JP7505909B2 (ja) * 2020-04-20 2024-06-25 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置及びキャリブレーション方法
KR20220026422A (ko) 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법
GB2625262A (en) * 2022-12-08 2024-06-19 Continental Autonomous Mobility Germany GmbH Vehicle, control device, and method for evaluating a calibration of one or more cameras mounted to a vehicle

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256030A (ja) * 2006-03-23 2007-10-04 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
WO2008144370A1 (en) * 2007-05-16 2008-11-27 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3d reconstruction
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
JP5523730B2 (ja) * 2009-04-07 2014-06-18 アルパイン株式会社 車載周辺画像表示装置
JP5973910B2 (ja) 2009-05-15 2016-08-23 パーデュー・リサーチ・ファウンデーションＰｕｒｄｕｅ Ｒｅｓｅａｒｃｈ Ｆｏｕｎｄａｔｉｏｎ 大規模カメラネットワークの較正
JP5299231B2 (ja) 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
JP5827095B2 (ja) * 2011-10-13 2015-12-02 富士通テン株式会社 キャリブレーションシステム、パラメータ取得装置、標識体、及び、パラメータ取得方法
US9491451B2 (en) * 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
JP2013129264A (ja) * 2011-12-20 2013-07-04 Honda Motor Co Ltd 車載カメラのキャリブレーション方法及び車載カメラのキャリブレーション装置
JP2013211707A (ja) * 2012-03-30 2013-10-10 Clarion Co Ltd カメラキャリブレーション装置
JP5768758B2 (ja) * 2012-04-26 2015-08-26 株式会社デンソー 車載カメラ制御装置
JP5924227B2 (ja) 2012-10-16 2016-05-25 株式会社デンソー 車載カメラの取り付け誤差検出装置
JP6107081B2 (ja) 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
CN103129472A (zh) * 2013-03-27 2013-06-05 米建军 一种车外后视镜及使用方法
JP6357799B2 (ja) 2013-03-28 2018-07-18 東レ株式会社 導電層積層多孔性フィルム及び電池用セパレータ
US9563951B2 (en) * 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
JP6277652B2 (ja) * 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
JP6260424B2 (ja) * 2014-04-16 2018-01-17 株式会社デンソー 車載カメラの取り付け誤差検出装置
EP3333650B1 (de) * 2016-12-08 2019-07-03 NXP USA, Inc. System und verfahren zur kalibrierung einer zeit-digital-wandlervorrichtung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018210352A1 (de) * 2018-06-26 2020-01-02 Zf Friedrichshafen Ag Kalibrierungsverfahren zur extrinsischen Kalibrierung eines Kamerasystems eines Fahrzeugs

Also Published As

Publication number Publication date
JP6458439B2 (ja) 2019-01-30
CN107107822B (zh) 2019-04-30
JP2016082258A (ja) 2016-05-16
DE112015004637B4 (de) 2022-06-30
WO2016056197A1 (ja) 2016-04-14
CN107107822A (zh) 2017-08-29
US20170309042A1 (en) 2017-10-26
US10176594B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
DE112015004637B4 (de) Bordkamerakalibriervorrichtung, Bildgenerator, Bordkamerakalibrierverfahren und Bilderzeugungsverfahren
DE102011004006A1 (de) Spurmarkierungserkennungssystem mit verbessertem Erkennungsverhalten
DE60032973T2 (de) Stereo-Fahrzeugüberwachungsgerät mit Fehlersicherheits-Funktion
DE102016212405A1 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
DE102015105248A1 (de) Erzeugen eines bildes von der umgebung eines gelenkfahrzeugs
DE102015107677A1 (de) Rundum-Sicht-Kamerasystem- (VPM-) Online-Kalibrierung
DE102013209415A1 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102011004463A1 (de) Spurmarkierungserkennungssystem mit verbessertem erkennungsverhalten
DE112018000107T5 (de) Fahrzeugkamerakalibrierungsvorrichtung und -Verfahren
DE102015107675A9 (de) System und Verfahren zur Schätzung einer Fahrzeugdynamik unter Verwendung von Merkmalpunkten in Bildern von mehreren Kameras
DE102008006375A1 (de) Überwachungssystem
DE112017005840T5 (de) Zustandsüberwachungsvorrichtung einer Bildaufnahmevorrichtung, Verfahren zur Zustandsüberwachung einer Bildaufnahmevorrichtung und Programm
DE102013108070A1 (de) Bildkalibrierung und Entzerrung einer Weitwinkelkamera
DE102017122964A1 (de) Fahrzeugspiegelsystem
DE102009019399B4 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
DE102020102958A1 (de) Spurpositionserfassung und -verfolgung in einem fahrzeug
DE102015220884B4 (de) Bildverarbeitungsvorrichtung
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102019103197A1 (de) Insassenüberwachungsvorrichtung
DE102015209764A1 (de) Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs
DE112016007407T5 (de) Anzeigesteuervorrichtung, anzeigesystem und anzeigesteuerverfahren
DE102013224954A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
DE102012015282B4 (de) Verfahren zur Detektion eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102012213132B4 (de) Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen
DE112020001525T5 (de) Fahrzeugseitige kameravorrichtung und bildverzerrungskorrekturverfahren dafür

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001000000

Ipc: B60R0001200000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001200000

Ipc: B60R0001230000

R018 Grant decision by examination section/examining division
R020 Patent grant now final