DE102019128587A1 - Kameraparameterschätzgerät, Kameraparameterschätzverfahren, und Kameraparameterschätzprogramm - Google Patents

Kameraparameterschätzgerät, Kameraparameterschätzverfahren, und Kameraparameterschätzprogramm Download PDF

Info

Publication number
DE102019128587A1
DE102019128587A1 DE102019128587.9A DE102019128587A DE102019128587A1 DE 102019128587 A1 DE102019128587 A1 DE 102019128587A1 DE 102019128587 A DE102019128587 A DE 102019128587A DE 102019128587 A1 DE102019128587 A1 DE 102019128587A1
Authority
DE
Germany
Prior art keywords
camera
vehicle
vector
estimated position
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019128587.9A
Other languages
English (en)
Inventor
Kazutaka Hayakawa
Tomokazu Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of DE102019128587A1 publication Critical patent/DE102019128587A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Kameraparameterschätzgerät (400, 1200), mit: einer Kamerapositionslageerlangungseinheit (403), die eine geschätzte Position und Lage einer Kamera (15) basierend auf einem durch die Kamera erlangten aufgenommenen Bild erlangt, einer ersten Vektorberechnungseinheit (405), die einen ersten Vektor entsprechend einer Fortbewegungsrichtung des Fahrzeugs berechnet, einer zweiten Vektorberechnungseinheit (407), die einen zweiten Vektor entsprechend einer Normalenrichtung einer Ebene entsprechend einer Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, berechnet, einer dritten Vektorberechnungseinheit (408), die einen dritten Vektor orthogonal zu den ersten und zweiten Vektoren berechnet, und einer Kameraparameterschätzeinheit (409), die eine tatsächliche Installationslage der Kamera basierend auf den ersten, zweiten, und dritten Vektoren und der geschätzten Lage der Kamera, wenn sich die geschätzte Position entlang einer durch den ersten Vektor indizierten Richtung bewegt, schätzt.

Description

  • Technisches Gebiet
  • Diese Offenbarung bezieht sich auf ein Kameraparameterschätzgerät, ein Kameraparameterschätzverfahren, und ein Kameraparameterschätzprogramm.
  • Hintergrunddiskussion
  • Eine Technologie ist gewöhnlich bekannt, bei der basierend auf einem aufgenommenen Bild, das durch Bildaufnahme einer spezifischen Straßenoberflächenmarkierung, die auf einer Straßenoberfläche eingesetzt ist, unter Verwendung einer bei einem Fahrzeug montierten Umgebungsüberwachungskamera erlangt ist, grafische Merkmale der entsprechenden spezifischen Straßenoberflächenmarkierung erfasst werden, und dann basierend auf dem Erfassungsergebnis ein Kameraparameter einschließlich einer tatsächlichen Installationslage der Kamera bei dem Fahrzeug geschätzt wird. Siehe beispielsweise JP 4820221B (Referenz 1).
  • Jedoch wird, um den Kameraparameter durch die vorstehend beschriebene konventionelle Technik zu schätzen, angenommen, dass die spezifische Straßenoberflächenmarkierung eingestellt ist, und dass reguläre Daten, die die grafischen Merkmale der entsprechenden spezifischen Straßenoberflächenmarkierung repräsentieren, vorab gespeichert sind zum Abgleich mit den aus dem aufgenommenen Bild erfassten Merkmalen. Dies verursacht einen Mangel an Flexibilität.
  • Daher existiert eine Notwendigkeit für ein Kameraparameterschätzgerät, ein Kameraparameterschätzverfahren, und ein Kameraparameterschätzprogramm, durch die es möglich ist, einen Kameraparameter unabhängig von einer spezifischen Straßenoberflächenmarkierung flexibel zu schätzen.
  • Zusammenfassung
  • Ein Kameraparameterschätzgerät gemäß einem Aspekt dieser Offenbarung umfasst: eine Kamerapositionslageerlangungseinheit, die dazu eingerichtet ist, um eine geschätzte Position und eine geschätzte Lage einer Umgebungsüberwachungskamera, die bei einem Fahrzeug montiert ist, in einem Kamerakoordinatensystem, das für die Kamera eingestellt ist, zu erlangen, die basierend auf einem durch die Kamera erlangten aufgenommenen Bild geschätzt sind; eine erste Vektorberechnungseinheit, die dazu eingerichtet ist, um einen ersten Vektor entsprechend einer Fortbewegungsrichtung des Fahrzeugs in dem Kamerakoordinatensystem basierend auf einem Übergang bzw. einer Transition der geschätzten Position der Kamera, wenn sich das Fahrzeug geradeaus fortbewegt, zu berechnen; eine zweite Vektorberechnungseinheit, die dazu eingerichtet ist, um einen zweiten Vektor entsprechend einer Normalenrichtung einer Ebene entsprechend, in dem Kamerakoordinatensystem, einer Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, basierend auf dem Übergang bzw. der Transition der geschätzten Position der Kamera, wenn das Fahrzeug wendet bzw. eine Kurve nimmt, zu berechnen; eine dritte Vektorberechnungseinheit, die dazu eingerichtet ist, um einen dritten Vektor orthogonal zu dem ersten Vektor und dem zweiten Vektor in dem Kamerakoordinatensystem zu berechnen; und eine Kameraparameterschätzeinheit, die dazu eingerichtet ist, um eine tatsächliche Installationslage der Kamera in dem Fahrzeug als einen Kameraparameter zur Kalibrierung der Kamera basierend auf dem ersten Vektor, dem zweiten Vektor, dem dritten Vektor, und der geschätzten Lage der Kamera, wenn sich die geschätzte Position der Kamera entlang einer durch den ersten Vektor indizierten Richtung bewegt, zu schätzen.
  • Gemäß dem vorstehend beschriebenen Kameraparameterschätzgerät wird basierend auf dem ersten Vektor, dem zweiten Vektor, und dem dritten Vektor die geschätzte Lage der Kamera in dem Kamerakoordinatensystem mit der Richtung des Fahrzeugs in der realen Welt durch Konvertierung abgeglichen, so dass die tatsächliche Installationslage der Kamera in dem Fahrzeug als der Kameraparameter geschätzt werden kann. Entsprechend ist es möglich, den Kameraparameter unabhängig von einer spezifischen Straßenoberflächenmarkierung flexibel zu schätzen.
  • Das vorstehend beschriebene Kameraparameterschätzgerät kann ferner aufweisen: eine erste Bestimmungseinheit, die dazu eingerichtet ist, um zu bestimmen, ob sich das Fahrzeug geradeaus fortbewegt hat basierend darauf, ob der Übergang der geschätzten Position der Kamera eine durch eine gerade Linie approximierte Verteilung zeigt bzw. aufweist, wobei die erste Vektorberechnungseinheit den ersten Vektor basierend auf der geraden Linie, die den Übergang der geschätzten Position der Kamera in einem Abschnitt approximiert, für den die erste Bestimmungseinheit bestimmt hat, dass sich das Fahrzeug geradeaus fortbewegt hat, berechnen kann. Gemäß dieser Konfiguration ist es möglich, eine Bestimmung, ob sich das Fahrzeug geradeaus fortbewegt hat, und eine Berechnung des ersten Vektors basierend auf dem Ergebnis einer linearen Annäherung bzw. Approximation leicht durchzuführen.
  • In diesem Fall kann die erste Bestimmungseinheit bestimmen, ob sich das Fahrzeug in einem vorbestimmten Abschnitt geradeaus fortbewegt hat basierend darauf, ob der Übergang der geschätzten Position der Kamera in dem vorbestimmten Abschnitt mit einer Länge gleich wie oder größer als eine vorbestimmte Länge eine durch die gerade Linie approximierte Verteilung zeigt bzw. aufweist. Gemäß dieser Konfiguration ist es möglich, unter Verwendung von Information zu bestimmen, ob sich das Fahrzeug für eine Distanz gleich wie oder länger als die vorbestimmte Länge geradeaus fortbewegt hat.
  • Das vorstehend beschriebene Kameraparameterschätzgerät einschließlich der ersten Bestimmungseinheit kann ferner eine Sensorinformationserlangungseinheit aufweisen, die dazu eingerichtet ist, um Sensorinformation einschließlich einer Ausgabe eines Sensors, der einen Fortbewegungszustand des Fahrzeugs erfasst, zu erlangen, wobei die erste Bestimmungseinheit bestimmen kann, ob sich das Fahrzeug geradeaus fortbewegt hat basierend auf zumindest einem aus ob der Übergang der geschätzten Position der Kamera eine durch die gerade Linie approximierte Verteilung zeigt bzw. aufweist und der Sensorinformation. Gemäß dieser Konfiguration ist es möglich, leicht oder genau basierend auf zumindest einem aus dem Ergebnis einer linearen Approximation und der Sensorinformation zu bestimmen, ob das Fahrzeug sich geradeaus fortbewegt hat.
  • Das vorstehend beschriebene Kameraparameterschätzgerät kann ferner aufweisen: eine zweite Bestimmungseinheit, die dazu eingerichtet ist, um zu bestimmen, ob das Fahrzeug gewendet hat basierend darauf, ob der Übergang der geschätzten Position der Kamera eine Verteilung zeigt bzw. aufweist, die durch zwei gerade Linien, die sich in Richtungen erstrecken, die einander schneiden, und zumindest eine Kurve, die sich mit einer vorbestimmten Krümmung oder mehr zwischen den entsprechenden zwei geraden Linien erstreckt, approximiert ist, wobei die zweite Vektorberechnungseinheit den zweiten Vektor basierend auf den zumindest zwei geraden Linien, die den Übergang der geschätzten Position der Kamera in einem Abschnitt approximieren, für den die zweite Bestimmungseinheit bestimmt hat, dass das Fahrzeug gewendet hat, berechnen kann. Gemäß dieser Konfiguration ist es möglich, basierend auf dem Ergebnis einer linearen Approximation bzw. Linearapproximation und einer Kurvenapproximation leicht eine Bestimmung, ob das Fahrzeug gewendet hat, und eine Berechnung des zweiten Vektors auszuführen.
  • In diesem Fall kann die zweite Bestimmungseinheit ferner bestimmen, ob das Fahrzeug gewendet hat basierend darauf, ob der Übergang der geschätzten Position der Kamera eine Verteilung zeigt bzw. aufweist, die durch eine Ebene entsprechend den zumindest zwei geraden Linien approximiert ist, und die zweite Vektorberechnungseinheit kann einen Vektor entsprechend einer Normalenrichtung der einen Ebene als den zweiten Vektor berechnen. Gemäß dieser Konfiguration ist es möglich, basierend auf dem Ergebnis einer Ebenenapproximation eine Bestimmung, ob das Fahrzeug gewendet hat, und eine Berechnung des zweiten Vektors leichter auszuführen, es sei denn, die Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, weist einen Gradienten auf.
  • In diesem Fall kann die zweite Bestimmungseinheit bestimmen, ob das Fahrzeug gewendet hat basierend darauf, ob zweite Abschnitte eine Verteilung zeigen bzw. aufweisen, die durch die eine Ebene approximiert ist, wobei die zweiten Abschnitte unter verbleibenden Abschnitten in dem Übergang der geschätzten Position der Kamera abgesehen von einem ersten Abschnitt entsprechend der zumindest einen Kurve den zwei geraden Linien entsprechen. Gemäß dieser Konfiguration ist es möglich, die Genauigkeit einer Bestimmung, ob das Fahrzeug gewendet ist, zu verbessern durch Ausschluss des ersten Abschnitts als Information, deren Zuverlässigkeit wahrscheinlich reduziert ist aufgrund des Einflusses der Vertikal-G und dergleichen, wenn die Fortbewegungsrichtung des Fahrzeugs sich ändert.
  • Das vorstehend beschriebene Kameraparameterschätzgerät einschließlich der zweiten Bestimmungseinheit kann ferner eine Sensorinformationserlangungseinheit aufweisen, die dazu eingerichtet ist, um Sensorinformation einschließlich einer Ausgabe eines Sensors, der einen Fortbewegungszustand des Fahrzeugs erfasst, zu erlangen, wobei die zweite Bestimmungseinheit bestimmen kann, ob das Fahrzeug gewendet hat basierend auf zumindest einem aus ob der Übergang der geschätzten Position der Kamera eine Verteilung zeigt bzw. aufweist, die durch die zwei geraden Linien und die zumindest eine Kurve approximiert ist, und der Sensorinformation. Gemäß dieser Konfiguration ist es möglich, basierend auf zumindest einem aus dem Ergebnis einer Linearapproximation und einer Kurvenapproximation und der Sensorinformation leicht oder genau zu bestimmen, ob das Fahrzeug gewendet hat.
  • Das vorstehend beschriebene Kameraparameterschätzgerät kann ferner aufweisen: eine Sensorinformationserlangungseinheit, die dazu eingerichtet ist, um Sensorinformation einschließlich einer Ausgabe eines Sensors, der einen Fortbewegungszustand des Fahrzeugs erfasst, zu erlangen; und eine Dreidimensionalinformationserlangungseinheit, die dazu eingerichtet ist, um Dreidimensionalinformation zu erlangen, die auf eine Situation um das Fahrzeug herum hinweist, die basierend auf dem aufgenommenen Bild geschätzt ist, einschließlich einer geschätzten Dreidimensionalposition der Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, in dem Kamerakoordinatensystem, wobei die Kameraparameterschätzeinheit eine tatsächliche Installationshöhe der Kamera in dem Fahrzeug als den Kameraparameter basierend auf einer Fortbewegungsdistanz des Fahrzeugs, die basierend auf der Sensorinformation spezifiziert ist, dem Übergang der geschätzten Position der Kamera in einem Abschnitt entsprechend der entsprechenden Fortbewegungsdistanz, und der geschätzten Dreidimensionalposition der Straßenoberfläche, die in der Dreidimensionalinformation enthalten ist, schätzen kann. Gemäß dieser Konfiguration ist es möglich, die tatsächliche Installationshöhe der Kamera als den Kameraparameter basierend auf der Sensorinformation, der geschätzten Dreidimensionalposition der Straßenoberfläche, und dem Übergang der geschätzten Position der Kamera unabhängig von der spezifischen Straßenoberflächenmarkierung flexibel zu schätzen.
  • Das vorstehend beschriebene Kameraparameterschätzgerät kann ferner eine Korrektureinheit aufweisen, die dazu eingerichtet ist, um die Kalibrierung der Kamera basierend auf dem durch die Kameraparameterschätzeinheit geschätzten Kameraparameter auszuführen. Gemäß dieser Konfiguration ist es möglich, die Kalibrierung der Kamera leicht (automatisch) durch die Korrektureinheit auszuführen.
  • Das vorstehend beschriebene Kameraparameterschätzgerät kann ferner eine Benachrichtigungseinheit aufweisen, die dazu eingerichtet ist, um bezüglich einer Notwendigkeit einer Ausführung der Kalibrierung der Kamera basierend auf dem durch die Kameraparameterschätzeinheit geschätzten Kameraparameter zu benachrichtigen. Gemäß dieser Konfiguration ist es möglich, durch die Benachrichtigungseinheit leicht (automatisch) bezüglich der Notwendigkeit einer Ausführung der Kalibrierung der Kamera zu benachrichtigen.
  • Ein Kameraparameterschätzverfahren gemäß einem anderen Aspekt dieser Offenbarung umfasst: ein Erlangen einer geschätzten Position und einer geschätzten Lage einer Umgebungsüberwachungskamera, die bei einem Fahrzeug montiert ist, in einem Kamerakoordinatensystem, das für die Kamera eingestellt ist, die basierend auf einem durch die Kamera erlangten aufgenommenen Bild geschätzt werden; ein Berechnen eines ersten Vektors entsprechend einer Fortbewegungsrichtung des Fahrzeugs in dem Kamerakoordinatensystem basierend auf einem Übergang bzw. einer Transition der geschätzten Position der Kamera, wenn sich das Fahrzeug geradeaus fortbewegt; ein Berechnen eines zweiten Vektors entsprechend einer Normalenrichtung einer Ebene entsprechend, in dem Kamerakoordinatensystem, einer Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, basierend auf dem Übergang bzw. der Transition der geschätzten Position der Kamera, wenn das Fahrzeug wendet bzw. eine Kurve nimmt; ein Berechnen eines dritten Vektors orthogonal zu dem ersten Vektor und dem zweiten Vektor in dem Kamerakoordinatensystem; und ein Schätzen einer tatsächlichen Installationslage der Kamera in dem Fahrzeug als ein Kameraparameter zur Kalibrierung der Kamera basierend auf dem ersten Vektor, dem zweiten Vektor, dem dritten Vektor, und der geschätzten Lage der Kamera, wenn sich die geschätzte Position der Kamera entlang einer durch den ersten Vektor indizierten Richtung bewegt.
  • Gemäß dem vorstehend beschriebenen Kameraparameterschätzverfahren wird basierend auf dem ersten Vektor, dem zweiten Vektor, und dem dritten Vektor die geschätzte Lage der Kamera in dem Kamerakoordinatensystem mit der Richtung des Fahrzeugs in der realen Welt mittels Konvertierung bzw. Umwandlung abgeglichen, so dass die tatsächliche Installationslage der Kamera in dem Fahrzeug als der Kameraparameter geschätzt werden kann. Entsprechend ist es möglich, den Kameraparameter unabhängig von einer spezifischen Straßenoberflächenmarkierung flexibel zu schätzen.
  • Ein Kameraparameterschätzprogramm gemäß einem anderen Aspekt dieser Offenbarung bringt einen Computer dazu, einen Prozess auszuführen, aufweisend: ein Erlangen einer geschätzten Position und einer geschätzten Lage einer Umgebungsüberwachungskamera, die bei einem Fahrzeug montiert ist, in einem Kamerakoordinatensystem, das für die Kamera eingestellt ist, die basierend auf einem durch die Kamera erlangten aufgenommenen Bild geschätzt werden; ein Berechnen eines ersten Vektors entsprechend einer Fortbewegungsrichtung des Fahrzeugs in dem Kamerakoordinatensystem basierend auf einem Übergang bzw. einer Transition der geschätzten Position der Kamera, wenn sich das Fahrzeug geradeaus fortbewegt; ein Berechnen eines zweiten Vektors entsprechend einer Normalenrichtung einer Ebene entsprechend, in dem Kamerakoordinatensystem, einer Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, basierend auf dem Übergang bzw. der Transition der geschätzten Position der Kamera, wenn das Fahrzeug wendet bzw. eine Kurve nimmt; ein Berechnen eines dritten Vektors orthogonal zu dem ersten Vektor und dem zweiten Vektor in dem Kamerakoordinatensystem; und ein Schätzen einer tatsächlichen Installationslage der Kamera in dem Fahrzeug als ein Kameraparameter zur Kalibrierung der Kamera basierend auf dem ersten Vektor, dem zweiten Vektor, dem dritten Vektor, und der geschätzten Lage der Kamera, wenn sich die geschätzte Position der Kamera entlang einer durch den ersten Vektor indizierten Richtung bewegt.
  • Gemäß dem vorstehend beschriebenen Kameraparameterschätzprogramm wird basierend auf dem ersten Vektor, dem zweiten Vektor, und dem dritten Vektor die geschätzte Lage der Kamera in dem Kamerakoordinatensystem mit der Richtung des Fahrzeugs in der realen Welt mittels Konvertierung bzw. Umwandlung abgeglichen, so dass die tatsächliche Installationslage der Kamera in dem Fahrzeug als der Kameraparameter geschätzt werden kann. Entsprechend ist es möglich, den Kameraparameter unabhängig von einer spezifischen Straßenoberflächenmarkierung flexibel zu schätzen.
  • Figurenliste
  • Die vorstehenden und zusätzliche Merkmale und Charakteristika dieser Offenbarung werden aus der folgenden detaillierten Beschreibung ersichtlicher, die unter Bezugnahme auf die anhängenden Zeichnungen berücksichtigt wird, wobei:
    • 1 eine beispielhafte schematische Ansicht ist, die eine Konfiguration innerhalb einer Fahrzeugkabine eines Fahrzeugs gemäß einem Ausführungsbeispiel veranschaulicht,
    • 2 eine beispielhafte schematische Ansicht ist, die eine Erscheinung des Fahrzeugs gemäß dem Ausführungsbeispiel, wenn von oben angesehen, veranschaulicht,
    • 3 ein beispielhaftes schematisches Blockdiagramm ist, das eine Systemkonfiguration des Fahrzeugs gemäß dem Ausführungsbeispiel veranschaulicht,
    • 4 ein beispielhaftes schematisches Blockdiagramm ist, das Funktionen eines Kameraparameterschätzgeräts gemäß dem Ausführungsbeispiel veranschaulicht,
    • 5 eine beispielhafte schematische Ansicht ist, die ein Beispiel eines Kamerakoordinatensystems und eines Fahrzeugkoordinatensystems gemäß dem Ausführungsbeispiel veranschaulicht,
    • 6 eine beispielhafte schematische Ansicht ist, die ein Gerade-Vektor-Berechnungsverfahren bzw. Geradevektorberechnungsverfahren gemäß dem Ausführungsbeispiel veranschaulicht,
    • 7 eine beispielhafte schematische Ansicht ist, die ein Normalvektorberechnungsverfahren gemäß dem Ausführungsbeispiel veranschaulicht,
    • 8 eine beispielhafte schematische Ansicht ist, die ein Orthogonalvektorberechnungsverfahren gemäß dem Ausführungsbeispiel veranschaulicht,
    • 9 ein beispielhaftes schematisches Flussdiagramm ist, das einen Prozess veranschaulicht, der ausgeführt wird, wenn das Kameraparameterschätzgerät gemäß dem Ausführungsbeispiel eine tatsächliche Installationslage einer fahrzeugseitigen Kamera als einen Kameraparameter schätzt,
    • 10 ein beispielhaftes schematisches Flussdiagramm ist, das einen Prozess veranschaulicht, der ausgeführt wird, wenn das Kameraparameterschätzgerät gemäß dem Ausführungsbeispiel eine tatsächliche Installationshöhe der fahrzeugseitigen Kamera als den Kameraparameter schätzt,
    • 11 ein beispielhaftes schematisches Flussdiagramm ist, das einen Prozess veranschaulicht, der ausgeführt wird, wenn das Kameraparameterschätzgerät gemäß dem Ausführungsbeispiel eine Kalibrierung ausführt, und
    • 12 ein beispielhaftes schematisches Blockdiagramm ist, das Funktionen eines Kameraparameterschätzgeräts gemäß einer Modifizierung des Ausführungsbeispiels veranschaulicht.
  • Detaillierte Beschreibung
  • Nachstehend wird ein hierin offenbartes Ausführungsbeispiel und eine Modifizierung unter Bezugnahme auf Zeichnungen beschrieben. Konfigurationen des Ausführungsbeispiels und der Modifizierung, die nachstehend zu beschreiben sind, und Aktionen und Resultate (Effekte), die durch die entsprechenden Konfigurationen verursacht werden, sind lediglich beispielhaft und sind nicht auf die folgenden Beschreibungen beschränkt.
  • Ausführungsbeispiel
  • Als erstes werden Beschreibungen bezüglich einer schematischen Konfiguration eines Fahrzeugs 1 gemäß dem Ausführungsbeispiel unter Bezugnahme auf 1 und 2 gemacht. 1 ist eine beispielhafte schematische Ansicht, die eine Konfiguration innerhalb einer Fahrzeugkabine 2a des Fahrzeugs 1 gemäß dem Ausführungsbeispiel veranschaulicht, und 2 ist eine beispielhafte schematische Ansicht, die eine Erscheinung des Fahrzeugs 1 gemäß dem Ausführungsbeispiel, wenn von oben angesehen, veranschaulicht.
  • Wie in 1 veranschaulicht, umfasst das Fahrzeug 1 gemäß dem Ausführungsbeispiel die Fahrzeugkabine 2a, in der Passagiere einschließlich eines Fahrers als ein Benutzer sitzen. Innerhalb der Fahrzeugkabine 2a sind eine Bremseinheit (eine Bremsbedieneinheit) 301a, eine Beschleunigungseinheit (eine Beschleunigungsbedieneinheit) 302a, eine Lenkeinheit 303a, eine Getriebeeinheit (eine Getriebebedieneinheit) 304a, und dergleichen bedienbar durch den Benutzer auf einem Sitz 2b eingesetzt.
  • Die Bremseinheit 301a ist beispielsweise ein unter einem Fuß des Fahrers vorgesehenes Bremspedal, und die Beschleunigungseinheit 302a ist beispielsweise ein unter dem Fuß des Fahrers vorgesehenes Beschleunigungspedal. Die Lenkeinheit 303a ist beispielsweise ein von einem Armaturenbrett (ein Instrumentpaneel) hervorstehendes Lenkrad, und die Getriebeeinheit 304a ist beispielsweise ein von einer Mittelkonsole hervorstehender Schalthebel. Die Lenkeinheit 303a kann ein Griff sein.
  • Ein Monitorgerät 11 ist innerhalb der Fahrzeugkabine 2a vorgesehen, das eine Anzeigeeinheit 8 aufweist, die zur Ausgabe verschiedene Bilder in der Lage ist, und eine Stimmenausgabeeinheit 9 aufweist, die zur Ausgabe verschiedene Töne in der Lage ist. Das Monitorgerät 11 ist beispielsweise an dem Mittelabschnitt in der Breitenrichtung (der Links-Rechts-Richtung) des Armaturenbretts innerhalb der Fahrzeugkabine 2a vorgesehen. Die Anzeigeeinheit 8 ist beispielsweise aus einem LCD (Flüssigkristallanzeige), einem OELD (Organikelektrolumineszenzanzeige, Organic-Electroluminscent-Display), und dergleichen ausgebildet.
  • Hierbei ist eine Bedienungseingabeeinheit 10 an einem Anzeigebildschirm als eine Fläche vorgesehen, bei der ein Bild angezeigt ist auf der Anzeigeeinheit 8. Die Bedienungseingabeeinheit 10 ist beispielsweise als ein Bedienpaneel, das in der Lage ist, Koordinaten eines Orts, bei dem ein Zeiger wie ein Finger oder ein Zeigestift nahe kommt (einschließlich Kontakt), zu erfassen, eingerichtet. Entsprechend ist der Benutzer (der Fahrer) dazu in der Lage, visuell das auf dem Anzeigebildschirm der Anzeigeeinheit 8 angezeigte Bild zu erkennen und ist auch dazu in der Lage, verschiedene Bedienungseingaben durch Ausführung einer Berühr-(Tipp-)-Bedienung und dergleichen bei der Bedienungseingabeeinheit 10 unter Verwendung des Zeigers auszuführen.
  • Bei dem Ausführungsbeispiel kann die Bedienungseingabeeinheit 10 verschiedene physikalische Schnittstellen wie ein Schalter, ein Wählrad, ein Joystick, und ein Drückknopf sein. Bei dem Ausführungsbeispiel kann ein anderes Stimmenausgabegerät bei einer Position verschieden von der Position des Monitorgeräts 11 innerhalb der Fahrzeugkabine 2a sein. In diesem Fall kann verschiedene Toninformation von sowohl der Stimmenausgabeeinheit 9 als auch der anderen Stimmenausgabeeinheit ausgegeben werden. Bei dem Ausführungsbeispiel kann das Monitorgerät 11 dazu eingerichtet sein, dazu in der Lage zu sein, Information bezüglich verschiedenen Systemen wie einem Navigationssystem oder einem Audiosystem anzuzeigen.
  • Wie in 1 und 2 veranschaulicht, ist das Fahrzeug 1 gemäß dem Ausführungsbeispiel als ein vierrädriges Automobil einschließlich zweier linker und rechter Vorderräder 3F und zweier linker und rechter Hinterräder 3R eingerichtet. Nachstehend können der Einfachheit halber die Vorderräder 3F und die Hinterräder 3R gemeinsam als Räder 3 bezeichnet werden. Bei dem Ausführungsbeispiel werden Seitengleitwinkel (Sideslip-Angles) eines Teils oder aller der vier Räder 3 gemäß einer Bedienung und dergleichen der Lenkeinheit 303a geändert (gelenkt).
  • Das Fahrzeug 1 ist mit einer Vielzahl von fahrzeugseitigen Umgebungsüberwachungskameras 15a bis 15d (vier in dem in 1 und 2 veranschaulichten Beispiel) versehen. Die fahrzeugseitige Kamera 15a ist an einem Rückseitenendabschnitt 2e (beispielsweise unter einer Tür 2h einer Heckklappe) eines Fahrzeugkörpers 2 vorgesehen, um den Rückbereich des Fahrzeugs 1 abzubilden bzw. aufzunehmen. Die fahrzeugseitige Kamera 15b ist bei einem Türspiegel 2g an einem Rechtsendabschnitt 2f des Fahrzeugkörpers 2 vorgesehen, um einen rechtsseitigen Bereich des Fahrzeugs 1 abzubilden bzw. aufzunehmen. Die fahrzeugseitige Kamera 15c ist an einem Vorderseitenendabschnitt 2c (beispielsweise einem Vorderstoßfänger) des Fahrzeugkörpers 2 vorgesehen, um einen Vorderbereich des Fahrzeugs 1 abzubilden bzw. aufzunehmen. Die fahrzeugseitige Kamera 15d ist an einem Türspiegel 2g an einem Linksendabschnitt 2d des Fahrzeugkörpers 2 vorgesehen, um einen linksseitigen Bereich des Fahrzeugs 1 abzubilden bzw. aufzunehmen. Nachstehend können der Einfachheit halber die fahrzeugseitigen Kameras 15a bis 15d gemeinsam als fahrzeugseitige Kamera 15 bezeichnet werden.
  • Die fahrzeugseitige Kamera 15 ist beispielsweise eine sogenannte Digitalkamera, die ein Bildgebungselement wie ein CCD (Charge-Coupled-Device) oder ein CIS (CMOS (Complementary-Metal-Oxide-Semiconductor)-Bildsensor) aufweist. Die fahrzeugseitige Kamera 15 führt eine Bildgebung der Umgebungen des Fahrzeugs 1 mit einer vorbestimmten Wiederholrate durch und gibt Bilddaten eines durch die entsprechende Bildgebung bzw. Bildaufnahme erlangten aufgenommenen Bildes aus. Die durch die fahrzeugseitige Kamera 15 erlangten Bilddaten sind dazu in der Lage, ein Bewegtbild als ein Rahmenbild auszubilden.
  • Bei dem Ausführungsbeispiel kann als eine Konfiguration zur Wahrnehmung der Situation um das Fahrzeug 1 herum zusätzlich zu der vorstehend beschriebenen fahrzeugseitigen Kamera 15 ein Abstandsmesssensor, der die Distanz zu einem Dreidimensionalobjekt, das um das Fahrzeug 1 herum vorhanden ist, erfasst (berechnet, spezifiziert), vorgesehen sein. Als solch ein Abstandsmesssensor bzw. Distanzmesssensor wird beispielsweise ein Sonar, das Schallwellen überträgt und von einem um das Fahrzeug 1 herum vorhandenen Objekt reflektierte Schallwellen empfängt, oder ein Laser-Radar, das Radiowellen wie Licht überträgt und von einem um das Fahrzeug 1 herum vorhandenen Objekt reflektierte Radiowellen empfängt, verwendet.
  • Als nächstes werden Beschreibungen bezüglich einer Systemkonfiguration gemacht, die vorgesehen ist, um verschiedene Steuerungen bei dem Fahrzeug 1 gemäß dem Ausführungsbeispiel zu realisieren, unter Bezugnahme auf 3. Die in 3 veranschaulichte Systemkonfiguration ist lediglich ein Beispiel und kann auf verschiedene Weisen eingestellt (geändert) werden.
  • 3 ist ein beispielhaftes schematisches Blockdiagramm, das eine Systemkonfiguration des Fahrzeugs 1 gemäß dem Ausführungsbeispiel veranschaulicht. Wie in 3 veranschaulicht umfasst das Fahrzeug 1 gemäß dem Ausführungsbeispiel ein Bremssystem 301, ein Beschleunigungssystem 302, ein Lenksystem 303, ein Getriebesystem 304, einen Hindernissensor 305, einen Fortbewegungszustandssensor 306, die fahrzeugseitigen Kameras 15, das Monitorgerät 11, ein Steuergerät 310, und ein fahrzeugseitiges Netzwerk 350.
  • Das Bremssystem 301 steuert die Verzögerung des Fahrzeugs 1. Das Bremssystem 301 umfasst die Bremseinheit 301a, eine Bremssteuereinheit 301b, und einen Bremseinheitssensor 301c.
  • Die Bremseinheit 301a ist beispielsweise ein Gerät zur Verzögerung des Fahrzeugs 1 wie das vorstehend beschriebene Bremspedal.
  • Die Bremssteuereinheit 301b ist beispielsweise als ein Mikrocomputer eingerichtet, der einen Hardwareprozessor wie eine Zentralverarbeitungseinheit (CPU) aufweist. Die Bremssteuereinheit 301b steuert ein Verzögerungsausmaß des Fahrzeugs 1 durch Ansteuerung eines Aktuators (nicht veranschaulicht) basierend auf beispielsweise einer über das fahrzeugseitige Netzwerk 350 eingegebenen Anweisung und einer Bedienung der Bremseinheit 301a.
  • Der Bremseinheitssensor 301c ist ein Gerät zur Erfassung des Zustands der Bremseinheit 301a. Beispielsweise erfasst, wenn die Bremseinheit 301a als ein Bremspedal eingerichtet ist, der Bremseinheitssensor 301c die Position des Bremspedals oder den auf dem entsprechenden Bremspedal agierenden Druck als den Zustand der Bremseinheit 301a. Der Bremseinheitssensor 301c gibt den erfassten Zustand der Bremseinheit 301a zu dem fahrzeugseitigen Netzwerk 350 aus.
  • Das Beschleunigungssystem 302 steuert die Beschleunigung des Fahrzeugs 1. Das Beschleunigungssystem 302 umfasst die Beschleunigungseinheit 302a, eine Beschleunigungssteuereinheit 302b, und einen Beschleunigungseinheitssensor 302c.
  • Die Beschleunigungseinheit 302a ist beispielsweise ein Gerät zur Beschleunigung des Fahrzeugs 1 wie das vorstehend beschriebene Beschleunigerpedal.
  • Die Beschleunigungssteuereinheit 302b ist beispielsweise als ein Mikrocomputer einschließlich eines Hardwareprozessors wie einer CPU eingerichtet. Die Beschleunigungssteuereinheit 302b steuert ein Beschleunigungsausmaß des Fahrzeugs 1 durch Ansteuerung eines Aktuators (nicht veranschaulicht) basierend auf beispielsweise einer über das fahrzeugseitige Netzwerk 350 eingegebenen Anweisung und einer Bedienung der Beschleunigereinheit bzw. Beschleunigungseinheit 302a.
  • Der Beschleunigungseinheitssensor 302c ist ein Gerät zur Erfassung des Zustands der Beschleunigungseinheit 302a. Beispielsweise erfasst, wenn die Beschleunigungseinheit 302a als ein Beschleunigungspedal eingerichtet ist, der Beschleunigungseinheitssensor 302c die Position des Beschleunigungspedals oder den auf das entsprechende Beschleunigungspedal einwirkenden Druck. Der Beschleunigungseinheitssensor 302c gibt den erfassten Zustand der Beschleunigungseinheit 302a zu dem fahrzeugseitigen Netzwerk 350 aus.
  • Das Lenksystem 303 steuert die Fortbewegungsrichtung des Fahrzeugs 1. Das Lenksystem 303 umfasst die Lenkeinheit 303a, eine Lenksteuereinheit 303b, und einen Lenkeinheitssensor 303c.
  • Die Lenkeinheit 303a ist beispielsweise ein Gerät, das lenkbare Räder des Fahrzeugs 1 lenkt, wie das Lenkrad oder der Griff wie vorstehend beschrieben.
  • Die Lenksteuereinheit 303b ist beispielsweise als ein Mikrocomputer mit einem Hardwareprozessor wie einer CPU eingerichtet. Die Lenksteuereinheit 303b steuert eine Fortbewegungsrichtung des Fahrzeugs 1 durch Ansteuerung eines Aktuators (nicht veranschaulicht) basierend auf beispielsweise einer über das fahrzeugseitige Netzwerk 350 eingegebenen Anweisung und einer Bedienung der Lenkeinheit 303a.
  • Der Lenkeinheitssensor 303c ist ein Gerät zur Erfassung des Zustands der Lenkeinheit 303a. Beispielsweise erfasst, wenn die Lenkeinheit 303a als ein Lenkrad eingerichtet ist, der Lenkeinheitssensor 303c die Position des Lenkrads oder den Rotationswinkel des entsprechenden Lenkrads. Wenn die Lenkeinheit 303a als ein Griff eingerichtet ist, kann der Lenkeinheitssensor 303c die Position des Griffs oder den auf den entsprechenden Griff einwirkenden Druck erfassen. Der Lenkeinheitssensor 303c gibt den erfassten Zustand der Lenkeinheit 303a zu dem fahrzeugseitigen Netzwerk 350 aus.
  • Das Getriebesystem 304 steuert ein Zahnradverhältnis bzw. Übersetzungsverhältnis des Fahrzeugs 1. Das Übertragungssystem bzw. Getriebesystem 304 umfasst die Getriebeeinheit 304a, eine Getriebesteuereinheit 304b, und einen Getriebeeinheitssensor 304c.
  • Die Getriebeeinheit 304a ist beispielsweise ein Gerät zur Änderung des Übersetzungsverhältnisses des Fahrzeugs 1 wie der vorstehend beschriebene Schalthebel.
  • Die Getriebesteuereinheit 304b ist beispielsweise als ein Computer mit einem Hardwareprozessor wie eine CPU eingerichtet. Die Getriebesteuereinheit 304b steuert das Übersetzungsverhältnis des Fahrzeugs 1 durch Ansteuerung eines Aktuators (nicht veranschaulicht) basierend auf beispielsweise einer über das fahrzeugseitige Netzwerk 350 eingegebenen Anweisung und einer Bedienung der Getriebeeinheit 304a.
  • Der Getriebeeinheitssensor 304c ist ein Gerät zur Erfassung des Zustands der Getriebeeinheit 304a. Beispielsweise erfasst, wenn die Getriebeeinheit 304a als ein Schalthebel eingerichtet ist, der Getriebeeinheitssensor 304c die Position des Schalthebels oder den auf den entsprechenden Schalthebel einwirkenden Druck. Der Getriebeeinheitssensor 304c gibt den erfassten Zustand der Getriebeeinheit 304a zu dem fahrzeugseitigen Netzwerk 350 aus.
  • Der Hindernissensor 305 ist ein Gerät zur Erfassung von Information bezüglich eines Hindernisses, das um das Fahrzeug 1 herum existieren kann. Der Hindernissensor 305 umfasst beispielsweise einen Distanzmesssensor bzw. Abstandsmesssensor wie das Sonar oder das Laserradar wie vorstehend beschrieben. Der Hindernissensor 305 gibt die erfasste Information zu dem fahrzeugseitigen Netzwerk 350 aus.
  • Der Fortbewegungszustandssensor 306 ist ein Gerät zur Erfassung des Fortbewegungszustands des Fahrzeugs 1. Der Fortbewegungszustandssensor 306 umfasst beispielsweise einen Radgeschwindigkeitssensor, der die Radgeschwindigkeit des Fahrzeugs 1 erfasst, einen Beschleunigungssensor, der eine Beschleunigung in der Vorn-Hinten-Richtung oder der Links-Rechts-Richtung des Fahrzeugs 1 erfasst, einen Gyro- bzw. Kreiselsensor, der die Wendegeschwindigkeit (die Winkelgeschwindigkeit) des Fahrzeugs 1 erfasst, und dergleichen. Der Fortbewegungszustandssensor 306 gibt den erfassten Fortbewegungszustand zu dem fahrzeugseitigen Netzwerk 350 aus.
  • Das Steuergerät 310 ist ein Gerät, das verschiedene in dem Fahrzeug 1 vorgesehene Systeme umfassend steuert. Obwohl Details nachstehend beschrieben werden, umfasst das Steuergerät 310 gemäß dem Ausführungsbeispiel eine Funktion eines Schätzens eines Kameraparameters einschließlich der tatsächlichen Installationslage (und der Installationshöhe) der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1 basierend auf durch die fahrzeugseitige Kamera 15 erlangter Information, und eines Ausführens einer Kalibrierung einschließlich einer Optikachsenkorrektur der fahrzeugseitigen Kamera 15 basierend auf dem Schätzergebnis.
  • Insbesondere ist das Steuergerät 310 als eine elektronische Steuereinheit (ECU) eingerichtet, die eine Zentralverarbeitungseinheit (CPU) 310a, einen Nur-LeseSpeicher (ROM) 310b, einen Lese-Schreib-Speicher (RAM) 310c, ein Festkörperlaufwerk (SSD) 310d, eine Anzeigesteuereinheit 310e, und eine Stimmensteuereinheit bzw. Sprachsteuereinheit 310f umfasst.
  • Die CPU 310a ist ein Hardwareprozessor, der das Steuergerät 310 umfassend steuert. Die CPU 310a liest verschiedene Steuerprogramme (Computerprogramme), die in dem ROM 310b und dergleichen gespeichert sind, und realisiert verschiedene Funktionen gemäß in den entsprechenden verschiedenen Steuerprogrammen definierten Anweisungen. Die verschiedenen Steuerprogramme umfassen ein Passagierüberwachungsprogramm zur Realisierung eines Passagierüberwachungsprozesses bzw. Passag iermon itorprozesses.
  • Der ROM 310b ist ein Nichtflüchtig-Hauptspeichergerät, das Parameter und dergleichen speichert, die zur Ausführung der vorstehend beschriebenen verschiedenen Steuerprogramme benötigt werden.
  • Der RAM 310c ist ein Flüchtig-Hauptspeichergerät, das einen Arbeitsbereich der CPU 310a bereitstellt.
  • Das SSD 310d ist ein wiederbeschreibbares nichtflüchtiges Hilfsspeichergerät. Bei dem Steuergerät 310 gemäß dem Ausführungsbeispiel kann als das Hilfsspeichergerät ein Festplattenlaufwerk (HDD) anstelle des SSD 310d (oder zusätzlich zu dem SSD 310d) bereitgestellt sein.
  • Die Anzeigesteuereinheit 310e ist hauptsächlich für eine Bildverarbeitung bezüglich eines aufgenommenen Bildes, das von der fahrzeugseitigen Kamera 15 erlangt ist, eine Erzeugung von Bilddaten, die zu der Anzeigeeinheit 8 des Monitorgeräts 11 auszugeben sind, und dergleichen unter verschiedenen durch das Steuergerät 310 ausführbaren Verarbeitungen verantwortlich.
  • Die Stimmensteuereinheit bzw. Sprachsteuereinheit 310f ist hauptsächlich für eine Erzeugung von Stimmdaten bzw. Sprachdaten, die zu der Stimmenausgabeeinheit bzw. Sprachausgabeeinheiten 9 des Monitorgeräts 11 auszugeben sind, und dergleichen unter verschiedenen durch das Steuergerät 310 ausführbaren Verarbeitungen verantwortlich.
  • Das fahrzeugseitige Netzwerk 350 verbindet das Bremssystem 301, das Beschleunigungssystem 302, das Lenksystem 303, das Getriebesystem 304, den Hindernissensor 305, den Fortbewegungszustandssensor 306, die Bedienungseingabeeinheit 10 des Monitorgeräts 11, und das Steuergerät 310 miteinander auf eine Kommunikation verfügbar machende Weise.
  • Derweil ist gewöhnlich eine Technologie bekannt, bei der basierend auf einem aufgenommenen Bild, das durch Bildgebung einer auf einer Straßenoberfläche eingesetzten spezifischen Straßenoberflächenmarkierung unter Verwendung einer bei einem Fahrzeug montierten Umgebungsüberwachungskamera wie die vorstehend beschriebene fahrzeugseitige Kamera 15 erlangt ist, grafische Merkmale der entsprechenden spezifischen Straßenoberflächenmarkierung erfasst werden, und dann basierend auf dem Erfassungsergebnis ein Kameraparameter einschließlich einer tatsächlichen Installationslage der Kamera in dem Fahrzeug geschätzt wird.
  • Jedoch wird, um den Kameraparameter durch die vorstehend beschriebene konventionelle Technologie zu schätzen, angenommen, dass die spezifische Straßenoberflächenmarkierung eingesetzt wird, und reguläre Daten, die grafische Merkmale der entsprechenden spezifischen Straßenoberflächenmarkierung repräsentieren, vorab gespeichert sind zum Abgleich mit den aus dem aufgenommenen Bild erfassten Merkmalen. Dieses verursacht einen Mangel an Flexibilität.
  • Daher wird bei dem Ausführungsbeispiel ein Kameraparameterschätzgerät 400 mit den folgenden Funktionen wie in 4 veranschaulicht bei dem Steuergerät 310 realisiert, so dass eine flexible Schätzung eines Kameraparameters unabhängig von der spezifischen Straßenoberflächenmarkierung realisiert werden kann.
  • 4 ist ein beispielhaftes schematisches Blockdiagramm, das Funktionen des Kameraparameterschätzgeräts 400 gemäß dem Ausführungsbeispiel veranschaulicht. Die in 4 veranschaulichten Funktionen werden bei dem Steuergerät 310 durch Kooperation von Software und Hardware realisiert. D.h., wenn die CPU 310a des Steuergeräts 310 ein vorbestimmtes Steuerprogramm (ein Kameraparameterschätzprogramm), das in dem ROM 310b und dergleichen gespeichert ist, liest und ausführt, werden die in 4 veranschaulichten Funktionen realisiert. Bei dem Ausführungsbeispiel kann zumindest ein Teil der in 4 veranschaulichten Funktionen durch dedizierte Hardware (Schaltkreis) realisiert werden.
  • Wie in 4 veranschaulicht umfasst das Kameraparameterschätzgerät 400 gemäß dem Ausführungsbeispiel eine Sensorinformationserlangungseinheit 401, eine Dreidimensionalinformationserlangungseinheit 402, eine Kamerapositionslageerlangungseinheit 403, eine Geradeausfortbewegungsbestimmungseinheit 404, eine Geradeausvektorberechnungseinheit bzw. Geradevektorberechnungseinheit 405, eine Wendebestimmungseinheit 406, eine Normalvektorberechnungseinheit 407, eine Orthogonalvektorberechnungseinheit 408, eine Kameraparameterschätzeinheit 409, und eine Korrektureinheit 410.
  • Die Geradeausfortbewegungsbestimmungseinheit bzw. Geradefortbewegungsbestimmungseinheit bzw. Geradelaufbestimmungseinheit 404 ist ein Beispiel einer ersten Bestimmungseinheit, und die Geradeausvektorberechnungseinheit bzw. Geradevektorberechnungseinheit 405 ist ein Beispiel einer ersten Vektorberechnungseinheit. Die Wendebestimmungseinheit 406 ist ein Beispiel einer zweiten Bestimmungseinheit, und die Normalvektorberechnungseinheit 407 ist ein Beispiel einer zweiten Vektorberechnungseinheit. Die Orthogonalvektorberechnungseinheit 408 ist ein Beispiel einer dritten Vektorberechnungseinheit.
  • Die Sensorinformationserlangungseinheit 401 erlangt Sensorinformation einschließlich der Ausgabe des Fortbewegungszustandssensors 306, der den Fortbewegungszustand des Fahrzeugs 1 erfasst. Aus solchen Sensorinformationen ist es möglich, beispielsweise eine Fortbewegungsdistanz (Bewegungsdistanz) des Fahrzeugs 1 zu berechnen.
  • Die Dreidimensionalinformationserlangungseinheit 402 erlangt Dreidimensionalinformation, die auf die Situation um das Fahrzeug 1 herum hinweist, die basierend auf einem durch die fahrzeugseitige Kamera 15 erlangten aufgenommenen Bild geschätzt ist. Die Dreidimensionalinformation umfasst eine (geschätzte) Dreidimensionalposition einer Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt. Es ist möglich, die Dreidimensionalinformation durch eine Bildverarbeitung unter Verwendung einer Vielzahl von aufgenommenen Bildern (in aufeinanderfolgenden Frames) wie beispielsweise Struktur-Aus-Bewegung (Structure-From-Motion), Visuelles SLAM (Visual-Slam), oder Visuelle Odometrie (Visual-Odometry) zu berechnen.
  • Die vorstehend beschriebene Bildverarbeitung zur Berechnung der Dreidimensionalinformation kann als eine Technik verwendet werden, die es dem Fahrzeug 1 ermöglicht, autonom eine Karte um die Fortbewegungsroute des Fahrzeugs 1 zu erzeugen. Daher kann in dem Ausführungsbeispiel die Dreidimensionalinformationserlangungseinheit 402 Dreidimensionalinformation durch Ausführung der vorstehend beschriebenen Bildverarbeitung selbst berechnen, oder kann durch eine Kartenerzeugungsfunktion, die separat von dem Kameraparameterschätzgerät 400 eingerichtet ist, berechnete Dreidimensionalinformation mittels einer Kommunikation und dergleichen erlangen.
  • Die Kamerapositionslageerlangungseinheit 403 erlangt die (geschätzte) Position und Lage der fahrzeugseitigen Kamera 15, die basierend auf einem durch die fahrzeugseitige Kamera 15 erlangten aufgenommenen Bild geschätzt sind. Vergleichbar zu der vorstehend beschriebenen Dreidimensionalinformation ist es möglich, die geschätzte Position und Lage der fahrzeugseitigen Kamera 15 mittels einer Bildverarbeitung unter Verwendung einer Vielzahl von aufgenommenen Bildern zu berechnen. Daher kann vergleichbar mit der vorstehend beschriebenen Dreidimensionalinformation die geschätzte Position und Lage der fahrzeugseitigen Kamera 15 durch die Kamerapositionslageerlangungseinheit 403 selbst berechnet werden, oder kann durch eine Kartenerzeugungsfunktion berechnet werden, die separat von dem Kameraparameterschätzgerät 400 eingerichtet ist.
  • Derweil ist die vorstehend beschriebene Bildverarbeitung unter Verwendung der Vielzahl von aufgenommenen Bildern grundsätzlich eine Technik zur Erlangung einer relativen Positionsbeziehung zwischen der fahrzeugseitigen Kamera 15 und einem anderen Objekt. D.h., es ist nicht möglich, die Absolutposition und -lage der fahrzeugseitigen Kamera 15 selbst nur durch die vorstehend beschriebene Bildverarbeitung zu erlangen. Daher sind die geschätzte Position und Lage der fahrzeugseitigen Kamera 15, die durch die Kamerapositionslageerlangungseinheit 403 erlangt sind, keine (absolute) Information entsprechend der realen Welt, sondern sind lediglich Information basierend auf einem Kamerakoordinatensystem (siehe nachstehend zu beschreibende 5), das für die fahrzeugseitige Kamera 15 eingestellt ist.
  • Derweil ist bei einer Kalibrierung der fahrzeugseitigen Kamera 15 zu bemerkende bzw. zu beachtende Information ein Kameraparameter einschließlich der tatsächlichen (d.h., entsprechend der realen Welt absoluten) Installationsposition und Installationslage der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1. Daher wird bei dem Ausführungsbeispiel, um den Kameraparameter zu erlangen, benötigt, Information, die auf dem Kamerakoordinatensystem basiert und durch die vorstehend beschriebene Bildverarbeitung erlangt ist, in Information zu konvertieren bzw. umzuwandeln basierend auf einem Koordinatensystem entsprechend der realen Welt, beispielsweise einem Fahrzeugkoordinatensystem, das mit der Richtung des Fahrzeugs 1 (siehe nachstehend zu beschreibende 5) in Übereinstimmung gebracht ist.
  • Hierbei werden die vorstehend beschriebenen zwei Arten von Koordinatensystemen kurz beschrieben. 5 ist eine beispielhafte schematische Ansicht, die ein Beispiel eines Kamerakoordinatensystems und eines Fahrzeugkoordinatensystems gemäß dem Ausführungsbeispiel veranschaulicht. Bei dem in 5 veranschaulichten Beispiel ist der Bequemlichkeit halber die fahrzeugseitige Kamera 15, die in dem Fahrzeug 1 vorgesehen ist, ausdrücklich veranschaulicht.
  • Bei dem in 5 veranschaulichten Beispiel entspricht ein Koordinatensystem CS1 mit drei Achsen Ax11 bis Ax13 orthogonal zueinander einem Kamerakoordinatensystem, das für die fahrzeugseitige Kamera 15a eingestellt ist. Mittels der vorstehend beschriebenen Bildverarbeitung basierend auf einer Vielzahl von aufgenommenen Bildern, die durch die fahrzeugseitige Kamera 15a erlangt sind, ist es möglich, die Position und die Lage der fahrzeugseitigen Kamera 15a in dem Koordinatensystem CS1 zu schätzen. In dem Koordinatensystem CS1 ist es möglich, die Position durch drei Komponenten entsprechend der Achsen Ax11 bis Ax13 jeweils zu repräsentieren, und es ist möglich, die Lage als drei Rotationswinkel um die Achsen Ax11 bis Ax13 zu repräsentieren.
  • Beispielsweise wird, wenn der Ursprung des Koordinatensystems CS1 als das Kamerakoordinatensystem als eine Position repräsentiert ist, bei der die fahrzeugseitige Kamera 15a zu einer vorbestimmten Zeit existiert, die Achse Ax11 als die optische Achse der fahrzeugseitigen Kamera 15a zu der entsprechenden vorbestimmten Zeit repräsentiert, die Achse Ax12 als eine Achse, die senkrecht zu der optischen Achse liegt und sich in einer Richtung entsprechend der Vertikalrichtung (Hoch-Runter-Richtung) eines aufgenommenen Bildes erstreckt, repräsentiert, und die Achse Ax13 als eine Achse, die senkrecht zu der optischen Achse liegt und sich in einer Richtung entsprechend der horizontalen Richtung (Links-Rechts-Richtung) des aufgenommenen Bildes erstreckt, repräsentiert.
  • Bei dem in 5 veranschaulichten Beispiel ist nur das für die fahrzeugseitige Kamera 15a eingestellte Koordinatensystem CS1 als das Kamerakoordinatensystem veranschaulicht, jedoch muss nicht dazu gesagt werden, dass ein spezifisches Kamerakoordinatensystem auch für jede von anderen fahrzeugseitigen Kameras 15b bis 15d eingestellt ist. Die für andere fahrzeugseitige Kameras 15b bis 15d jeweils eingestellten Kamerakoordinatensysteme sind der Einfachheit halber bei der Veranschaulichung weggelassen.
  • Derweil entspricht in dem in 5 veranschaulichten Beispiel ein Koordinatensystem CS0 mit drei Achsen Ax1 bis Ax3 senkrecht zueinander einem Fahrzeugkoordinatensystem basierend auf dem Fahrzeug 1. Beispielsweise entspricht die Achse Ax1 der Vorn-Hinten-Richtung (Fortbewegungsrichtung) des Fahrzeugs 1, die Achse Ax2 entspricht der Hoch-Runter-Richtung (Vertikalrichtung) des Fahrzeugs 1, und die Achse Ax3 entspricht der Links-Rechts-Richtung (Breitenrichtung) des Fahrzeugs 1.
  • Bei dem in 5 veranschaulichten Beispiel ist die Richtung der Achse Ax1 in dem Koordinatensystem CS0 entgegengesetzt zu der Richtung der Achse Ax11 in dem Koordinatensystem CS1, und die Richtungen der Achse Ax2 und der Achse Ax3 in dem Koordinatensystem CS0 stimmen mit den Richtungen der Achse Ax12 und der Achse Ax13 in dem Koordinatensystem CS1 jeweils überein in der Veranschaulichung, jedoch ist dies lediglich ein Beispiel. Bei dem Ausführungsbeispiel muss die Beziehung zwischen den Achsen Ax1 bis Ax3 des Koordinatensystems CS0 und den Achsen Ax11 bis Ax13 des Koordinatensystems CS1 nicht notwendigerweise die in 5 veranschaulichte Beziehung sein.
  • Auf diese Weise wird, da das Fahrzeugkoordinatensystem und das Kamerakoordinatensystem Dreidimensionalkoordinatensysteme mit verschiedenen Ursprüngen und verschiedenen Koordinatenachsen sind, eine Kalibrierung benötigt, wann immer die Position und die Lage der fahrzeugseitigen Kamera 15a abgelenkt bzw. abgewichen werden.
  • Hier können, wenn es möglich ist, die Richtung jeder der Achsen Ax1 bis Ax3 in dem Koordinatensystem CS0 als das Fahrzeugkoordinatensystem als ein Vektor in dem Koordinatensystem CS1 als das Kamerakoordinatensystem zu erlangen, die Lage der fahrzeugseitigen Kamera 15a in dem Kamerakoordinatensystem in die Lage der fahrzeugseitigen Kamera 15a in dem Fahrzeugkoordinatensystem umgewandelt bzw. konvertiert werden. Daher wird bei dem Ausführungsbeispiel mittels eines wie nachstehend beschriebenen Verfahrens die Richtung jeder der Achsen Ax1 bis Ax3 in dem Koordinatensystem CS0 als das Fahrzeugkoordinatensystem als ein Vektor in dem Koordinatensystem CS1 als das Kamerakoordinatensystem erlangt.
  • Wie in der folgenden Beschreibung klar wird, ist diese Technik in dem Ausführungsbeispiel keine Technik einer Erlangung des Ursprungs des Fahrzeugkoordinatensystems. D.h., die Technik des Ausführungsbeispiels ist eine Technik eines Erlangens der tatsächlichen Installationsposition der fahrzeugseitigen Kamera 15a in dem Fahrzeug 1 als ein Kameraparameter durch Spezifizierung nur der Richtungen der drei Achsen in dem Fahrzeugkoordinatensystem ohne Spezifizierung aller aus dem Ursprung und den Richtungen der drei Achsen in dem Fahrzeugkoordinatensystem.
  • Bezugnehmend auf 4 bestimmt die Geradefortbewegungsbestimmungseinheit 404, ob sich das Fahrzeug 1 gerade bzw. geradeaus fortbewegt hat basierend darauf, ob der Übergang bzw. die Transition der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch eine gerade Linie angenäherte bzw. approximierte Verteilung zeigt bzw. aufweist. Dann berechnet die Geradevektorberechnungseinheit bzw. Geradeausvektorberechnungseinheit 405 einen Geradevektor bzw. Geradeausvektor entsprechend der Fortbewegungsrichtung des Fahrzeugs 1 in dem Kamerakoordinatensystem basierend auf dem Übergang der geschätzten Position der fahrzeugseitigen Kamera 15, wenn sich das Fahrzeug gerade fortbewegt, d.h., die gerade Linie, die den Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 in einem Abschnitt approximiert, für den die Geradefortbewegungsbestimmungseinheit 404 bestimmt hat, dass sich das Fahrzeug 1 gerade bzw. geradeaus fortbewegt hat. Der Geradevektor ist ein Beispiel eines ersten Vektors und entspricht der Richtung der Achse Ax1 wie in 5 veranschaulicht.
  • 6 ist eine beispielhafte schematische Ansicht, die ein Geradevektorberechnungsverfahren bzw. Geradeausvektorberechnungsverfahren gemäß dem Ausführungsbeispiel veranschaulicht. Das in 6 veranschaulichte Beispiel repräsentiert eine Situation, in der die geschätzte Position der fahrzeugseitigen Kamera 15 in dem Kamerakoordinatensystem sich zu einer Position P65 von einer Position P61 durch Positionen P62 bis P64 verschoben hat.
  • Bei dem in 6 veranschaulichten Beispiel kann, da der Übergang von der Position P61 zu der Position P65 gut auf eine gerade Linie SL60 passt, gesagt werden, dass eine durch die gerade Linie SL60 approximiert Verteilung gezeigt ist bzw. sich darstellt. Daher wird bei dem in 6 veranschaulichten Beispiel ein Vektor V60 entsprechend einer Richtung, in der sich die gerade Linie SL60 erstreckt, als ein Geradevektor berechnet. Es ist möglich, konventionell bekannte verschiedene Suchverfahren bei der Suche der geraden Linie SL60 anzuwenden.
  • Derweil kann, wenn die Anzahl von Punkten als ein Ziel einer Linearapproximation gering ist, die Genauigkeit der erlangten geraden Linie nicht garantiert werden. D.h., um genau zu bestimmen, dass sich das Fahrzeug 1 gerade fortbewegt hat, ist es wünschenswert, den Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 in dem Kamerakoordinatensystem um eine vorbestimmte Distanz oder mehr zu erlangen. Daher bestimmt bei dem Ausführungsbeispiel die Geradefortbewegungsbestimmungseinheit 404, ob sich das Fahrzeug 1 in einem vorbestimmten Abschnitt gerade fortbewegt hat basierend darauf, ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 in dem vorbestimmten Abschnitt mit einer Länge gleich wie oder größer als eine vorbestimmte Länge eine durch eine gerade Linie approximierte Verteilung zeigt bzw. aufweist.
  • Bei dem Ausführungsbeispiel ist die durch die Sensorinformationserlangungseinheit 401 erlangte Sensorinformation auch zur Bestimmung nützlich, ob sich das Fahrzeug 1 gerade bzw. geradeaus fortbewegt hat. Daher ist es in dem Ausführungsbeispiel auch möglich, dass die Geradefortbewegungsbestimmungseinheit 404 bestimmt, ob sich das Fahrzeug 1 gerade bzw. geradeaus fortbewegt hat, basierend auf zumindest einem aus ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch eine gerade Linie approximierte Verteilung zeigt bzw. aufweist, und der Sensorinformation. Die hier verwendete Sensorinformation ist beispielsweise ein Lenkwinkel der Räder 3, eine Gierwinkelgeschwindigkeit des Fahrzeugs 1, und dergleichen.
  • Bezugnehmend auf 4 bestimmt die Wendebestimmungseinheit 406, ob das Fahrzeug 1 gewendet hat (bzw. eine Kurve genommen hat) basierend darauf, ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch zwei gerade Linien, die sich in miteinander schneidenden Richtungen erstrecken und zumindest eine Kurve, die sich mit einer vorbestimmten Kurvigkeit bzw. Krümmung oder mehr zwischen den entsprechenden zwei Linien erstreckt, approximierte Verteilung zeigt bzw. aufweist. Der Grund dafür, dass eine Kurvigkeit bzw. Krümmung gleich wie oder größer als eine vorbestimmte Krümmung benötigt wird, ist jener, dass nur der Fall, in dem die Fortbewegungsrichtung des Fahrzeugs 1 sich gewissermaßen stark geändert hat, als ein Wenden bzw. ein Kurvenehmen bzw. ein Abbiegen bzw. ein Kehren des Fahrzeugs 1 berücksichtigt wird.
  • Dann berechnet die Normalvektorberechnungseinheit 407 eine Normalvektor entsprechend der Normalrichtung einer Ebene entsprechend, in dem Kamerakoordinatensystem, der Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, basierend auf dem Übergang der geschätzten Position der fahrzeugseitigen Kamera 15, wenn das Fahrzeug wendet, d.h., zumindest zweier gerader Linien, die den Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 in einem Abschnitt, für den die Wendebestimmungseinheit 406 bestimmt hat, dass das Fahrzeug 1 gewendet hat, approximieren. Der Normalvektor ist ein Beispiel eines zweiten Vektors und entspricht der Richtung der Achse Ax2 wie in 5 veranschaulicht.
  • 7 ist eine beispielhafte schematische Ansicht, die ein Normalvektorberechnungsverfahren gemäß dem Ausführungsbeispiel veranschaulicht. Das in 7 veranschaulichte Beispiel repräsentiert eine Situation, in der die geschätzte Position der fahrzeugseitigen Kamera 15 in dem Kamerakoordinatensystem zu einer Position P725 von einer Position P711 durch Positionen P712 bis P724 im Wesentlichen entlang einer Ebene P70 verschoben ist.
  • Bei dem in 7 veranschaulichten Beispiel passt der Übergang von der Position P711 zu der Position P716 gut auf eine gerade Linie SL71, der Übergang von der Position P716 zu der Position P720 passt gut zu einer Kurve CL70, und der Übergang von der Position P720 zu der Position P725 passt gut zu einer geraden Linie SL72. Daher kann gesagt werden, dass der Übergang von der Position P711 zu der Position P725 eine durch die zwei geraden Linien SL71 und SL72, die sich in Richtungen erstrecken, die einander schneiden, und die Kurve CL70, die sich zwischen den entsprechenden zwei geraden Linien SL71 und SL72 erstreckt, approximierte bzw. angenäherte Verteilung zeigt bzw. aufweist.
  • Bei dem in 7 veranschaulichten Beispiel ist es möglich, konventionell bekannte verschiedene Verfahren bei der Suche der geraden Linien SL71 und SL72 und der Suche der Kurve CL70 zu verwenden. Bei dem in 7 veranschaulichten Beispiel wird, obwohl die gerade Linie SL71, die Kurve CL70, und die gerade Linie SL72 kontinuierlich verbunden sind, auch ein Fall angenommen, in dem diese drei Linien nicht verbunden sind. Ferner wird bei dem in 7 veranschaulichten Beispiel der Einfachheit halber in der Beschreibung, obwohl es keine Kurve verschieden von der Kurve CL70 gibt, in dem Ausführungsbeispiel auch ein Fall angenommen, in dem eine oder mehrere Kurven zusätzlich zu der Kurve CL70 existieren.
  • Hierbei zeigen der Übergang von der Position P711 zu der Position P716, die durch die gerade Linie SL71 approximiert ist, der Übergang von der Position P720 zu der Position P725, der durch die gerade Linie SL72 approximiert ist, und der Übergang von P716 zu P720, der durch die Kurve CL70 approximiert ist, eine Verteilung, die gut auf die gleiche Ebene P70 passt bzw. auf diese angewendet ist. D.h., bei dem Beispiel, das in 7 veranschaulicht ist, sind die zumindest zwei geraden Linien SL71 und SL72 auf derselben Ebene P70 angeordnet. D.h., dass die Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, während es wendet, eine flache Oberfläche ist, die keinen Gradienten aufweist und im Wesentlichen parallel zu der Ebene P70 ist.
  • Daher wird bei dem in 7 veranschaulichten Beispiel ein Vektor V70 entsprechend der Normalrichtung der Ebene P70, die basierend auf den zumindest zwei geraden Linien SL71 und SL72 spezifiziert ist, als ein Normalvektor berechnet. Unter der Annahme, dass die zwei geraden Linien SL71 und SL72 auf derselben Ebene P70 angeordnet sind, ist es möglich, den Normalvektor als den Vektor V70 orthogonal zu einem Vektor V71 entsprechend der Richtung, in der sich die gerade Linie SL71 erstreckt, und zu einem Vektor V72 entsprechend der Richtung, in der sich die gerade Linie SL72 erstreckt, leicht zu berechnen, ohne die Ebene P70 selbst zu spezifizieren.
  • Obwohl eine Veranschaulichung weggelassen ist, tritt bei dem Ausführungsbeispiel selbst in einem Fall, in dem der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch zwei gerade Linien und zumindest eine Kurve approximierte bzw. angenäherte Verteilung zeigt bzw. aufweist, wenn die Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, einen Gradienten aufweist, eine Situation auf, in der die zwei geraden Linien (und die zumindest eine Kurve) nicht auf derselben Ebene angeordnet sind. In einer solchen Situation ist es, da es schwierig ist, eine Ebene im Wesentlichen parallel zu der Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, zu spezifizieren, schwierig, einen Normalvektor zu berechnen. Daher wird, um leicht den Normalvektor zu berechnen, zusätzlich zu der Bedingung, dass der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch zwei gerade Linien und zumindest eine Kurve approximierte Verteilung zeigt bzw. aufweist, auch eine Bedingung, dass die Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, keinen Gradienten aufweist, d.h., eine Bedingung, dass der Positionsübergang der fahrzeugseitigen Kamera 15 eine durch eine Ebene angenäherte bzw. approximierte Verteilung zeigt bzw. aufweist, benötigt.
  • Daher bestimmt bei dem Ausführungsbeispiel die Wendebestimmungseinheit 406, ob das Fahrzeug 1 gewendet hat basierend darauf, ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch eine Ebene entsprechend zweier gerader Linien approximierte Verteilung zeigt bzw. aufweist, sowie ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch zwei gerade Linien und zumindest eine Kurve approximierte Verteilung zeigt bzw. aufweist. Dann berechnet die Normalvektorberechnungseinheit 407 einen Vektor entsprechend der Normalrichtung der entsprechenden einen Ebene als ein Normalvektor bzw. Normalenvektor.
  • Auf diese Weise kann bei dem Ausführungsbeispiel der Normalenvektor der Straßenoberfläche in der realen Welt als Information basierend auf dem Kamerakoordinatensystem berechnet werden. D.h., in dem Kamerakoordinatensystem kann die Achse Ax2 (die Hoch-Runter-Richtung des Fahrzeugs 1) in dem Fahrzeugkoordinatensystem spezifiziert werden.
  • Hierbei zeigt in dem in 7 veranschaulichten Beispiel wie vorstehend beschrieben der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine Verteilung, die gut zu der gleichen Ebene P70 für alle aus einem durch die gerade Linie SL71 approximierten Abschnitt, einem durch die Kurve CL70 approximierten Abschnitt, und einen durch die gerade Linie SL72 approximierten Abschnitt passt. Jedoch ist grundsätzlich wahrscheinlich, dass während eines Wendens des Fahrzeugs 1, wenn sich die Fortbewegungsrichtung des Fahrzeugs 1 ändert, die Zuverlässigkeit der geschätzten Position der fahrzeugseitigen Kamera 15 aufgrund des Einflusses der Vertikal-G und dergleichen reduziert ist verglichen damit, wenn die Fortbewegungsrichtung sich vor und nach dem Wenden nicht ändert.
  • Daher ist bei dem in 7 veranschaulichten Beispiel in einigen Fällen Information in dem durch die Kurve CL70 approximierten Abschnitt weniger zuverlässig als Information in den durch die geraden Linien SL71 und SL72 approximierten Abschnitten. Daher ist es bei dem Ausführungsbeispiel, wenn eine Ebene als ein Kriterium einer Bestimmung, ob das Fahrzeug 1 gewendet hat, spezifiziert ist, wünschenswert, die geschätzte Position der fahrzeugseitigen Kamera 15, die erlangt ist, wenn sich die Fortbewegungsrichtung des Fahrzeugs 1 ändert, von einer Berücksichtigung auszuschließen.
  • Daher bestimmt bei dem Ausführungsbeispiel die Wendebestimmungseinheit 406, ob das Fahrzeug 1 gewendet hat basierend darauf, ob zweite Abschnitte durch eine Ebene approximiert sind. Die zweiten Abschnitte entsprechen der Zeit, wenn die Fortbewegungsrichtung des Fahrzeugs 1 sich nicht ändert unter verbleibenden Abschnitten in dem Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 abgesehen von einem ersten Abschnitt entsprechend der Zeit, wenn die Fortbewegungsrichtung des Fahrzeugs 1 sich ändert. Beispielsweise ist in dem in 7 veranschaulichten Beispiel der erste Abschnitt Information des durch die Kurve CL70 approximierten Abschnitts, und die zweiten Abschnitte sind Information der durch die geraden Linien SL71 und SL72 approximierten Abschnitte.
  • Ferner ist es bei dem Ausführungsbeispiel vergleichbar zu einer Bestimmung, ob sich das Fahrzeug 1 geradeaus fortbewegt hat, möglich, die durch die Sensorinformationserlangungseinheit 401 erlangte Sensorinformation bei einer Bestimmung, ob das Fahrzeug 1 gewendet hat, zu verwenden. Daher ist es bei dem Ausführungsbeispiel möglich, dass die Wendebestimmungseinheit 406 bestimmt, ob das Fahrzeug 1 gewendet hat, basierend auf zumindest einem aus ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch zwei gerade Linien und zumindest eine Kurve approximierte Verteilung zeigt bzw. aufweist, und der Sensorinformation.
  • Bezugnehmend auf 4 berechnet die Orthogonalvektorberechnungseinheit 408 einen Orthogonalvektor orthogonal zu dem Geradevektor, der durch die Geradevektorberechnungseinheit 405 berechnet ist, und dem Normalvektor, der durch die Normalvektorberechnungseinheit 407 berechnet ist, in dem Kamerakoordinatensystem. Der Orthogonalvektor ist ein Beispiel eines dritten Vektors und entspricht der Richtung der Achse Ax3, die in 5 veranschaulicht ist.
  • 8 ist eine beispielhafte schematische Ansicht, die ein Orthogonalvektorberechnungsverfahren gemäß dem Ausführungsbeispiel veranschaulicht. Da der Orthogonalvektor ein Vektor orthogonal zu dem Geradevektor und dem Normalvektor ist, ist, wenn es möglich ist, den Geradevektor und den Normalvektor zu berechnen, eine leichte Berechnung mittels eines Vektorprodukts und dergleichen möglich. Beispielsweise wird bei dem in 8 veranschaulichten Beispiel unter der Annahme, dass ein Vektor V81 als der Geradevektor berechnet wird, und ein Vektor V82 als der Normalvektor berechnet wird, der Orthogonalvektor als ein Vektor V83 berechnet.
  • Gemäß den vorstehend beschriebenen drei Vektoren (dem Geradevektor, dem Normalvektor, und dem Orthogonalvektor) ist es möglich, die geschätzte Lage der fahrzeugseitigen Kamera 15 in dem Kamerakoordinatensystem in die tatsächliche Installationslage der fahrzeugseitigen Kamera 15 in dem Fahrzeugkoordinatensystem basierend auf der Richtung des Fahrzeugs 1 umzuwandeln bzw. zu konvertieren.
  • Das heißt, unter Bezugnahme auf 4 schätzt die Kameraparameterschätzeinheit 409 die tatsächliche Installationslage der Kamera in dem Fahrzeug 1 als einen Kameraparameter zur Kalibrierung basierend auf dem durch die Geradevektorberechnungseinheit 405 berechneten Geradevektor, dem durch die Normalvektorberechnungseinheit 407 berechneten Normalvektor, dem durch die Orthogonalvektorberechnungseinheit 408 berechneten Orthogonalvektor, und der geschätzten Lage der fahrzeugseitigen Kamera 15 zu dem Zeitpunkt, wenn der Geradevektor berechnet wird. Die geschätzte Lage der fahrzeugseitigen Kamera 15, die hierbei berücksichtigt wird, muss nicht eine zu dem Zeitpunkt sein, wenn der Geradevektor berechnet wird, solange die geschätzte Position der fahrzeugseitigen Kamera 15 sich entlang der durch den Geradevektor indizierten Richtung bewegt.
  • Derweil umfasst wie vorstehend beschrieben der bei einer Kalibrierung der fahrzeugseitigen Kamera 15 zu bemerkende bzw. zu beachtende Kameraparameter nicht nur die Installationslage der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1 sondern auch die Installationsposition der fahrzeugseitigen Kamera. Insbesondere hat die Installationshöhe bei der Installationsposition der fahrzeugseitigen Kamera 15 einen Einfluss auf die Genauigkeit der Erfassung einer Distanz zu einem in dem aufgenommenen Bild wiedergegebenen Objekt und dergleichen und ist daher ein wichtiger Parameter.
  • Daher schätzt bei dem Ausführungsbeispiel mittels eines nachstehend beschriebenen Verfahrens die Kameraparameterschätzeinheit 409 die tatsächliche Installationshöhe der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1 als den Kameraparameter.
  • Insbesondere erlangt zuerst die Kameraparameterschätzeinheit 409 die Dreidimensionalposition der Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, aus der durch die Dreidimensionalinformationserlangungseinheit 402 erlangten Dreidimensionalinformation.
  • Hierbei wird wie vorstehend beschrieben die Dreidimensionalinformation durch die Bildverarbeitung unter Verwendung der Vielzahl von aufgenommenen Bildern berechnet, und daher ist die Dreidimensionalposition der Straßenoberfläche Information basierend auf dem Kamerakoordinatensystem. Daher ist es möglich, die Installationshöhe der fahrzeugseitigen Kamera 15 bezüglich der Straßenoberfläche in dem Kamerakoordinatensystem zu erlangen durch Berücksichtigung der Dreidimensionalposition der Straßenoberfläche und der Höhenkomponente in die geschätzte Position der fahrzeugseitigen Kamera 15 repräsentierender Information in dem Kamerakoordinatensystem, wobei die geschätzte Position durch die Kamerapositionslageerlangungseinheit 403 erlangt ist.
  • Daher wird, wie vorstehend beschrieben, da das Kamerakoordinatensystem keine Absolutinformation entsprechend der realen Welt ist, benötigt, die Skala bzw. den Maßstab in dem Kamerakoordinatensystem mit der Skala bzw. dem Maßstab in der realen Welt durch jegliche Verfahren zu verknüpfen.
  • Daher konzentriert sich das Ausführungsbeispiel auf die Beziehung zwischen der Fortbewegungsdistanz des Fahrzeugs 1, die basierend auf der durch die Sensorinformationserlangungseinheit 401 erlangten Sensorinformation spezifiziert ist, und dem Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 in dem Abschnitt entsprechend der entsprechenden Fortbewegungsdistanz. D.h., Ersteres ist Information entsprechend der realen Wert, und Letzteres ist Information entsprechend des Kamerakoordinatensystems. Jedoch ist es, da beide die Information mit den gleichen Inhalten zeigen können, möglich, die Installationshöhe der fahrzeugseitigen Kamera 15 bezüglich der Straßenoberfläche in dem Kamerakoordinatensystem in die tatsächliche Installationshöhe der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1 in der realen Welt durch Konzentration bzw. Schwerpunktlegung auf die Beziehung zwischen den beiden umzuwandeln bzw. zu konvertieren.
  • Daher schätzt bei dem Ausführungsbeispiel die Kameraparameterschätzeinheit 409 die tatsächliche Installationshöhe der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1 als den Kameraparameter basierend auf der Fortbewegungsdistanz des Fahrzeugs 1, die basierend auf der durch die Sensorinformationserlangungseinheit 401 erlangten Sensorinformation spezifiziert ist, dem Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 in dem Abschnitt bzw. der Sektion entsprechend der entsprechenden Fortbewegungsdistanz, und der geschätzten Dreidimensionalposition der Straßenoberfläche, die in der Dreidimensionalinformation enthalten ist.
  • Bei dem Ausführungsbeispiel führt die Korrektureinheit 410 eine Kalibrierung der fahrzeugseitigen Kamera 15 einschließlich einer Optikachsenkorrektur und dergleichen basierend auf dem durch die Kameraparameterschätzeinheit 409 geschätzten Kameraparameter aus.
  • Die Kalibrierung durch die Korrektureinheit 410 kann basierend auf dem letzten Kameraparameter ausgeführt werden wann immer der Kameraparameter neu geschätzt wird, oder kann nur ausgeführt werden, wenn bestimmt wird, dass Kalibrierung notwendig ist, unter vorbestimmten Kriterien. In dem letzten Fall kann beispielsweise die Korrektureinheit 410 die Abweichung bei Kameraparameterschätzergebnissen, die über eine Vielzahl von Zeiten bzw. Malen akkumuliert bzw. angesammelt sind, basierend auf einer Statistik wie einer Varianz, berechnen, und kann ändern, ob die Kalibrierung auszuführen ist oder nicht basierend darauf, ob der Pegel der entsprechenden Abweichung geringer als ein vorbestimmter Pegel ist, und ob eine Differenz zwischen dem Kameraparameterschätzergebnis und dem gegenwärtigen Kameraparameter gleich wie oder größer als ein vorbestimmter Wert ist.
  • Nachstehend werden Beschreibungen bezüglich eines durch das Kameraparameterschätzgerät 400 gemäß dem Ausführungsbeispiel ausgeführten Prozesses unter Bezugnahme auf 9 bis 11 gemacht.
  • 9 ist ein beispielhaftes schematisches Flussdiagramm, das einen Prozess veranschaulicht, der ausgeführt wird, wenn das Kameraparameterschätzgerät 400 gemäß dem Ausführungsbeispiel eine Installationslage der fahrzeugseitigen Kamera 15 als einen Kameraparameter schätzt.
  • Wie in 9 veranschaulicht erlangt bei dem Ausführungsbeispiel zuerst in Schritt S901 die Sensorinformationserlangungseinheit 401 Sensorinformation einschließlich der Ausgabe des Fortbewegungszustandssensors 306, der den Fortbewegungszustand des Fahrzeugs 1 erfasst.
  • Dann erlangt in S902 die Kamerapositionslageerlangungseinheit 403 die geschätzte Position und Lage der fahrzeugseitigen Kamera 15 in dem Kamerakoordinatensystem, das für die fahrzeugseitige Kamera 15 eingestellt ist. Dann bestimmt in S903 das Kameraparameterschätzgerät 400 (beispielsweise die Wendebestimmungseinheit 406), ob ein Geradevektor bzw. Geradeausvektor bereits berechnet wurde.
  • In S903 schreitet, wenn bestimmt ist, dass der Geradevektor noch nicht berechnet wurde, der Prozess zu S904 fort. Dann bestimmt in S904 die Geradefortbewegungsbestimmungseinheit 404, ob es möglich ist, den Geradevektor zu berechnen, d.h., ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15, die in S902 erlangt ist, eine durch eine gerade Linie approximierte Verteilung zeigt bzw. aufweist.
  • In S904 kehrt, wenn bestimmt ist, dass es nicht möglich ist, den Geradevektor zu berechnen, der Prozess zu S901 zurück. Jedoch schreitet in S904, wenn bestimmt ist, dass es möglich ist, den Geradevektor zu berechnen, der Prozess zu S905 fort.
  • In S905 berechnet die Geradevektorberechnungseinheit 405 den Geradevektor entsprechend der Vorn-Hinten-Richtung (Fortbewegungsrichtung) des Fahrzeugs 1. Insbesondere berechnet die Geradevektorberechnungseinheit 405 einen Vektor entsprechend der Richtung der geraden Linie, die den Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 approximiert, als den Geradevektor. Dann kehrt der Prozess zu S901 zurück.
  • Derweil schreitet in S903, wenn bestimmt ist, dass der Geradevektor bereits berechnet wurde, der Prozess zu S906 fort. D.h., in S906 bestimmt die Wendebestimmungseinheit 406, ob es möglich ist, einen normalen Vektor zu berechnen, d.h., ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera, die in S902 erlangt ist, eine Verteilung zeigt bzw. aufweist, die durch zwei gerade Linien und zumindest eine Kurve approximiert ist und durch eine Ebene entsprechend der entsprechenden zwei geraden Linien approximiert ist.
  • In S906 kehrt, wenn bestimmt ist, dass es nicht möglich ist, den Normalvektor zu berechnen, der Prozess zu S901 zurück. Jedoch schreitet in S906, wenn bestimmt ist, dass es möglich ist, den Normalvektor zu berechnen, der Prozess zu S907 fort.
  • In S907 berechnet die Normalvektorberechnungseinheit 407 den Normalvektor entsprechend der Hoch-Runter-Richtung (Vertikalrichtung) des Fahrzeugs 1. Insbesondere berechnet die Normalvektorberechnungseinheit 407 einen Vektor entsprechend der Richtung orthogonal zu den zwei geraden Linien, die den Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 approximieren, d.h., einen Vektor entsprechend der Normalrichtung einer Ebene, die den Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 approximiert, als den Normalvektor bzw. Normalenvektor.
  • Dann berechnet in S908 die Orthogonalvektorberechnungseinheit 408 einen Orthogonalvektor entsprechend der Links-Rechts-Richtung (Breitenrichtung) des Fahrzeugs 1. Insbesondere berechnet die Orthogonalvektorberechnungseinheit 408 den Orthogonalvektor orthogonal zu dem Geradevektor und dem Normalvektor basierend auf einem Vektorprodukt und dergleichen des in S905 berechneten Geradevektors und des in S907 berechneten Normalvektors.
  • Dann schätzt in S909 die Kameraparameterschätzeinheit 409 eine tatsächliche Installationslage der fahrzeugseitigen Kamera 15 als den Kameraparameter. Insbesondere konvertiert die Kameraparameterschätzeinheit 409 die geschätzte Lage der fahrzeugseitigen Kamera 15, die in S902 erlangt ist, als Information basierend auf dem Kamerakoordinatensystem in Information basierend auf dem Fahrzeugkoordinatensystem entsprechend der realen Welt basierend auf dem in S905 berechneten Geradevektor, dem in S907 berechneten Normalvektor, und dem in S908 berechneten Orthogonalvektor. Dann wird der Prozess beendet.
  • 10 ist ein beispielhaftes schematisches Flussdiagramm, das einen Prozess veranschaulicht, der ausgeführt wird, wenn das Kameraparameterschätzgerät 400 gemäß dem Ausführungsbeispiel eine Installationshöhe der fahrzeugseitigen Kamera 15 als einen Kameraparameter schätzt.
  • Wie in 10 veranschaulicht erlangt bei dem Ausführungsbeispiel zuerst in S1001 die Sensorinformationserlangungseinheit 401 Sensorinformation einschließlich der Ausgabe des Fortbewegungszustandssensors 306, der den Fortbewegungszustand des Fahrzeugs 1 erfasst.
  • Dann erlangt in S1002 die Kamerapositionslageerlangungseinheit 403 die geschätzte Position der fahrzeugseitigen Kamera 15 in dem Kamerakoordinatensystem, das für die fahrzeugseitige Kamera 15 eingestellt ist.
  • Dann erlangt in S1003 die Dreidimensionalinformationserlangungseinheit 402 Dreidimensionalinformation, die die Situation um das Fahrzeug 1 herum indiziert, einschließlich einer (geschätzten) Dreidimensionalposition einer Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt. Wie vorstehend beschrieben ist wie die geschätzte Position der fahrzeugseitigen Kamera 15, die in S1002 erlangt ist, die Dreidimensionalinformation Information basierend auf dem Kamerakoordinatensystem.
  • Dann schätzt in S1004 die Kameraparameterschätzeinheit 409 eine tatsächliche Installationshöhe der fahrzeugseitigen Kamera 15 als den Kameraparameter. Insbesondere erlangt die Kameraparameterschätzeinheit 409 eine Installationshöhe der fahrzeugseitigen Kamera 15 bezüglich der Straßenoberfläche basierend auf der Höhenkomponente in der geschätzten Position der fahrzeugseitigen Kamera 15, die in S1002 erlangt ist, und der Dreidimensionalposition der Straßenoberfläche, die in der in S1003 erlangten Dreidimensionalinformation enthalten ist, als Information basierend auf dem Kamerakoordinatensystem. Dann erlangt die Kameraparameterschätzeinheit 409 die Beziehung zwischen der Fortbewegungsdistanz des Fahrzeugs 1 in der in S1001 erlangten Sensorinformation und dem Übergang bzw. Transition der geschätzten Position der fahrzeugseitigen Kamera 15, die in S1002 erlangt ist, und wandelt die Installationshöhe der fahrzeugseitigen Kamera 15 bezüglich der Straßenoberfläche in dem Kamerakoordinatensystem in die tatsächliche Installationshöhe der fahrzeugseitigen Kamera 15 in dem Fahrzeug in der realen Welt um basierend auf der entsprechenden Beziehung. Dann wird der Prozess beendet.
  • 11 ist ein beispielhaftes schematisches Flussdiagramm, das einen Prozess veranschaulicht, der ausgeführt wird, wenn das Kameraparameterschätzgerät 400 gemäß dem Ausführungsbeispiel eine Kalibrierung ausführt. Das in 11 veranschaulichte Flussdiagramm entspricht einem Beispiel, bei dem die Korrektureinheit 410 bestimmt, ob Kalibrierung notwendig ist, und die Kalibrierung, wenn notwendig, ausführt.
  • Wie in 11 veranschaulicht bestimmt bei dem Ausführungsbeispiel zuerst in S1101 die Korrektureinheit 410, ob eine Kalibrierung notwendig ist. Bei dieser Bestimmung wird beispielsweise eine Abweichung bezüglich Kameraparameterschätzergebnissen, die über eine Vielzahl von Malen akkumuliert sind, basierend auf einer Statistik wie einer Varianz berechnet, und dann wird die Kalibrierung basierend darauf ausgeführt, ob der Pegel der entsprechenden Abweichung geringer als ein vorbestimmter Pegel ist und ob eine Differenz zwischen dem letzten Kameraparameterschätzergebnis und dem gegenwärtigen Kameraparameter gleich wie oder größer als ein vorbestimmter Wert ist.
  • In S1101 schreitet, wenn bestimmt ist, dass die Kalibrierung notwendig ist, der Prozess zu S1102 fort. Dann führt in S1102 die Korrektureinheit 410 die Kalibrierung der fahrzeugseitigen Kamera 15 basierend auf dem letzten bzw. aktuellsten Kameraparameterschätzergebnis aus. Dann wird der Prozess beendet.
  • In S1101 wird, wenn bestimmt ist, dass die Kalibrierung nicht notwendig ist, die Kalibrierung nicht ausgeführt, und der Prozess wird wie er ist beendet.
  • Wie vorstehend beschrieben umfasst das Kameraparameterschätzgerät 400 gemäß dem Ausführungsbeispiel die Kamerapositionslageerlangungseinheit 403, die Geradevektorberechnungseinheit 405, die Normalvektorberechnungseinheit 407, die Orthogonalvektorberechnungseinheit 408, und die Kameraparameterschätzeinheit 409. Die Kamerapositionslageerlangungseinheit 403 erlangt die geschätzte Position und Lage der fahrzeugseitigen Kamera 15 in dem Kamerakoordinatensystem, das für die fahrzeugseitige Kamera 15 eingestellt ist, die basierend auf einem durch die fahrzeugseitige Umgebungsüberwachungskamera 15, die bei dem Fahrzeug 1 montiert ist, erlangten aufgenommenen Bild geschätzt sind. Die Geradevektorberechnungseinheit 405 berechnet einen Geradevektor entsprechend der Fortbewegungsrichtung des Fahrzeugs 1 in dem Kamerakoordinatensystem basierend auf dem Übergang bzw. der Transition der geschätzten Position der fahrzeugseitigen Kamera 15, wenn sich das Fahrzeug 1 geradeaus fortbewegt. Die Normalvektorberechnungseinheit 407 berechnet einen Normalvektor bzw. Normalenvektor entsprechend der Normalrichtung bzw. Normalenrichtung einer Ebene entsprechend, in dem Kamerakoordinatensystem, der Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, basierend auf dem Übergang der geschätzten Position der fahrzeugseitigen Kamera 15, wenn das Fahrzeug 1 wendet. Die Orthogonalvektorberechnungseinheit 408 berechnet einen Orthogonalvektor orthogonal zu dem Geradevektor und dem Normalvektor in dem Kamerakoordinatensystem. Die Kameraparameterschätzeinheit 409 schätzt die tatsächliche Installationslage der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1 als einen Kameraparameter zur Kalibrierung der fahrzeugseitigen Kamera 15 basierend auf dem Geradevektor, dem Normalvektor, dem Orthogonalvektor, und der geschätzten Lage der fahrzeugseitigen Kamera 15, wenn die geschätzte Position der fahrzeugseitigen Kamera 15 sich entlang der Richtung bewegt, die durch den Geradevektor indiziert ist.
  • Gemäß dem Kameraparameterschätzgerät 400 gemäß dem Ausführungsbeispiel wird basierend auf dem Geradevektor, dem Normalvektor, und dem Orthogonalvektor die geschätzte Lage der fahrzeugseitigen Kamera 15 in dem Kamerakoordinatensystem mit der Richtung des Fahrzeugs in der realen Welt mittels Konvertierung bzw. Umwandlung abgeglichen, so dass die tatsächliche Installationslage der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1 als der Kameraparameter geschätzt werden kann. Entsprechend ist es möglich, den Kameraparameter unabhängig von einer spezifischen Straßenoberflächenmarkierung flexibel zu schätzen.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel umfasst das Kameraparameterschätzgerät 400 die Geradefortbewegungsbestimmungseinheit 404, die bestimmt, ob sich das Fahrzeug 1 geradeaus fortbewegt hat basierend darauf, ob der Übergang bzw. die Transition der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch eine gerade Linie approximierte Verteilung zeigt bzw. aufweist. Dann berechnet die Geradevektorberechnungseinheit 405 den Geradevektor basierend auf der geraden Linie, die den Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 approximiert in einer Sektion bzw. einem Abschnitt, für die die Geradefortbewegungsbestimmungseinheit 404 bestimmt hat, dass sich das Fahrzeug 1 geradeaus fortbewegt hat. Gemäß dieser Konfiguration ist es möglich, eine Bestimmung leicht auszuführen, ob sich das Fahrzeug 1 geradeaus fortbewegt hat, und eine Berechnung des Geradevektors leichter auszuführen basierend auf dem Ergebnis einer Linearapproximation.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel bestimmt die Geradefortbewegungsbestimmungseinheit 404, ob sich das Fahrzeug 1 geradeaus fortbewegt hat in einem vorbestimmten Abschnitt basierend darauf, ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 in dem vorbestimmten Abschnitt mit einer Länge gleich wie oder größer als eine vorbestimmte Länge eine durch die gerade Linie approximierte Verteilung zeigt bzw. aufweist. Gemäß dieser Konfiguration ist es möglich, genau zu bestimmen, ob das Fahrzeug 1 sich geradeaus fortbewegt hat durch Verwendung von Information für eine Distanz gleich wie oder größer als die vorbestimmte Länge.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel umfasst das Kameraparameterschätzgerät 400 die Sensorinformationserlangungseinheit 401, die Sensorinformation einschließlich der Ausgabe des Fortbewegungszustandssensors 306, der den Fortbewegungszustand des Fahrzeugs 1 erfasst, erlangt. Dann kann die Geradefortbewegungsbestimmungseinheit 404 bestimmen, ob sich das Fahrzeug 1 geradeaus fortbewegt hat basierend auf zumindest einem aus ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch die gerade Linie approximierte Verteilung zeigt bzw. aufweist und der Sensorinformation. Gemäß dieser Konfiguration ist es möglich, leicht oder genau zu bestimmen, ob das Fahrzeug 1 sich geradeaus fortbewegt hat basierend auf zumindest einem aus dem Ergebnis einer linearen Approximation und der Sensorinformation.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel umfasst das Kameraparameterschätzgerät 400 die Wendebestimmungseinheit 406, die bestimmt, ob das Fahrzeug 1 gewendet hat basierend darauf, ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch zwei gerade Linien, die sich in Richtungen erstrecken, die einander überschneiden, und zumindest eine Kurve, die sich mit einer vorbestimmten Krümmung oder mehr zwischen den entsprechenden zwei Linien erstreckt, approximierte Verteilung zeigt bzw. aufweist. Dann berechnet die Normalvektorberechnungseinheit 407 den Normalvektor basierend auf zumindest zwei geraden Linien, die den Übergang der geschätzten Position der Kamera in einem Abschnitt approximieren, für den die Wendebestimmungseinheit 406 bestimmt hat, dass das Fahrzeug 1 gewendet hat. Gemäß dieser Konfiguration ist es möglich, eine Bestimmung, ob das Fahrzeug 1 gewendet hat, und eine Berechnung des Normalvektors basierend auf dem Ergebnis einer Linearapproximation und einer Kurvenapproximation leicht auszuführen.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel bestimmt die Wendebestimmungseinheit 406 ferner, ob das Fahrzeug 1 gewendet hat basierend darauf, ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch eine Ebene entsprechend der zumindest zwei geraden Linien approximierte Verteilung zeigt bzw. aufweist. Dann berechnet die Normalvektorberechnungseinheit 407 einen Vektor entsprechend der Normalenrichtung der einen Ebene als den Normalvektor bzw. Normalenvektor. Gemäß dieser Konfiguration ist es möglich, eine Bestimmung, ob das Fahrzeug 1 gewendet hat, und eine Berechnung des Normalvektors basierend auf dem Ergebnis einer Ebenenapproximation leichter auszuführen, es sei denn, die Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, umfasst einen Gradienten.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel bestimmt die Wendebestimmungseinheit 406, ob das Fahrzeug 1 gewendet hat basierend darauf, ob zweite Abschnitte eine durch eine Ebene approximierte bzw. angenäherte Verteilung zeigen. Die zweiten Abschnitte entsprechen den zwei geraden Linien unter verbleibenden Abschnitten in dem Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 abgesehen von einem ersten Abschnitt entsprechend der zumindest einen Kurve bzw. Krümmung. Gemäß dieser Konfiguration ist es möglich, die Genauigkeit einer Bestimmung, ob das Fahrzeug 1 gewendet hat, durch Ausschluss des ersten Abschnitts als Information, dessen Zuverlässigkeit wahrscheinlich reduziert ist aufgrund des Einflusses der Vertikal-G und dergleichen, wenn sich die Fortbewegungsrichtung des Fahrzeugs 1 ändert, zu verbessern.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel kann die Wendebestimmungseinheit 406 bestimmen, ob das Fahrzeug 1 gewendet hat basierend auf zumindest einem aus ob der Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 eine durch die zwei geraden Linien und die zumindest eine Kurve bzw. Krümmung approximierte Verteilung zeigt bzw. aufweist, und der Sensorinformation einschließlich der Ausgabe des Fortbewegungszustandssensors 306. Gemäß dieser Konfiguration ist es möglich, leicht oder genau zu bestimmen, ob das Fahrzeug 1 gewendet hat basierend auf zumindest einem aus dem Ergebnis einer Linearapproximation und Kurvenapproximation und der Sensorinformation.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel umfasst das Kameraparameterschätzgerät 400 die Dreidimensionalinformationserlangungseinheit 402, die Dreidimensionalinformation erlangt, die auf die Situation um das Fahrzeug 1 herum hinweist, die basierend auf dem aufgenommenen Bild geschätzt ist, einschließlich einer geschätzten Dreidimensionalposition der Straßenoberfläche, auf der sich das Fahrzeug 1 fortbewegt, in dem Kamerakoordinatensystem. Dann schätzt die Kameraparameterschätzeinheit 409 eine tatsächliche Installationshöhe der fahrzeugseitigen Kamera 15 in dem Fahrzeug 1 als den Kameraparameter basierend auf der Fortbewegungsdistanz des Fahrzeugs 1, die basierend auf der Sensorinformation einschließlich der Ausgabe des Fortbewegungszustandssensors 306 spezifiziert ist, dem Übergang bzw. der Transition der geschätzten Position der fahrzeugseitigen Kamera 15 in dem Abschnitt entsprechend der entsprechenden Fortbewegungsdistanz, und der geschätzten Dreidimensionalposition der Straßenoberfläche, die in der Dreidimensionalinformation enthalten ist. Gemäß diesem Ausführungsbeispiel ist es möglich, die tatsächliche Installationshöhe der fahrzeugseitigen Kamera 15 als den Kameraparameter basierend auf der Sensorinformation, der geschätzten Dreidimensionalposition der Straßenoberfläche, und dem Übergang der geschätzten Position der fahrzeugseitigen Kamera 15 unabhängig von der spezifischen Straßenoberflächenmarkierung flexibel zu schätzen.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel umfasst das Kameraparameterschätzgerät 400 die Korrektureinheit 410, die Kalibrierung der fahrzeugseitigen Kamera 15 basierend auf dem Kameraparameter, der durch die Kameraparameterschätzeinheit 409 geschätzt ist, ausführt. Gemäß dieser Konfiguration ist es möglich, die Kalibrierung der fahrzeugseitigen Kamera 15 durch die Korrektureinheit 410 leicht (automatisch) auszuführen.
  • Das bei dem Steuergerät 310 gemäß dem Ausführungsbeispiel ausgeführte Kameraparameterschätzprogramm kann vorgesehen oder verteilt sein mittels eines Netzwerks wie dem Internet. D.h., das bei dem Steuergerät 310 gemäß dem Ausführungsbeispiel ausgeführte Kameraparameterschätzprogramm kann vorgesehen sein, während es in einem Computer gespeichert ist, der mit einem Netzwerk wie dem Internet verbunden ist auf eine solche Weise, dass ein Herunterladen über das Netzwerk zulässig ist.
  • Modifizierung
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel ist eine Konfiguration, bei der das Kameraparameterschätzgerät eine Kalibrierung automatisch durch die Korrektureinheit ausführt, veranschaulicht. Derweil ist eine Konfiguration, bei der die Korrektureinheit nicht enthalten ist und nur eine Schätzung eines Kameraparameters durchgeführt wird, auch nützlich wie in dem vorstehend beschriebenen Ausführungsbeispiel. Ferner ist beispielsweise in der folgenden in 12 veranschaulichten Modifizierung eine Konfiguration, die die Ausführung einer Kalibrierung durch Benachrichtigung bezüglich der Notwendigkeit der Kalibrierung ohne automatisches Ausführen der Kalibrierung ermöglicht, auch wie in dem vorstehend beschriebenen Ausführungsbeispiel nützlich. 12 ist ein beispielhaftes schematisches Blockdiagramm, das Funktionen eines Kameraparameterschätzgeräts 1200 gemäß der Modifizierung des Ausführungsbeispiels veranschaulicht. In 12 sind die gleichen Funktionen wie jene in 4 mit den gleichen Bezugszeichen gekennzeichnet.
  • Wie in 12 veranschaulicht umfasst das Kameraparameterschätzgerät 1200 gemäß der Modifizierung eine Benachrichtigungseinheit 1210 anstelle der Korrektureinheit 410 gemäß dem wie in 4 veranschaulichten Ausführungsbeispiel. Die Benachrichtigungseinheit 1210 benachrichtigt bezüglich der Notwendigkeit einer Ausführung einer Kalibrierung basierend auf dem durch die Kameraparameterschätzeinheit 409 geschätzten Kameraparameter.
  • Beispielsweise berechnet die Benachrichtigungseinheit 1210 die Abweichung bezüglich Kameraparameterschätzergebnissen, die über eine Vielzahl von Malen akkumuliert sind, basierend auf einer Statistik wie einer Varianz, und führt eine Benachrichtigung bezüglich dessen, dass die Kalibrierung notwendig ist, wenn der Pegel der entsprechenden Abweichung geringer als ein vorbestimmter Pegel ist und eine Differenz zwischen dem Kameraparameterschätzergebnis und dem gegenwärtigen Kameraparameter gleich wie oder größer als ein vorbestimmter Wert ist, über das Monitorgerät 11 (siehe 3) und dergleichen durch. Dann wird bei der Modifizierung, wenn eine Person, die die Benachrichtigung von der Benachrichtigungseinheit 1210 empfangen hat, einen Hersteller und dergleichen beauftragt, das Fahrzeug 1 zu inspizieren, die Kalibrierung durch den Hersteller ausgeführt.
  • Wie vorstehend beschrieben umfasst bei der Modifizierung das Kameraparameterschätzgerät 1200 die Benachrichtigungseinheit 1210, die bezüglich der Notwendigkeit einer Ausführung der Kalibrierung der fahrzeugseitigen Kamera 15 basierend auf dem durch die Kameraparameterschätzeinheit 409 geschätzten Kameraparameter benachrichtigt. Gemäß dieser Konfiguration ist es möglich, leicht (automatisch) bezüglich der Notwendigkeit einer Ausführung der Kalibrierung der fahrzeugseitigen Kamera 15 durch die Benachrichtigungseinheit 1210 zu benachrichtigen.
  • Das hierin offenbarte Ausführungsbeispiel und die Modifizierung wurden wie vorstehend beschrieben, jedoch sind das vorstehend beschriebene Ausführungsbeispiel und die vorstehend beschriebene Modifizierung lediglich beispielhaft und es ist nicht beabsichtigt, dass diese den Bereich der Offenbarung beschränken. Das vorstehend beschriebene neue Ausführungsbeispiel und die vorstehend beschriebene neue Modifizierung können auf verschiedene Arten implementiert sein, und verschiedene Weglassungen, Ersetzungen, und Änderungen können ausgeführt werden in einer Spanne, die nicht von der Kernaussage der Offenbarung abweicht. Das vorstehend beschriebene Ausführungsbeispiel und die vorstehend beschriebene Modifizierung sind nicht nur in dem Bereich oder der Kernaussage der Offenbarung enthalten, sondern auch in der in den Ansprüchen beschriebenen Offenbarung und Äquivalenten davon enthalten.
  • Die Prinzipien, das bevorzugte Ausführungsbeispiel und eine Art eines Betriebs der vorliegenden Erfindung wurden in der vorstehenden Spezifikation beschrieben. Jedoch ist die Erfindung, die beabsichtigt ist, geschützt zu werden, nicht als auf die spezifischen offenbarten Ausführungsbeispiele beschränkt auszulegen. Ferner sind die hierin beschriebenen Ausführungsbeispiele als veranschaulichend anstelle von beschränkend anzusehen. Variationen und Änderungen können durch andere gemacht werden, und Äquivalente können eingesetzt werden, ohne von dem Geist der vorliegenden Erfindung abzuweichen. Entsprechend ist ausdrücklich beabsichtigt, dass all solche Variationen, Änderungen, und Äquivalente, die in den Geist und den Bereich der vorliegenden Erfindung wie in den Ansprüchen definiert fallen, durch diese einbezogen sind.
  • Kameraparameterschätzgerät (400, 1200), mit: einer Kamerapositionslageerlangungseinheit (403), die eine geschätzte Position und Lage einer Kamera (15) basierend auf einem durch die Kamera erlangten aufgenommenen Bild erlangt, einer ersten Vektorberechnungseinheit (405), die einen ersten Vektor entsprechend einer Fortbewegungsrichtung des Fahrzeugs berechnet, einer zweiten Vektorberechnungseinheit (407), die einen zweiten Vektor entsprechend einer Normalenrichtung einer Ebene entsprechend einer Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, berechnet, einer dritten Vektorberechnungseinheit (408), die einen dritten Vektor orthogonal zu den ersten und zweiten Vektoren berechnet, und einer Kameraparameterschätzeinheit (409), die eine tatsächliche Installationslage der Kamera basierend auf den ersten, zweiten, und dritten Vektoren und der geschätzten Lage der Kamera, wenn sich die geschätzte Position entlang einer durch den ersten Vektor indizierten Richtung bewegt, schätzt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 4820221 B [0002]

Claims (13)

  1. Kameraparameterschätzgerät (400, 1200), mit: einer Kamerapositionslageerlangungseinheit (403), die dazu eingerichtet ist, um eine geschätzte Position und eine geschätzte Lage einer Umgebungsüberwachungskamera (15), die bei einem Fahrzeug (1) montiert ist, in einem Kamerakoordinatensystem, das für die Kamera eingestellt ist, zu erlangen, die basierend auf einem durch die Kamera erlangten aufgenommenen Bild geschätzt sind, einer ersten Vektorberechnungseinheit (405), die dazu eingerichtet ist, um einen ersten Vektor entsprechend einer Fortbewegungsrichtung des Fahrzeugs in dem Kamerakoordinatensystem basierend auf einem Übergang der geschätzten Position der Kamera, wenn sich das Fahrzeug geradeaus fortbewegt, zu berechnen, einer zweiten Vektorberechnungseinheit (407), die dazu eingerichtet ist, um einen zweiten Vektor entsprechend einer Normalenrichtung einer Ebene entsprechend, in dem Kamerakoordinatensystem, einer Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, basierend auf dem Übergang der geschätzten Position der Kamera, wenn das Fahrzeug wendet, zu berechnen, einer dritten Vektorberechnungseinheit (408), die dazu eingerichtet ist, um einen dritten Vektor orthogonal zu dem ersten Vektor und dem zweiten Vektor in dem Kamerakoordinatensystem zu berechnen, und einer Kameraparameterschätzeinheit (409), die dazu eingerichtet ist, um eine tatsächliche Installationslage der Kamera in dem Fahrzeug als einen Kameraparameter zur Kalibrierung der Kamera basierend auf dem ersten Vektor, dem zweiten Vektor, dem dritten Vektor, und der geschätzten Lage der Kamera, wenn sich die geschätzte Position der Kamera entlang einer durch den ersten Vektor indizierten Richtung bewegt, zu schätzen.
  2. Kameraparameterschätzgerät nach Anspruch 1, ferner mit: einer ersten Bestimmungseinheit (404), die dazu eingerichtet ist, um zu bestimmen, ob sich das Fahrzeug geradeaus fortbewegt hat basierend darauf, ob der Übergang der geschätzten Position der Kamera eine durch eine gerade Linie approximierte Verteilung zeigt, wobei die erste Vektorberechnungseinheit den ersten Vektor basierend auf der geraden Linie, die den Übergang der geschätzten Position der Kamera in einem Abschnitt approximiert, für den die erste Bestimmungseinheit bestimmt hat, dass sich das Fahrzeug geradeaus fortbewegt hat, berechnet.
  3. Kameraparameterschätzgerät nach Anspruch 2, wobei die erste Bestimmungseinheit bestimmt, ob sich das Fahrzeug in einem vorbestimmten Abschnitt geradeaus fortbewegt hat basierend darauf, ob der Übergang der geschätzten Position der Kamera in dem vorbestimmten Abschnitt mit einer Länge gleich wie oder größer als eine vorbestimmte Länge eine durch die gerade Linie approximierte Verteilung zeigt.
  4. Kameraparameterschätzgerät nach Anspruch 2 oder 3, ferner mit: einer Sensorinformationserlangungseinheit (401), die dazu eingerichtet ist, um Sensorinformation einschließlich einer Ausgabe eines Sensors (306), der einen Fortbewegungszustand des Fahrzeugs erfasst, zu erlangen, wobei die erste Bestimmungseinheit bestimmt, ob sich das Fahrzeug geradeaus fortbewegt hat basierend auf zumindest einem aus ob der Übergang der geschätzten Position der Kamera eine durch die gerade Linie approximierte Verteilung zeigt, und der Sensorinformation.
  5. Kameraparameterschätzgerät nach einem der Ansprüche 1 bis 4, ferner mit: einer zweiten Bestimmungseinheit (406), die dazu eingerichtet ist, um zu bestimmen, ob das Fahrzeug gewendet hat basierend darauf, ob der Übergang der geschätzten Position der Kamera eine Verteilung zeigt, die durch zwei gerade Linien, die sich in Richtungen erstrecken, die einander schneiden, und zumindest eine Kurve, die sich mit einer vorbestimmten Krümmung oder mehr zwischen den entsprechenden zwei geraden Linien erstreckt, approximiert ist, wobei die zweite Vektorberechnungseinheit den zweiten Vektor basierend auf den zumindest zwei geraden Linien, die den Übergang der geschätzten Position der Kamera in einem Abschnitt approximieren, für den die zweite Bestimmungseinheit bestimmt hat, dass das Fahrzeug gewendet hat, berechnet.
  6. Kameraparameterschätzgerät nach Anspruch 5, wobei die zweite Bestimmungseinheit ferner bestimmt, ob das Fahrzeug gewendet hat basierend darauf, ob der Übergang der geschätzten Position der Kamera eine Verteilung zeigt, die durch eine Ebene entsprechend den zumindest zwei geraden Linien approximiert ist, und die zweite Vektorberechnungseinheit einen Vektor entsprechend einer Normalenrichtung der einen Ebene als den zweiten Vektor berechnet.
  7. Kameraparameterschätzgerät nach Anspruch 6, wobei die zweite Bestimmungseinheit bestimmt, ob das Fahrzeug gewendet hat basierend darauf, ob zweite Abschnitte eine Verteilung zeigen, die durch die eine Ebene approximiert ist, wobei die zweiten Abschnitte unter verbleibenden Abschnitten in dem Übergang der geschätzten Position der Kamera abgesehen von einem ersten Abschnitt entsprechend der zumindest einen Kurve den zwei geraden Linien entsprechen.
  8. Kameraparameterschätzgerät nach einem der Ansprüche 5 bis 7, ferner mit: einer Sensorinformationserlangungseinheit (401), die dazu eingerichtet ist, um Sensorinformation einschließlich einer Ausgabe eines Sensors (306), der einen Fortbewegungszustand des Fahrzeugs erfasst, zu erlangen, wobei die zweite Bestimmungseinheit bestimmt, ob das Fahrzeug gewendet hat basierend auf zumindest einem aus ob der Übergang der geschätzten Position der Kamera eine Verteilung zeigt, die durch die zwei geraden Linien und die zumindest eine Kurve approximiert ist, und der Sensorinformation.
  9. Kameraparameterschätzgerät nach einem der Ansprüche 1 bis 8, ferner mit: einer Sensorinformationserlangungseinheit (401), die dazu eingerichtet ist, um Sensorinformation einschließlich einer Ausgabe eines Sensors (306), der einen Fortbewegungszustand des Fahrzeugs erfasst, zu erlangen, und einer Dreidimensionalinformationserlangungseinheit (402), die dazu eingerichtet ist, um Dreidimensionalinformation zu erlangen, die auf eine Situation um das Fahrzeug herum hinweist, die basierend auf dem aufgenommenen Bild geschätzt ist, einschließlich einer geschätzten Dreidimensionalposition der Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, in dem Kamerakoordinatensystem, wobei die Kameraparameterschätzeinheit eine tatsächliche Installationshöhe der Kamera in dem Fahrzeug als den Kameraparameter basierend auf einer Fortbewegungsdistanz des Fahrzeugs, die basierend auf der Sensorinformation spezifiziert ist, dem Übergang der geschätzten Position der Kamera in einem Abschnitt entsprechend der entsprechenden Fortbewegungsdistanz, und der geschätzten Dreidimensionalposition der Straßenoberfläche, die in der Dreidimensionalinformation enthalten ist, schätzt.
  10. Kameraparameterschätzgerät nach einem der Ansprüche 1 bis 9, ferner mit: einer Korrektureinheit (410), die dazu eingerichtet ist, um die Kalibrierung basierend auf dem durch die Kameraparameterschätzeinheit geschätzten Kameraparameter auszuführen.
  11. Kameraparameterschätzgerät nach einem der Ansprüche 1 bis 9, ferner mit: einer Benachrichtigungseinheit (1210), die dazu eingerichtet ist, um bezüglich einer Notwendigkeit einer Ausführung der Kalibrierung basierend auf dem durch die Kameraparameterschätzeinheit geschätzten Kameraparameter zu benachrichtigen.
  12. Kameraparameterschätzverfahren, mit: einem Erlangen einer geschätzten Position und einer geschätzten Lage einer Umgebungsüberwachungskamera (15), die bei einem Fahrzeug (1) montiert ist, in einem Kamerakoordinatensystem, das für die Kamera eingestellt ist, die basierend auf einem durch die Kamera erlangten aufgenommenen Bild geschätzt werden, einem Berechnen eines ersten Vektors entsprechend einer Fortbewegungsrichtung des Fahrzeugs in dem Kamerakoordinatensystem basierend auf einem Übergang der geschätzten Position der Kamera, wenn sich das Fahrzeug geradeaus fortbewegt, einem Berechnen eines zweiten Vektors entsprechend einer Normalenrichtung einer Ebene entsprechend, in dem Kamerakoordinatensystem, einer Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, basierend auf dem Übergang der geschätzten Position der Kamera, wenn das Fahrzeug wendet, einem Berechnen eines dritten Vektors orthogonal zu dem ersten Vektor und dem zweiten Vektor in dem Kamerakoordinatensystem, und einem Schätzen einer tatsächlichen Installationslage der Kamera in dem Fahrzeug als ein Kameraparameter zur Kalibrierung der Kamera basierend auf dem ersten Vektor, dem zweiten Vektor, dem dritten Vektor, und der geschätzten Lage der Kamera, wenn sich die geschätzte Position der Kamera entlang einer durch den ersten Vektor indizierten Richtung bewegt.
  13. Kameraparameterschätzprogramm, um einen Computer dazu zu bringen, einen Prozess auszuführen, mit: einem Erlangen einer geschätzten Position und einer geschätzten Lage einer Umgebungsüberwachungskamera (15), die bei einem Fahrzeug (1) montiert ist, in einem Kamerakoordinatensystem, das für die Kamera eingestellt ist, die basierend auf einem durch die Kamera erlangten aufgenommenen Bild geschätzt werden, einem Berechnen eines ersten Vektors entsprechend einer Fortbewegungsrichtung des Fahrzeugs in dem Kamerakoordinatensystem basierend auf einem Übergang der geschätzten Position der Kamera, wenn sich das Fahrzeug geradeaus fortbewegt, einem Berechnen eines zweiten Vektors entsprechend einer Normalenrichtung einer Ebene entsprechend, in dem Kamerakoordinatensystem, einer Straßenoberfläche, auf der sich das Fahrzeug fortbewegt, basierend auf dem Übergang der geschätzten Position der Kamera, wenn das Fahrzeug wendet, einem Berechnen eines dritten Vektors orthogonal zu dem ersten Vektor und dem zweiten Vektor in dem Kamerakoordinatensystem, und einem Schätzen einer tatsächlichen Installationslage der Kamera in dem Fahrzeug als ein Kameraparameter zur Kalibrierung der Kamera basierend auf dem ersten Vektor, dem zweiten Vektor, dem dritten Vektor, und der geschätzten Lage der Kamera, wenn sich die geschätzte Position der Kamera entlang einer durch den ersten Vektor indizierten Richtung bewegt.
DE102019128587.9A 2018-10-25 2019-10-23 Kameraparameterschätzgerät, Kameraparameterschätzverfahren, und Kameraparameterschätzprogramm Pending DE102019128587A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018200798A JP7148064B2 (ja) 2018-10-25 2018-10-25 カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
JP2018-200798 2018-10-25

Publications (1)

Publication Number Publication Date
DE102019128587A1 true DE102019128587A1 (de) 2020-04-30

Family

ID=70327067

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019128587.9A Pending DE102019128587A1 (de) 2018-10-25 2019-10-23 Kameraparameterschätzgerät, Kameraparameterschätzverfahren, und Kameraparameterschätzprogramm

Country Status (4)

Country Link
US (1) US11527013B2 (de)
JP (1) JP7148064B2 (de)
CN (1) CN111107310B (de)
DE (1) DE102019128587A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949707B2 (en) * 2019-02-27 2021-03-16 Here Global B.V. Method, apparatus, and system for generating feature correspondence from camera geometry
CN112384952A (zh) * 2020-09-22 2021-02-19 深圳市锐明技术股份有限公司 一种相机的标定方法、标定装置及电子设备
CN114095664A (zh) * 2020-11-06 2022-02-25 北京京东乾石科技有限公司 一种摄像头参数的调节方法和装置
CN113435420B (zh) * 2021-08-26 2022-02-01 深圳市城市交通规划设计研究中心股份有限公司 一种路面病害尺寸检测方法、装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4820221B1 (de) 1969-11-21 1973-06-19

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820221B2 (ja) 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
JP5588332B2 (ja) * 2010-12-10 2014-09-10 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像処理装置および車両用画像処理方法
JP2013097675A (ja) * 2011-11-02 2013-05-20 Honda Elesys Co Ltd 勾配推定装置、勾配推定方法、及び勾配推定プログラム
US8965057B2 (en) * 2012-03-02 2015-02-24 Qualcomm Incorporated Scene structure-based self-pose estimation
JP5915268B2 (ja) * 2012-03-05 2016-05-11 富士通株式会社 パラメータ算出方法、情報処理装置及びプログラム
JP5878090B2 (ja) * 2012-07-12 2016-03-08 本田技研工業株式会社 走行区分線検出装置
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
JP6034775B2 (ja) * 2013-11-29 2016-11-30 クラリオン株式会社 カメラ校正装置
JP6371185B2 (ja) * 2014-09-30 2018-08-08 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP6511406B2 (ja) * 2016-02-10 2019-05-15 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
US10694148B1 (en) * 2019-05-13 2020-06-23 The Boeing Company Image-based navigation using quality-assured line-of-sight measurements

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4820221B1 (de) 1969-11-21 1973-06-19

Also Published As

Publication number Publication date
JP2020068477A (ja) 2020-04-30
CN111107310B (zh) 2024-05-03
CN111107310A (zh) 2020-05-05
US11527013B2 (en) 2022-12-13
JP7148064B2 (ja) 2022-10-05
US20200134871A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
DE102019128587A1 (de) Kameraparameterschätzgerät, Kameraparameterschätzverfahren, und Kameraparameterschätzprogramm
EP1886094B1 (de) Verfahren zur fahrerunterstützung
EP2943367B1 (de) Verfahren zum synchronisieren von anzeigeeinrichtungen eines kraftfahrzeugs
DE102015117733B4 (de) Fahrzeugsteuerungsvorrichtung
DE102017100763A1 (de) Fahrzeugautonomes steuersystem und verfahren
DE112015004171T5 (de) Fahrzeugpositionserfassungsvorrichtung
DE102019117023B4 (de) Parkassistenzvorrichtung
DE102019125627B4 (de) Innenraumüberwachungsvorrichtung
DE102015115254A1 (de) Parkunterstützungssystem
DE102015115263A1 (de) Parkassistenzsystem
DE112017004936T5 (de) Peripherieüberwachungsvorrichtung
DE102019117270A1 (de) Fahrzeugkupplungsunterstützungssystem
DE112015004149T5 (de) Fahrassistenzvorrichtung und fahrassistenzsystem
DE102015115213A1 (de) Steuersystem und steuerverfahren für fahrzeug
DE102018002962A1 (de) Fahrerüberwachungsapparat undfahrerüberwachungsverfahren
DE112018004519T5 (de) Anzeigevorrichtung eines überlagerten Bildes und Computerprogramm
DE102018128509A1 (de) Fahrzeugsteuerungsvorrichtung und Parkplatz
DE102017112357B4 (de) Anzeigesteuerungseinrichtung
DE112017003282T5 (de) Peripherieüberwachungsvorrichtung
DE102015115246A1 (de) Steuerungssystem für ein fahrzeug
DE102020124919A1 (de) Parkunterstützungsvorrichtung
DE102019126446A1 (de) Fahrzeugsteuerungsvorrichtung
DE102021122199A1 (de) Fahrzeuginformations-Anzeigesystem
DE112017003278T5 (de) Peripherieüberwachungsvorrichtung
DE102020102677A1 (de) Adaptive geschwindigkeitsregelung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: AISIN CORPORATION, KARIYA-SHI, JP

Free format text: FORMER OWNER: AISIN SEIKI KABUSHIKI KAISHA, KARIYA-SHI, AICHI-KEN, JP