DE112022001700T5 - IN-VEHICLE CAMERA AND IN-VEHICLE CAMERA CALIBRATION PROCEDURE - Google Patents

IN-VEHICLE CAMERA AND IN-VEHICLE CAMERA CALIBRATION PROCEDURE Download PDF

Info

Publication number
DE112022001700T5
DE112022001700T5 DE112022001700.7T DE112022001700T DE112022001700T5 DE 112022001700 T5 DE112022001700 T5 DE 112022001700T5 DE 112022001700 T DE112022001700 T DE 112022001700T DE 112022001700 T5 DE112022001700 T5 DE 112022001700T5
Authority
DE
Germany
Prior art keywords
image
unit
calibration
area
pixel shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112022001700.7T
Other languages
German (de)
Inventor
Cong Chen
Kazuyoshi Yamazaki
Masayuki Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of DE112022001700T5 publication Critical patent/DE112022001700T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Abstract

Es wird eine Technik bereitgestellt, mit der die Kalibrierung einer weitwinkeligen fahrzeuginternen Kamera unter Verwendung einer kleinen Tafel mit hoher Genauigkeit umgesetzt werden kann. Eine fahrzeuginterne Kamera enthält Folgendes: eine Bildaufnahmeeinheit, die ein Bild eines Objekts aufnimmt; eine Schätzungseinheit, die eine Verschiebung von Pixeln einer Gesamtfläche auf der Basis eines von der Bildaufnahmeeinheit aufgenommenen Bilds berechnet; eine Bereichsauswahleinheit, die eine Vielzahl von vorbestimmten Bereichen auswählt, die im Voraus gemäß einer Form und einer Neigung einer Windschutzscheibe in dem von der Bildaufnahmeeinheit aufgenommenen Bilds bestimmt werden; und eine Kalibrierungseinheit, die die Verschiebung von Pixeln der Gesamtfläche auf der Basis von Informationen der Schätzungseinheit korrigiert. Die Schätzungseinheit schätzt die Pixelverschiebung des gesamten Bilds unter Verwendung des Bilds, das aus der Vielzahl von vorbestimmten Bereichen in dem von der Bildaufnahmeeinheit aufgenommenen Bild detektiert wurde.A technique is provided to realize the calibration of a wide-angle in-vehicle camera using a small panel with high accuracy. An in-vehicle camera includes: an image capture unit that captures an image of an object; an estimation unit that calculates a displacement of pixels of a total area based on an image captured by the image capture unit; an area selection unit that selects a plurality of predetermined areas determined in advance according to a shape and an inclination of a windshield in the image captured by the image pickup unit; and a calibration unit that corrects the displacement of pixels of the total area based on information from the estimation unit. The estimating unit estimates the pixel displacement of the entire image using the image detected from the plurality of predetermined areas in the image captured by the image capturing unit.

Description

Technisches GebietTechnical area

Die vorliegende Erfindung bezieht sich auf eine fahrzeuginterne Kamera und ein Kalibrierungsverfahren der fahrzeuginternen Kamera.The present invention relates to an in-vehicle camera and a calibration method of the in-vehicle camera.

Stand der TechnikState of the art

JP 2011-49733 A (PTL 1] und JP 2013-109416 A (PTL 2) beschreiben eine Kalibrierungstechnik für ein Kamerasystem wie eine fahrzeuginterne Kamera. JP 2011-49733 A (PTL 1] and JP 2013-109416 A (PTL 2) describe a calibration technique for a camera system such as an in-vehicle camera.

In PTL 1 liegt folgende Beschreibung vor: „In der vorliegenden Erfindung wird die Verzerrung eines von einer Kamera aufgenommenen Videos durch ein Funktionsmodell angenähert, das für jeden Bereich unterschiedlich ist. Dadurch ist es möglich, die Linsenverzerrung an das Funktionsmodell anzunähern und eine Korrektur mit hoher Genauigkeit durchzuführen, und es ist möglich, eine Verbesserung der Sichtbarkeit und eine Verbesserung der Genauigkeit der Bilderkennung umzusetzen.“In PTL 1 there is the following description: “In the present invention, the distortion of a video captured by a camera is approximated by a functional model that is different for each area. “Thereby, it is possible to approximate the lens distortion to the functional model and perform correction with high accuracy, and it is possible to realize visibility improvement and image recognition accuracy improvement.”

In PTL 2 liegt folgende Beschreibung vor: „In der vorliegenden Ausführungsform wird der Verzerrungskoeffizient berechnet, nachdem eine Gewichtung des Betrachtungswinkelbereichs durchgeführt wurde. 1(b) ist ein Beispiel für ein Diagramm zur Erläuterung eines Falls, in dem die Gewichtung eines TELE-Bereichs (enger Betrachtungswinkel) erhöht wird. Indem die Gewichtung des engen Betrachtungswinkels größer als die des weiten Betrachtungswinkels gemacht wird, kann ein Verzerrungskoeffizient erfasst werden, der in der Lage ist, eine Bildverzerrung des engen Betrachtungswinkels genau zu korrigieren. Daher kann im Falle einer Stereokamera eine sehr genaue Entfernungsmessung für ein Objekt mit einem engen Betrachtungswinkel durchgeführt werden. 1(c) ist ein Beispiel für ein Diagramm zur Erläuterung eines Verzerrungskoeffizienten in einem Fall, in dem die Gewichtung eines WIDE-Bereichs (weiter Betrachtungswinkel) erhöht wird. Indem die Gewichtung des weiten Betrachtungswinkels größer als die des engen Betrachtungswinkels gemacht wird, ist es möglich, einen Verzerrungskoeffizienten zu erfassen, der in der Lage ist, eine Bildverzerrung mit einem weiten Betrachtungswinkel genau zu korrigieren. Daher kann im Falle der Stereokamera eine sehr genaue Abstandsmessung in Bezug auf ein Objekt mit einem weiten Betrachtungswinkel durchgeführt werden.“In PTL 2, the description is as follows: “In the present embodiment, the distortion coefficient is calculated after weighting of the viewing angle range is performed. 1(b) is an example of a diagram for explaining a case where the weight of a TELE (narrow viewing angle) range is increased. By making the weight of the narrow viewing angle larger than that of the wide viewing angle, a distortion coefficient capable of accurately correcting image distortion of the narrow viewing angle can be detected. Therefore, in the case of a stereo camera, very accurate distance measurement can be performed for an object with a narrow viewing angle. 1(c) is an example of a diagram for explaining a distortion coefficient in a case where the weight of a WIDE (wide viewing angle) area is increased. By making the weight of the wide viewing angle larger than that of the narrow viewing angle, it is possible to detect a distortion coefficient capable of accurately correcting image distortion with a wide viewing angle. Therefore, in the case of the stereo camera, a very accurate distance measurement can be carried out with respect to an object with a wide viewing angle.”

ZitatlisteQuote list

PatentliteraturPatent literature

  • PTL 1: JP 2011-49733 A PTL 1: JP 2011-49733 A
  • PTL 2: JP 2013-109416 A PTL 2: JP 2013-109416 A

Zusammenfassung der ErfindungSummary of the invention

Technisches ProblemTechnical problem

Die Abstandsmessung bei der herkömmlichen fahrzeuginternen Kamera ist hauptsächlich eine Funktion zur Unterstützung der Kollisionsvermeidung in Bezug auf ein Hindernis vor dem Fahrzeug. Andererseits gibt es immer noch viele Unfälle an Kreuzungen, und um die Zahl der Unfälle weiter zu verringern, müssen fahrzeuginterne Kameras von nun an verstärkt einen größeren Erkennungswinkel aufweisen. Um den Erkennungsfeldwinkel zu vergrößern, wird jedoch ein Weitwinkelobjektiv verwendet, und der Verzerrungsbetrag (Pixelverschiebung) nimmt ebenfalls zu, so dass bei der Kalibrierung eine hohe Genauigkeit erforderlich ist.The distance measurement in the traditional in-vehicle camera is mainly a function to support collision avoidance with respect to an obstacle in front of the vehicle. On the other hand, there are still many accidents at intersections, and in order to further reduce the number of accidents, in-vehicle cameras must now have a larger detection angle. However, to increase the detection field angle, a wide-angle lens is used, and the amount of distortion (pixel shift) also increases, so high accuracy is required in calibration.

Wenn der Erkennungsbetrachtungswinkel sich vergrößert, nimmt andererseits auch der zu kalibrierende Bereich zu, und die Größe des Kalibrierungsbilds (im Folgenden als Tafel bezeichnet) zur Messung der Pixelverschiebung nimmt ebenfalls zu. Insbesondere im Fall einer fahrzeuginternen Kamera nimmt die Pixelverschiebung aufgrund des Einflusses der Brechung der Windschutzscheibe weiterhin zu, und darüber hinaus kann die Variation bei der Befestigung der fahrzeuginternen Kamera oder die Variation bei der Form der Windschutzscheibe nicht ignoriert werden, so dass es immer mehr notwendig wird, eine Kalibrierung für jedes Fahrzeug durchzuführen. In diesem Fall, wenn die Größe der Tafel zu groß ist, ist es schwierig, die Tafel in einer Fabrik oder bei einem Händler zu installieren, und es ist schwierig, die Kalibrierung durchzuführen. Wenn beispielsweise der Betrachtungswinkel (auch als Sichtfeld FOV bezeichnet) der fahrzeuginternen Kamera 40 Grad beträgt, kann eine Tafel von 3 m (horizontale Breite) × 3 m (vertikale Breite) verwendet werden. Wenn der linke und der rechte Betrachtungswinkel 120 Grad beträgt, ist möglicherweise eine Tafel von 14 m (horizontale Breite) × 3 m (vertikale Breite) notwendig.On the other hand, as the detection viewing angle increases, the area to be calibrated also increases, and the size of the calibration image (hereinafter referred to as a panel) for measuring the pixel shift also increases. Especially in the case of an in-vehicle camera, the pixel shift continues to increase due to the influence of the refraction of the windshield, and moreover, the variation in mounting the in-vehicle camera or the variation in the shape of the windshield cannot be ignored, so it becomes more and more necessary to perform a calibration for each vehicle. In this case, if the size of the board is too large, it is difficult to install the board in a factory or dealer and it is difficult to perform calibration. For example, if the viewing angle (also called field of view FOV) of the in-vehicle camera is 40 degrees, a panel of 3 m (horizontal width) × 3 m (vertical width) can be used. If the left and right viewing angles are 120 degrees, a panel of 14 m (horizontal width) × 3 m (vertical width) may be necessary.

Ein Ziel der vorliegenden Erfindung ist es, eine Technik bereitzustellen, die in der Lage ist, die Kalibrierung einer weitwinkligen fahrzeuginternen Kamera mit hoher Genauigkeit unter Verwendung einer kleinen Tafel umzusetzen.An object of the present invention is to provide a technique capable of realizing the calibration of a wide-angle in-vehicle camera with high accuracy using a small panel.

Das obige und andere Ziele und neuen Merkmale der Erfindung zeichnen sich aus der Beschreibung der vorliegenden Spezifikation und den beigefügten Zeichnungen ab.The above and other objects and new features of the invention emerge from the description practice of this specification and the accompanying drawings.

Lösung des Problemsthe solution of the problem

Der Überblick über typische Aspekte der Erfindung, die in der vorliegenden Anmeldung offenbart sind, wird im Folgenden kurz beschrieben.The overview of typical aspects of the invention disclosed in the present application is briefly described below.

Eine fahrzeuginterne Kamera gemäß einer Ausführungsform enthält Folgendes: eine Bildaufnahmeeinheit, die ein Bild eines Objekts aufnimmt; eine Schätzungseinheit, die eine Verschiebung von Pixeln einer Gesamtfläche auf der Basis eines von der Bildaufnahmeeinheit aufgenommenen Bilds berechnet; eine Bereichsauswahleinheit, die eine Vielzahl von vorbestimmten Bereichen auswählt, die im Voraus gemäß einer Form und einer Neigung einer Windschutzscheibe in dem von der Bildaufnahmeeinheit aufgenommenen Bild bestimmt werden; und eine Kalibrierungseinheit, die die Verschiebung von Pixeln der Gesamtfläche auf der Basis von Informationen der Schätzungseinheit korrigiert. Die Schätzungseinheit schätzt die Pixelverschiebung des gesamten Bilds unter Verwendung des Bilds, das von einer Vielzahl von vorbestimmten Bereichen in dem von der Bildaufnahmeeinheit aufgenommenen Bild detektiert wurde.An in-vehicle camera according to an embodiment includes: an image capture unit that captures an image of an object; an estimation unit that calculates a displacement of pixels of a total area based on an image captured by the image capture unit; an area selection unit that selects a plurality of predetermined areas determined in advance according to a shape and an inclination of a windshield in the image captured by the image pickup unit; and a calibration unit that corrects the displacement of pixels of the total area based on information from the estimation unit. The estimation unit estimates the pixel displacement of the entire image using the image detected from a plurality of predetermined areas in the image captured by the image capture unit.

Vorteilhafte Effekte der ErfindungAdvantageous effects of the invention

Gemäß der Technologie der vorliegenden Erfindung ist es möglich, die Kalibrierung einer fahrzeuginternen Kamera mit hoher Genauigkeit auch mit einer kleinen Tafel umzusetzen.According to the technology of the present invention, it is possible to realize calibration of an in-vehicle camera with high accuracy even with a small panel.

Anhand der Erklärung der Ausführungsformen zum Durchführen der Erfindung werden Objekte, Konfigurationen und Effekte neben der obigen Beschreibung deutlich.With the explanation of the embodiments for carrying out the invention, objects, configurations and effects will become clear in addition to the above description.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

  • [1] 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für eine fahrzeuginterne Kamera in einem Beispiel darstellt.[ 1 ] 1 is a block diagram illustrating a configuration example for an in-vehicle camera in an example.
  • [2] 2 ist ein Ablaufdiagramm, das einen Verarbeitungsvorgang der Kalibrierung der fahrzeuginternen Kamera in dem Beispiel darstellt.[ 2 ] 2 is a flowchart illustrating a processing procedure of calibrating the in-vehicle camera in the example.
  • [3] 3 ist ein erklärendes Diagramm, das ein Beispiel eines Zustands darstellt, in dem die fahrzeuginterne Kamera eine Person abbildet.[ 3 ] 3 is an explanatory diagram showing an example of a state in which the in-vehicle camera images a person.
  • [4] 4 ist ein erklärendes Diagramm, das ein Beispiel für ein Bild darstellt, in dem die fahrzeuginterne Kamera eine Person abbildet.[ 4 ] 4 is an explanatory diagram that shows an example of an image in which the in-vehicle camera images a person.
  • [5] 5 ist ein erklärendes Diagramm, das ein Beispiel für eine Messung einer Pixelverschiebung einer Vollbildanzeige unter Verwendung einer großen Tafel in einem vergleichenden Beispiel darstellt.[ 5 ] 5 is an explanatory diagram showing an example of measuring pixel shift of a full screen display using a large panel in a comparative example.
  • [6] 6 ist ein erklärendes Diagramm, das ein Beispiel für eine Messung nur eines bestimmten Bereichs unter Verwendung einer kleinen Tafel darstellt.[ 6 ] 6 is an explanatory diagram showing an example of measuring only a specific area using a small board.
  • [7A] 7A ist ein Diagramm, das die Gleichung 1 darstellt.[ 7A ] 7A is a diagram representing Equation 1.
  • [7B] 7B ist ein Diagramm, das die Gleichungen 2, 3 und 4 darstellt.[ 7B ] 7B is a diagram representing equations 2, 3 and 4.
  • [8] 8 ist ein Diagramm, das ein Beispiel der Variation bei der Befestigung der fahrzeuginternen Kamera und ein Beispiel der Variation der Form einer Windschutzscheibe darstellt.[ 8th ] 8th is a diagram illustrating an example of variation in mounting the in-vehicle camera and an example of variation in the shape of a windshield.
  • [9] 9 ist ein Diagramm, das ein Beispiel darstellt, in dem relevante Variationsparameter nicht unterschieden werden können.[ 9 ] 9 is a diagram depicting an example in which relevant variation parameters cannot be distinguished.
  • [10] 10 ist ein Diagramm zur Erläuterung der Empfindlichkeit des Variationsparameters im Falle des Neigungswinkels der Windschutzscheibe (30 Grad bis 35 Grad).[ 10 ] 10 is a diagram to explain the sensitivity of the variation parameter in the case of the windshield tilt angle (30 degrees to 35 degrees).
  • [11] 11 ist ein Diagramm zur Erläuterung der Empfindlichkeit des Variationsparameters im Falle des Neigungswinkels der Windschutzscheibe (35 Grad oder mehr, 40 Grad bis 70 Grad).[ 11 ] 11 is a diagram to explain the sensitivity of the variation parameter in the case of the windshield tilt angle (35 degrees or more, 40 degrees to 70 degrees).

Beschreibung der AusführungsformenDescription of the embodiments

Im Folgenden werden Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Die Ausführungsform oder das Beispiel ist ein Beispiel für die Beschreibung der vorliegenden Erfindung, und Auslassungen und Vereinfachungen sind angemessen für die Klarheit der Beschreibung gemacht. Die Erfindung kann in verschiedenen anderen Formen umgesetzt werden. Sofern nicht anders angegeben, kann jede Komponente im Singular oder Plural auftreten.Embodiments of the invention are described below with reference to the drawings. The embodiment or example is an example of the description of the present invention, and omissions and simplifications are appropriate for the clarity of the description. The invention may be embodied in various other forms. Unless otherwise stated, each component may appear singular or plural.

Die Position, die Größe, die Form, der Bereich und dergleichen jeder Komponente, die in den Zeichnungen dargestellt ist, müssen nicht unbedingt die tatsächliche Position, die tatsächliche Größe, die tatsächliche Form, den tatsächlichen Bereich und dergleichen darstellen, um das Verständnis der Erfindung zu erleichtern. Aus diesem Grund ist die vorliegende Erfindung nicht notwendigerweise auf die in den Zeichnungen gezeigten Positionen, Größen, Formen, Bereiche und dergleichen beschränkt.The position, size, shape, area and the like of each component shown in the drawings do not necessarily represent the actual position, size, shape, area and the like in order to understand the invention to facilitate. For this reason, the present invention is not necessarily limited to the positions, sizes, shapes, areas and the like shown in the drawings.

Wenn eine Vielzahl von Komponenten mit gleichen oder ähnlichen Funktionen vorliegen, sind möglicherweise unterschiedliche Indizes für die gleichen Bezugsziffern zur Erläuterung angegeben. Wenn es nicht notwendig ist, zwischen diesen Bauteilen zu unterscheiden, kann die Beschreibung auch ohne tiefgestellte Ziffern auskommen.If there are a plurality of components with the same or similar functions, different indices may be given for the same reference numerals for explanation. If it is not necessary, between these construction To distinguish between parts, the description can also do without subscript numbers.

[Beispiel][Example]

Der Inhalt des vorliegenden Beispiels wird unter Bezugnahme auf die 1 bis 6 beschrieben.The contents of the present example are explained with reference to the 1 until 6 described.

3 ist ein erklärendes Diagramm, das ein Beispiel für einen Zustand darstellt, in dem die fahrzeuginterne Kamera eine Person abbildet. Ein Fahrzeug 31 enthält eine fahrzeuginterne Kamera 30. Die Bezugsziffern 32, 33 und 34 bezeichnen Personen (in diesem Beispiel sind es drei Personen). Die Detektionsbilder DPA und DPB, die diese drei Personen 32 bis 34 zeigen, sind in 4 dargestellt. In den Detektionsbildern DPA und DPB ist die horizontale Richtung H und die vertikale Richtung V. Das Detektionsbild DPA in 4 zeigt die Positionen der Bilder der Personen 32A, 33A und 34A ohne die Windschutzscheibe und die Positionen der Bilder der Personen 32B, 33B und 34B mit der Windschutzscheibe. In der Situation ohne Windschutzscheibe ist die Position des Bilds (32A, 33A, 34A) eine ideale Position, in der es keine Brechung der Windschutzscheibe gibt, d. h. keine Pixelverschiebung. Andererseits wird davon ausgegangen, dass in der Situation, in der die Windschutzscheibe vorhanden ist, die Positionen der Bilder (32B, 33B, 34B) die Positionen der Bilder sind, die in einem Zustand projiziert werden, in dem es keine Variation bei der Befestigung der fahrzeuginternen Kamera oder Variation bei der Form und Glasdicke der Windschutzscheibe gibt. Die Differenz zwischen den Positionen der Bilder (32A, 33A, 34A) und den Positionen der Bilder (32A, 33A, 34A) wird als Pixelverschiebung (PS1) bezeichnet. Wenn die fahrzeuginternen Kameras an allen Fahrzeugen desselben Fahrzeugtyps befestigt sind und keine Variation bei der Form und Glasdicke der Windschutzscheibe vorliegt, können alle Fahrzeuge desselben Fahrzeugtyps kalibriert werden, indem die Messung nur einmal an einem Fahrzeugtyp durchgeführt wird. 3 is an explanatory diagram showing an example of a condition in which the in-vehicle camera images a person. A vehicle 31 contains an in-vehicle camera 30. Reference numerals 32, 33 and 34 denote people (in this example there are three people). The detection images DPA and DPB, which show these three people 32 to 34, are in 4 shown. In the detection images DPA and DPB, the horizontal direction is H and the vertical direction is V. The detection image DPA in 4 3 shows the positions of the images of people 32A, 33A and 34A without the windshield and the positions of the images of people 32B, 33B and 34B with the windshield. In the situation without a windshield, the position of the image (32A, 33A, 34A) is an ideal position in which there is no refraction of the windshield, that is, no pixel shift. On the other hand, in the situation where the windshield is present, it is assumed that the positions of the images (32B, 33B, 34B) are the positions of the images projected in a state where there is no variation in attaching the in-vehicle camera or variation in the shape and glass thickness of the windshield. The difference between the positions of the images (32A, 33A, 34A) and the positions of the images (32A, 33A, 34A) is called the pixel shift (PS1). If the in-vehicle cameras are mounted on all vehicles of the same vehicle type and there is no variation in the shape and glass thickness of the windshield, all vehicles of the same vehicle type can be calibrated by taking the measurement only once on one vehicle type.

Wie im Detektionsbild DPB von 4 dargestellt ist, weicht jedoch die Position des durch die Windschutzscheibe gebrochenen Bilds in einem tatsächlichen Fall vom Planungswert ab, da es Variationen bei der Montage der fahrzeuginternen Kamera und Variationen bei der Form und der Glasdicke der Windschutzscheibe gibt. Das Detektionsbild DPB zeigt die Positionen der Bilder der Objekte 32A, 33A und 34A in einer Situation an, in der keine Windschutzscheibe vorhanden ist, und die Positionen der Bilder (32C, 33C, 34C) in einer Situation, in der es Variationen bei der Montage der fahrzeuginternen Kamera und Variationen bei der Form, Neigung und Glasdicke der Windschutzscheibe gibt. Die Pixelverschiebung, die der Differenz zwischen den Positionen der Bilder (32A, 33A, 34A) und den Positionen der Bilder (32C, 33C, 34C) entspricht, ist eine Pixelverschiebung PS2. Der Betrag der Pixelverschiebung PS2 (die Länge des Pfeils) ist größer als der Betrag der Pixelverschiebung PS1 (die Länge des Pfeils).As in the detection image DPB of 4 However, the position of the image refracted through the windshield in an actual case differs from the design value because there are variations in the mounting of the in-vehicle camera and variations in the shape and glass thickness of the windshield. The detection image DPB indicates the positions of the images of the objects 32A, 33A and 34A in a situation where there is no windshield and the positions of the images (32C, 33C, 34C) in a situation where there are variations in mounting the in-vehicle camera and variations in the shape, inclination and glass thickness of the windshield. The pixel shift corresponding to the difference between the positions of the images (32A, 33A, 34A) and the positions of the images (32C, 33C, 34C) is a pixel shift PS2. The amount of pixel shift PS2 (the length of the arrow) is greater than the amount of pixel shift PS1 (the length of the arrow).

Eine Pixelverschiebung (PS2-PS1) kommt zwischen den Positionen der Bilder (32B, 33B, 34B) des Detektionsbilds DPA und den Positionen der Bilder (32C,33C, 34C) des Detektionsbilds DPB vor. Wenn beispielsweise eine horizontale Pixelverschiebungskomponente der Pixelverschiebung PS1 des Bilds 32B in Bezug auf das Bild 32A mit einer horizontalen Pixelverschiebungskomponente der Pixelverschiebung PS2 des Bilds 32C in Bezug auf das Bild 32A verglichen wird, ergibt sich eine Pixelverschiebung PSH (= PS2 (horizontale Richtung) - PS1 (horizontale Richtung)) in horizontaler Richtung. Eine derartige Pixelverschiebung kann bei einer Kamera mit kleinem Winkel unwesentlich sein, da der Einfluss gering ist, aber bei einer fahrzeuginternen Kamera wie einer Stereokamera oder einer monokularen Kamera, bei der eine Weitwinkelkamera eingesetzt wird, wird die Verzerrung groß, und die durch diese Variation verursachte Pixelverschiebung kann nicht ignoriert werden. Daher ist eine Kalibrierung für jedes Fahrzeug erforderlich.A pixel shift (PS2-PS1) occurs between the positions of the images (32B, 33B, 34B) of the detection image DPA and the positions of the images (32C, 33C, 34C) of the detection image DPB. For example, if a horizontal pixel shift component of the pixel shift PS1 of the image 32B with respect to the image 32A is compared with a horizontal pixel shift component of the pixel shift PS2 of the image 32C with respect to the image 32A, a pixel shift PSH (= PS2 (horizontal direction) - PS1 results). (horizontal direction)) in horizontal direction. Such a pixel shift may be insignificant in a small angle camera as the influence is small, but in an in-vehicle camera such as a stereo camera or a monocular camera using a wide angle camera, the distortion caused by this variation becomes large Pixel shift cannot be ignored. Therefore, calibration is required for each vehicle.

5 ist ein erklärendes Diagramm, das ein Beispiel für eine Messung einer Pixelverschiebung einer Vollbildanzeige unter Verwendung einer großen Tafel in dem vergleichenden Beispiel darstellt. Bei dem Kalibrierungsverfahren des in 5 dargestellten Vergleichsbeispiels wird eine große Tafel (Kalibrierungsbild) 51 hergestellt, die den gesamten Weitwinkelbereich, d. h. den weiten Betrachtungswinkel einer fahrzeuginternen Kamera 52, abdecken kann. Wenn beispielsweise der linke und der rechte Betrachtungswinkel der fahrzeuginternen Kamera 52 120 Grad beträgt, wird eine Tafel 51 von 14 m (horizontale Breite) × 3 m (vertikale Breite) verwendet. 5 is an explanatory diagram showing an example of measuring a pixel shift of a full-screen display using a large panel in the comparative example. During the calibration procedure of the in 5 In the comparative example shown, a large panel (calibration image) 51 is produced, which can cover the entire wide-angle range, ie the wide viewing angle of a vehicle-internal camera 52. For example, if the left and right viewing angles of the in-vehicle camera 52 are 120 degrees, a panel 51 of 14 m (horizontal width) × 3 m (vertical width) is used.

Die große Tafel 51 wird von der Weitwinkelkamera der fahrzeuginternen Kamera 52 durch eine Windschutzscheibe 53 aufgenommen. Wie in 5 dargestellt ist, kann die Pixelverschiebung (δε) der Vollbildanzeige der fahrzeuginternen Kamera 52 erfasst werden, wenn die Messung mit der großen Tafel 51 durchgeführt wird. Bei der Pixelverschiebung (δε) der Vollbildanzeige stellt die horizontale Achse einen horizontalen Betrachtungswinkel (FOVH) dar und die vertikale Achse stellt einen vertikalen Betrachtungswinkel (FOW) dar. Außerdem zeigt die Richtung des Pfeils die Verschiebungsrichtung' der Pixelverschiebung an, und die Länge des Pfeils zeigt den Verschiebungsbetrag der Pixelverschiebung an. Durch die Aufhebung der Pixelverschiebung (δε). in der Vollbildanzeige können Bildverzerrungen wie die Pixelverschiebung (δε) in der Vollbildanzeige beseitigt werden, und die Kalibrierung kann für alle Pixel in der Vollbildanzeige durchgeführt werden. Die Pixelverschiebung (δε) in der Vollbildanzeige tritt aufgrund von Verzerrungen basierend auf Variationen bei der Montage der fahrzeuginternen Kamera, Verzerrungen basierend auf Variationen der Form, Neigung und Glasdicke der Windschutzscheibe, Verzerrungen basierend auf Variationen der Form des Weitwinkelobjektivs der fahrzeuginternen Kamera oder dergleichen auf.The large panel 51 is captured by the wide-angle camera of the vehicle-internal camera 52 through a windshield 53. As in 5 As shown, the pixel shift (δε) of the full-screen display of the in-vehicle camera 52 can be detected when the measurement is performed with the large panel 51. In the pixel shift (δε) of the full screen display, the horizontal axis represents a horizontal viewing angle (FOVH), and the vertical axis represents a vertical viewing angle (FOW). In addition, the direction of the arrow indicates the shift direction of the pixel shift, and the length of the arrow displays the shift amount of pixel shift. By canceling the pixel shift (δε). in the full screen display, image distortions such as the pixel shift (δε) in the full screen display can be eliminated, and the calibration This can be done for all pixels in the full screen display. The pixel shift (δε) in the full-screen display occurs due to distortions based on variations in the mounting of the in-vehicle camera, distortions based on variations in the shape, inclination and glass thickness of the windshield, distortions based on variations in the shape of the wide-angle lens of the in-vehicle camera, or the like.

In diesem Fall, wenn die Größe der großen Tafel 51 zu groß ist, ist es schwierig, die große Tafel 51 in einer Fabrik oder bei einem Händler zu installieren. Daher bestehen Bedenken, dass die Kalibrierung der Vollbildanzeige nicht für jedes Fahrzeug durchgeführt werden kann.In this case, if the size of the large panel 51 is too large, it is difficult to install the large panel 51 in a factory or dealer. Therefore, there is a concern that calibration of the full screen display cannot be performed for every vehicle.

Ein Kalibrierungsverfahren gemäß dem Beispiel wird unter Bezugnahme auf 6 beschrieben. 6 ist ein erklärendes Diagramm, das ein Beispiel für ein Kalibrierungsverfahren zur Messung nur eines bestimmten Bereichs unter Verwendung einer kleinen Tafel darstellt.A calibration procedure according to the example is described with reference to 6 described. 6 is an explanatory diagram showing an example of a calibration procedure for measuring only a specific area using a small panel.

Anstatt die Pixelverschiebung (δε) der Vollbildanzeige mit der in 5 beschriebenen großen Tafel 51 zu messen, werden in 6 die Pixelverschiebungen einer Vielzahl von spezifischen Bereichen in der Vollbildanzeige einer fahrzeuginternen Kamera 62 unter Verwendung einer Vielzahl von kleinen Tafeln 61 gemessen. In diesem Beispiel werden drei kleine Tafeln 61 verwendet, um die Pixelverschiebungen (δεp1, δεp2, δεp3) in drei spezifischen Bereichen (64, 65, 66) zu messen. Die Größe jedes der drei spezifischen Bereiche (64, 65, 66) beträgt die Hälfte oder weniger des Bilds in der Vollbildanzeige. In einem Fall, in dem die Vielzahl der vorbestimmten Bereiche n Bereiche sind, ist mindestens einer der vorbestimmten Bereiche kleiner gleich 1/n des Bild in der Vollbildanzeige. Als Größe der kleinen Tafel 61 kann beispielsweise 1 m bis 2 m oder weniger × 1 m bis 2 m oder weniger verwendet werden. Die fahrzeuginterne Kamera 62 misst die Pixelverschiebungen (δεp1, δεp2, δεp3) der spezifischen Bereiche 64, 65 und 66 in der Vollbildanzeige der fahrzeuginternen Kamera 62, indem sie eine Vielzahl von kleinen Tafeln 61 mit einer Weitwinkelkamera der fahrzeuginternen Kamera 62 durch eine Windschutzscheibe 63 fotografiert.Instead of the pixel shift (δε) of the full screen display with the in 5 described large table 51 to measure, are in 6 the pixel shifts of a plurality of specific areas in the full-screen display of an in-vehicle camera 62 are measured using a plurality of small panels 61. In this example, three small panels 61 are used to measure the pixel shifts (δεp1, δεp2, δεp3) in three specific areas (64, 65, 66). The size of each of the three specific areas (64, 65, 66) is half or less of the image in the full screen display. In a case where the plurality of predetermined areas are n areas, at least one of the predetermined areas is less than or equal to 1/n of the image in the full-screen display. As the size of the small panel 61, for example, 1 m to 2 m or less × 1 m to 2 m or less can be used. The in-vehicle camera 62 measures the pixel shifts (δεp1, δεp2, δεp3) of the specific areas 64, 65 and 66 in the full-screen display of the in-vehicle camera 62 by photographing a plurality of small panels 61 through a windshield 63 with a wide-angle camera of the in-vehicle camera 62 .

Die fahrzeuginterne Kamera 62 berechnet den Variationsparameter δφ (z. B. δφ1, δφ2, δφ3, ...: Werte der Faktoren jeder Variation) unter Verwendung der Pixelverschiebungen (δεp1, δεp2, δεp3) der spezifischen Bereiche 64, 65 und 66. Dann berechnet die fahrzeuginterne Kamera 62 schließlich eine geschätzte Pixelverschiebung (δε`), um die Pixelverschiebung (δε) der Vollbildanzeige aus dem Variationsparameter (δφ) zu schätzen. Folglich ist es möglich, die Pixelverschiebung (δε) der Vollbildanzeige der fahrzeuginternen Weitwinkelkamera 62 auch mit einer Vielzahl -von kleinen Tafeln 61 zu kalibrieren. Der Variationsparameter δφ (beispielsweise δφ1, δφ2, δφ3, ...) kann in einen orthogonalisierten Variationsparameter δψ (δψ1, δψ2, δψ3, ...) geändert werden, wie später unter Bezugnahme auf 7B beschrieben wird.The in-vehicle camera 62 calculates the variation parameter δφ (e.g. δφ1, δφ2, δφ3, ...: values of the factors of each variation) using the pixel shifts (δεp1, δεp2, δεp3) of the specific areas 64, 65 and 66. Then Finally, the in-vehicle camera 62 calculates an estimated pixel shift (δε`) to estimate the pixel shift (δε) of the full-screen display from the variation parameter (δφ). Consequently, it is possible to calibrate the pixel shift (δε) of the full-screen display of the in-vehicle wide-angle camera 62 even with a plurality of small panels 61. The variation parameter δφ (e.g. δφ1, δφ2, δφ3, ...) can be changed to an orthogonalized variation parameter δψ (δψ1, δψ2, δψ3, ...) as described later with reference to 7B is described.

Details der fahrzeuginternen Kamera, die das Kalibrierungsverfahren von 6 implementieren kann, und das Kalibrierungsverfahren werden unter Bezugnahme auf die 1 und 2 beschrieben. 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer fahrzeuginternen Kamera in einem Beispiel darstellt. 2 ist ein Ablaufdiagramm, das einen Verarbeitungsvorgang der Kalibrierung der fahrzeuginternen Kamera in dem Beispiel darstellt.Details of the in-vehicle camera showing the calibration procedure of 6 can implement, and the calibration procedure are described with reference to the 1 and 2 described. 1 is a block diagram illustrating a configuration example of an in-vehicle camera in an example. 2 is a flowchart illustrating a processing procedure of calibrating the in-vehicle camera in the example.

Wie in 1 dargestellt ist, umfasst die fahrzeuginterne Kamera 62 eine Bildaufnahmeeinheit 10, eine Bereichsauswahleinheit 11, eine externe Eingabeeinheit 12, eine Parameterberechnungseinheit 13, eine Gesamtflächen-Pixelverschiebungsschätzungseinheit 14, die eine Pixelverschiebung der Vollbildanzeige schätzt, und eine Kalibrierungseinheit 15. Hier bedeutet die Vollbildanzeige den gesamten horizontalen und vertikalen Betrachtungswinkel, der von der in der Bildaufnahmeeinheit 10 eingebauten Kamera erfasst werden kann.As in 1 As shown, the in-vehicle camera 62 includes an image capture unit 10, an area selection unit 11, an external input unit 12, a parameter calculation unit 13, a total area pixel shift estimation unit 14 that estimates a pixel shift of the full-screen display, and a calibration unit 15. Here, the full-screen display means the entire horizontal and vertical viewing angle that can be captured by the camera built into the image capture unit 10.

Die Bildaufnahmeeinheit 10 ist eine Abbildungsschaltung, die ein Objekt abbildet, und ist mit der Bereichsauswahleinheit 11 verbunden. Die Bildaufnahmeeinheit 10 ist beispielsweise eine Abbildungsvorrichtung, die in der Lage ist, ein Bild zu erfassen, wie eine sichtbare Kamera oder eine Infrarotkamera mit einer optischen Linse und einem Abbildungselement, und enthält eine einzelne Kamera (monokulare Kamera) oder eine Vielzahl von Kameras (Stereokamera). Die Bildaufnahmeeinheit 10 ist nicht auf diese Kameras beschränkt, und es können verschiedene Abbildungsschaltungen eingesetzt werden. Wie in 6 beschrieben, nimmt die Bildaufnahmeeinheit 10 Bilder von einer oder einer Vielzahl von kleinen Tafeln 61 auf und gibt die Daten der erfassten Bilder an die Bereichsauswahleinheit 11 aus. In diesem Bild zeigt jedes Pixel einen Leuchtdichtewert an.The image pickup unit 10 is an imaging circuit that images an object, and is connected to the area selection unit 11. The image capture unit 10 is, for example, an imaging device capable of capturing an image, such as a visible camera or an infrared camera having an optical lens and an imaging element, and includes a single camera (monocular camera) or a plurality of cameras (stereo camera ). The image capture unit 10 is not limited to these cameras, and various imaging circuits can be used. As in 6 described, the image capture unit 10 captures images of one or a plurality of small panels 61 and outputs the data of the captured images to the area selection unit 11. In this image, each pixel displays a luminance value.

Die Bereichsauswahleinheit 11 ist mit der Bildaufnahmeeinheit 10, der externen Eingabeeinheit 12 und der Parameterberechnungseinheit 13 verbunden. Die Bereichsauswahleinheit 11 wählt eine Vielzahl von vorbestimmten Bereichen aus, die im Voraus gemäß der Form und Neigung der Windschutzscheibe in dem von der Bildaufnahmeeinheit 10 aufgenommenen Bild bestimmt werden. Die Bereichsauswahleinheit 11 empfängt Planungsdaten, wie etwa einen Planungswert der Windschutzscheibe 63, und Bereichsauswahldaten zum Auswählen eines vorbestimmten Bereichs, wie etwa einen oder eine Vielzahl von spezifischen Bereichen, von der externen Eingabeeinheit 12 und wählt einen oder eine Vielzahl von entsprechenden spezifischen Bereichen aus (alternativ einen vorbestimmten (gewünschten) spezifischen Bereich und einen vorbestimmten Bereich). Die in 6 beschriebene kleine Tafel 61 ist so angeordnet, dass sie jeweils einer oder einer Vielzahl von ausgewählten spezifischen Bereichen entspricht. Die Bereichsauswahleinheit 11 berechnet eine Pixelverschiebung (δεp1, δεp2, δεp3) jedes spezifischen Bereichs aus dem Bild der kleinen Tafel 61 von einem oder einer Vielzahl von ausgewählten spezifischen Bereichen. Die Bereichsauswahleinheit 11 gibt die berechnete Pixelverschiebung. (δεp1, δεp2, δεp3) des spezifischen Bereichs an die Parameterberechnungseinheit 13 aus.The area selection unit 11 is connected to the image capture unit 10, the external input unit 12 and the parameter calculation unit 13. The area selection unit 11 selects a plurality of predetermined areas determined in advance according to the shape and inclination of the windshield in the image captured by the image pickup unit 10. The area selection unit 11 receives planning data such as a planning value of the wind protection disk 63, and area selection data for selecting a predetermined area, such as one or a plurality of specific areas, from the external input unit 12 and selects one or a plurality of corresponding specific areas (alternatively, a predetermined (desired) specific area and a predetermined area ). In the 6 The small panel 61 described is arranged to correspond to one or a plurality of selected specific areas. The area selection unit 11 calculates a pixel shift (δεp1, δεp2, δεp3) of each specific area from the image of the small panel 61 of one or a plurality of selected specific areas. The area selection unit 11 gives the calculated pixel shift. (δεp1, δεp2, δεp3) of the specific range to the parameter calculation unit 13.

Die externe Eingabeeinheit 12 ist mit der Bereichsauswahleinheit 11, der Parameterberechnungseinheit 13 und der Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 verbunden. Die externe Eingabeeinheit 12 überträgt die Bereichsauswahldaten an die Bereichsauswahleinheit 11 und leitet die US-Matrix an die Parameterberechnungseinheit 13 und die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 weiter. Hier ist die US-Matrix eine Matrix, die eine mathematische Beziehung (mathematisches Modell) zwischen dem orthogonalisierten Variationsparameter δφ (δφ1, δφ2, δφ3, ...) und der Pixelverschiebung (δεp1, δεp2, δεp3) anzeigt.The external input unit 12 is connected to the area selection unit 11, the parameter calculation unit 13 and the total area pixel displacement estimation unit 14. The external input unit 12 transmits the area selection data to the area selection unit 11 and forwards the US matrix to the parameter calculation unit 13 and the total area pixel displacement estimation unit 14. Here, the US matrix is a matrix that indicates a mathematical relationship (mathematical model) between the orthogonalized variation parameter δφ (δφ1, δφ2, δφ3, ...) and the pixel displacement (δεp1, δεp2, δεp3).

Die Parameterberechnungseinheit 13 ist mit der Bereichsauswahleinheit 11 und der Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 verbunden. Die Parameterberechnungseinheit 13 empfängt die Pixelverschiebung (δεp1, δεp2, δεp3) des spezifischen Bereichs von der Bereichsauswahleinheit 11 und berechnet einen Variationsparameter δφ (δφ1, δφ2, δφ3, ...). Die Parameterberechnungseinheit 13 gibt den berechneten Variationsparameter δφ (δφ1, δcp2; δφ3, ...) an die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 aus.The parameter calculation unit 13 is connected to the area selection unit 11 and the total area pixel displacement estimation unit 14. The parameter calculation unit 13 receives the pixel displacement (δεp1, δεp2, δεp3) of the specific area from the area selection unit 11 and calculates a variation parameter δφ (δφ1, δφ2, δφ3, ...). The parameter calculation unit 13 outputs the calculated variation parameter δφ (δφ1, δcp2; δφ3, ...) to the total area pixel displacement estimation unit 14.

Die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 ist mit der Parameterberechnungseinheit 13 und der Kalibrierungseinheit 15 verbunden. Die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 schätzt die Pixelverschiebung des gesamten Bilds unter Verwendung des Bilds, das aus einer Vielzahl von vorbestimmten Bereichen in dem von der Bildaufnahmeeinheit 10 aufgenommenen Bild detektiert wurde. Die Vielzahl von vorbestimmten Bereiche kann drei oder mehr vorbestimmte Bereiche umfassen. Die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 empfängt den Wert des Parameters δφ (δφ1, δφ2, δφ3, ...) der Variation von der Parameterberechnungseinheit 13 und berechnet eine geschätzte Pixelverschiebung (δε`) zur Schätzung der Pixelverschiebung (δε) der Vollbildanzeige. Die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 gibt die geschätzte Pixelverschiebung (δε') der Vollbildanzeige an die Kalibrierungseinheit 15 aus.The total area pixel displacement estimation unit 14 is connected to the parameter calculation unit 13 and the calibration unit 15. The total area pixel displacement estimation unit 14 estimates the pixel displacement of the entire image using the image detected from a plurality of predetermined areas in the image captured by the image capture unit 10. The plurality of predetermined areas may include three or more predetermined areas. The total area pixel displacement estimation unit 14 receives the value of the parameter δφ (δφ1, δφ2, δφ3, ...) of the variation from the parameter calculation unit 13 and calculates an estimated pixel displacement (δε`) for estimating the pixel displacement (δε) of the full-screen display. The total area pixel shift estimation unit 14 outputs the estimated pixel shift (δε') of the full-screen display to the calibration unit 15.

Die Kalibrierungseinheit 15 ist mit der Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 verbunden. Die Kalibrierungseinheit 15 korrigiert die Verschiebung der Pixel der Gesamtfläche auf der Basis der Informationen der Gesamtflächen-Pixelverschiebungsschätzungseinheit 14. Die Kalibrierungseinheit 15 empfängt die von der Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 geschätzte Pixelverschiebung (δε') der Vollbildanzeige, hebt die Pixelverschiebung (δε) der Vollbildanzeige auf und kalibriert die Position des Pixels in der Vollbildanzeige.The calibration unit 15 is connected to the total area pixel displacement estimation unit 14. The calibration unit 15 corrects the displacement of the pixels of the entire area based on the information of the entire area pixel displacement estimating unit 14. The calibration unit 15 receives the pixel displacement (δε') of the full-screen display estimated by the entire-area pixel displacement estimating unit 14, cancels the pixel displacement (δε) of the full-screen display and calibrates the position of the pixel in the full screen display.

Nach Beendigung der Kalibrierung wird das von der Bildaufnahmeeinheit 10 erfasste Bild in der Vollbildanzeige von der Kalibrierungseinheit 15 kalibriert und dann als Bilddaten für die Abstandsmessung verwendet. Folglich ist es möglich, eine fahrzeuginterne Kamera mit einem großen Erkennungswinkel bereitzustellen, um Unfälle an Kreuzungen zu vermeiden.After the calibration has ended, the image captured by the image capture unit 10 is calibrated in the full-screen display by the calibration unit 15 and then used as image data for the distance measurement. Consequently, it is possible to provide an in-vehicle camera with a wide detection angle to avoid accidents at intersections.

Die fahrzeuginterne Kamera in 1 kann wie folgt zusammengefasst werden.The in-vehicle camera in 1 can be summarized as follows.

Das heißt, die fahrzeuginterne Kamera 62 enthält eine Bildaufnahmeeinheit 10, die ein Objekt abbildet, eine Gesamtflächen-Pixelverschiebungsschätzungseinheit 14, die eine Verschiebung von Pixeln der Gesamtfläche auf der Basis eines von der Bildaufnahmeeinheit 10 aufgenommenen Bilds berechnet, eine Bereichsauswahleinheit 11, die eine Vielzahl von vorbestimmten Bereichen (spezifische Bereiche 64, 65, 66) auswählt, die im Voraus gemäß der Form und Neigung der Windschutzscheibe 63 in dem von der Bildaufnahmeeinheit 10 aufgenommenen Bild bestimmt werden, und eine Kalibrierungseinheit 14, die die Verschiebung von Pixeln der Gesamtfläche auf der Basis von Informationen der Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 korrigiert. Die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 schätzt die Pixelverschiebung der Gesamtfläche unter Verwendung des Bilds, das von einer Vielzahl von vorbestimmten Bereichen (spezifische Bereiche 64, 65, 66) in dem von der Bildaufnahmeeinheit 10 aufgenommenen Bild detektiert wurde.That is, the in-vehicle camera 62 includes an image pickup unit 10 that images an object, a total area pixel displacement estimation unit 14 that calculates a displacement of pixels of the total area based on an image captured by the image pickup unit 10, an area selection unit 11 that has a plurality of predetermined areas (specific areas 64, 65, 66) determined in advance according to the shape and inclination of the windshield 63 in the image captured by the image pickup unit 10, and a calibration unit 14 that calculates the displacement of pixels of the entire area on the basis corrected by information from the total area pixel displacement estimation unit 14. The total area pixel displacement estimating unit 14 estimates the pixel displacement of the entire area using the image detected from a plurality of predetermined areas (specific areas 64, 65, 66) in the image captured by the image capture unit 10.

Ferner kann das Kalibrierungsverfahren in der fahrzeuginternen Kamera 62, das unter Bezugnahme auf 1 beschrieben wird, wie folgt zusammengefasst werden. Das heißt, das Kalibrierungsverfahren in der fahrzeuginternen Kamera 62 enthält einen Abbildungsschritt des Abbildens eines Objekts durch die Bildaufnahmeeinheit 10, einen Schätzungsschritt des Berechnens und Schätzens der Verschiebung der Pixel der Gesamtfläche auf der Basis des Bilds, das im Abbildungsschritt durch die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 aufgenommen wurde, einen Schritt des Auswählens einer Vielzahl von vorbestimmten Bereichen (spezifische Bereiche: 64, 65, 66), die im Voraus gemäß der Form und Neigung der Windschutzscheibe in dem durch die Bereichsauswahleinheit 11 im Abbildungsschritt aufgenommenen Bild bestimmt werden, und einen Kalibrierungsschritt des Korrigierens der Verschiebung der Pixel der Gesamtfläche auf der Basis der Informationen des Schätzungsschritts durch die Kalibrierungseinheit 15. In dem Abschätzungsschritt wird die Pixelverschiebung der Gesamtfläche unter Verwendung des Bilds geschätzt, das von der Vielzahl von vorbestimmten Bereichen in dem im Abbildungsschritt aufgenommenen Bild detektiert wurde.Further, the calibration procedure in the in-vehicle camera 62, which can be described with reference to 1 is described as follows be measured. That is, the calibration method in the in-vehicle camera 62 includes an imaging step of imaging an object by the image capture unit 10, an estimation step of calculating and estimating the displacement of the pixels of the total area based on the image captured in the imaging step by the total area pixel displacement estimating unit 14 a step of selecting a plurality of predetermined areas (specific areas: 64, 65, 66) determined in advance according to the shape and inclination of the windshield in the image captured by the area selecting unit 11 in the imaging step, and a calibration step of correcting the displacement of the pixels of the total area based on the information of the estimation step by the calibration unit 15. In the estimation step, the pixel displacement of the total area is estimated using the image detected from the plurality of predetermined areas in the image captured in the imaging step.

In dem in 1 dargestellten Konfigurationsbeispiel der fahrzeuginternen Kamera 62 kann jede Einheit (10 bis 15) durch eine Hardwareschaltung konfiguriert werden. In diesem Fall kann die fahrzeuginterne Kamera 62 beispielsweise als die Abbildungsschaltung 10, die Bereichsauswahlschaltung 11, die externe Eingabeschaltung 12, die Parameterberechnungsschaltung 13, die Gesamtflächen-Pixelverschiebungsschätzungsschaltung 14 und die Kalibrierungsschaltung 15 umformuliert werden.In the in 1 In the illustrated configuration example of the in-vehicle camera 62, each unit (10 to 15) can be configured by a hardware circuit. In this case, the in-vehicle camera 62 may be reformulated as, for example, the imaging circuit 10, the area selection circuit 11, the external input circuit 12, the parameter calculation circuit 13, the total area pixel shift estimation circuit 14 and the calibration circuit 15.

Des Weiteren kann in dem in 1 dargestellten Konfigurationsbeispiel der fahrzeuginternen Kamera 62 jede Einheit (11 bis 15) ausschließlich der Bildaufnahmeeinheit 10 durch ein Softwareprogramm konfiguriert werden. In diesem Fall ist die fahrzeuginterne Kamera 62 mit einer Datenverarbeitungsvorrichtung ausgestattet, die den Betrieb jeder Einheit (11 bis 15) ausführt. Die Datenverarbeitungsvorrichtung kann so konfiguriert werden, dass sie beispielsweise eine Programmspeichervorrichtung, in der ein Softwareprogramm, das den Betrieb jeder Einheit (11 bis 15) beschreibt, gespeichert ist, eine zentrale Verarbeitungseinheit (CPU), die das in der Programmspeichervorrichtung gespeicherte Softwareprogramm ausführt, und eine Zwischenspeichervorrichtung, die in der Mitte der Berechnung der zentralen Verarbeitungseinheit (CPU) vorübergehend Daten und dergleichen speichert, umfasst. Die Programmspeichervorrichtung kann durch eine wiederbeschreibbare nichtflüchtige Speichervorrichtung wie einen Flash-Speicher oder eine nichtflüchtige Speichervorrichtung wie einen Nur-Lese-Speicher (ROM) konfiguriert werden. Die Zwischenspeichervorrichtung kann durch eine flüchtige Speichervorrichtung wie einen statischen Direktzugriffsspeicher (SRAM) konfiguriert werden. Die zentrale Verarbeitungseinheit (CPU) kann eine Vielzahl von zentralen Verarbeitungseinheiten (CPU) sein.Furthermore, in the in 1 In the illustrated configuration example of the vehicle-internal camera 62, each unit (11 to 15) exclusively of the image recording unit 10 can be configured by a software program. In this case, the in-vehicle camera 62 is equipped with a data processing device that carries out the operation of each unit (11 to 15). The data processing device may be configured to include, for example, a program storage device in which a software program describing the operation of each unit (11 to 15) is stored, a central processing unit (CPU) that executes the software program stored in the program storage device, and a temporary storage device that temporarily stores data and the like in the middle of computation of the central processing unit (CPU). The program storage device may be configured by a rewritable non-volatile storage device such as flash memory or a non-volatile storage device such as read-only memory (ROM). The caching device may be configured by a volatile memory device such as a static random access memory (SRAM). The central processing unit (CPU) may be a plurality of central processing units (CPU).

Als Nächstes wird ein Ablaufdiagramm, das einen Verarbeitungsvorgang der Kalibrierung der fahrzeuginternen Kamera darstellt, unter Bezugnahme auf 2 beschrieben. 7A ist ein Diagramm, das die Gleichung 1 darstellt. 7B ist ein Diagramm, das die Gleichungen 2, 3. und 4 darstellt.Next, a flowchart illustrating a processing procedure of calibrating the in-vehicle camera will be described with reference to 2 described. 7A is a diagram representing Equation 1. 7B is a diagram representing equations 2, 3, and 4.

Vor allen Operationen ist es notwendig, ein mathematisches Modell zu konstruieren, das eine mathematische Beziehungzwischen der Pixelverschiebung (δε) der Vollbildanzeige und dem Variationsparameter δφ (δφ1, δφ2, δφ3, ...) im Voraus anzeigt. Das mathematische Modell wird durch (Gleichung 1) in 7A dargestellt. δε ist eine Pixelverschiebung. Die Q-Matrix ist eine Matrix, die eine mathematische Beziehung zwischen der Pixelverschiebung (δε) und dem Variationsparameter (δφ) anzeigt. δφ ist ein Variationsparameter, m ist die Anzahl der Variationsarten. Die in 8 dargestellte Variation zeigt die X-Verschiebung, die Y-Verschiebung und die Z-Verschiebung als Variationen in der Montageposition der fahrzeuginternen Kamera 62 an, zeigt die Nickdrehung, die Gierdrehung und die Rolldrehung als Variationen in der Kamerastellung der fahrzeuginternen Kamera 62 an und zeigt die horizontale Krümmung, die vertikale Krümmung und die Dicke als Variationen in der Windschutzscheibe 63 an. Das heißt, wenn neun in 8 dargestellte Typen als Variationen angenommen werden, gilt m = 9. n ist die Anzahl der Pixel des Bilds. Wenn beispielsweise die Anzahl der Pixel in horizontaler Richtung 100 Pixel beträgt und die Anzahl der Pixel in vertikaler Richtung 50 Pixel beträgt, gilt n = 100*50 = 5000 Pixel. Deshalb ist die Q-Matrix eine Matrix, die eine mathematische Beziehung zwischen der Pixelverschiebung jedes Pixelpunkts und jedem Variationsparameter anzeigt.Before all operations, it is necessary to construct a mathematical model that indicates in advance a mathematical relationship between the pixel shift (δε) of the full-screen display and the variation parameter δφ (δφ1, δφ2, δφ3, ...). The mathematical model is given by (Equation 1) in 7A shown. δε is a pixel shift. The Q matrix is a matrix that displays a mathematical relationship between the pixel displacement (δε) and the variation parameter (δφ). δφ is a variation parameter, m is the number of types of variation. In the 8th Variation shown indicates the horizontal curvature, vertical curvature and thickness as variations in the windshield 63. That is, if nine in 8th types shown are assumed to be variations, m = 9. n is the number of pixels in the image. For example, if the number of pixels in the horizontal direction is 100 pixels and the number of pixels in the vertical direction is 50 pixels, then n = 100*50 = 5000 pixels. Therefore, the Q matrix is a matrix that indicates a mathematical relationship between the pixel displacement of each pixel point and each variation parameter.

Die Berechnung der Q-Matrix basiert auf der Berechnung der Pixelverschiebung durch Eingabe jeder Variation in eine optische Simulation wie etwa Raytracing. Da alle tatsächlichen Variationen klein sind, kann die Q-Matrix näherungsweise durch die Variation und die Teilung jedes Pixels berechnet werden. Durch das Ausprobieren verschiedener Variationen wird eine mathematische Beziehung zur Q-Matrix erhalten.The calculation of the Q-matrix is based on calculating the pixel displacement by inputting each variation into an optical simulation such as ray tracing. Since all actual variations are small, the Q-matrix can be approximately calculated by the variation and pitch of each pixel. By trying different variations, a mathematical relationship to the Q matrix is obtained.

Wenn die einzelnen Variationen nicht zueinander in Beziehung stehen oder unabhängig sind, kann die Q-Matrix direkt verwendet werden, um den richtigen Variationsparameter aus der Pixelverschiebung zu berechnen. Die tatsächlichen Variationsparameter stehen jedoch in Beziehung zueinander und sind nicht völlig unabhängig. Daher gibt es den Fall, in denen der Parameter nicht unterschieden werden kann oder ein anderer Parameter berechnet wird. Wie in 9 dargestellt ist, weist beispielsweise die Variation der X-Verschiebung (linke und rechte Verschiebung in X-Richtung) eine ähnliche Komponente in X-Richtung wie die Variation der Gierdrehung auf und weist einen ähnlichen Bereich SMR auf, in dem die Pixelverschiebung δε1 der X-Verschiebung und die Pixelverschiebung δε5 der Gierdrehung ähnlich sind. Wenn der Variationsparameter (δφ) aus der partiellen Pixelverschiebung (δεp) des ähnlichen Bereichs SMR berechnet wird, können die X-Verschiebung und die Gierdrehung nicht unterschieden werden, so dass die Schätzung der Pixelverschiebung (δε`) der Vollbildanzeige falsch ist. Deshalb wird es vorgezogen, die Parameter unabhängig oder orthogonal zu machen. Hier ist der orthogonalisierte Variationsparameter δψ (δψ1, δψ2, δψ3, ...). Wenn der Variationsparameter (δφ) ein tatsächlicher Variationsparameter ist, kann der orthogonalisierte Variationsparameter (δψ) als orthogonaler Variationsparameter bezeichnet werden. Jeder der orthogonalisierten Variationsparameter δψ (δψ1, δψ2, δψ3, ...) hat eine mathematisch orthogonale Beziehung.If the individual variations are unrelated or independent, the Q-matrix can be used directly to calculate the correct variation parameter from the pixel shift. However, the actual variation parameters are related to each other and are not completely independent. Therefore, there are cases where the parameters are not distinguished or another parameter is calculated. As in 9 For example, the variation of the X displacement (left and right displacement in the X direction) has a similar component in the Shift and the pixel shift δε5 are similar to the yaw rotation. When the variation parameter (δφ) is calculated from the partial pixel displacement (δεp) of the similar area SMR, the X displacement and yaw rotation cannot be distinguished, so the estimate of the pixel displacement (δε`) of the full screen display is incorrect. Therefore, it is preferred to make the parameters independent or orthogonal. Here the orthogonalized variation parameter is δψ (δψ1, δψ2, δψ3, ...). If the variation parameter (δφ) is an actual variation parameter, the orthogonalized variation parameter (δψ) can be called an orthogonal variation parameter. Each of the orthogonalized variation parameters δψ (δψ1, δψ2, δψ3, ...) has a mathematically orthogonal relationship.

Beispielsweise wird bei der Orthogonalisierung eines mathematischen Verfahrens vorzugsweise eine US-Matrix verwendet, die Parameter unabhängig umwandeln kann. Die Hauptkomponentenanalyse wird gleichzeitig mit der Orthogonalisierung durchgeführt, und es bleibt nur ein Parameter mit einer großen Änderung übrig, und ein Parameter mit einer kleinen Änderung kann weggelassen werden. Hier kann ein Verfahren der Orthogonalisierung und Hauptkomponentenanalyse, die sogenannte Singulärwertzerlegung (SVD), als Beispiel genommen werden, wodurch eine US-Matrix erzeugt werden kann. (Gleichung 2) in 7B stellt eine Gleichung unter Verwendung des Variationsparameters (δψ) dar, der mit der US-Matrix orthogonalisiert ist. Es ist zu beachten, dass das Berechnungsverfahren nicht auf die Singulärwertzerlegung beschränkt ist und verschiedene Berechnungsverfahren angewandt werden können. (Gleichung 3) in 7B stellt eine relationale Gleichung zwischen dem orthogonalen Variationsparameter (δψ) und dem tatsächlichen Variationsparameter (δφ) dar. Hier ist V eine Transformationsmatrix, die den tatsächlichen Variationsparameter (δφ) in den orthogonalen Variationsparameter (δψ) transformiert. (Gleichung 4) von 7B stellt eine Gleichung dar, die durch Einsetzen von (Gleichung 3) in (Gleichung 2) erhalten wird.For example, when orthogonalizing a mathematical method, it is preferable to use a US matrix that can independently convert parameters. Principal component analysis is performed at the same time as orthogonalization, and only one parameter with a large change is left, and a parameter with a small change can be omitted. Here, a method of orthogonalization and principal component analysis, the so-called singular value decomposition (SVD), can be taken as an example, whereby a US matrix can be generated. (Equation 2) in 7B represents an equation using the variational parameter (δψ) orthogonalized with the US matrix. It should be noted that the calculation method is not limited to singular value decomposition and various calculation methods can be applied. (Equation 3) in 7B represents a relational equation between the orthogonal variation parameter (δψ) and the actual variation parameter (δφ). Here V is a transformation matrix that transforms the actual variation parameter (δφ) into the orthogonal variation parameter (δψ). (Equation 4) of 7B represents an equation obtained by substituting (Equation 3) into (Equation 2).

Als Nächstes wird ein detailliertes Kalibrierungsablaufdiagramm der fahrzeuginternen Kamera unter Bezugnahme auf 2 beschrieben.Next, a detailed calibration flowchart of the in-vehicle camera is presented with reference to 2 described.

  • 1) Schritt 201:
    • Die fahrzeuginterne Kamera 62 wird mit Strom versorgt, um die Kalibrierung zu starten.
    1) Step 201:
    • The in-vehicle camera 62 is powered to start calibration.
  • 2) Schritt 202:
    • Schritt 202 ist ein Schritt des Erfassens eines Tafelbilds. Wie in 6 dargestellt ist, wird die fahrzeuginterne Kamera 62 hinter der Windschutzscheibe 63 platziert, Bilder der Vielzahl von kleinen Tafeln 61 werden von der Bildaufnahmeeinheit 10 von der Innenseite des Fahrzeugs über die Windschutzscheibe 63 aufgenommen, und die aufgenommenen Bilder der Vielzahl von kleinen Tafeln 61 werden erfasst. Die Tafel 61 weist Muster wie ein Schachbrettmuster, Kreise und dergleichen auf. Die Bildaufnahmeeinheit 10 gibt das erfasste aufgenommene Bild an die Bereichsauswahleinheit 11 aus.
    2) Step 202:
    • Step 202 is a step of acquiring a panel image. As in 6 As shown, the in-vehicle camera 62 is placed behind the windshield 63, images of the plurality of small panels 61 are captured by the image capture unit 10 from the inside of the vehicle via the windshield 63, and the captured images of the plurality of small panels 61 are captured. The panel 61 has patterns such as checkerboard, circles and the like. The image capture unit 10 outputs the captured captured image to the area selection unit 11.
  • 3) Schritt 203:
    • Schritt 203 ist ein Schritt des Eingebens eines Planungswerts der Windschutzscheibe 63. Die externe Eingabeeinheit 12 überträgt den Planungswert der Windschutzscheibe 63, der von der externen Eingabeeinheit 12 eingegeben wurde, an die Bereichsauswahleinheit 11.
    3) Step 203:
    • Step 203 is a step of inputting a planning value of the windshield 63. The external input unit 12 transmits the planning value of the windshield 63 input from the external input unit 12 to the range selection unit 11.

4) Schritt 2044) Step 204

Schritt 204 ist ein Schritt des Berechnens der Pixelverschiebung jedes spezifischen Bereichs. Basierend auf dem Planungswert der Windschutzscheibe 63 kann eine Stelle, an der die Empfindlichkeit jeder Variation auf dem Bild gut ist, durch ein im Voraus berechnetes mathematisches Modell erhalten werden. Eine Stelle mit guter Empfindlichkeit ist eine Stelle, an der die Pixelverschiebung groß ist, wenn sich jede Variation ändert. Ein Bildbereich mit guter Variationsempfindlichkeit wird ausgewählt. Die Tafel 61 wird in dem ausgewählten Bildbereich angeordnet (verschoben und gelassen) (dass sie beispielsweise den spezifischen Bereichen 64, 65 und 66 in 6 entspricht) . Darüber hinaus wird die Tafel 61 jedes ausgewählten Bildbereichs fotografiert, und die Pixelverschiebung wird aus dem Bild berechnet. Die Bereichsauswahleinheit 11 berechnet eine Pixelverschiebung δεP (δεp1, δεp2, δεp3) jedes spezifischen Bereichs aus den Bildern der Tafeln 61 der Vielzahl von ausgewählten spezifischen Bereichen. Die Bereichsauswahleinheit 11 gibt die berechnete Pixelverschiebung δεP (δεp1, δεp2, δεp3) des spezifischen Bereichs an die Parameterberechnungseinheit 13 aus.Step 204 is a step of calculating the pixel shift of each specific area. Based on the planning value of the windshield 63, a location where the sensitivity of each variation on the image is good can be obtained by a mathematical model calculated in advance. A location with good sensitivity is a location where the pixel shift is large as each variation changes. An image area with good variation sensitivity is selected. The panel 61 is placed (moved and left) in the selected image area (for example, the specific areas 64, 65 and 66 in 6 corresponds) . In addition, the panel 61 of each selected image area is photographed and the pixel shift is calculated from the image. The area selection unit 11 calculates a pixel shift δε P (δεp1, δεp2, δεp3) of each specific area from the images of the panels 61 of the plurality of selected specific areas. The area selection unit 11 outputs the calculated pixel displacement δε P (δεp1, δεp2, δεp3) of the specific area to the parameter calculation unit 13.

In einem Fall, in dem die Anzahl der ausgewählten Bildbereiche 3 beträgt (spezifische Bereiche 64, 65, 66) und die drei Tafeln 61 verwendet werden, wird es vorgezogen, dass die drei Tafeln 61 so angeordnet sind, dass sie dem ausgewählten Bildbereich entsprechen, die Vollbildanzeige von der Bildaufnahmeeinheit 10 fotografiert wird und die Pixelverschiebung jedes spezifischen Bereichs durch eine Messung der Bilddaten der Vollbildanzeige berechnet wird. Dies hat den Effekt, dass die Pixelverschiebung der Vielzahl von spezifischen Bereichen in kurzer Zeit berechnet werden kann.In a case where the number of selected image areas is 3 (specific areas 64, 65, 66) and the three panels 61 are used, it is preferable that the three panels 61 are arranged to correspond to the selected image area, the full-screen display is photographed by the image capture unit 10 and the pixel displacement of each specific area is calculated by measuring the image data of the full-screen display becomes. This has the effect that the pixel displacement of the plurality of specific areas can be calculated in a short time.

Außerdem wird in einem Fall, in dem eine Tafel 61 mit drei ausgewählten Bildbereichen (spezifische Bereiche 64, 65, 66) verwendet wird, die Tafel 61 so angeordnet, dass sie einem Bildbereich (spezifischer Bereich 64) entspricht, die. Vollbildanzeige von der Bildaufnahmeeinheit 10 fotografiert wird, dann wird die Tafel 61 so angeordnet, dass sie dem nächsten Bildbereich (spezifischer Bereich 65) entspricht, die Vollbildanzeige von der Bildaufnahmeeinheit 10 fotografiert wird, die Tafel 61 wird so angeordnet, dass sie dem nächsten Bildbereich (spezifischer Bereich 66) entspricht und die Vollbildanzeige von der Bildaufnahmeeinheit 10 fotografiert wird. Es wird vorgezogen, die Pixelverschiebung jedes spezifischen Bereichs durch drei Messungen der Bilddaten der Vollbildanzeige zu berechnen. Da nur eine Tafel verwendet wird, hat dies die Wirkung, dass die Pixelverschiebung in einer Vielzahl von spezifischen Bereichen mit geringem Aufwand und auf kleiner Fläche berechnet werden kann.Furthermore, in a case where a panel 61 having three selected image areas (specific areas 64, 65, 66) is used, the panel 61 is arranged to correspond to an image area (specific area 64). Full screen display is photographed by the image pickup unit 10, then the panel 61 is arranged to correspond to the next image area (specific area 65), the full screen display is photographed by the image pickup unit 10, the panel 61 is arranged to correspond to the next image area ( specific area 66) corresponds and the full-screen display is photographed by the image recording unit 10. It is preferred to calculate the pixel shift of each specific area by three measurements of the image data of the full screen display. Because only one panel is used, this has the effect that pixel displacement can be calculated in a variety of specific areas with little effort and in a small area.

5) Schritt 2055) Step 205

Schritt 205 ist ein Schritt des Berechnens des Variationsparameters δφ. Die Parameterberechnungseinheit 13 berechnet den Wert jedes Variationsparameters δφ (δεp1, δεp2, δεp3) aus der Pixelverschiebung δεp (δφ1, δφ2, δφ3, ...) des spezifischen Bereichs unter Verwendung der im Voraus gespeicherten Q-Matrix. Als Berechnungsverfahren kann ein Verfahren der kleinsten Quadrate oder dergleichen verwendet werden. Es ist zu beachten, dass das Berechnungsverfahren nicht auf das Verfahren der kleinsten Quadrate beschränkt ist und auch verschiedene Berechnungsverfahren angewandt werden können. Die Parameterberechnungseinheit 13 empfängt die Pixelverschiebung δεP (δεp1, δεp2, δεp3) des spezifischen Bereichs von der Bereichsauswahleinheit 11 und berechnet einen Variationsparameter δφ (δφ1, δφ2, δφ3, ...). Die Parameterberechnungseinheit 13 gibt den berechneten Variationsparameter δφ (δφ1, δφ2, δφ3, ...) an die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 aus.Step 205 is a step of calculating the variation parameter δφ. The parameter calculation unit 13 calculates the value of each variation parameter δφ (δεp1, δεp2, δεp3) from the pixel displacement δε p (δφ1, δφ2, δφ3, ...) of the specific area using the Q matrix stored in advance. As the calculation method, a least square method or the like can be used. It should be noted that the calculation method is not limited to the least squares method and various calculation methods can also be used. The parameter calculation unit 13 receives the pixel displacement δε P (δεp1, δεp2, δεp3) of the specific area from the area selection unit 11 and calculates a variation parameter δφ (δφ1, δφ2, δφ3, ...). The parameter calculation unit 13 outputs the calculated variation parameter δφ (δφ1, δφ2, δφ3, ...) to the total area pixel displacement estimation unit 14.

Es ist zu beachten, dass zu diesem Zeitpunkt die US-Matrix und die V-Matrix unter Verwendung des oben beschriebenen orthogonalisierten Variationsparameters δψ (δφ1, δφ2, δφ3, ...) anstelle des Variationsparameters δφ (δψ1, δψ2, δψ3, ...) berechnet werden können (siehe 7B) .It should be noted that at this time, the US matrix and the V matrix are calculated using the orthogonalized variation parameter δψ (δφ1, δφ2, δφ3, ...) described above instead of the variation parameter δφ (δψ1, δψ2, δψ3, .. .) can be calculated (see 7B) .

6) Schritt 2066) Step 206

Schritt 206 ist ein Schritt des Schätzens der Pixelverschiebung der Vollbildanzeige. Die Pixelverschiebung (δε) der Vollbildanzeige wird aus dem berechneten Wert des Variationsparameters δφ (δφ1, δφ2, δφ3, ...) unter Verwendung einer vorab gespeicherten Q-Matrix oder einer optischen Simulation wie Raytracing geschätzt. Die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 empfängt den Wert des Parameters δφ (δφ1, δφ2, δφ3, ...) der Variation von der Parameterberechnungseinheit 13 und berechnet eine geschätzte Pixelverschiebung (δε`) zum Schätzen der Pixelverschiebung (δε) der Vollbildanzeige. Die Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 gibt die geschätzte Pixelverschiebung (δε') der Vollbildanzeige an die Kalibrierungseinheit 15 aus.Step 206 is a step of estimating the pixel shift of the full screen display. The pixel shift (δε) of the full-screen display is estimated from the calculated value of the variation parameter δφ (δφ1, δφ2, δφ3, ...) using a pre-stored Q-matrix or an optical simulation such as ray tracing. The total area pixel shift estimation unit 14 receives the value of the parameter δφ (δφ1, δφ2, δφ3, ...) of the variation from the parameter calculation unit 13 and calculates an estimated pixel shift (δε`) for estimating the pixel shift (δε) of the full-screen display. The total area pixel shift estimation unit 14 outputs the estimated pixel shift (δε') of the full-screen display to the calibration unit 15.

7) Schritt 2077) Step 207

Schritt 207 ist ein Kalibrierungsschritt. Die Pixelverschiebung der Vollbildanzeige im erfassten Bild wird auf der Basis der geschätzten Pixelverschiebung (δε') der Vollbildanzeige an jedem Pixelpunkt gelöscht (oder geändert oder korrigiert), und eine Kalibrierung wird durchgeführt. Die Kalibrierungseinheit 15 empfängt die Pixelverschiebung (δε`) der Vollbildanzeige, die von der Gesamtflächen-Pixelverschiebungsschätzungseinheit 14 geschätzt wurde, hebt die Pixelverschiebung (δε) der Vollbildanzeige auf und kalibriert die Position des Pixels in der Vollbildanzeige.Step 207 is a calibration step. The pixel shift of the full-screen display in the captured image is deleted (or changed or corrected) based on the estimated pixel shift (δε') of the full-screen display at each pixel point, and calibration is performed. The calibration unit 15 receives the pixel displacement (δε`) of the full-screen display estimated by the total area pixel displacement estimation unit 14, cancels the pixel displacement (δε) of the full-screen display, and calibrates the position of the pixel in the full-screen display.

8) Schritt 2088) Step 208

In Schritt 208 endet der Kalibrierungsablauf der fahrzeuginternen Kamera 62.In step 208, the calibration process of the vehicle-internal camera 62 ends.

Nachdem die Schritte 201 bis 208 durchgeführt wurden, werden die Positionen der Pixel in der Vollbildanzeige des aufgenommenen Bilds der fahrzeuginternen Kamera 62 kalibriert und das Bild in der Vollbildanzeige, das keine Pixelverschiebung aufweist (alternativ wird die Pixelverschiebung geändert oder korrigiert), wird zur Abstandsmessung (auch Distanzmessung genannt) an der Kreuzung verwendet. Folglich kann die fahrzeuginterne Kamera 62 den Abstand zum Hindernis an der Kreuzung genau messen und zuverlässig eine Funktion zur Unterstützung der Kollisionsvermeidung an der Kreuzung bereitstellen.After steps 201 to 208 are performed, the positions of the pixels in the full-screen display of the captured image of the in-vehicle camera 62 are calibrated and the image in the full-screen display that has no pixel shift (alternatively, the pixel shift is changed or corrected) is used for distance measurement ( also called distance measurement) used at the intersection. Consequently, the in-vehicle camera 62 can accurately measure the distance to the obstacle at the intersection and reliably provide a function to assist collision avoidance at the intersection.

Als Nächstes werden der Neigungswinkel der Windschutzscheibe als Planungswert der Windschutzscheibe und die Empfindlichkeit des Variationsparameters unter Bezugnahme auf die 10 und 11 beschrieben. 10 ist ein Diagramm zur Erläuterung der Empfindlichkeit des Variationsparameters im Fall des Neigungswinkels der Windschutzscheibe (30 Grad bis 35 Grad) . 11 ist ein Diagramm zur Erläuterung der Empfindlichkeit des Variationsparameters im Fall des Neigungswinkels der Windschutzscheibe (35° oder mehr, beispielsweise 40° bis 70°) .Next, the inclination angle of the windshield as the planning value of the windshield and the sensitivity of the variation parameter are taken with reference to the 10 and 11 described. 10 is a diagram to explain the sensitivity of the variation parameter in the case of the windshield tilt angle (30 degrees to 35 degrees). 11 is a diagram to explain the sensitivity of the variation parameter in the case of the slope win angle of the windshield (35° or more, for example 40° to 70°).

10 stellt beispielsweise Positionen (Kamerabetrachtungswinkel) von drei spezifischen Bereichen (64, 65, 66) unter Berücksichtigung hochempfindlicher Abschnitte von drei Variationsparametern (δφ1, δφ2, δφ3) für den Fall dar, dass der Planungswert des Neigungswinkels der Windschutzscheibe 63 30 Grad bis 35 Grad beträgt. 11 stellt beispielsweise Positionen (Betrachtungswinkel in der Kamera) von drei spezifischen Bereichen (64, 65, 66) unter Berücksichtigung eines hochempfindlichen Abschnitts von drei Variationsparametern (δφ1, δφ2; δφ3) für den Fall dar, dass der Planungswert des Neigungswinkels der Windschutzscheibe 63 40 Grad bis 70 Grad beträgt. Hier in den 10 und 11 kann der Variationsparameter (tatsächlicher Variationsparameter: δφ1, δφ2, δφ3) ein orthogonaler Variationsparameter (δψ1, δψ2, δψ3) sein. In den 10 und 11 ist auf der rechten Seite jedes Diagramms der Empfindlichkeit des Variationsparameters (δφ1, δφ2, δφ3) eine Skala (0-300) der Empfindlichkeit des Variationsparameters (δφ1, δφ2, δφ3) dargestellt. 10 For example, represents positions (camera viewing angles) of three specific areas (64, 65, 66) taking into account highly sensitive portions of three variation parameters (δφ1, δφ2, δφ3) in the case that the planning value of the inclination angle of the windshield 63 is 30 degrees to 35 degrees . 11 For example, represents positions (viewing angles in the camera) of three specific areas (64, 65, 66) taking into account a highly sensitive section of three variation parameters (δφ1, δφ2; δφ3) in the case that the planning value of the inclination angle of the windshield 63 40 degrees up to 70 degrees. Here in the 10 and 11 the variation parameter (actual variation parameter: δφ1, δφ2, δφ3) can be an orthogonal variation parameter (δψ1, δψ2, δψ3). In the 10 and 11 On the right side of each plot of the sensitivity of the variation parameter (δφ1, δφ2, δφ3), a scale (0-300) of the sensitivity of the variation parameter (δφ1, δφ2, δφ3) is shown.

Wie in 10 dargestellt ist, weist der Variationsparameter δφ1 eine hohe Empfindlichkeit im ersten oberen Bereich von 10 Grad bis 20 Grad in der Länge und -15 Grad bis -5 Grad in der Breite im Betrachtungswinkel der fahrzeuginternen Kamera 62 auf. Deshalb ist der erste spezifische Bereich 64 im Bild im ersten oberen Bereich angeordnet. Das heißt, der erste spezifische Bereich 64 wird auf einen Bereich eines Betrachtungswinkels (Länge (vertikale Richtung): 10 Grad bis 20 Grad, Breite (horizontale Richtung): -15 Grad bis -5 Grad) des Bilds der fahrzeuginternen Kamera 62 eingestellt. Der Variationsparameter δφ2 weist eine hohe Empfindlichkeit im zweiten oberen Bereich von 10 Grad bis 20 Grad in der Länge und 30 Grad bis 40 Grad in der Breite im Betrachtungswinkel der fahrzeuginternen Kamera 62 auf. Deshalb ist der zweite spezifische Bereich 65 im zweiten oberen Bereich angeordnet, der sich vom ersten oberen Bereich im Bild unterscheidet. Das heißt, der zweite spezifische Bereich 65 wird auf einen Bereich eines Betrachtungswinkels (Länge: 10 Grad bis 20 Grad, Breite: 30 Grad bis 40 Grad) des Bilds der fahrzeuginternen Kamera 62 eingestellt. Der Variationsparameter δφ3 weist eine hohe Empfindlichkeit in einem Bereich von -20 Grad bis -10 Grad in der Länge und - 35 Grad bis -25 Grad in der Breite im Betrachtungswinkel der fahrzeuginternen Kamera 62 auf. Deshalb ist der dritte spezifische Bereich 66 im ersten unteren Bereich im Bild angeordnet. Das heißt, der dritte spezifische Bereich 66 wird auf einen Bereich eines Betrachtungswinkels (Länge: - 20 Grad bis -10 Grad, Breite: -35 Grad bis -25 Grad) des Bilds der fahrzeuginternen Kamera 62 eingestellt.As in 10 1, the variation parameter δφ1 has a high sensitivity in the first upper range of 10 degrees to 20 degrees in length and -15 degrees to -5 degrees in width in the viewing angle of the in-vehicle camera 62. Therefore, the first specific area 64 is arranged in the first upper area in the image. That is, the first specific area 64 is set to a viewing angle range (length (vertical direction): 10 degrees to 20 degrees, width (horizontal direction): -15 degrees to -5 degrees) of the image of the in-vehicle camera 62. The variation parameter δφ2 has a high sensitivity in the second upper range of 10 degrees to 20 degrees in length and 30 degrees to 40 degrees in width in the viewing angle of the in-vehicle camera 62. Therefore, the second specific area 65 is located in the second upper area, which is different from the first upper area in the image. That is, the second specific area 65 is set to a viewing angle range (length: 10 degrees to 20 degrees, width: 30 degrees to 40 degrees) of the image of the in-vehicle camera 62. The variation parameter δφ3 has a high sensitivity in a range of -20 degrees to -10 degrees in longitude and -35 degrees to -25 degrees in width in the viewing angle of the in-vehicle camera 62. Therefore, the third specific area 66 is arranged in the first lower area in the image. That is, the third specific area 66 is set to a viewing angle range (length: -20 degrees to -10 degrees, width: -35 degrees to -25 degrees) of the image of the in-vehicle camera 62.

Drei Tafeln 61 sind so angeordnet, dass sie den drei auf diese Weise bestimmten spezifischen Bereichen (64, 65, 66) entsprechen (siehe 6). Die Pixelverschiebung in diesen spezifischen Bereichen (64, 65, 66) kann mit der Tafel 61, die eine Größe von 1 m × 1 m aufweist, gemessen werden.Three panels 61 are arranged to correspond to the three specific areas (64, 65, 66) thus determined (see 6 ). The pixel displacement in these specific areas (64, 65, 66) can be measured with the panel 61, which has a size of 1 m × 1 m.

Wie in 11. dargestellt ist, weist der Variationsparameter δφ1 andererseits eine hohe Empfindlichkeit im oberen Bereich von 10 Grad bis 20 Grad in der Länge und -15 Grad bis -5 Grad in der Breite im Betrachtungswinkel der fahrzeuginternen Kamera 62 auf (in diesem Fall ist der Betrachtungswinkel derselbe wie der Variationsparameter δφ1 in 10). Deshalb ist der erste bestimmte Bereich 64 im oberen Bereich im Bild angeordnet. Das heißt, der erste spezifische Bereich 64 wird auf einen Bereich eines Betrachtungswinkels (Länge: 10 Grad bis 20 Grad, Breite: -15 Grad bis -5 Grad) des Bilds der fahrzeuginternen Kamera 62 eingestellt. Der Variationsparameter δφ2 weist eine hohe Empfindlichkeit im mittleren Bereich von -5 Grad bis 5 Grad in der Länge und 30 Grad bis 40 Grad in der Breite im Betrachtungswinkel der fahrzeuginternen Kamera 62 auf. Deshalb ist der zweite spezifische Bereich 65 im mittleren Bereich im Bild angeordnet. Das heißt, der zweite spezifische Bereich 65 wird auf einen Bereich eines Betrachtungswinkels (-5 Grad bis 5 Grad in der Länge und 30 Grad bis 40 Grad in der Breite) des Bilds der fahrzeuginternen Kamera 62 eingestellt. Der Variationsparameter δφ3 weist eine hohe Empfindlichkeit im unteren Bereich von -20 Grad bis -10 Grad in der Länge und -10 Grad bis 0 Grad in der Breite im Betrachtungswinkel der fahrzeuginternen Kamera 62 auf. Deshalb ist der dritte spezifische Bereich 66 im mittleren Bereich im Bild angeordnet. Das heißt, der dritte spezifische Bereich 66 wird auf einen Bereich eines Betrachtungswinkels (-20 Grad bis -10 Grad in der Länge und -10 Grad bis 0 Grad in der Breite) des Bilds der fahrzeuginternen Kamera 62 eingestellt.As in 11 . On the other hand, the variation parameter δφ1 has a high sensitivity in the upper range of 10 degrees to 20 degrees in longitude and -15 degrees to -5 degrees in latitude in the viewing angle of the in-vehicle camera 62 (in this case, the viewing angle is the same as the variation parameter δφ1 in 10 ). Therefore, the first specific area 64 is arranged in the upper area of the image. That is, the first specific area 64 is set to a viewing angle range (length: 10 degrees to 20 degrees, width: -15 degrees to -5 degrees) of the image of the in-vehicle camera 62. The variation parameter δφ2 has a high sensitivity in the middle range of -5 degrees to 5 degrees in length and 30 degrees to 40 degrees in width in the viewing angle of the in-vehicle camera 62. Therefore, the second specific area 65 is located in the middle area in the image. That is, the second specific area 65 is set to a range of viewing angle (-5 degrees to 5 degrees in longitude and 30 degrees to 40 degrees in width) of the image of the in-vehicle camera 62. The variation parameter δφ3 has a high sensitivity in the lower range of -20 degrees to -10 degrees in longitude and -10 degrees to 0 degrees in width in the viewing angle of the in-vehicle camera 62. Therefore, the third specific area 66 is located in the middle area in the image. That is, the third specific area 66 is set to a range of viewing angle (-20 degrees to -10 degrees in longitude and -10 degrees to 0 degrees in latitude) of the image of the in-vehicle camera 62.

Drei Tafeln 61 sind so angeordnet, dass sie den drei auf diese Weise bestimmten spezifischen Bereichen (64, 65, 66) entsprechen (siehe 6). Diese spezifischen Bereiche (64, 65, 66) können mit der Tafel 61, die eine Größe von 1 m × 1 m aufweist, gemessen werden. Die Größe des spezifischen Bereichs (64, 65, 66) ist kleiner als die der Tafel 61, die das Kalibrierungsbild ist. Das heißt, die Fläche der Tafel 61 wird größer gemacht als die Größe des spezifischen Bereichs (64, 65, 66) auf dem Bild, so dass der spezifische Bereich (64, 65, 66) in der Tafel 61 enthalten ist.Three panels 61 are arranged to correspond to the three specific areas (64, 65, 66) thus determined (see 6 ). These specific areas (64, 65, 66) can be measured with the board 61, which has a size of 1 m × 1 m. The size of the specific area (64, 65, 66) is smaller than that of the panel 61, which is the calibration image. That is, the area of the panel 61 is made larger than the size of the specific area (64, 65, 66) on the image, so that the specific area (64, 65, 66) is included in the panel 61.

Auf diese Weise wird nur die Pixelverschiebung in dem spezifischen Bereich (64, 65, 66) mit der kleinen Tafel 61 gemessen. Danach wird jeder Variationsparameter aus dem Verschiebungsbetrag der Pixelverschiebung des spezifischen Bereichs (64, 65, 66) berechnet. Danach wird der Verschiebungsbetrag der Pixelverschiebung der Vollbildanzeige aus dem berechneten Variationsparameter berechnet. Dadurch kann die Pixelverschiebung der Vollbildanzeige an jedem Pixelpunkt aufgehoben und die Position des Pixels der Vollbildanzeige kalibriert werden. Da die Auswahl des spezifischen Bereichs (64, 65, 66) einen Abschnitt mit hoher Empfindlichkeit des Variationsparameters auswählt, kann die Pixelverschiebung im spezifischen Bereich (64, 65, 66) mit der Tafel 61, die eine Größe von 1m × 1m aufweist, gemessen werden.In this way, only the pixel displacement in the specific area (64, 65, 66) is measured with the small panel 61. After that, each variation parameter becomes the shift amount of the pixel shift of the specific area (64, 65, 66) calculated. After that, the shift amount of the pixel shift of the full screen display is calculated from the calculated variation parameter. This allows the pixel shift of the full-screen display to be canceled at each pixel point and the position of the pixel of the full-screen display to be calibrated. Since the selection of the specific area (64, 65, 66) selects a portion with high sensitivity of the variation parameter, the pixel displacement in the specific area (64, 65, 66) can be measured with the panel 61 having a size of 1m × 1m become.

Wie oben beschrieben, wurde die vom Erfinder gemachte Erfindung basierend auf den Ausführungsformen genau beschrieben. Die Erfindung ist jedoch, nicht auf die Ausführungsformen beschränkt und es können verschiedene Modifikationen vorgenommen werden.As described above, the invention made by the inventor has been described in detail based on the embodiments. However, the invention is not limited to the embodiments and various modifications can be made.

Liste der BezugszeichenList of reference symbols

1010
BildaufnahmeeinheitImage capture unit
1111
BereichsauswahleinheitRange selection unit
1212
externe Eingabeeinheitexternal input unit
1313
ParameterberechnungseinheitParameter calculation unit
1414
Gesamtflächen-PixelverschiebungsschätzungsschaltungTotal area pixel displacement estimation circuit
1515
KalibrierungseinheitCalibration unit
6161
kleine Tafelsmall board
6262
Fahrzeuginterne KameraIn-vehicle camera
6363
Windschutzscheibewindshield

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • JP 201149733 A [0002, 0004]JP 201149733 A [0002, 0004]
  • JP 2013109416 A [0002, 0004]JP 2013109416 A [0002, 0004]

Claims (19)

Fahrzeuginterne Kamera, umfassend: eine Bildaufnahmeeinheit, die dazu konfiguriert ist, ein Bild eines Objekts aufzunehmen; eine Schätzungseinheit, die auf der Basis eines von der Bildaufnahmeeinheit aufgenommenen Bilds eine Verschiebung von Pixeln einer Gesamtfläche berechnet; eine Bereichsauswahleinheit, die eine Vielzahl von vorbestimmten Bereichen auswählt, die im Voraus gemäß einer Form und einer Neigung einer Windschutzscheibe in einem von der Bildaufnahmeeinheit aufgenommenen Bild bestimmt werden; und eine Kalibrierungseinheit, die eine Verschiebung von Pixeln der Gesamtfläche auf der Basis von Informationen der Schätzungseinheit korrigiert, wobei die Schätzungseinheit eine Pixelverschiebung der Gesamtfläche unter Verwendung eines Bilds schätzt, das von der Vielzahl von vorbestimmten Bereichen in einem von der Bildaufnahmeeinheit aufgenommenen Bild detektiert wurde.In-vehicle camera, comprising: an image capture unit configured to capture an image of an object; an estimation unit that calculates a displacement of pixels of a total area based on an image captured by the image capture unit; an area selection unit that selects a plurality of predetermined areas determined in advance according to a shape and an inclination of a windshield in an image captured by the image pickup unit; and a calibration unit that corrects a displacement of pixels of the total area based on information from the estimation unit, wherein the estimating unit estimates a pixel displacement of the total area using an image detected from the plurality of predetermined areas in an image captured by the image capture unit. Fahrzeuginterne Kamera nach Anspruch 1, wobei die Vielzahl von vorbestimmten Bereichen drei oder mehr vorbestimmte Bereiche sind.Vehicle internal camera Claim 1 , wherein the plurality of predetermined areas are three or more predetermined areas. Fahrzeuginterne Kamera nach Anspruch 1, wobei eine Größe mindestens eines vorbestimmten Bereichs aus der Vielzahl von vorbestimmten Bereichen 1/2 oder weniger eines Bilds der Gesamtfläche beträgt.Vehicle internal camera Claim 1 , wherein a size of at least one of the plurality of predetermined areas is 1/2 or less of an image of the total area. Fahrzeuginterne Kamera nach Anspruch 1, wobei in einem Fall, in dem die Vielzahl von vorbestimmten Bereichen n vorbestimmte Bereiche sind, eine Größe mindestens eines vorbestimmten Bereichs aus der Vielzahl von vorbestimmten Bereichen 1/n oder weniger eines Bilds der Gesamtfläche ist.Vehicle internal camera Claim 1 , wherein in a case where the plurality of predetermined areas are n predetermined areas, a size of at least one predetermined area among the plurality of predetermined areas is 1/n or less of an image of the entire area. Fahrzeuginterne Kamera nach Anspruch 1, wobei, wenn eine Pixelverschiebung berechnet wird, ein Kalibrierungsbild so angeordnet ist, dass es in einem von der Bildaufnahmeeinheit aufgenommenen Bild erscheint und es der Vielzahl von vorbestimmten Bereichen entspricht, und die Gesamtfläche von der Bildaufnahmeeinheit aufgenommen wird, und eine Größe des Kalibrierungsbilds größer ist als eine Größe eines entsprechenden vorbestimmten Bereichs.Vehicle internal camera Claim 1 , wherein when a pixel shift is calculated, a calibration image is arranged to appear in an image captured by the image capture unit and corresponds to the plurality of predetermined areas, and the total area is captured by the image capture unit, and a size of the calibration image is larger as a size of a corresponding predetermined area. Fahrzeuginterne Kamera nach Anspruch 5, wobei zwei oder mehr Kalibrierungsbilder verwendet werden.Vehicle internal camera Claim 5 , using two or more calibration images. Fahrzeuginterne Kamera nach Anspruch 6, wobei das Kalibrierungsbild eine Größe von 2 m × 2 m oder weniger aufweist.Vehicle internal camera Claim 6 , where the calibration image has a size of 2 m × 2 m or less. Fahrzeuginterne Kamera nach Anspruch 6, wobei in einem Fall, in dem die Vielzahl von vorbestimmten Bereichen n vorbestimmte Bereiche sind und das Kalibrierungsbild n Kalibrierungsbilder ist, bei der Berechnung der Pixelverschiebung die n Kalibrierungsbilder so angeordnet sind, dass sie jedem der n vorbestimmten Bereiche entsprechen, die Gesamtfläche einmal von der Bildaufnahmeeinheit fotografiert wird und eine Pixelverschiebung durch eine Messung berechnet wird.Vehicle internal camera Claim 6 , wherein in a case where the plurality of predetermined areas are n predetermined areas and the calibration image is n calibration images, in calculating the pixel shift, the n calibration images are arranged to correspond to each of the n predetermined areas, the total area once from the Image recording unit is photographed and a pixel shift is calculated through a measurement. Fahrzeuginterne Kamera nach Anspruch 6, wobei in einem Fall, in dem die Vielzahl von vorbestimmten Bereichen n vorbestimmte Bereiche sind und das Kalibrierungsbild ein Kalibrierungsbild ist, bei der Berechnung der Pixelverschiebung die Gesamtfläche n-mal fotografiert wird und eine Pixelverschiebung durch n-malige Messung berechnet wird, während eine Anordnung des einen Kalibrierungsbilds geändert wird, so dass die Gesamtfläche, in der das eine Kalibrierungsbild angeordnet ist, für alle der n vorbestimmten Bereiche fotografiert werden kann.Vehicle internal camera Claim 6 , wherein in a case where the plurality of predetermined areas are n predetermined areas and the calibration image is a calibration image, in calculating the pixel shift, the total area is photographed n times and a pixel shift is calculated by measuring n times while an arrangement of the one calibration image is changed so that the total area in which the one calibration image is arranged can be photographed for all of the n predetermined areas. Fahrzeuginterne Kamera nach Anspruch 1, wobei die Schätzungseinheit eine Pixelverschiebung in jedem vorbestimmten Bereich, unter Verwendung eines Bilds detektiert, das aus der Vielzahl von vorbestimmten Bereichen detektiert wurde, und eine Pixelverschiebung der Gesamtfläche auf der Basis eines Betrags jeder Pixelverschiebung schätzt.Vehicle internal camera Claim 1 , wherein the estimating unit detects a pixel shift in each predetermined area using an image detected from the plurality of predetermined areas and estimates a pixel shift of the entire area based on an amount of each pixel shift. Fahrzeuginterne Kamera nach Anspruch 10, umfassend eine Parameterberechnungseinheit, die einen Variationsparameter auf der Basis eines Betrags der Pixelverschiebung in jedem der Bereiche berechnet.Vehicle internal camera Claim 10 , comprising a parameter calculation unit that calculates a variation parameter based on an amount of pixel displacement in each of the areas. Fahrzeuginterne Kamera nach Anspruch 11, wobei die Variationsparameter im Wesentlichen orthogonal zueinander sind.Vehicle internal camera Claim 11 , where the variation parameters are essentially orthogonal to each other. Fahrzeuginterne Kamera nach Anspruch 2, wobei, wenn ein Neigungswinkel einer Windschutzscheibe eines Fahrzeugs, an der die fahrzeuginterne Kamera montiert ist, 30° bis 35° beträgt, eine Pixelverschiebung der Gesamtfläche unter Verwendung mindestens eines Bilds eines ersten oberen Bereichs, eines zweiten oberen Bereichs, der sich von dem ersten oberen Bereich unterscheidet, und einen unteren Bereichs im Bild geschätzt wird.Vehicle internal camera Claim 2 , wherein when a tilt angle of a windshield of a vehicle on which the in-vehicle camera is mounted is 30° to 35°, a pixel shift of the total area using at least one image of a first upper area, a second upper area different from the first upper area and a lower area in the image is estimated. Fahrzeuginterne Kamera nach Anspruch 13, wobei, wenn der Neigungswinkel der Windschutzscheibe 30° bis 35° beträgt, der erste obere Bereich in einem Bereich angeordnet ist, in dem ein Betrachtungswinkel des Bilds 10° bis 20° in vertikaler Richtung und -15° bis -5° in horizontaler Richtung beträgt, der zweite obere Bereich in einem Bereich angeordnet ist, in dem ein Betrachtungswinkel des Bilds 10° bis 20° in vertikaler Richtung und 30° bis 40° in horizontaler Richtung beträgt, und der untere Bereich in einem Bereich angeordnet ist, in dem ein Betrachtungswinkel des Bilds -20° bis -10° in vertikaler Richtung und -35° bis -25° in horizontaler Richtung beträgt.Vehicle internal camera Claim 13 , wherein when the inclination angle of the windshield is 30° to 35°, the first upper region is arranged in a region in which a viewing angle of the image is 10° to 20° in the vertical direction and -15° to -5° in the horizontal direction is, the second upper region is arranged in a region in which a viewing angle of the image is 10 ° to 20 ° in the vertical direction and 30 ° to 40 ° in the horizontal direction, and the lower region is arranged in a region in which a Viewing angle of the image is -20° to -10° in the vertical direction and -35° to -25° in the horizontal direction. Fahrzeuginterne Kamera nach Anspruch 2, wobei, wenn der Neigungswinkel einer Windschutzscheibe eines Fahrzeugs, an der die fahrzeuginterne Kamera montiert ist, 35° oder mehr beträgt, eine Pixelverschiebung der Gesamtfläche unter Verwendung mindestens eines Bilds eines oberen Bereichs, eines mittleren Bereichs und eines unteren Bereichs im Bild geschätzt wird.Vehicle internal camera Claim 2 , wherein when the inclination angle of a windshield of a vehicle on which the in-vehicle camera is mounted is 35° or more, a pixel shift of the total area is estimated using at least one image of an upper region, a middle region and a lower region in the image. Fahrzeuginterne Kamera nach Anspruch 15, wobei, wenn der Neigungswinkel der Windschutzscheibe 35° oder mehr beträgt, der obere Bereich in einem Bereich angeordnet ist, in dem ein Betrachtungswinkel des Bilds 10° bis 20° in vertikaler Richtung und -15° bis -5° in horizontaler Richtung beträgt, der mittlere Bereich in einem Bereich angeordnet ist, in dem ein Betrachtungswinkel des Bilds -5° bis 5° in vertikaler Richtung und 30° bis 40° in horizontaler Richtung beträgt, und der untere Bereich in einem Bereich angeordnet ist, in dem ein Betrachtungswinkel des Bilds -20° bis -10° in vertikaler Richtung und -10° bis 0° in horizontaler Richtung beträgt.Vehicle internal camera Claim 15 wherein, when the inclination angle of the windshield is 35° or more, the upper portion is arranged in a range in which a viewing angle of the image is 10° to 20° in the vertical direction and -15° to -5° in the horizontal direction, the middle region is arranged in a region in which a viewing angle of the image is -5° to 5° in the vertical direction and 30° to 40° in the horizontal direction, and the lower region is arranged in a region in which a viewing angle of the Image is -20° to -10° in the vertical direction and -10° to 0° in the horizontal direction. Fahrzeuginterne Kamera nach Anspruch 1, wobei die Schätzungseinheit, die Bereichsauswahleinheit und die Kalibrierungseinheit durch ein Softwareprogramm oder eine Hardwareschaltung konfiguriert werden.Vehicle internal camera Claim 1 , wherein the estimation unit, the range selection unit and the calibration unit are configured by a software program or a hardware circuit. Kalibrierungsverfahren für eine fahrzeuginterne Kamera, wobei das Verfahren Folgendes umfasst: Aufnehmen eines Bilds eines Objekts; Berechnen und Schätzen einer Verschiebung von Pixeln einer Gesamtfläche auf der Basis eines bei der Aufnahme aufgenommenen Bilds; Auswählen einer Vielzahl von vorbestimmten Bereichen, die im Voraus gemäß einer Form und einer Neigung einer Windschutzscheibe in einem bei der Aufnahme aufgenommenen Bild bestimmt werden; und Korrigieren einer Verschiebung von Pixeln der Gesamtfläche auf der Basis von Informationen der Schätzung, wobei bei der Schätzung eine Pixelverschiebung der Gesamtfläche unter Verwendung eines Bilds geschätzt wird, das aus der Vielzahl von vorbestimmten Bereichen im aufgenommenen Bild detektiert wurde..A calibration method for an in-vehicle camera, the method comprising: taking an image of an object; calculating and estimating a displacement of pixels of a total area based on an image captured at the time of capture; selecting a plurality of predetermined areas determined in advance according to a shape and an inclination of a windshield in a captured image; and Correcting a shift of pixels of the total area based on information of the estimate, where in the estimation, a pixel displacement of the total area is estimated using an image detected from the plurality of predetermined areas in the captured image. Kalibrierungsverfahren für eine fahrzeuginterne Kamera, das Folgendes umfasst: Anordnen einer fahrzeuginternen Kamera hinter einer Windschutzscheibe und Aufnehmen von Bildern einer Vielzahl von kleinen Tafeln von der Innenseite des Fahrzeugs aus durch eine Windschutzscheibe mit der fahrzeuginternen Kamera, um aufgenommene Bilder der Vielzahl von kleinen Tafeln zu erfassen; Eingeben eines Planungswerts der Windschutzscheibe; Auswählen eines Bildbereichs mit guter Variationsempfindlichkeit auf der Basis eines Planungswerts der Windschutzscheibe und Berechnen einer Pixelverschiebung jedes ausgewählten Bildbereichs aus einem Bild, das durch Anordnen der Tafeln in dem ausgewählten Bildbereich aufgenommen wurde; Berechnen eines Werts jedes Variationsparameters aus einer Pixelverschiebung jedes ausgewählten Bildbereichs; Berechnen einer geschätzten Pixelverschiebung zum Schätzen einer Pixelverschiebung einer Vollbildanzeige aus einem Wert des Variationsparameters; und Aufheben einer Pixelverschiebung einer Vollbildanzeige in einem aufgenommenen Bild an jedem Pixelpunkt auf der Basis der geschätzten Pixelverschiebung der Vollbildanzeige und Durchführen einer Kalibrierung.Calibration procedure for an in-vehicle camera, comprising: placing an in-vehicle camera behind a windshield and capturing images of a plurality of small panels from the inside of the vehicle through a windshield with the in-vehicle camera to capture captured images of the plurality of small panels; Entering a planning value of the windshield; selecting an image area with good variation sensitivity based on a planning value of the windshield and calculating a pixel shift of each selected image area from an image captured by arranging the panels in the selected image area; calculating a value of each variation parameter from a pixel shift of each selected image region; calculating an estimated pixel shift for estimating a pixel shift of a full screen display from a value of the variation parameter; and Canceling a pixel shift of a full-screen display in a captured image at each pixel point based on the estimated pixel shift of the full-screen display and performing calibration.
DE112022001700.7T 2021-07-27 2022-02-07 IN-VEHICLE CAMERA AND IN-VEHICLE CAMERA CALIBRATION PROCEDURE Pending DE112022001700T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-122576 2021-07-27
JP2021122576A JP7459023B2 (en) 2021-07-27 2021-07-27 In-vehicle camera and how to calibrate it
PCT/JP2022/004627 WO2023007775A1 (en) 2021-07-27 2022-02-07 Vehicle-mounted camera and calibration method for vehicle-mounted camera

Publications (1)

Publication Number Publication Date
DE112022001700T5 true DE112022001700T5 (en) 2024-01-11

Family

ID=85086638

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112022001700.7T Pending DE112022001700T5 (en) 2021-07-27 2022-02-07 IN-VEHICLE CAMERA AND IN-VEHICLE CAMERA CALIBRATION PROCEDURE

Country Status (3)

Country Link
JP (1) JP7459023B2 (en)
DE (1) DE112022001700T5 (en)
WO (1) WO2023007775A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049733A (en) 2009-08-26 2011-03-10 Clarion Co Ltd Camera calibration device and video distortion correction device
JP2013109416A (en) 2011-11-17 2013-06-06 Ricoh Co Ltd Camera calibration device, occupant support device and distortion coefficient generating method for camera calibration

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017062198A (en) 2015-09-25 2017-03-30 富士重工業株式会社 Geometrical distortion removal reproduction device
CN111798521B (en) 2019-04-09 2023-10-31 Oppo广东移动通信有限公司 Calibration method and device, storage medium and electronic equipment
JP2021009113A (en) 2019-07-02 2021-01-28 株式会社リコー Measurement tool, calibration device, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049733A (en) 2009-08-26 2011-03-10 Clarion Co Ltd Camera calibration device and video distortion correction device
JP2013109416A (en) 2011-11-17 2013-06-06 Ricoh Co Ltd Camera calibration device, occupant support device and distortion coefficient generating method for camera calibration

Also Published As

Publication number Publication date
WO2023007775A1 (en) 2023-02-02
JP7459023B2 (en) 2024-04-01
JP2023018438A (en) 2023-02-08

Similar Documents

Publication Publication Date Title
DE112013004851B4 (en) Calibration method and calibration device
DE112010005646B4 (en) Camera distance measuring device
DE10354752B4 (en) Method and device for the automatic equalization of single-channel or multi-channel images
EP1002217B1 (en) Method for determining the distance p of an edge of a structural element on a substrate
DE102017207696A1 (en) Calibration device and calibration method
EP2002203A2 (en) Method and system for measuring the shape of a reflective surface
DE102017200859A1 (en) Methods and apparatus for an imaging system
DE102013108070A1 (en) Image calibration and equalization of a wide-angle camera
DE10229336A1 (en) Method and device for calibrating image sensor systems
DE112013003301T5 (en) Device for measuring the interior temperature of a motor vehicle using a three-dimensional thermal image
DE102018001969A1 (en) Method for calibrating a contact-analogue head-up display of a vehicle in a workshop
DE112018000677T5 (en) Position determination device and position determination method
DE102017126495A1 (en) Calibration of a stationary camera system for detecting the position of a mobile robot
DE112022001700T5 (en) IN-VEHICLE CAMERA AND IN-VEHICLE CAMERA CALIBRATION PROCEDURE
DE102023001750A1 (en) Method and system for measuring vehicle distance, vehicle and program product
DE102011056948A1 (en) Method for calibrating a camera to a position sensor
EP3922526B1 (en) Determination of a roll angle or pitch angle of a mode of transport
DE102019206977B4 (en) Device and method for measuring at least one object to be measured at an angle
DE102017127401A1 (en) Non-contact deformation measurement
DE102019003238B4 (en) Vehicle location by map comparison taking into account a street profile
DE112020001834T5 (en) Reference position setting method and operation detection device
DE102018206190A1 (en) Method for detecting an arrangement of at least two cameras of a multi-camera system of a mobile carrier platform to each other and method for detecting an arrangement of the camera to an object outside the mobile carrier platform
DE102017010618A1 (en) Method for calibrating acceleration sensors
EP3413016A2 (en) Measurement apparatus for determining a geometric measured value
DE102012003127A1 (en) Method for an autofocus device

Legal Events

Date Code Title Description
R012 Request for examination validly filed