DE112020005059T5

DE112020005059T5 - PROCESSING DEVICE

Info

Publication number: DE112020005059T5
Application number: DE112020005059.9T
Authority: DE
Inventors: Maho HORINAGA; Naoya Tada; Yuji Otsuka
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-03-06
Filing date: 2020-12-25
Publication date: 2022-07-21
Also published as: WO2021176819A1; JPWO2021176819A1; JP7250211B2

Abstract

Es wird eine Verarbeitungsvorrichtung geschaffen, die eine Steuernotwendigkeit eines Steuerziels selbst in einem Zustand bestimmen kann, in dem eine Abweichung optischer Achsen einer Stereokamera auftritt. Eine Verarbeitungsvorrichtung gemäß der vorliegenden Erfindung verarbeitet ein Paar aufgenommener Bilder, die durch ein Paar Kameras aufgenommen wurden. Die Verarbeitungsvorrichtung führt folgende Verarbeitung durch: Erzeugen eines ersten Parallaxenbilds aus dem Paar aufgenommener Bilder; Erkennen eines Steuerzielkandidaten aus dem ersten Parallaxenbild; Erfassen eines ersten Parallaxenwerts in einem Kandidatenbereich, in dem der Steuerzielkandidat im erstem Parallaxenbild vorliegt; Versetzen einer relativen vertikalen Position des Paars aufgenommener Bilder und Erzeugen eines zweiten Parallaxenbilds; Erfassen eines zweiten Parallaxenwerts in einem entsprechenden Bereich des zweiten Parallaxenbilds, das dem Kandidatenbereich des ersten Parallaxenbilds entspricht; und Bestimmen unter Verwendung des ersten Parallaxenwerts und des zweiten Parallaxenwerts, ob der Steuerzielkandidat als ein Steuerziel erkannt werden soll oder nicht.A processing apparatus is provided which can determine control necessity of a control target even in a state where optical axis deviation of a stereo camera occurs. A processing device according to the present invention processes a pair of captured images captured by a pair of cameras. The processing device performs the following processing: generating a first parallax image from the pair of captured images; detecting a control target candidate from the first parallax image; acquiring a first parallax value in a candidate area where the control target candidate exists in the first parallax image; offsetting a relative vertical position of the pair of captured images and generating a second parallax image; detecting a second parallax value in a corresponding area of the second parallax image that corresponds to the candidate area of the first parallax image; and determining whether or not to recognize the control target candidate as a control target using the first parallax value and the second parallax value.

Description

Technisches Gebiettechnical field

Die vorliegende Erfindung bezieht sich auf eine Verarbeitungsvorrichtung, die ein aufgenommenes Bild, das z. B. durch eine Stereokamera, die an einem Fahrzeug montiert ist, aufgenommen wurde, verarbeitet.The present invention relates to a processing device which processes a captured image, e.g. B. was processed by a stereo camera mounted on a vehicle.

Technischer HintergrundTechnical background

Herkömmlich war eine Technik zum Schätzen, welcher Teil einer Fahrbahnmarkierung von mehreren Bildern, die mit einer Bewegung eines Trägerfahrzeugs aufgenommen wurden, abgebildet wird, bekannt (PTL 1).Conventionally, a technique for estimating which part of a lane marker is imaged from a plurality of images captured with movement of a host vehicle has been known (PTL 1).

Entgegenhaltungslistecitation list

Patentliteraturpatent literature

PTL 1: JP 2010-107435 A PTL 1: JP 2010-107435 A

Zusammenfassung der ErfindungSummary of the Invention

Technisches ProblemTechnical problem

Falls die Stereokamerabilder eine Fahrbahnoberfläche wie z. B. eine Pufferzone (eine Zebrastreifenzone), in der eine schräge Linie in einer Tiefenrichtung wiederholt gemalt ist, in einem Zustand, in dem eine relative vertikale Abweichung zwischen einer optischen Achse einer linken Kamera und einer optischen Achse einer rechten Kamera auftritt, abbildet, besteht die Möglichkeit, dass ein Bereich, in dem die Fahrbahnoberflächenfarbe dargestellt ist, fehlerhaft als ein dreidimensionales Objekt detektiert wird. Falls der Bereich, in dem die Fahrbahnoberflächenfarbe dargestellt ist, fehlerhaft als ein dreidimensionales Objekt detektiert wird, besteht die Möglichkeit, dass ein Sicherheitssystem wie z. B. AEB und ACC, das durch eine Stereokamera bereitgestellt wird, derart arbeitet, dass ein unnötiger Alarm, ein unnötiges Bremsen oder dergleichen derart angewendet wird, dass einem Insassen Unbehagen verursacht wird.If the stereo camera images show a road surface such as B. depicting a buffer zone (a crosswalk zone) in which an oblique line is repeatedly painted in a depth direction in a state where a relative vertical deviation occurs between an optical axis of a left camera and an optical axis of a right camera the possibility that an area in which the road surface color is displayed is erroneously detected as a three-dimensional object. If the area where the road surface color is displayed is erroneously detected as a three-dimensional object, there is a possibility that a security system such as B. AEB and ACC, which is provided by a stereo camera, works so that an unnecessary alarm, an unnecessary braking or the like is applied in such a way that an occupant is caused discomfort.

Das oben beschriebene herkömmliche Verfahren dient zum Korrigieren der vertikalen Abweichung zwischen der linken und der rechten Kamera und den Korrekturprozess durchzuführen benötigt Zeit. Falls das Fahrzeug auf einer Fahrbahnoberfläche fährt, die eine Pufferzone aufweist, besteht, bis die Korrektur der vertikalen Abweichung abgeschlossen ist, die Möglichkeit, dass die Pufferzone fehlerhaft als ein dreidimensionales Objekt detektiert wird. Deshalb ist während des Korrekturprozesses der vertikalen Abweichung z. B. ein Mechanismus erforderlich, der das System, das durch die Stereokamera bereitgestellt wird, in einen gestoppten Zustand bringt.The conventional method described above is for correcting the vertical deviation between the left and right cameras, and it takes time to perform the correction process. If the vehicle runs on a road surface having a buffer zone, until the correction of the vertical deviation is completed, there is a possibility that the buffer zone will be erroneously detected as a three-dimensional object. Therefore, during the vertical deviation correction process, e.g. For example, a mechanism is required that brings the system provided by the stereo camera into a stopped state.

Allerdings besteht dann, wenn das System, das durch die Stereokamera bereitgestellt wird, selbst vollständig gestoppt wird, die Möglichkeit, dass das Sicherheitssystem in einer tatsächlich nötigen Situation nicht arbeitet, und besteht die Möglichkeit, dass die Sicherheitsleistungsfähigkeit verschlechtert wird.However, when the system provided by the stereo camera itself is completely stopped, there is a possibility that the security system does not work in an actually necessary situation, and there is a possibility that the security performance is deteriorated.

Eine Aufgabe der vorliegenden Erfindung ist, eine Verarbeitungsvorrichtung zu schaffen, die ungeachtet dessen, ob eine vertikale Abweichung der optischen Achsen zwischen einer linken und einer rechten Kamera einer Stereokamera auftritt oder nicht, zwischen einem dreidimensionalen Objekt und einem nicht dreidimensionalen Objekt differenziert und bestimmt, ob ein Objekt, das durch die Stereokamera als das dreidimensionale Objekt erkannt wird, ein Steuerziel ist oder nicht.An object of the present invention is to provide a processing apparatus that differentiates between a three-dimensional object and a non-three-dimensional object and determines whether or not there is a vertical deviation of the optical axes between left and right cameras of a stereo camera an object recognized by the stereo camera as the three-dimensional object is a control target or not.

Lösung des Problemsthe solution of the problem

Eine Verarbeitungsvorrichtung der vorliegenden Erfindung, die das oben beschriebene Problem löst, ist eine Verarbeitungsvorrichtung, die ein Paar aufgenommener Bilder, die durch ein Paar Kameras aufgenommen wurden, verarbeitet, wobei die Verarbeitungsvorrichtung Folgendes enthält: eine erste Parallaxenbilderzeugungseinheit, die ein erstes Parallaxenbild aus dem Paar aufgenommener Bilder erzeugt; eine Steuerzielkandidaten-Erkennungseinheit, die einen Steuerzielkandidaten aus dem ersten Parallaxenbild erkennt; eine erste Parallaxenwerterfassungseinheit, die einen ersten Parallaxenwert in einem Kandidatenbereich, in dem der Steuerzielkandidat im erstem Parallaxenbild vorliegt, erfasst; eine zweite Parallaxenbilderzeugungseinheit, die eine relative vertikale Position des Paars aufgenommener Bilder versetzt und ein zweites Parallaxenbild erzeugt; eine zweite Parallaxenwerterfassungseinheit, die einen zweiten Parallaxenwert in einem entsprechenden Bereich des zweiten Parallaxenbilds, der dem Kandidatenbereich des ersten Parallaxenbilds entspricht, erfasst; und eine Steuerzielbestimmungseinheit, die unter Verwendung des ersten Parallaxenwerts und des zweiten Parallaxenwerts bestimmt, ob der Steuerzielkandidat als ein Steuerziel erkannt werden soll oder nicht.A processing device of the present invention that solves the above-described problem is a processing device that processes a pair of captured images captured by a pair of cameras, the processing device including: a first parallax image generating unit that generates a first parallax image from the pair captured images; a control target candidate recognition unit that recognizes a control target candidate from the first parallax image; a first parallax value detection unit that detects a first parallax value in a candidate area where the control target candidate exists in the first parallax image; a second parallax image generation unit that offsets a relative vertical position of the pair of captured images and generates a second parallax image; a second parallax value detection unit that detects a second parallax value in a corresponding area of the second parallax image, which corresponds to the candidate area of the first parallax image; and a control target determination unit that determines whether or not to recognize the control target candidate as a control target using the first parallax value and the second parallax value.

Vorteilhafte Wirkungen der ErfindungAdvantageous Effects of the Invention

Gemäß der vorliegenden Erfindung ist es möglich, zu bestimmen, ob ein Objekt, das durch eine Stereokamera als ein dreidimensionales Objekt erkannt wird, ein Steuerziel ist oder nicht. Ferner werden Merkmale, die mit der vorliegenden Erfindung in Beziehung stehen, aus der Beschreibung der vorliegenden Beschreibung und den begleitenden Zeichnungen deutlich. Zusätzlich werden Probleme, Konfigurationen und Wirkungen außer den oben beschriebenen aus der Beschreibung der folgenden Ausführungsformen deutlich.According to the present invention, it is possible to determine whether or not an object recognized as a three-dimensional object by a stereo camera is a control target. Further, features related to the present invention will be apparent from the description of the present specification and accompanying clear from the drawings. In addition, problems, configurations, and effects other than those described above will become apparent from the description of the following embodiments.

Figurenlistecharacter list

[ 1 ] 1 14 is a block diagram illustrating an overall configuration of an imaging device in a first embodiment.
[ 2 ] 2 14 is a flowchart illustrating a control target determination process of the imaging device according to the first embodiment.
[ 3 ] 3 12 is a diagram schematically illustrating left and right picked-up images and a parallax image.
[ 4 ] 4 14 is a diagram illustrating an example of a detection area of a control target.
[ 5 ] 5 Fig. 12 is a diagram illustrating a difference between a far parallax and a near parallax in the left and right captured images.
[ 6 ] 6 a diagram for explaining a reason why an error of a parallax varies depending on an inclination angle of a line imaged in an image.
[ 7 ] 7 14 is a diagram for explaining parallax when a buffer zone is imaged by a stereo camera in which the optical axes of left and right cameras relatively deviate in a vertical direction.
[ 8th ] 8th FIG. 14 is a graph illustrating a relationship between an offset amount and an average parallax value.
[ 9 ] 9 14 is a diagram for explaining an example in which necessity determination of the control target is performed based on a statistical result.
[ 10 ] 10 14 is a flowchart illustrating a control target determination process of an imaging device according to a second embodiment.

Beschreibung der AusführungsformenDescription of the embodiments

Zunächst wird der Grund beschrieben, warum eine Stereokamera eine Pufferzone fehlerhaft als ein dreidimensionales Objekt detektiert. First, the reason why a stereo camera erroneously detects a buffer zone as a three-dimensional object will be described.

3 ist ein Diagramm, das ein linkes und ein rechtes aufgenommenes Bild und ein Parallaxenbild schematisch veranschaulicht. 3(a) ist ein schematisches Diagramm eines aufgenommenen Bilds einer Vorderseite eines Fahrzeugs, das durch eine linke Kamera aufgenommen wurde, und 3(b) ist ein schematisches Diagramm eines aufgenommenen Bilds der Vorderseite des Fahrzeugs, das durch eine rechte Kamera gleichzeitig mit der linken Kamera aufgenommen wurde. Dann ist 3(c) ein Parallaxenbild, das unter Verwendung des aufgenommenen Bild von 3(a) und des aufgenommenen Bilds von 3(b) erstellt wurde, und veranschaulicht einen Bereich 321 nah am Trägerfahrzeug, einen Bereich 323 fern vom Trägerfahrzeug und einen Zwischenbereich 322. 3 12 is a diagram schematically illustrating left and right picked-up images and a parallax image. 3(a) FIG. 12 is a schematic diagram of a captured image of a front side of a vehicle captured by a left camera, and 3(b) 12 is a schematic diagram of a captured image of the front of the vehicle captured by a right camera simultaneously with the left camera. Then 3(c) a parallax image obtained using the captured image of 3(a) and the captured image of 3(b) was created and illustrates an area 321 close to the host vehicle, an area 323 far from the host vehicle and an intermediate area 322.

Wie in 3(a) und 3(b) veranschaulicht ist, ist in den Bildern, die durch die linke und die rechte Kamera aufgenommen wurden, ein Zustand abgebildet, in dem ein vorausfahrendes Fahrzeug 311 vor dem Trägerfahrzeug fährt. Das Trägerfahrzeug fährt in einer Fahrspur 312 und auf beiden Seiten der Fahrspur 312 sind Pufferzonen 313 vorgesehen.As in 3(a) and 3(b) 1, a state in which a preceding vehicle 311 runs in front of the host vehicle is depicted in the images captured by the left and right cameras. The carrier vehicle travels in a lane 312 and buffer zones 313 are provided on both sides of the lane 312 .

In der Stereokamera wird ein dreidimensionales Objekt aus einem Parallaxenbild detektiert, wie in 3(c) veranschaulicht ist, und wird als ein Steuerzielkandidat erkannt. Es ist gezeigt, dass, falls kein dreidimensionales Objekt vorliegt, eine Parallaxe allmählich von nah nach fern abnimmt, und auch im Parallaxenbild ist gezeigt, dass die Parallaxe von einer Unterseite zu einer Oberseite in der vertikalen Richtung allmählich abnimmt. Andererseits ist, falls ein dreidimensionales Objekt vorliegt, die Parallaxe in der Nähe und der Ferne gleich und es ist auch gezeigt, dass das Parallaxenbild in der vertikalen Richtung den gleichen Wert besitzt. Deshalb wird bestimmt, dass das dreidimensionale Objekt in dem Bereich vorhanden ist, der dieselbe Parallaxe in der vertikalen Richtung im Parallaxenbild besitzt. In dem Parallaxenbild, das in 3(c) veranschaulicht ist, wird das vorausfahrende Fahrzeug 311, das tatsächlich ein dreidimensionales Objekt ist, als ein dreidimensionales Objekt 331 detektiert, jedoch wird auch ein Teil der Pufferzone 313, die tatsächlich kein dreidimensionales Objekt ist, als ein dreidimensionales Objekt 332 detektiert.In the stereo camera, a three-dimensional object is detected from a parallax image, as in 3(c) is illustrated and is recognized as a control target candidate. It is shown that when there is no three-dimensional object, parallax gradually decreases from near to far, and also in the parallax image, it is shown that parallax gradually decreases from bottom to top in the vertical direction. On the other hand, if there is a three-dimensional object, the parallax is the same near and far, and it is also shown that the parallax image has the same value in the vertical direction. Therefore, it is determined that the three-dimensional object exists in the area having the same parallax in the vertical direction in the parallax image. In the parallax image shown in 3(c) As illustrated, the preceding vehicle 311, which is actually a three-dimensional object, is detected as a three-dimensional object 331, but a part of the buffer zone 313, which is not actually a three-dimensional object, is also detected as a three-dimensional object 332.

4 ist ein Diagramm, das ein Beispiel eines Erkennungsbereichs des Steuerzielkandidaten veranschaulicht. 4 14 is a diagram illustrating an example of a detection range of the control target candidate.

In dem Beispiel, das in 4 veranschaulicht ist, ist ein Kandidatenbereich, der als der Steuerzielkandidat erkannt wird, als ein rechteckiger Rahmen 402 veranschaulicht. Eine Position des rechteckigen Rahmens 402, der den Kandidatenbereich angibt, ist durch x-y Koordinaten des Parallaxenbilds 401 definiert.In the example that in 4 1, a candidate area recognized as the control target candidate is illustrated as a rectangular frame 402. FIG. A position of the rectangular frame 402 indicating the candidate area is defined by xy coordinates of the parallax image 401.

5 ist ein Diagramm, das eine Differenz zwischen einer Parallaxe in der Ferne und einer Parallaxe in der Nähe in dem linken und dem rechten aufgenommenen Bild veranschaulicht. 5 Fig. 12 is a diagram illustrating a difference between a far parallax and a near parallax in the left and right captured images.

Zwei vorausfahrende Fahrzeuge 511 und 521 sind sowohl in einem durch die linke Kamera aufgenommenen Bild 501 als auch einem durch die rechte Kamera aufgenommenen Bild 502 abgebildet. Aufgrund des Merkmals der Stereokamera ist, wie in 5 veranschaulicht ist, die Parallaxe in Bezug auf das vorausfahrende Fahrzeug 521 in der Ferne klein und die Parallaxe in Bezug auf das vorausfahrende Fahrzeug 511 in der Nähe groß.Two preceding vehicles 511 and 521 are depicted in both an image 501 captured by the left camera and an image 502 captured by the right camera. Due to the feature of the stereo camera, as in 5 As illustrated, the parallax relative to the preceding vehicle 521 at a distance is small and the parallax relative to the preceding vehicle 511 near is large.

6 ist ein Diagramm zum Erläutern eines Grunds, warum ein Fehler einer Parallaxe abhängig von einem Neigungswinkel einer Linie, die in einem Bild aufgenommen ist, variiert. 6(a) ist ein Bild einer Linie, die in einer Fahrrichtung des Trägerfahrzeugs gerade verläuft, und eine vertikale Linie 611, die in der vertikalen Richtung des Bilds gerade verläuft, ist abgebildet. 6(b) und 6(c) werden durch Abbilden einer Linie erhalten, die in Bezug auf die Fahrrichtung des Trägerfahrzeugs schräg verläuft. Im Bild von 6(b) ist eine schräge Linie 612, die eine große Neigung in Bezug auf eine Querrichtung des Bilds besitzt, abgebildet. Im Bild von 6(c) ist eine schräge Linie 613, die eine kleine Neigung in Bezug auf die Querrichtung des Bilds besitzt, abgebildet. 6 Fig. 12 is a diagram for explaining a reason why an error of a parallax varies depending on an inclination angle of a line captured in an image. 6(a) 12 is an image of a line that is straight in a traveling direction of the host vehicle, and a vertical line 611 that is straight in the vertical direction of the image is depicted. 6(b) and 6(c) are obtained by mapping a line that is oblique with respect to the running direction of the host vehicle. In the picture of 6(b) an oblique line 612 having a large slope with respect to a transverse direction of the image is depicted. In the picture of 6(c) an oblique line 613 having a small slope with respect to the transverse direction of the image is depicted.

Zum Beispiel sind, falls die Linien, die in 6(a) bis 6(c) veranschaulicht sind, in einem Zustand abgebildet werden, in dem eine optische Achse einer linken Kamera L von einer optischen Achse einer rechten Kamera R nach oben abweicht, in der vertikalen Linie 611 des Bilds 601, das in 6(a) veranschaulicht ist, die Positionen P1 und P2 während des Abbildens durch die linke Kamera und des Abbildens durch die rechte Kamera in einer Links-/Rechts-Richtung gleich und ist ein Parallaxenfehler 0. Andererseits tritt in der schrägen Linie 612 des Bilds 602, das in 6(b) veranschaulicht ist, ein Fehler δ1 in der Links-/Rechts-Richtung zwischen einer Position P3 während des Abbildens durch die linke Kamera und einer Position P4 während des Abbildens durch die rechte Kamera auf. Dann tritt im Falle der schrägen Linie 613 des Bilds 603, das in 6 (c) veranschaulicht ist, ein Fehler δ2 in der Links-/Rechts-Richtung zwischen einer Position P5 während des Abbildens durch die linke Kamera L und einer Position P6 während des Abbildens durch die rechte Kamera R auf.For example, if the lines that are in 6(a) until 6(c) are depicted in a state where an optical axis of a left camera L deviates upward from an optical axis of a right camera R in the vertical line 611 of the image 601 shown in FIG 6(a) is illustrated, the positions P1 and P2 during imaging by the left camera and imaging by the right camera are equal in a left/right direction and a parallax error is 0. On the other hand, in the oblique line 612 of the image 602 shown in 6(b) 1, an error δ1 in the left/right direction occurs between a position P3 during imaging by the left camera and a position P4 during imaging by the right camera. Then, in the case of the oblique line 613 of the image 603 shown in 6(c) As illustrated, an error δ2 in the left/right direction between a position P5 during imaging by the left camera L and a position P6 during imaging by the right camera R occurs.

Im Vergleich des Fehlers δ1 zum Fehler 52 ist die Neigung der schrägen Linie 613 des Bilds 603, das in 6(c) veranschaulicht ist, größer als die Neigung der schrägen Linie 612 des Bilds 602, das in 6 (b) veranschaulicht ist, und somit ist der Fehler δ2 größer als der Fehler 51 (δ1 < δ2). Das heißt, falls die optische Achse der linken Kamera L und die optische Achse der rechten Kamera R vertikal voneinander abweichen, nimmt der Fehler zu, wenn die Neigung der abgebildeten Linie zunimmt.Comparing the error δ1 to the error 52, the slope of the oblique line 613 of the image 603 shown in 6(c) is greater than the slope of slanted line 612 of image 602 shown in FIG 6 (b) is illustrated, and thus the error δ2 is larger than the error δ1 (δ1 < δ2). That is, if the optical axis of the left camera L and the optical axis of the right camera R deviate vertically from each other, the error increases as the inclination of the imaged line increases.

Es ist festzuhalten, dass, falls die optische Achse der linken Kamera L und die optische Achse der rechten Kamera R vollständig parallel sind und nicht in der vertikalen Richtung relativ abweichen, die Positionen in der Links-/Rechts-Richtung während des Abbildens durch die linke Kamera und während des Abbildens durch die rechte Kamera gleich sind und kein Parallaxenfehler auftritt. Der Parallaxenfehler, der in 6(b) und 6(c) veranschaulicht ist, tritt lediglich auf, wenn die optischen Achsen der rechten und der linken Kamera in der vertikalen Richtung relativ abweichen.It is noted that if the optical axis of the left camera L and the optical axis of the right camera R are completely parallel and not relatively deviated in the vertical direction, the positions in the left/right direction during imaging by the left camera and during imaging by the right camera are the same and no parallax error occurs. The parallax error that appears in 6(b) and 6(c) illustrated occurs only when the optical axes of the right and left cameras relatively deviate in the vertical direction.

7 ist ein Diagramm zum Erläutern einer Parallaxe, wenn die Pufferzone durch die Stereokamera, in der die optischen Achsen einer rechten und einer linken Kamera in einer vertikalen Richtung relativ abweichen, abgebildet wird. Wenn eine Pufferzone 702 von einer Stereokamera 701 abgebildet wird, wird eine weiße Linie der Pufferzone 702 derart abgebildet, dass die Neigung in der Nähe größer ist und die Neigung in der Ferne allmählich abnimmt. Deshalb nehmen, falls die optischen Achsen der linken und rechten Kamera in der vertikalen Richtung relativ abweichen, die Parallaxenfehler 721 bis 723 der weißen Linie in der Links-/Rechts-Richtung von nah zu fern allmählich zu, wie unter Bezugnahme auf 6 beschrieben ist. Andererseits nehmen die Parallaxen 711 bis 713 der weißen Linie ungeachtet der Abweichung der optischen Achse von nah zu fern allmählich ab, wie unter Bezugnahme auf 5 beschrieben ist. 7 12 is a diagram for explaining parallax when the buffer zone is imaged by the stereo camera in which the optical axes of right and left cameras relatively deviate in a vertical direction. When a buffer zone 702 is imaged by a stereo camera 701, a white line of the buffer zone 702 is imaged such that the slope is larger near and the slope gradually decreases at a distance. Therefore, if the optical axes of the left and right cameras relatively deviate in the vertical direction, the parallax errors 721 to 723 of the white line in the left/right direction gradually increase from near to far, as referring to FIG 6 is described. On the other hand, the parallaxes 711 to 713 of the white line gradually decrease regardless of the optical axis deviation from near to far, as with reference to FIG 5 is described.

Deshalb wird dann, wenn die optischen Achsen der linken und rechten Kamera in der vertikalen Richtung relativ abweichen, eine Messungsparallaxe in der Nähe durch Addieren der relativ großen korrekten Parallaxe 711 und des relativ kleinen Parallaxenfehlers 721 erhalten, wird eine Messungsparallaxe in der Ferne durch Addieren der relativ kleinen korrekten Parallaxe 713 und des relativ großen Parallaxenfehlers 723 erhalten und wird eine Zwischenmessungsparallaxe zwischen der Nähe und der Ferne durch Addieren der korrekten Parallaxe 712 der Zwischenmagnitude und des Parallaxenfehlers 722 der Zwischenmagnitude erhalten. Deshalb sind die Messungsparallaxen in der Nähe, der Ferne und dazwischen einander gleich, nämlich die Messungsparallaxe 703, wobei es einen Bereich gibt, der dieselbe Parallaxe in der vertikalen Richtung im Parallaxenbild besitzt, und die Möglichkeit besteht, dass das Vorliegen des dreidimensionalen Objekts fehlerhaft detektiert wird.Therefore, when the optical axes of the left and right cameras deviate relatively in the vertical direction, a near measurement parallax is obtained by adding the relatively large correct parallax 711 and the relatively small parallax error 721, a far measurement parallax is obtained by adding the relatively small correct parallax 713 and the relatively large parallax error 723 and an intermediate measurement parallax between near and far is obtained by adding the correct parallax 712 of the intermediate magnitude and the parallax error 722 of the intermediate magnitude. Therefore, the measurement parallaxes near, far, and in between are equal to each other, namely, the measurement parallax 703, there is an area having the same parallax in the vertical direction in the parallax image, and the possibility is that the presence of the three-dimensional object is erroneously detected.

Um ein derartiges Problem zu lösen, führt eine Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform einen Prozess des Differenzierens zwischen einem dreidimensionalen Objekt und einem nicht dreidimensionalen Objekt, ungeachtet davon, ob eine vertikale Abweichung der optischen Achsen zwischen der linken und der rechten Kamera der Stereokamera auftritt oder nicht, und des Bestimmens, ob ein Objekt, das durch die Stereokamera als das dreidimensionale Objekt erkannt wird, ein Steuerziel ist oder nicht, durch.In order to solve such a problem, an imaging apparatus according to the present embodiment performs a process of differentiating between a three-dimensional object and a non-three-dimensional object regardless of whether or not vertical optical axis deviation occurs between the left and right cameras of the stereo camera , and determining whether or not an object recognized by the stereo camera as the three-dimensional object is a control target.

Im Folgenden werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.In the following, embodiments of the present invention will be described with reference to the drawings.

Die Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform ist konfiguriert, einen durchschnittlichen Parallaxenwert, der erhalten wird, wenn ein Paar aufgenommener Bilder, die durch ein Paar von Bildgebungseinheiten aufgenommen werden, in der vertikalen Richtung nicht versetzt sind, und einen durchschnittlichen Parallaxenwert, der erhalten wird, wenn die aufgenommenen Bilder in der vertikalen Richtung relativ versetzt sind, zu berechnen und die Steuernotwendigkeit des Steuerziels auf der Grundlage einer Verteilungsform eines Versatzbetrags und des durchschnittlichen Parallaxenwerts zu bestimmen.The imaging device according to the present embodiment is configured, an average parallax value obtained when a pair of captured images captured by a pair of imaging units are not offset in the vertical direction, and an average parallax value obtained when the captured images are relatively offset in the vertical direction, and determine the control necessity of the control target based on a distribution form of an offset amount and the average parallax value.

1 ist ein Blockdiagramm, das eine Gesamtkonfiguration einer Bildgebungsvorrichtung gemäß einer ersten Ausführungsform veranschaulicht. 1 14 is a block diagram illustrating an overall configuration of an imaging device according to a first embodiment.

Eine Bildgebungsvorrichtung 100 ist an einem Fahrzeug wie z. B. einem Personenkraftwagen montiert und ist eine Stereokamera, die einen Prozess des Abbildens der Vorderseite des Fahrzeugs durch ein Paar einer linken und einer rechten Kamera, ein Bestimmen des Vorliegens oder des Fehlens eines dreidimensionalen Objekts auf der Grundlage einer Parallaxe oder ein Erkennen des Typs des dreidimensionalen Objekts durchführt.An imaging device 100 is on a vehicle such. B. mounted on a passenger car and is a stereo camera that includes a process of imaging the front of the vehicle by a pair of left and right cameras, determining the presence or absence of a three-dimensional object based on a parallax, or recognizing the type of the three-dimensional object performs.

Die Bildgebungsvorrichtung 100 enthält eine erste Bildgebungseinheit 11 und eine zweite Bildgebungseinheit 12, die ein Paar Kameras sind, und einer Verarbeitungsvorrichtung 1, die zwei aufgenommene Bilder, die durch die erste Bildgebungseinheit 11 und die zweite Bildgebungseinheit 12 aufgenommen wurden, verarbeitet. In der vorliegenden Ausführungsform wird ein Fall, in dem die Verarbeitungsvorrichtung 1 in der Bildgebungsvorrichtung 100, die eine Stereokamera ist, konfiguriert ist, als ein Beispiel beschrieben. Allerdings ist eine Stelle, bei der die Verarbeitungsvorrichtung 1 konfiguriert ist, nicht auf den Innenraum der Bildgebungsvorrichtung 100 beschränkt und kann die Verarbeitungsvorrichtung in einer ECU oder dergleichen konfiguriert sein, die von der Bildgebungsvorrichtung 100 getrennt vorgesehen ist.The imaging device 100 includes a first imaging unit 11 and a second imaging unit 12 that are a pair of cameras, and a processing device 1 that processes two captured images captured by the first imaging unit 11 and the second imaging unit 12 . In the present embodiment, a case where the processing device 1 is configured in the imaging device 100 that is a stereo camera will be described as an example. However, a place where the processing device 1 is configured is not limited to the inside of the imaging device 100 , and the processing device may be configured in an ECU or the like provided separately from the imaging device 100 .

Die erste Bildgebungseinheit 11 und die zweite Bildgebungseinheit 12 sind bei Positionen, die in einer Fahrzeugbreitenrichtung voneinander getrennt sind, im Fahrzeuginnenraum des Personenkraftwagens angeordnet und bilden einen Überlappungsbereich vor dem Fahrzeug durch eine Windschutzscheibe ab. Die erste Bildgebungseinheit 11 und die zweite Bildgebungseinheit 12 sind z. B. durch eine Anordnung konfiguriert, die durch Kombinieren einer optischen Systemkomponente wie z. B. eines Objektivs und eines Bildgebungselements wie z. B. einer CCD oder eines CMOS erhalten wird. Die erste Bildgebungseinheit 11 und die zweite Bildgebungseinheit 12 werden derart angepasst, dass die optischen Achsen zueinander parallel sind und dieselbe Höhe besitzen. Die aufgenommenen Bilder, die durch die erste Bildgebungseinheit 11 und die zweite Bildgebungseinheit 12 aufgenommen wurden, werden in die Verarbeitungsvorrichtung 1 eingegeben.The first imaging unit 11 and the second imaging unit 12 are arranged at positions separated from each other in a vehicle width direction in the vehicle interior of the passenger car, and images an overlapping area in front of the vehicle through a windshield. The first imaging unit 11 and the second imaging unit 12 are z. B. configured by an arrangement by combining an optical system component such. B. a lens and an imaging element such. B. a CCD or a CMOS is obtained. The first imaging unit 11 and the second imaging unit 12 are adjusted such that the optical axes are parallel to each other and have the same height. The captured images captured by the first imaging unit 11 and the second imaging unit 12 are input to the processing device 1 .

Die Verarbeitungsvorrichtung 1 enthält z. B. Hardware, die eine CPU, einen Speicher und dergleichen enthält, und Software, die in der Hardware installiert ist und ausgeführt wird. Die Verarbeitungsvorrichtung 1 enthält als interne Funktionen eine erste Bilderfassungseinheit 13, eine zweite Bilderfassungseinheit 14, eine erste Parallaxenbilderzeugungseinheit 15, eine Steuerzielkandidaten-Erkennungseinheit 16, eine erste Parallaxenwerterfassungseinheit 17, eine zweite Parallaxenbilderzeugungseinheit 18, eine zweite Parallaxenwerterfassungseinheit 19 und eine Steuerzielbestimmungseinheit 20.The processing device 1 contains e.g. B. Hardware, which includes a CPU, memory, and the like, and software that is installed and executed in the hardware. The processing device 1 contains, as internal functions, a first image acquisition unit 13, a second image acquisition unit 14, a first parallax image generation unit 15, a control target candidate recognition unit 16, a first parallax value acquisition unit 17, a second parallax image generation unit 18, a second parallax value acquisition unit 19 and a control target determination unit 20.

Die erste Bilderfassungseinheit 13 und die zweite Bilderfassungseinheit 14 erfassen aufgenommene Bilder, die durch die erste Bildgebungseinheit 11 und die zweite Bildgebungseinheit 12 gleichzeitig und periodisch aufgenommen werden. Die erste Bilderfassungseinheit 13 und die zweite Bilderfassungseinheit 14 schneiden Bilder eines vorgegebenen Bereichs, die einander überlappen, aus einem Paar aufgenommener Bilder, die durch die erste Bildgebungseinheit 11 und die zweite Bildgebungseinheit 12 gleichzeitig aufgenommen wurden, aus und erfassen die Bilder als ein erstes Bild bzw. ein zweites Bild.The first image capturing unit 13 and the second image capturing unit 14 capture captured images captured by the first imaging unit 11 and the second imaging unit 12 simultaneously and periodically. The first image capturing unit 13 and the second image capturing unit 14 cut out images of a predetermined area that overlap each other from a pair of captured images captured by the first imaging unit 11 and the second imaging unit 12 at the same time, and capture the images as a first image and a first image, respectively .a second picture.

Die erste Parallaxenbilderzeugungseinheit 15 erzeugt ein erstes Parallaxenbild unter Verwendung des Paars aufgenommener Bilder, die durch die erste Bilderfassungseinheit 13 und die zweite Bilderfassungseinheit 14 erfasst wurden. Als ein Verfahren zum Erzeugen des ersten Parallaxenbilds kann ein herkömmlicherweise allgemein bekanntes Verfahren verwendet werden. Zum Beispiel wird auf der Grundlage des ersten Bilds eine Pixelspalte des zweiten Bilds bei derselben Höhenposition in der vertikalen Richtung wie das erste Bild in der Querrichtung abgetastet, um einen mit dem ersten Bild abgeglichenen Punkt zu finden, und ein Abweichungsbetrag in der Querrichtung zwischen dem ersten Bild und dem zweiten Bild wird als eine Parallaxe berechnet, d. h. ein sogenannter Stereoabgleich wird durchgeführt.The first parallax image generation unit 15 generates a first parallax image using the pair of captured images defined by the first image capturing unit 13 and the second image capturing unit 14 have been captured. As a method for generating the first parallax image, a conventionally well-known method can be used. For example, based on the first image, a pixel column of the second image is scanned at the same height position in the vertical direction as the first image in the transverse direction to find a point matched with the first image, and a deviation amount in the transverse direction between the first image and the second image is calculated as a parallax, ie a so-called stereo matching is carried out.

Die Steuerzielkandidaten-Erkennungseinheit 16 detektiert ein dreidimensionales Objekt aus dem ersten Parallaxenbild, das durch die erste Parallaxenbilderzeugungseinheit 15 erzeugt wird, und erkennt das dreidimensionale Objekt als einen Steuerzielkandidaten. Zum Beispiel wird im Vergleich zum Betrag einer Änderung der Parallaxe in der vertikalen Richtung des Bilds, das einen Zustand abbildet, in dem das dreidimensionale Objekt nicht vorhanden ist und sich eine flache Oberfläche fortsetzt, bestimmt, dass ein dreidimensionales Objekt in einem Bereich vorhanden ist, in dem der Betrag einer Änderung der Parallaxe in der vertikalen Richtung des Bilds klein ist. Falls mehrere dreidimensionale Objekte aus dem ersten Parallaxenbild detektiert werden, erkennt die Steuerzielkandidaten-Erkennungseinheit 16 jedes der dreidimensionalen Objekte als einen Steuerzielkandidaten. Die Steuerzielkandidaten-Erkennungseinheit 16 erfasst Koordinateninformationen des Kandidatenbereichs, in dem der Steuerzielkandidat im erstem Parallaxenbild erkannt wird (z. B. die Bereiche 331 und 332 in 3 und der Bereich 402 in 4).The control target candidate recognition unit 16 detects a three-dimensional object from the first parallax image generated by the first parallax image generation unit 15 and recognizes the three-dimensional object as a control target candidate. For example, compared to the amount of change in parallax in the vertical direction of the image depicting a state where the three-dimensional object does not exist and a flat surface continues, it is determined that a three-dimensional object exists in an area in which the amount of change in parallax in the vertical direction of the image is small. If a plurality of three-dimensional objects are detected from the first parallax image, the control target candidate recognition unit 16 recognizes each of the three-dimensional objects as a control target candidate. The control target candidate recognition unit 16 acquires coordinate information of the candidate area in which the control target candidate is recognized in the first parallax image (e.g. areas 331 and 332 in 3 and the area 402 in 4 ).

Die erste Parallaxenwerterfassungseinheit 17 erfasst einen ersten Parallaxenwert, der ein Parallaxenberechnungswert ist, im Kandidatenbereich, in dem der Steuerzielkandidat im erstem Parallaxenbild vorliegt. Die erste Parallaxenwerterfassungseinheit 17 führt einen Prozess des Erfassens des ersten Parallaxenwerts lediglich aus, falls der Steuerzielkandidat durch die Steuerzielkandidaten-Erkennungseinheit 16 erkannt wird. Die erste Parallaxenwerterfassungseinheit 17 führt den Prozess des Erfassens des ersten Parallaxenwerts nicht durch, falls die Steuerzielkandidaten-Erkennungseinheit 16 keinen Steuerzielkandidat erkennt. Als der erste Parallaxenwert, der der Parallaxenberechnungswert ist, kann z. B. ein durchschnittlicher Parallaxenwert im Kandidatenbereich werden verwendet. Der durchschnittliche Parallaxenwert im Kandidatenbereich wird aus dem Parallaxenwert und der Anzahl von Parallaxen im Kandidatenbereich berechnet. Es ist festzuhalten, dass der Parallaxenberechnungswert nicht auf den durchschnittlichen Parallaxenwert beschränkt ist und ein Parallaxenvarianzwert, ein maximaler Parallaxenwert, ein minimaler Parallaxenwert, eine Differenz zwischen dem maximalen Parallaxenwert und dem minimalen Parallaxenwert, ein Verhältnis zwischen dem maximalen Parallaxenwert und dem minimalen Parallaxenwert, ein Durchschnittswert des maximalen Parallaxenwerts oder ein Durchschnittswert des minimalen Parallaxenwerts verwendet werden kann.The first parallax value acquisition unit 17 acquires a first parallax value, which is a parallax calculation value, in the candidate area where the control target candidate exists in the first parallax image. The first parallax value acquisition unit 17 performs a process of acquiring the first parallax value only if the control target candidate is recognized by the control target candidate recognition unit 16 . The first parallax value acquisition unit 17 does not perform the process of acquiring the first parallax value if the control target candidate recognition unit 16 does not recognize a control target candidate. As the first parallax value, which is the parallax calculation value, e.g. B. an average parallax value in the candidate area are used. The average parallax value in the candidate area is calculated from the parallax value and the number of parallaxes in the candidate area. Note that the parallax calculation value is not limited to the average parallax value, and a parallax variance value, a maximum parallax value, a minimum parallax value, a difference between the maximum parallax value and the minimum parallax value, a ratio between the maximum parallax value and the minimum parallax value, an average value of the maximum parallax value or an average value of the minimum parallax value can be used.

Die zweite Parallaxenbilderzeugungseinheit 18 erzeugt mehrere zweite Parallaxenbilder unter Verwendung des Paars aufgenommener Bilder, das verwendet wird, um das erste Parallaxenbild zu erzeugen. Die zweite Parallaxenbilderzeugungseinheit 18 erzeugt das zweite Parallaxenbild unter Verwendung eines Paars versetzter Bilder, die in einem Zustand ausgeschnitten werden, in dem eine relative obere und eine relative untere Position des ersten Bilds und des zweiten Bilds für jede Koordinate in der vertikalen Richtung oder für jeden gleich unterteilten Abschnitt versetzt sind. Die zweite Parallaxenbilderzeugungseinheit 18 versetzt die Position des ersten Bilds und/oder des zweiten Bilds lediglich in einer Aufwärtsrichtung, lediglich in einer Abwärtsrichtung oder sowohl in der Aufwärts- als auch der Abwärtsrichtung und schneidet das Paar versetzter Bilder aus.The second parallax image generating unit 18 generates a plurality of second parallax images using the pair of captured images used to generate the first parallax image. The second parallax image generating unit 18 generates the second parallax image using a pair of offset images cut out in a state where relative upper and lower positions of the first image and the second image are the same for each coordinate in the vertical direction or for each divided section are offset. The second parallax image generating unit 18 shifts the position of the first image and/or the second image only in an upward direction, only in a downward direction, or both in the upward and downward directions, and cuts out the pair of offset images.

Die zweite Parallaxenbilderzeugungseinheit 18 erzeugt mehrere Paare versetzter Bilder durch Ändern des Versatzbetrags in der vertikalen Richtung und erzeugt mehrere zweite Parallaxenbilder unter Verwendung der versetzten Bilder. Das heißt, die zweite Parallaxenbilderzeugungseinheit 18 erzeugt die mehreren Paare versetzter Bilder durch mehrmaliges Versetzen der Position des ersten Bilds und/oder des zweiten Bilds und erzeugt jeweilige zweite Parallaxenbilder aus den mehreren Paaren versetzter Bilder.The second parallax image generating unit 18 generates multiple pairs of offset images by changing the offset amount in the vertical direction, and generates multiple second parallax images using the offset images. That is, the second parallax image generating unit 18 generates the multiple pairs of offset images by shifting the position of the first image and/or the second image a plurality of times, and generates respective second parallax images from the multiple pairs of offset images.

Die zweite Parallaxenwerterfassungseinheit 19 erfasst den zweiten Parallaxenwert, der der Parallaxenberechnungswert im entsprechenden Bereich ist, aus dem entsprechenden Bereich des zweiten Parallaxenbilds. Der entsprechende Bereich des zweiten Parallaxenbilds wird bei derselben Position wie der Kandidatenbereich des ersten Parallaxenbilds eingestellt. Da die mehreren zweiten Parallaxenbilder erzeugt werden, wird ein entsprechender Bereich bei derselben Position wie der Kandidatenbereich des ersten Parallaxenbilds für jedes zweites Parallaxenbild eingestellt und wird der zweite Parallaxenwert jedes entsprechenden Bereichs erhalten. Falls mehrere Kandidatenbereiche des ersten Parallaxenbilds vorliegen, werden die entsprechenden Bereiche des zweiten Parallaxenbilds zu entsprechen jeweiligen Kandidatenbereichen eingestellt und wird der zweite Parallaxenwert jedes entsprechenden Bereichs erhalten.The second parallax value acquiring unit 19 acquires the second parallax value, which is the parallax calculation value in the corresponding area, from the corresponding area of the second parallax image. The corresponding area of the second parallax image is set at the same position as the candidate area of the first parallax image. Since the plurality of second parallax images are generated, a corresponding area is set at the same position as the candidate area of the first parallax image for each second parallax image, and the second parallax value of each corresponding area is obtained. If there are a plurality of candidate areas of the first parallax image, the corresponding areas of the second parallax image are set to correspond to respective candidate areas, and the second parallax value of each corresponding area is obtained.

Ähnlich zum ersten Parallaxenwert kann z. B. ein durchschnittlicher Parallaxenwert im entsprechenden Bereich als der zweite Parallaxenwert verwendet werden. Der durchschnittliche Parallaxenwert im entsprechenden Bereich wird aus dem Parallaxenwert und der Anzahl von Parallaxen im entsprechenden Bereich berechnet.Similar to the first parallax value, e.g. B. an average parallax value in the corresponding area can be used as the second parallax value. The average parallax value in the corresponding area is calculated from the parallax value and the number of parallaxes in the corresponding area.

Zusätzlich kann, um einen Vergleich mit demselben Berechnungswert wie der erste Parallaxenwert durchzuführen, ein Parallaxenvarianzwert, ein maximaler Parallaxenwert, ein minimaler Parallaxenwert, eine Differenz zwischen dem maximalen Parallaxenwert und dem minimalen Parallaxenwert, ein Verhältnis zwischen dem maximalen Parallaxenwert und dem minimalen Parallaxenwert, ein Durchschnittswert des maximalen Parallaxenwerts oder ein Durchschnittswert des minimalen Parallaxenwerts verwendet werden. Der zweite Parallaxenwert wird in jedem der mehreren zweiten Parallaxenbilder berechnet.In addition, to perform a comparison with the same calculation value as the first parallax value, a parallax variance value, a maximum parallax value, a minimum parallax value, a difference between the maximum parallax value and the minimum parallax value, a ratio between the maximum parallax value and the minimum parallax value, an average value of the maximum parallax value or an average value of the minimum parallax value can be used. The second parallax value is calculated in each of the plurality of second parallax images.

Unter Verwendung des ersten Parallaxenbilds, das durch die erste Parallaxenbilderzeugungseinheit 15 erzeugt wird, und der mehreren zweiten Parallaxenbilder, die durch die zweite Parallaxenbilderzeugungseinheit 18 erzeugt werden, bestimmt die Steuerzielbestimmungseinheit 20 die Notwendigkeit des Steuerobjekts, d. h., ob der Steuerzielkandidat, der als das dreidimensionale Objekt detektiert wird, als das Steuerobjekt erkannt wird oder nicht. Die Steuerzielbestimmungseinheit 20 führt die Notwendigkeitsbestimmung des Steuerziels auf der Grundlage des Parallaxenberechnungswerts, der in jedem des ersten Parallaxenbilds und der mehreren zweiten Parallaxenbilder berechnet wird, durch.Using the first parallax image generated by the first parallax image generation unit 15 and the plurality of second parallax images generated by the second parallax image generation unit 18, the control target determination unit 20 determines the necessity of the control object, i. that is, whether or not the control target candidate detected as the three-dimensional object is recognized as the control object. The control target determination unit 20 performs the necessity determination of the control target based on the parallax calculation value calculated in each of the first parallax image and the plural second parallax images.

2 ist ein Ablaufplan, der einen Steuerzielbestimmungsprozess der Bildgebungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht. 2 14 is a flowchart illustrating a control target determination process of the imaging device according to the first embodiment.

In Schritt S201 wird eine Bilderfassung durchgeführt. Hier wird ein Paar aufgenommener Bilder, die durch die erste Bildgebungseinheit 11 und die zweite Bildgebungseinheit 12 gleichzeitig aufgenommen wurden, durch die erste Bilderfassungseinheit 13 und die zweite Bilderfassungseinheit 14 erfasst. Dann wird in Schritt S202 das erste Parallaxenbild erzeugt. Das erste Parallaxenbild wird durch die erste Parallaxenbilderzeugungseinheit 15 unter Verwendung des Paars aufgenommener Bilder, die durch die erste Bilderfassungseinheit 13 und die zweite Bilderfassungseinheit 14 erfasst wurden, erzeugt.In step S201, image acquisition is performed. Here, a pair of captured images captured by the first imaging unit 11 and the second imaging unit 12 simultaneously are captured by the first image capturing unit 13 and the second image capturing unit 14 . Then, in step S202, the first parallax image is generated. The first parallax image is generated by the first parallax image generating unit 15 using the pair of captured images captured by the first image capturing unit 13 and the second image capturing unit 14 .

In Schritt S203 wird bestimmt, ob der Steuerzielkandidat vorhanden ist oder nicht. Ob der Steuerzielkandidat vorhanden ist oder nicht, wird abhängig davon bestimmt, ob ein dreidimensionales Objekt aus dem ersten Parallaxenbild detektiert wird oder nicht. Hier wird, falls mindestens ein dreidimensionales Objekt detektiert wird, bestimmt, dass der Steuerzielkandidat vor dem Trägerfahrzeug vorhanden ist (JA in Schritt S203), und der Prozess schreitet fort zu Schritt S204.In step S203, it is determined whether or not the control target candidate is present. Whether or not the control target candidate is present is determined depending on whether or not a three-dimensional object is detected from the first parallax image. Here, if at least one three-dimensional object is detected, it is determined that the control target candidate exists in front of the host vehicle (YES in step S203), and the process proceeds to step S204.

Andererseits wird, falls kein dreidimensionales Objekt detektiert wird, bestimmt, dass kein Steuerzielkandidat vor dem Trägerfahrzeug vorhanden ist (NEIN in Schritt S203), und der Prozess kehrt zurück zu Schritt S201. Das heißt, in Schritt S203 wird ein Prozess durchgeführt, der zwischen dem dreidimensionalen Objekt und dem nicht dreidimensionalen Objekt differenziert und lediglich an dem Objekt, das als das dreidimensionale Objekt erkannt wird, eine Bestimmung dahingehend durchführt, ob das Objekt in und nach Schritt S204 als das Steuerziel betrachtet wird oder nicht.On the other hand, if no three-dimensional object is detected, it is determined that there is no control target candidate in front of the host vehicle (NO in step S203), and the process returns to step S201. That is, in step S203, a process is performed that differentiates between the three-dimensional object and the non-three-dimensional object and makes a determination on only the object recognized as the three-dimensional object as to whether the object in and after step S204 as the control target is considered or not.

In Schritt S204 wird ein Prozess des Versetzens von Bildern in der vertikalen Richtung durchgeführt. Hier wird ein Prozess durchgeführt, in dem ein Paar versetzter Bilder aus dem Paar aufgenommener Bilder, die während der Erzeugung des ersten Parallaxenbilds verwendet werden, erfasst wird, indem das erste Bild und das zweite Bild für jede Koordinate in der vertikalen Richtung oder für jeden gleich unterteilten Abschnitt relativ versetzt werden.In step S204, a process of shifting images in the vertical direction is performed. Here, a process is performed in which a pair of offset images is acquired from the pair of captured images used during generation of the first parallax image by using the first image and the second image for each coordinate in the vertical direction or the same for each divided section can be offset relatively.

In Schritt S205 wird eine Parallaxe durch einen Stereoabgleich unter Verwendung des Paars versetzter Bilder berechnet, um das zweite Parallaxenbild zu erzeugen. In Schritt S206 wird bestimmt, ob mehrere Parallaxenbilder vorliegen oder nicht. Dann wird, falls die Anzahl zweiter Parallaxenbilder kleiner als eine voreingestellte vorgegebene Anzahl von zwei oder mehr ist, bestimmt, dass nicht mehrere Parallaxenbilder vorliegt (NEIN in Schritt S206), und der Prozess kehrt zurück zu Schritt S204. Dann wird in den Schritten S204 und S205 der Versatzbetrag des Paars von Bildern in der vertikalen Richtung geändert, um ein weiteres Paar versetzter Bilder, die verschiedene Versatzbeträge besitzen, zu erzeugen und ferner ein weiteres zweites Parallaxenbild zu erzeugen. Dann wird, bis in Schritt S206 bestimmt wird, dass die vorgegebene Anzahl oder mehr zweiter Parallaxenbilder vorliegen (JA in Schritt S206), ein Prozess des Erzeugens des zweiten Parallaxenbilds aus dem Paar von Bildern, die durch Ändern des Versatzbetrags erhalten werden, durchgeführt.In step S205, a parallax is calculated by stereo matching using the pair of offset images to generate the second parallax image. In step S206, it is determined whether or not there are multiple parallax images. Then, if the number of second parallax images is less than a preset predetermined number of two or more, it is determined that there are not plural parallax images (NO in step S206), and the process returns to step S204. Then, in steps S204 and S205, the offset amount of the pair of images in the vertical direction is changed to generate another pair of offset images having different offset amounts and further generate another second parallax image. Then, until it is determined in step S206 that there are the predetermined number or more of second parallax images (YES in step S206), a process of generating the second parallax image from the pair of images obtained by changing the offset amount is performed.

Der Versatzbetrag kann z. B. ein Betrag, der um ein Pixel oder mehrere Pixel versetzt wird, sein. Zusätzlich ist es ausreichend, wenn eine Versatzrichtung z. B. eine Ober- und/oder Unterseite des zweiten Bilds in Bezug auf das erste Bild ist. In der vorliegenden Ausführungsform wird ein Paar versetzter Bilder durch Versetzen des zweiten Bild sowohl zu der Ober- als auch der Unterseite in Bezug auf das erste Bilds erzeugt und werden die zweiten Parallaxenbilder jeweils aus den mehreren Paaren versetzter Bilder erzeugt.The offset amount can e.g. B. an amount offset by one or more pixels. In addition, it is sufficient if an offset direction z. B. is a top and/or bottom of the second image with respect to the first image. In the present embodiment, a pair of offset images is formed by offsetting the second image to both the top and bottom in generated with respect to the first image, and the second parallax images are generated from the multiple pairs of offset images, respectively.

In Schritt S207 wird eine Verteilung durchschnittlicher Parallaxenwerte erstellt. Hier werden der erste Parallaxenwert des Kandidatenbereichs im erstem Parallaxenbild und des zweiten Parallaxenwerts des entsprechenden Bereichs in den mehreren zweiten Parallaxenbildern berechnet und wird eine Näherungsgerade aus der Verteilung dieser Parallaxenwerte erhalten.In step S207, a distribution of average parallax values is created. Here, the first parallax value of the candidate area in the first parallax image and the second parallax value of the corresponding area in the plurality of second parallax images are calculated, and an approximate straight line is obtained from the distribution of these parallax values.

8 ist ein Diagramm, das eine Beziehung zwischen dem Versatzbetrag und dem durchschnittlichen Parallaxenwert veranschaulicht. 8(a) ist ein Diagramm, das einen Zustand veranschaulicht, in dem der durchschnittliche Parallaxenwert im Wesentlichen konstant ist und die Steigung der Näherungsgerade der Verteilung ungeachtet des Versatzbetrag null. ist, und 8(b) ist ein Diagramm, das einen Zustand veranschaulicht, in dem die durchschnittlichen Parallaxenwertänderungen gemäß dem Versatzbetrag und der Steigung der Näherungsgerade der Verteilung gleich oder größer als ein Schwellenwert ist. 8th Fig. 12 is a graph showing a relationship between the offset amount and the average parallax value. 8(a) 13 is a diagram illustrating a state where the average parallax value is substantially constant and the slope of the approximate line of the distribution is zero regardless of the offset amount. is and 8(b) 12 is a diagram illustrating a state in which the average parallax value changes are equal to or larger than a threshold according to the offset amount and the slope of the approximate straight line of the distribution.

In Schritt S208 wird die Steigung der Näherungsgerade der Verteilung, die in Schritt S207 erhalten wird, mit dem voreingestellten Schwellenwert verglichen. Falls der Steuerzielkandidat ein korrekt erkanntes dreidimensionales Objekt ist, ändert sich der Parallaxenwert im Erkennungsbereich des Steuerzielkandidaten aufgrund der vertikalen Abweichung nicht und ist somit die Verteilung eine Näherungsgerade mit einer Steigung von null. Andererseits wird, falls die Steigung der Näherungsgerade der Verteilung größer als der Schwellenwert ist, bestimmt, dass sich der Parallaxenwert des entsprechenden Bereich aufgrund der vertikalen Abweichung zwischen dem ersten Bild und den mehreren zweiten Bildern ändert.In step S208, the slope of the approximate straight line of the distribution obtained in step S207 is compared with the preset threshold. If the control target candidate is a correctly recognized three-dimensional object, the parallax value in the recognition area of the control target candidate does not change due to the vertical deviation, and thus the distribution is an approximate straight line with zero slope. On the other hand, if the slope of the approximate straight line of the distribution is larger than the threshold value, it is determined that the parallax value of the corresponding area changes due to the vertical deviation between the first image and the plurality of second images.

Wenn der Steuerzielkandidat, der im erstem Parallaxenbild durch die Steuerzielkandidaten-Erkennungseinheit 16 als das dreidimensionale Objekt erkannt wird, ein echtes dreidimensionales Objekt wie z. B. ein vorausfahrendes Fahrzeug, ein Fahrrad oder ein Fußgänger ist, ändert sich der Parallaxenwert zwischen dem Steuerzielkandidatenbereich und dem entsprechenden Bereich nicht, ohne durch das Vorliegen oder das Fehlen des Auftretens der vertikalen Abweichung beeinflusst zu werden. Andererseits besitzen dann, wenn der Steuerzielkandidat, der im erstem Parallaxenbild durch die Steuerzielkandidaten-Erkennungseinheit 16 als das dreidimensionale Objekt erkannt wird, ein nicht dreidimensionales Objekt wie z. B. eine Pufferzone (Zebrazone) einer Fahrbahnoberfläche ist, der Parallaxenwert des Kandidatenbereichs und des Parallaxenwert des entsprechenden Bereichs ein Merkmal des sich Änderns abhängig davon, ob eine vertikale Abweichung auftritt oder nicht.When the control target candidate recognized as the three-dimensional object in the first parallax image by the control target candidate recognition unit 16 is a real three-dimensional object such as a B. is a preceding vehicle, a bicycle, or a pedestrian, the parallax value does not change between the control target candidate area and the corresponding area without being affected by the presence or absence of the occurrence of the vertical deviation. On the other hand, when the control target candidate recognized as the three-dimensional object in the first parallax image by the control target candidate recognition unit 16 has a non-three-dimensional object such as B. is a buffer zone (zebra zone) of a road surface, the parallax value of the candidate area and the parallax value of the corresponding area is a feature of changing depending on whether vertical deviation occurs or not.

In Schritt S209 wird ein Prozess ausgeführt, in dem bestimmt wird, dass der Steuerzielkandidat, der in Schritt S208 derart bestimmt wurde, dass die Steigung der Näherungsgerade der Verteilung größer als der Schwellenwert im Vergleichsergebnis ist, ein Ziel ist, das nicht gesteuert werden muss, und es aus dem Steuerziel ausgeschlossen wird. Dann wird bestimmt, dass der Steuerzielkandidat, der verbleibt, ohne aus den Steuerzielkandidaten ausgeschlossen zu werden, ein Steuerziel ist, der gesteuert werden muss, und es werden Informationen über das Steuerziel ausgegeben.In step S209, a process is executed in which it is determined that the control target candidate determined in step S208 such that the slope of the approximate straight line of the distribution is larger than the threshold value in the comparison result is a target that does not need to be controlled. and it is excluded from the tax target. Then, it is determined that the control target candidate remaining without being excluded from the control target candidates is a control target that needs to be controlled, and information about the control target is output.

Zum Beispiel wird, wie in 8 (a) veranschaulicht ist, falls der durchschnittliche Parallaxenwert ein im Wesentlichen konstanter Wert ist, d. h. ein Fall, in dem der Parallaxenberechnungswert des Kandidatenbereichs und die Parallaxenberechnungswerte der mehreren entsprechenden Bereiche ungeachtet des relativen vertikalen Versatzbetrags zwischen dem ersten Bilds und dem zweiten Bild im Wesentlichen gleich sind, der Steuerzielkandidat als das Steuerziel erkannt.For example, as in 8 (a) is illustrated, if the average parallax value is a substantially constant value, ie a case in which the parallax calculation value of the candidate area and the parallax calculation values of the plurality of corresponding areas are substantially the same regardless of the relative vertical displacement amount between the first image and the second image, the Control target candidate recognized as the control target.

Andererseits wird, wie in 8 (b) veranschaulicht ist, falls die durchschnittlichen Parallaxenwerte voneinander verschieden sind, d. h. ein Fall, in dem der durchschnittliche Parallaxenwert des entsprechenden Bereichs in Bezug auf den durchschnittlichen Parallaxenwert des Kandidatenbereichs gemäß dem relativen vertikalen Versatzbetrag zwischen dem ersten Bilds und dem zweiten Bilds zunimmt oder abnimmt, bestimmt, dass der Steuerzielkandidat kein dreidimensionales Objekt ist, jedoch fehlerhaft eine Pufferzone als ein dreidimensionales Objekts detektiert wird, und es wird ein Prozess durchgeführt, der die Pufferzone aus dem Steuerziel ausschließt.On the other hand, as in 8 (b) is illustrated, if the average parallax values are different from each other, that is, a case where the average parallax value of the corresponding area increases or decreases with respect to the average parallax value of the candidate area according to the relative vertical displacement amount between the first image and the second image, determined, that the control target candidate is not a three-dimensional object, but a buffer zone is erroneously detected as a three-dimensional object, and a process that excludes the buffer zone from the control target is performed.

Es ist festzuhalten, dass ein Beispiel beschrieben ist, in dem die Verteilung des durchschnittlichen Parallaxenwerts in Schritt S207 erstellt wird, und auf der Grundlage der Steigung der Näherungsgerade der Verteilung in Schritt S208 bestimmt wird, ob der Steuerzielkandidat aus dem Steuerziel ausgeschlossen wird oder nicht. Allerdings ist die vorliegende Erfindung nicht auf dieses Beispiel beschränkt. Zum Beispiel kann als eine weitere Änderung statt der Steigung der Verteilungsnäherungsgerade ein Parallaxenvarianzwert, ein maximaler Parallaxenwert, ein minimaler Parallaxenwert, eine Differenz zwischen dem maximalen Parallaxenwert und dem minimalen Parallaxenwert, ein Verhältnis zwischen dem maximalen Parallaxenwert und dem minimalen Parallaxenwert, ein Durchschnittswert des maximalen Parallaxenwerts oder ein Durchschnittswert des minimalen Parallaxenwerts verwendet werden.Note that an example is described in which the distribution of the average parallax value is prepared in step S207, and whether or not the control target candidate is excluded from the control target is determined based on the slope of the approximate straight line of the distribution in step S208. However, the present invention is not limited to this example. For example, as another change, instead of the slope of the distribution approximation line, a parallax variance value, a maximum parallax value, a minimum parallax value, a difference between the maximum parallax value and the minimum parallax value, a ratio between the maximum parallax value and the minimum parallax value, an average value of the maximum parallax value or a through intersection value of the minimum parallax value can be used.

9 ist ein Diagramm zum Erläutern eines Beispiels, in dem eine Notwendigkeitsbestimmung des Steuerziels auf der Grundlage eines statistischen Ergebnisses durchgeführt wird. 9 14 is a diagram for explaining an example in which necessity determination of the control target is performed based on a statistical result.

In dem Beispiel, das in 9 veranschaulicht ist, sind im Falle einer korrekten Detektion und einer fehlerhaften Detektion durchschnittliche Parallaxenwerte von Versätzen 1 bis 6, die sechs Typen versetzter Bilder sind, ein Durchschnittswert (ave) der durchschnittlichen Parallaxenwerte, ein Varianzwert (sigma), ein Mindestwert (min), ein Höchstwert (max), eine Differenz (max-min) zwischen dem Höchstwert und dem Mindestwert, ein Durchschnittswert (min/ave) des Mindestwerts und ein Durchschnittswert (max/ave) des Höchstwerts gezeigt und es ist auch möglich, die Notwendigkeit des Steuerziels durch Vergleichen dieser Werte mit einem Schwellenwert zu bestimmen.In the example that in 9 is illustrated, in the case of correct detection and erroneous detection, average parallax values of offsets 1 to 6, which are six types of offset images, are an average value (ave) of the average parallax values, a variance value (sigma), a minimum value (min), a Maximum value (max), a difference (max-min) between the maximum value and the minimum value, an average value (min/ave) of the minimum value, and an average value (max/ave) of the maximum value are shown, and it is also possible to determine the necessity of the control target by Compare these values to a threshold to determine.

Die Bildgebungsvorrichtung 100 gemäß der vorliegenden Ausführungsform erfasst das erste Bild und das zweite Bild aus dem Paar aufgenommener Bilder, erzeugt das erste Parallaxenbild unter Verwendung des ersten Bilds und des zweiten Bilds, detektiert das dreidimensionale Objekt aus dem ersten Parallaxenbild, um das dreidimensionale Objekt als den Steuerzielkandidaten zu erkennen, und erfasst den Parallaxenwert in dem Kandidatenbereich, in dem der Steuerzielkandidat als der erste Parallaxenwert vorhanden ist. Dann wird das Paar versetzter Bilder, in denen die relative Positionsbeziehung in der vertikalen Richtung in Bezug auf das erste Bild und das zweite Bild versetzt ist, aus dem Paar aufgenommener Bilder, aus dem das erste Bild und das zweite Bild erfasst wurden, erfasst, wird das zweite Parallaxenbild aus dem Paar versetzter Bilder erzeugt, wird der entsprechende Bereich, der dem Kandidatenbereich des ersten Parallaxenbilds im zweitem Parallaxenbild entspricht, eingestellt und wird der Parallaxenwert im entsprechenden Bereich als der zweite Parallaxenwert erfasst.The imaging device 100 according to the present embodiment captures the first image and the second image from the pair of captured images, generates the first parallax image using the first image and the second image, detects the three-dimensional object from the first parallax image to select the three-dimensional object as the recognize control target candidates, and detects the parallax value in the candidate area where the control target candidate exists as the first parallax value. Then, the pair of offset images in which the relative positional relationship in the vertical direction is offset with respect to the first image and the second image is acquired from the pair of captured images from which the first image and the second image were acquired the second parallax image is generated from the pair of offset images, the corresponding area corresponding to the candidate area of the first parallax image is set in the second parallax image, and the parallax value in the corresponding area is detected as the second parallax value.

Dann wird das Paar versetzter Bilder, in denen der Versatzbetrag geändert wurde, aus dem Paar aufgenommener Bilder, aus dem das erste Bild und das zweite Bild erfasst wurden, erfasst, wird das zweite Parallaxenbild erzeugt, wird der entsprechende Bereich eingestellt, wird der zweite Parallaxenwert im entsprechenden Bereich erfasst und werden die mehreren zweiten Parallaxenwerte, die verschiedene Versatzbeträge besitzen, erfasst. Dann wird aus der Verteilungssituation des ersten Parallaxenwerts und der mehreren zweiten Parallaxenwerte bestimmt, ob der Steuerzielkandidat derart fehlerhaft detektiert wird, dass die Pufferzone das dreidimensionale Objekt ist, oder nicht, und falls bestimmt wird, dass der Steuerzielkandidat fehlerhaft detektiert wurde, wird ein Prozess durchgeführt, der den Steuerzielkandidaten aus dem Steuerziel ausschließt. Zum Beispiel wird, falls der erste Parallaxenwert und die mehreren zweiten Parallaxenwerte im Wesentlichen derselbe Wert sind, bestimmt, dass eine korrekte Detektion vorgenommen wurde, und wird, falls sich die mehreren zweiten Parallaxenwerte in Bezug auf den ersten Parallaxenwert abhängig vom Versatzbetrag ändern, bestimmt, dass eine fehlerhafte Detektion vorgenommen wurde.Then, the pair of offset images in which the offset amount has been changed is acquired from the pair of captured images from which the first image and the second image were acquired, the second parallax image is generated, and the corresponding area is set, the second parallax value becomes in the corresponding area are detected and the plurality of second parallax values having different offset amounts are detected. Then, from the distribution situation of the first parallax value and the plurality of second parallax values, it is determined whether or not the control target candidate is erroneously detected such that the buffer zone is the three-dimensional object, and if it is determined that the control target candidate has been erroneously detected, a process is performed , which excludes the control target candidate from the control target. For example, if the first parallax value and the plurality of second parallax values are substantially the same value, it is determined that a correct detection has been made, and if the plurality of second parallax values change with respect to the first parallax value depending on the offset amount, it is determined that that an erroneous detection was made.

Gemäß der Bildgebungsvorrichtung 100 der vorliegenden Ausführungsform ist es möglich, die Steuernotwendigkeit des Steuerziels selbst in einem Zustand zu bestimmen, in dem die Abweichung optischer Achsen in der linken und der rechten Kamera auftritt. Deshalb kann bestimmt werden, dass die Pufferzone fehlerhaft als ein dreidimensionales Objekt detektiert wurde und sie aus dem Steuerziel ausgeschlossen werden, ist es möglich, zu verhindern, dass ein Sicherheitssystem wie z. B. AEB oder ACC derart arbeitet, dass es einen unnötigen Alarm oder ein unnötiges Bremsen anwendet, und ist es möglich, zu verhindern, einem Fahrer Unbehagen zu bereiten.According to the imaging apparatus 100 of the present embodiment, it is possible to determine the control necessity of the control target even in a state where the deviation of optical axes occurs in the left and right cameras. Therefore, it can be determined that the buffer zone has been erroneously detected as a three-dimensional object and they are excluded from the control target, it is possible to prevent a security system such as B. AEB or ACC works to apply an unnecessary alarm or braking, and it is possible to prevent a driver from being uncomfortable.

Ein kennzeichnendes Merkmal der vorliegenden Ausführungsform ist, dass ein dreidimensionales Objekt, das ein Merkmal eines wiederholten Musters besitzt, wie z. B. ein Zaun oder eine Sperre als ein Steuerziel erkannt wird. Zum Beispiel besitzt selbst ein dreidimensionales Objekt, das ein Merkmal eines wiederholten Muster besitzt, wie z. B. ein Zaun oder eine Sperre ein Merkmal, dass sich der Parallaxenwert im entsprechenden Bereich des zweiten Parallaxenbilds, das in Schritt S205 erhalten wird, ändert, wenn die vertikale Abweichung des Paars von Kameras auftritt.A characteristic feature of the present embodiment is that a three-dimensional object having a feature of a repeated pattern, e.g. B. a fence or barrier is recognized as a control target. For example, even a three-dimensional object that has a feature of a repeated pattern, such as B. a fence or a barrier, a feature that the parallax value in the corresponding area of the second parallax image obtained in step S205 changes when the vertical deviation of the pair of cameras occurs.

Allerdings tritt, da der Zaun oder die Sperre das Steuerziel ist, das durch das Sicherheitssystem gesteuert werden muss, ein Prozess auf, um die Zäune oder die Sperre nicht aus dem Steuerziel auszuschließen. Im Folgenden wird ein Ablauf des Prozesses, um den Zaun oder die Sperre nicht aus dem Steuerziel auszuschließen, auf der Grundlage des Ablaufplans von 10 beschrieben. Die Verarbeitung außer Schritt S210 ist dieselbe wie die in dem Ablaufplan, der in 2 veranschaulicht ist.However, since the fence or barrier is the control target that needs to be controlled by the security system, a process occurs so as not to exclude the fence or barrier from the control target. The following is a flow of the process for not excluding the fence or barrier from the control target based on the flow chart of FIG 10 described. The processing other than step S210 is the same as that in the flowchart shown in 2 is illustrated.

Falls in Schritt S203 bestimmt wird, dass ein Steuerzielkandidat vorhanden ist, wird in Schritt S210 bestimmt, ob die Trägerfahrzeuggeschwindigkeit größer als ein Schwellenwert ist oder nicht. Wenn der Zaun oder die Sperre als das Steuerziel erkannt wird, kann bestimmt werden, dass der Zaun oder die Sperre auf dem Fahrpfad des Trägerfahrzeugs positioniert ist, und es kann geschätzt werden, dass das Trägerfahrzeug mit einer niedrigen Geschwindigkeit fährt. Deshalb schreitet lediglich dann, wenn die Trägerfahrzeuggeschwindigkeit größer als der voreingestellte Fahrzeuggeschwindigkeitsschwellenwert ist (JA in Schritt S210), der Prozess zu Schritt S204 fort und wird dann, wenn die Trägerfahrzeuggeschwindigkeit [, bei der die Bildgebungsvorrichtung 100 montiert ist,] gleich oder kleiner als der Fahrzeuggeschwindigkeitsschwellenwert ist (NEIN in Schritt S210), die Erzeugung des zweiten Parallaxenbilds nicht durchgeführt.If it is determined in step S203 that there is a control target candidate, it is determined in step S210 whether or not the host vehicle speed is greater than a threshold value. When the fence or barrier is recognized as the control target, it can be determined that the fence or barrier is running on the carrier's travel path vehicle, and it can be estimated that the host vehicle is running at a low speed. Therefore, only when the host vehicle speed is greater than the preset vehicle speed threshold value (YES in step S210), the process proceeds to step S204 and then becomes when the host vehicle speed [at which the imaging apparatus 100 is mounted] is equal to or lower than that Vehicle speed threshold is (NO in step S210), generation of the second parallax image is not performed.

Gemäß der vorliegenden Erfindung ist es dann, wenn aufgrund der vertikalen Abweichung der optischen Achsen, die zwischen der linken und der rechten Kamera erzeugt wird, die Pufferzone fehlerhaft als das dreidimensionale Objekt detektiert wird, möglich, zu bestimmen, dass die Pufferzone nicht das dreidimensionale Objekt ist, und zu verhindern, dass das Sicherheitssystem arbeitet.According to the present invention, when the buffer zone is erroneously detected as the three-dimensional object due to the vertical deviation of the optical axes generated between the left and right cameras, it is possible to determine that the buffer zone is not the three-dimensional object and prevent the security system from working.

Obwohl die Ausführungsformen der vorliegenden Erfindung oben genau beschrieben wurden, ist die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt und verschiedene Entwurfsänderungen können vorgenommen werden, ohne vom Geist der vorliegenden Erfindung, die in den Ansprüchen beschrieben ist, abzuweichen. Zum Beispiel wurden die oben beschriebenen Ausführungsformen zum einfachen Verständnis der Erfindung genau beschrieben und sind nicht notwendigerweise auf die beschränkt, die alle beschriebenen Konfigurationen besitzen. Zusätzlich kann ein Teil der Konfiguration einer bestimmten Ausführungsform durch die Konfiguration einer weiteren Ausführungsform ersetzt werden und kann die Konfiguration einer weiteren Ausführungsform zur Konfiguration einer bestimmten Ausführungsform hinzugefügt werden. Ferner ist es möglich, weitere Konfigurationen zu einem Teil der Konfiguration jeder Ausführungsform hinzuzufügen, sie aus ihm zu entfernen und ihn durch sie zu ersetzen.Although the embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and various design changes can be made without departing from the spirit of the present invention described in the claims. For example, the above-described embodiments have been described in detail for easy understanding of the invention, and are not necessarily limited to those having all the configurations described. In addition, part of the configuration of a specific embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a specific embodiment. Further, it is possible to add other configurations to, delete them from, and replace part of the configuration of each embodiment.

BezugszeichenlisteReference List

100100: Bildgebungsvorrichtungimaging device
1111: Erste BildgebungseinheitFirst imaging unit
1212: Zweite BildgebungseinheitSecond imaging unit
1313: Erste BilderfassungseinheitFirst image acquisition unit
1414: Zweite BilderfassungseinheitSecond image acquisition unit
1515: Erste ParallaxenbilderzeugungseinheitFirst parallax imaging unit
1616: Steuerzielkandidaten-Erkennungseinheitcontrol target candidate recognition unit
1717: Erste ParallaxenwerterfassungseinheitFirst parallax value acquisition unit
1818: Zweite ParallaxenbilderzeugungseinheitSecond parallax imaging unit
1919: Zweite ParallaxenwerterfassungseinheitSecond parallax value acquisition unit
2020: Steuerzielbestimmungseinheitcontrol target determination unit

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

JP2010107435A [0003]

Claims

A processing device that processes a pair of captured images captured by a pair of cameras, the processing device comprising: a first parallax image generation unit that generates a first parallax image from the pair of captured images; a control target candidate recognition unit that recognizes a control target candidate from the first parallax image; a first parallax value detection unit that detects a first parallax value in a candidate area where the control target candidate exists in the first parallax image; a second parallax image generation unit that offsets a relative vertical position of the pair of captured images and generates a second parallax image; a second parallax value detection unit that detects a second parallax value in a corresponding area of the second parallax image, which corresponds to the candidate area of the first parallax image; and a control target determination unit that determines whether or not to recognize the control target candidate as a control target using the first parallax value and the second parallax value.

processing device claim 1 , wherein the first parallax image generating unit cuts out a first image and a second image from the pair of captured images and generates the first parallax image using the first image and the second image, and the second parallax image generating unit generates the second parallax image using a pair of offset images obtained from the Pair of captured images are cut out in a state where relative upper and lower positions of the first image and the second image are offset for each coordinate in a vertical direction or for each equally divided portion.

processing device claim 2 wherein the second parallax image generating unit offsets a position of the first image and/or the second image in only an upward direction, only in a downward direction, or both the upward and downward directions, and cuts out the pair of offset images.

processing device claim 2 wherein the second parallax image generating unit generates a plurality of pairs of shifted images by shifting the position of the first image and/or the second image a plurality of times, and generates the respective second parallax images from the plurality of pairs of shifted images.

processing device claim 2 , wherein the control target determination unit obtains an average parallax value in the candidate area from a parallax value and the number of parallaxes in the candidate area of the first parallax image, an average parallax value in the corresponding area from a parallax value and the number of parallaxes in the corresponding area of the second parallax image, and the control target candidate that recognized by the control target candidate recognition unit, from the control target if a slope of a distribution of the average parallax value in the candidate area of the first parallax image and the average parallax value in the corresponding area of the second parallax image is larger than a threshold.

processing device claim 2 , wherein the control target determination unit obtains an average parallax value in the candidate area from a parallax value and the number of parallaxes in the candidate area of the first parallax image, an average parallax value in the corresponding area from a parallax value and the number of parallaxes in the corresponding area of the second parallax image, and the control target candidate that recognized by the control target candidate recognition unit from the control target if a variance value of a distribution of the average parallax values is larger than a threshold value.

processing device claim 2 wherein the second parallax image generation unit does not perform generation of the second parallax image when a running speed of a vehicle on which the processing device is mounted is equal to or lower than a threshold.