DE112020005046T5

DE112020005046T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112020005046T5
Application number: DE112020005046.7T
Authority: DE
Inventors: Takuma OSATO; Takeshi Endo; Felipe GOMEZCABALLERO; Takeshi Nagasaki
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-02-12
Filing date: 2020-12-18
Publication date: 2022-08-11
Also published as: WO2021161655A1; JP7309630B2; JP2021128470A

Abstract

Es wird eine Bildverarbeitungsvorrichtung geschaffen, die in der Lage ist, die TTC zwischen einem Zielobjekt und einem Fahrzeug mit hoher Genauigkeit zu schätzen. Eine Objektdetektionseinheit 241, die ein Objekt aus einem Bild detektiert; eine Bereichstrenneinheit 242, die einen Bildbereich, in dem das Objekt detektiert wurde, in mehrere Teilbereiche trennt; eine Bereichsauswahleinheit 243, die einen Teilbereich, der verwendet werden soll, um ein Vergrößerungsverhältnis zu berechnen, aus den mehreren getrennten Teilbereichen auswählt; und eine TTC-Berechnungseinheit 244, die die Zeit bis zur Kollision (TTC) bis zu einer Kollision mit dem Objekt als Ziel aus dem Vergrößerungsverhältnis berechnet, das unter Verwendung des ausgewählten Teilbereichs berechnet wurde, sind enthalten.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung.
Stand der Technik
Als Stand der Technik auf diesem technischen Gebiet gibt es das japanische Patent Nr. 5687702 (PTL 1). Die Veröffentlichung beschreibt als Problem „die Schaffung einer Fahrzeugumgebungsüberwachungsvorrichtung, bei der eine Verringerung der Genauigkeit der Berechnung eines Abstandes zwischen einem Objekt und einem Fahrzeug auf der Basis eines durch eine einzelne Kamera erfassten Bildes unterdrückt wird“, und beschreibt als Lösung „eine Fahrzeugumgebungsüberwachungsvorrichtung, die umfasst: eine Abstandsberechnungseinheit, die einen Abstand zwischen einem Objekt und einem Fahrzeug in einem realen Raum berechnet, der einem Bildabschnitt entspricht, der von einem Bild extrahiert wird, das durch eine am Fahrzeug montierte einzelne Kamera erfasst wird; und eine Objekttypbestimmungseinheit, die den Typ des Objekts im realen Raum, der dem Bildabschnitt entspricht, bestimmt. Dann bestimmt die Abstandsberechnungseinheit eine Änderung der Form des Bildabschnitts oder eine Änderung der Form des Objekts im realen Raum, der dem Bildabschnitt entspricht, in einer vorbestimmten Zeitdauer und führt, wenn die Änderung der Form ein vorbestimmtes Niveau überschreitet, eine erste Abstandsberechnungsverarbeitung zum Berechnen eines Abstandes zwischen dem Objekt und dem Fahrzeug durch Anwenden der Größe des Bildabschnitts des Objekts, der von dem erfassten Bild extrahiert wird, auf eine Korrelation zwischen einem Abstand vom Fahrzeug im realen Raum, der unter der Annahme des Typs des Objekts festgelegt wird, und der Größe des Bildabschnitts im erfassten Bild aus und führt, wenn die Änderung der Form gleich oder geringer als das vorbestimmte Niveau ist, eine zweite Abstandsberechnungsverarbeitung zum Berechnen eines Abstandes zwischen dem Objekt und dem Fahrzeug auf der Basis einer Änderung der Größe eines Bildabschnitts des Objekts, der von einem Zeitreihenbild extrahiert wird, das durch die Kamera erfasst wird, aus.“
Entgegenhaltungsliste
Patentliteratur
PTL 1: Japanisches Patent Nr. 5687702
Zusammenfassung der Erfindung
Technisches Problem
Gemäß der Fahrzeugumgebungsüberwachungsvorrichtung, die in PTL 1 beschrieben ist, ist es möglich, eine Fahrzeugumgebungsüberwachungsvorrichtung zu schaffen, die eine Verringerung der Genauigkeit der Berechnung eines Abstandes zwischen einem Objekt und einem Fahrzeug auf der Basis eines durch eine einzelne Kamera erfassten Bildes unterdrückt. PTL 1 offenbart ein Verfahren zum Umschalten gemäß einer Bedingung zwischen der ersten Abstandsberechnungsverarbeitung zum Berechnen eines Abstandes zwischen einem Objekt und einem Fahrzeug durch Anwenden der Größe eines Bildabschnitts des Objekts, der aus einem erfassten Bild extrahiert wird, auf eine Korrelation zwischen einem Abstand vom Fahrzeug in einem realen Raum, der unter der Annahme des Typs des Objekts festgelegt wird, und der Größe eines Bildabschnitts im erfassten Bild, und der zweiten Abstandsberechnungsverarbeitung zum Berechnen eines Abstandes zwischen dem Objekt und dem Fahrzeug auf der Basis einer Änderung der Größe eines Bildabschnitts des Objekts, der von einem erfassten Zeitreihenbild extrahiert wird.
In diesem Fall verwendet das durch die zweite Abstandsberechnungsverarbeitung angegebene Verfahren eine Änderung im Aussehen eines Zielobjekts in einem Bild, das heißt eine Änderung einer relativen Positionsbeziehung mit einem Sensor, und folglich ist bekannt, dass es bei der Schätzung der Zeit bis zur Kollision (TTC) ausgezeichnet ist. Da die genaue Schätzung der TTC für die Fahrzeugsteuerung wesentlich ist, ist es erwünscht, dieses Verfahren in so vielen Szenen wie möglich zu verwenden. Gemäß PTL 1 wird jedoch das Verfahren unter der Bedingung umgeschaltet, dass „eine Änderung der Form eines Bildabschnitts oder eine Änderung der Form eines Objekts in einem realen Raum, der dem Bildabschnitt entspricht, in einer vorbestimmten Zeitdauer bestimmt wird und die Änderung der Form einem vorbestimmten Niveau entspricht“, und die Genauigkeit der TTC nimmt ab, wenn die erste Abstandsberechnungsverarbeitung ausgeführt wird.
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Bildverarbeitungsvorrichtung zu schaffen, die in der Lage ist, die TTC zwischen einem Zielobjekt und einem Fahrzeug mit hoher Genauigkeit zu schätzen.
Lösung für das Problem
Um die obige Aufgabe zu erreichen, umfasst die vorliegende Erfindung: eine Objektdetektionseinheit, die ein Objekt aus einem Bild detektiert; eine Bereichstrenneinheit, die einen Bildbereich, in dem das Objekt detektiert wurde, in mehrere Teilbereiche trennt; eine Bereichsauswahleinheit, die einen Teilbereich, der verwendet werden soll, um ein Vergrößerungsverhältnis zu berechnen, aus den mehreren getrennten Teilbereichen auswählt; und eine TTC-Berechnungseinheit, die die Zeit bis zur Kollision bis zu einer Kollision mit dem Objekt als Ziel aus dem unter Verwendung des ausgewählten Teilbereichs berechneten Vergrößerungsverhältnis berechnet.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Erfindung ist es möglich, eine Bildverarbeitungsvorrichtung zu schaffen, die in der Lage ist, die TTC zwischen einem Zielobjekt und einem Fahrzeug mit hoher Genauigkeit zu schätzen.
Andere Probleme, Konfigurationen und Effekte als die vorstehend beschriebenen werden aus der folgenden Beschreibung von Ausführungsformen verdeutlicht.
Figurenliste

[1] 1 ist ein erläuterndes Diagramm, das eine schematische Konfiguration eines fahrzeuginternen Kamerasystems gemäß dem Beispiel 1 darstellt.
[2] 2 ist ein erläuterndes Diagramm, das eine Konfiguration einer Objektdetektionsvorrichtung gemäß dem Beispiel 1 darstellt.
[3] 3 ist ein erläuterndes Diagramm einer Objektdetektion unter Verwendung eines Vogelperspektivenbildes.
[4] 4 ist ein erläuterndes Diagramm, das ein Beispiel einer Ausgabe aus einem Eingangsbild an eine Bereichsauswahleinheit darstellt.
[5] 5 ist ein erläuterndes Diagramm, das ein Beispiel von relativen Positionen mit Bezug auf ein Objekt und erfasste Bilder zu zwei Zeitpunkten darstellt.
[6] 6 ist ein erläuterndes Diagramm, das eine Konfiguration einer Objektdetektionsvorrichtung gemäß dem Beispiel 2 darstellt.
[7] 7 ist ein Ablaufplan, der ein Beispiel eines Prozesses einer Bildverarbeitungseinheit gemäß dem Beispiel 2 darstellt.
[8] 8 ist ein erläuterndes Diagramm, das eine Konfiguration einer Objektdetektionsvorrichtung gemäß dem Beispiel 3 darstellt.
[9] 9 ist ein Ablaufplan, der ein Beispiel eines Prozesses einer Bildverarbeitungseinheit gemäß dem Beispiel 3 darstellt.
[10] 10 ist ein erläuterndes Diagramm, das ein Beispiel (Beispiel der Bestimmung unter Verwendung eines optischen Kurzzeitflusses) der Bereichsauswahl unter Verwendung eines optischen Flusses darstellt.
[11] 11 ist ein erläuterndes Diagramm, das ein Beispiel (Beispiel der Bestimmung unter Verwendung eines optischen Langzeitflusses) der Bereichsauswahl unter Verwendung eines optischen Flusses darstellt.
[12] 12 ist ein erläuterndes Diagramm, das eine Konfiguration einer Objektdetektionsvorrichtung gemäß dem Beispiel 4 darstellt.
[13] 13 ist ein Ablaufplan, der ein Beispiel eines Prozesses einer Bildverarbeitungseinheit gemäß dem Beispiel 4 darstellt.
[14] 14 ist ein erläuterndes Diagramm, das ein Beispiel eines Stereobereichs und von monokularen Bereichen in einer Stereokamera darstellt.
[15] 15 ist ein erläuterndes Diagramm, das eine Konfiguration einer Objektdetektionsvorrichtung gemäß dem Beispiel 5 darstellt.
[16] 16 ist ein Ablaufplan, der ein Beispiel eines Prozesses einer Bildverarbeitungseinheit gemäß dem Beispiel 5 darstellt.

Beschreibung von Ausführungsformen
Nachstehend werden Beispiele der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
[Beispiel 1]
Ein Umriss eines fahrzeuginternen Kamerasystems, das mit einer Objektdetektionsvorrichtung gemäß dem Beispiel 1 ausgestattet ist, wird mit Bezug auf 1 beschrieben. Im fahrzeuginternen Kamerasystem ist eine Kamera 101 an einem Fahrzeug 100 montiert. Die Objektdetektionsvorrichtung 102 ist an der Kamera 101 montiert und misst beispielsweise einen Abstand und eine relative Geschwindigkeit zu einem Objekt vorn und überträgt den Abstand und die relative Geschwindigkeit zu einer Fahrzeugsteuereinheit 103. Die Fahrzeugsteuereinheit 103 steuert eine Bremse und ein Fahrpedal 105 und eine Lenkung 104 auf der Basis des Abstandes und der relativen Geschwindigkeit, die von der Objektdetektionsvorrichtung 102 empfangen werden.
Die Kamera 101 umfasst die Objektdetektionsvorrichtung 102, die in 2 dargestellt ist. Die Objektdetektionsvorrichtung 102 umfasst ein Bildgebungselement 201, einen Speicher 202, eine CPU 203, eine Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204, eine externe Ausgabeeinheit 205 und dergleichen. Die Komponenten, die die Objektdetektionsvorrichtung 102 bilden, sind über eine Kommunikationsleitung 206 kommunikationsfähig verbunden. Die Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 umfasst eine Objektdetektionseinheit 241, eine Bereichstrenneinheit 242, eine Bereichsauswahleinheit 243 und eine TTC-Berechnungseinheit 244. Die CPU 203 führt eine arithmetische Verarbeitung, die nachstehend beschrieben wird, gemäß einer Anweisung eines im Speicher 202 gespeicherten Programms aus.
Ein Bild (Bild, das durch Erfassen des Umfeldes des Fahrzeugs 100 erhalten wird), das durch das Bildgebungselement 201 erfasst wird, wird zur Bildverarbeitungseinheit 204 übertragen, die Objektdetektionseinheit 241 detektiert ein Objekt, vergleicht Objektdetektionsergebnisse, die für jeden Rechenzyklus erhalten werden, und verfolgt dasselbe Objekt in Zusammenhang miteinander. Der Bereich des Zielobjekts (detektierten Objekts) im erfassten Bild wird durch die Bereichstrenneinheit 242 in mehrere Bereiche unterteilt. Ein Bereich, der eine vorbestimmte Bedingung erfüllt, unter den mehreren unterteilten Bereichen wird durch die Bereichsauswahleinheit 243 ausgewählt. Der ausgewählte Bereich wird zur TTC-Berechnungseinheit 244 übertragen und die TTC wird auf der Basis einer relativen Änderung (das heißt eines Vergrößerungsverhältnisses) der Größe des Bereichs berechnet. Die berechnete TTC wird von der externen Ausgabeeinheit 205 zur Außenseite der Objektdetektionsvorrichtung 102 übertragen. Im vorstehend beschriebenen fahrzeuginternen Kamerasystem wird die TTC durch die Fahrzeugsteuereinheit 103 verwendet, um die Fahrzeugsteuerung des Fahrpedals und der Bremse 105, der Lenkung 104 und dergleichen zu bestimmen.
Die Komponenten der Bildverarbeitungseinheit 204 werden nachstehend beschrieben.
(Objektdetektionseinheit 241)
Die Objektdetektionseinheit 241 detektiert und verfolgt ein Objekt unter Verwendung eines durch das Bildgebungselement 201 erfassten Bildes. Als Mittel zum Detektieren eines Objekts unter Verwendung eines Bildes ist beispielsweise ein Verfahren unter Verwendung einer Differenz zwischen Vogelperspektivenbildern bekannt. Bei diesem Verfahren, wie in 3 dargestellt, wird ein Objekt unter Verwendung von zwei Bildern 301 und 302 detektiert, die in einer Zeitreihe erfasst werden. Von den zwei Bildern 301 und 302 wird das in der Vergangenheit erfasste Bild 301 in ein Vogelperspektivenbild umgewandelt und gleichzeitig wird eine Änderung des Aussehens aufgrund der Bewegung des Fahrzeugs aus Informationen wie z. B. einer Fahrzeuggeschwindigkeit berechnet und ein Bild 304, von dem vorhergesagt wird, dass es in einem aktuellen Rahmen erfasst wird, wird erzeugt. Ein Differenzbild 306 wird durch Vergleichen des vorhergesagten Bildes 304 mit einem Bild 305 erzeugt, das ein Vogelperspektivenbild ist, in das das tatsächlich im aktuellen Rahmen erfasste Bild 302 umgewandelt wurde. Das Differenzbild 306 weist einen Differenzwert in jedem Pixel auf und ein Bereich ohne Differenz wird schwarz dargestellt und ein Bereich mit einer Differenz wird weiß dargestellt. Wenn keine Differenz in der Vorhersage besteht, wird dasselbe Bild erhalten und keine Differenz tritt für eine Straßenoberfläche auf. Eine Differenz tritt jedoch in einem Bereich auf, in dem ein Hindernis (dreidimensionales Objekt oder dergleichen) 303 vorhanden ist. Ein Objekt kann durch Detektieren der Differenz detektiert werden. Ein im aktuellen Rahmen detektiertes Objekt wird mit einem in einem vergangenen Rahmen detektierten Objekt auf der Basis von Korrelationen zwischen den Positionen und Texturen in Bildern verglichen. Wenn die Objekte als gleich bestimmt werden und einander zugeordnet werden, kann dasselbe Objekt im Bild verfolgt werden. Selbstverständlich sind Mittel zum Detektieren und Verfolgen eines Objekts von einem Bild nicht darauf begrenzt.
(Bereichstrenneinheit 242)
Die Bereichstrenneinheit 242 trennt den abgebildeten Bereich (Bildbereich) des detektierten Objekts (im Bild verfolgten Objekts) in mehrere Bereiche (Teilbereiche). Verschiedene Verfahren können für das Trennmittel in Betracht gezogen werden, aber in einem Fall, in dem das Zielobjekt beispielsweise ein Fußgänger ist, kann der detektierte Bereich einfach in obere und untere (zwei) Bereiche unterteilt werden.
(Bereichsauswahleinheit 243)
Die Bereichsauswahleinheit 243 wählt einen Bereich (das heißt, er wird verwendet, um ein Vergrößerungsverhältnis zu berechnen), der zur TTC-Berechnungseinheit 244 übertragen werden soll, unter den mehreren getrennten Bereichen (Teilbereichen) aus. In diesem Fall berechnet die TTC-Berechnungseinheit 244 die TTC aus dem Vergrößerungsverhältnis des Zielobjekts (später beschrieben). Um das Vergrößerungsverhältnis genau zu berechnen, ist es erwünscht, dass keine andere Änderung im Aussehen in dem Bild als die Vergrößerung und Verkleinerung, die durch eine Änderung des Abstandes verursacht werden, besteht. Wenn das Zielobjekt der Fußgänger ist, sind ein Bereich mit der Bewegung eines Fußes zur Zeit des Laufens und dergleichen ungeeignet. In diesem Beispiel wird daher der obere Bereich, der dem Oberkörper entspricht, aus den oberen und unteren zwei unterteilten Bereichen ausgewählt.
Ein Beispiel der Ausgabe bis jetzt ist in 4 dargestellt. Ein Bild 401, das durch das Bildgebungselement 201 erfasst wird, wird eingegeben und die Objektdetektionseinheit 241 detektiert ein Objekt 402 von dem Bild 401. Die Bereichstrenneinheit 242 trennt den Bereich (Bildbereich) des Objekts 402 in einen Oberkörperbereich 403 und einen Unterkörperbereich 404 und die Bereichsauswahleinheit 243 wählt den Oberkörperbereich 403 aus und gibt den Oberkörperbereich 403 an die TTC-Berechnungseinheit 244 aus.
(TTC-Berechnungseinheit 244)
Die TTC-Berechnungseinheit 244 berechnet die TTC, die die Zeit bis zur Kollision bis zu einer Kollision mit dem Zielobjekt ist, aus dem Vergrößerungsverhältnis des Bildbereichs (Teilbereichs), der von der Bereichsauswahleinheit 243 empfangen wird. Ein zur Zeit t und Zeit t-1 detektiertes Objekt wird betrachtet. 5 stellt Vogelperspektiven 505 und 506 dar, die Bilder 501 und 502, die zu zwei Zeitpunkten erfasst werden, und die Positionsbeziehung zwischen einem Eigenfahrzeug 504 und einem Zielobjekt (Objekt) 503 zu den zwei Zeitpunkten darstellen. Zur Zeit t ist der Abstand zum Objekt 503 kleiner als jener zur Zeit t-1 und es wird festgestellt, dass die Größe des Objekts 503 im Bild dementsprechend zunimmt. Zu dieser Zeit sind, wenn die tatsächliche Höhe des Objekt 503 H [mm] ist, die Höhe des Objekts 503 auf einem Bildschirm h [px] ist, der Abstand zwischen dem Eigenfahrzeug 504 und dem Objekt 503 Z [mm] ist, die relative Geschwindigkeit zwischen dem Eigenfahrzeug 504 und dem Objekt 503 rv [mm/s] ist, die Brennweite der Kamera f [mm] ist und ein Verarbeitungszyklus S [s] ist, die folgenden Gleichungen (1) bis (4) erfüllt.
[Gleichung 1] $Z_{t - 1} = \frac{H ƒ}{h_{t - 1}}$

[Gleichung 2] $Z_{t} = \frac{H ƒ}{h_{t}}$

[Gleichung 3] $r v = \frac{z_{t - 1} - z_{t}}{s}$

[Gleichung 4] $T T C = \frac{z_{t}}{r v} = \frac{s z_{t}}{z_{t - 1} - z_{t}} = \frac{s h_{t - 1}}{h_{t} - h_{t - 1}}$
In diesem Fall wird, wenn das Vergrößerungsverhältnis im Bild α = h_t/h_t-1 ist, die folgende Gleichung (5) erhalten.
[Gleichung 5] $T T C - \frac{S}{α - 1}$
Da der Wert des Verarbeitungszyklus S genau erhalten wird, hängt die Genauigkeit der Berechnung der TTC vom Vergrößerungsverhältnis α ab. Obwohl der Höhe des Objekts in diesem Beispiel Aufmerksamkeit erwiesen wird, ist, da dieselben Gleichungen für die Länge eines beliebigen Abschnitts gelten, außerdem offensichtlich, dass dieselben Gleichungen nicht nur im Fall der Höhe, sondern auch in dem Fall gelten, in dem das Vergrößerungsverhältnis des ganzen Bildbereichs α ist. Außerdem bedeutet das Vergrößerungsverhältnis α, das unter Verwendung des ausgewählten Bereichs berechnet wird, die Änderungsrate der Größe des Bereichs und kann 100 % oder mehr oder weniger als 100 % sein (in diesem Fall kann es als Verkleinerungsfaktor bezeichnet werden).
Um das genaue Vergrößerungsverhältnis α zu berechnen, ist es erforderlich, einen Bereich sicherzustellen, der so weit wie möglich keine andere Änderung im Aussehen als die Vergrößerung und Verkleinerung aufgrund einer Änderung des Abstandes aufweist. In diesem Beispiel wird jedoch der Bereich durch die Bereichstrenneinheit 242 und die Bereichsauswahleinheit 243, die vorstehend beschrieben sind, erhalten.
Die durch die TTC-Berechnungseinheit 244 berechnete TTC, wie vorstehend beschrieben, wird von der externen Ausgabeeinheit 205 zur Fahrzeugsteuereinheit 103 außerhalb der Objektdetektionsvorrichtung 102 übertragen und wird für die Bestimmung der Fahrzeugsteuerung in der Fahrzeugsteuereinheit 103 verwendet.
Wie vorstehend beschrieben, umfasst die Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 gemäß diesem Beispiel: die Objektdetektionseinheit 241, die ein Objekt aus einem Bild detektiert; die Bereichstrenneinheit 242, die einen Bildbereich, in dem das Objekt detektiert wurde, in mehrere Teilbereiche trennt; die Bildauswahleinheit 243, die einen Teilbereich, der verwendet werden soll, um ein Vergrößerungsverhältnis zu berechnen, aus den mehreren getrennten Teilbereichen auswählt; und die TTC-Berechnungseinheit 244, die die Zeit bis zur Kollision bis zu einer Kollision mit dem Objekt als Ziel aus dem unter Verwendung des ausgewählten Teilbereichs berechneten Vergrößerungsverhältnis berechnet.
Gemäß der vorstehend beschriebenen Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 ist es möglich, die Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204, die in der Lage ist, die TTC zwischen dem Zielobjekt und dem Fahrzeug mit hoher Genauigkeit zu schätzen, im fahrzeuginternen Kamerasystem gemäß dem Beispiel 1 zu schaffen.
[Beispiel 2 (Beispiel der Bereichsauswahl für ein Zielobjekt eines speziellen Typs)] Beispiel 2 ist eine Modifikation von Beispiel 1 und zeigt ein Beispiel, in dem die Bereichsauswahleinheit 243 eine Auswahlbedingung gemäß dem Typ eines Objekts ändert, wenn der Typ des durch die Objektdetektionseinheit 241 detektierten Objekts identifiziert wird.
Es ist möglich, einen geeigneten Bereich gemäß einem Ergebnis der Identifikation auszuwählen, indem als Vorkenntnis ein Bereich, der als weniger verformt vorhergesagt wird, für jeden Typ von Objekt gegeben wird.
6 ist ein Diagramm, das eine Konfiguration einer Objektdetektionsvorrichtung 102 gemäß dem Beispiel 2 darstellt. Eine Bildverarbeitungseinheit 204 der Objektdetektionsvorrichtung 102 weist zusätzlich zur Konfiguration des Beispiels 1 eine Objektidentifikationseinheit 245, die den Typ eines durch die Objektdetektionseinheit 241 detektierten Objekts identifiziert, und eine Datenbank 246 für den Bereich mit kleiner Verformung, die Informationen über einen Bereich speichert und ablegt, von dem vorhergesagt wird, dass er eine kleine Verformung aufweist, für die Bezugnahme durch die Bereichstrenneinheit 242 und die Bereichsauswahleinheit 243 auf.
7 stellt ein Beispiel eines Ablaufplans der Bildverarbeitungseinheit 204 gemäß diesem Beispiel, insbesondere der Bereichstrenneinheit 242 und der Bereichsauswahleinheit 243, dar.
Die Objektdetektionseinheit 241 detektiert ein Objekt aus einem Bild (S701) und die Objektidentifikationseinheit 245 identifiziert den Typ (Fußgänger, Fahrrad, Kraftfahrzeug oder dergleichen) des Objekts auf der Basis des Objektdetektionsergebnisses (S702). Die Bereichstrenneinheit 242 und die Bereichsauswahleinheit 243 nehmen auf die Datenbank 246 für den Bereich mit kleiner Verformung eines Bereichs, von dem vorhergesagt wird, dass er eine kleine Verformung aufweist, gemäß dem Identifikationsergebnis von S702 Bezug, und bestimmen eine Bereichstrennbedingung (S703) und bestimmen eine Bereichsauswahlbedingung (S705), so dass ein Bereich, von dem vorhergesagt wird, dass er weniger verformt ist, aus dem Bildbereich getrennt und ausgewählt werden kann. Wenn er beispielsweise als Fußgänger identifiziert wird, wird ein Bereich eines Kopfs oder eines Körpers getrennt und ausgewählt, und wenn er als Fahrrad identifiziert wird, wird ein Bereich eines oberen Körperabschnitts über einem Sattel oder eines Reifenabschnitts getrennt und ausgewählt. Alternativ kann ein Objekt, das weniger wahrscheinlich verformt ist und sehr wahrscheinlich in der Nähe des Zielobjekts unter einer speziellen Bedingung vorhanden ist, in der Datenbank 246 für den Bereich mit kleiner Verformung registriert werden, ein abgebildeter Bereich des Objekts kann gesucht werden und in einem Fall, in dem ein registriertes Objekt (Objekt, das weniger wahrscheinlich verformt ist) vorhanden ist, kann eine Verarbeitung zum Trennen und Auswählen des Bereichs ausgeführt werden. In einem Fall, in dem er beispielsweise als Fußgänger identifiziert wird und die Breite gleich oder größer als ein Schwellenwert ist, wird ein Kinderwagen oder ein Koffer gesucht, und wenn der Kinderwagen oder der Koffer in der Nähe vorhanden ist, wird der Kinderwagen oder der Koffer getrennt und ausgewählt.
Ein Verfahren kann betrachtet werden, bei dem, wenn er als Kind identifiziert wird, ein Schulranzen gesucht wird, und wenn sich der Schulranzen in der Nähe befindet, wird der Schulranzen getrennt und ausgewählt. Die Bereichstrenneinheit 242 trennt den Bereich gemäß der in S703 bestimmten Bereichstrennbedingung (S704) und die Bereichsauswahleinheit 243 wählt den Bereich gemäß der in S705 bestimmten Bereichsauswahlbedingung aus (S706). Die TTC-Berechnungseinheit 244 berechnet die TTC aus dem Vergrößerungsverhältnis, das unter Verwendung des Bildbereichs berechnet wird, der von der Bereichsauswahleinheit 243 empfangen wird (S707).
Wie vorstehend beschrieben, trennen in der Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 gemäß dem Beispiel 2 die Bereichstrenneinheit 242 und die Bereichsauswahleinheit 243 einen speziellen Bereich (beispielsweise einen Bereich, von dem vorhergesagt wird, dass er weniger verformt ist, für jeden Typ von detektiertem Objekt) in dem Bild gemäß dem Typ des detektierten Objekts.
Gemäß dem Beispiel 2 ist es möglich, die Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 zu schaffen, die eine stabilere TTC-Berechnung implementiert, wenn der Typ eines Zielobjekts identifiziert wird.
[Beispiel 3 (Beispiel der Bereichsauswahl für ein beliebiges Zielobjekt)]
Beispiel 3 ist eine Modifikation von Beispiel 1 und zeigt ein Beispiel, in dem die Bereichstrenneinheit 242 einen abgebildeten Bereich eines Objekts gemäß dem Betrag der Verformung trennt, und die Bereichsauswahleinheit 243 einen Bereich auswählt, von dem bestimmt wird, dass er eine kleine Verformung aufweist. Da der Betrag der Verformung für den ganzen Bereich bestimmt wird, in dem das Objekt detektiert wird, ist es möglich, einen geeigneten Bereich für ein beliebiges Zielobjekt auszuwählen, ohne eine Verarbeitung zum Identifizieren des Objekts und eine Vorkenntnis zu erfordern.
8 ist ein Diagramm, das eine Konfiguration einer Objektdetektionsvorrichtung 102 gemäß dem Beispiel 3 darstellt. Eine Bildverarbeitungseinheit 204 der Objektdetektionsvorrichtung 102 weist zusätzlich zur Konfiguration des Beispiels 1 eine Berechnungseinheit 247 für den optischen Fluss auf, die einen optischen Fluss für einen ganzen Bereich (Bildbereich) berechnet, in dem ein Objekt durch die Objektdetektionseinheit 241 detektiert wird.
9 stellt ein Beispiel eines Ablaufplans der Bildverarbeitungseinheit 204 gemäß diesem Beispiel, insbesondere der Bereichstrenneinheit 242 und der Bereichsauswahleinheit 243, dar.
Die Objektdetektionseinheit 241 detektiert ein Objekt aus einem Bild (S901). Das Objektdetektionsergebnis wird für jeden Verarbeitungszyklus erhalten. Die Berechnungseinheit 247 für den optischen Fluss berechnet einen optischen Fluss in einem Objektdetektionsbereich für jeden Verarbeitungszyklus (S902). Der optische Fluss ist ein Ergebnis der Verfolgung eines ausreichend kleinen lokalen Bereichs und kann eine Zeitreihenbewegung für jeden lokalen Bereich im ganzen Bereich darstellen, in dem das Objekt detektiert wurde. Die Bereichstrenneinheit 242 trennt den ganzen Bereich, in dem das Objekt detektiert wurde, auf der Basis des Berechnungsergebnisses (Ergebnis der Verfolgung des lokalen Bereichs) von S902 (S903). Die Bereichsauswahleinheit 243 wählt den Bereich (mit anderen Worten, den in S902 berechneten optischen Fluss), der in S903 getrennt wird, vom Blickpunkt eines optischen Kurzzeitflusses oder eines optischen Langzeitflusses aus (S904, S905).
Zuerst wird ein Bestimmungsbeispiel unter Verwendung eines optischen Kurzzeitflusses mit Bezug auf 10 beschrieben. Wenn ein optischer Fluss für jeden eines abgebildeten Bereichs 801 zur Zeit t-1 und eines abgebildeten Bereichs 802 zur Zeit t berechnet wird und eine gerade Linie für jeden zugehörigen lokalen Bereich zu den zwei Zeitpunkten gezeichnet wird, konvergieren gerade Linien in einem Bereich, der nur durch eine Vergrößerungs/Verkleinerungs-Änderung ausgedrückt werden kann, zu einem bestimmten Fluchtpunkt 803. Zu dieser Zeit verläuft eine gerade Linie in einem Bereich 804, in dem eine andere Verformung als eine Vergrößerung oder Verkleinerung dominant ist, wie z. B. die Spitze eines Fußes eines Fußgängers, nicht durch den Fluchtpunkt 803. Die Bereichsauswahleinheit 243 kann diese Eigenschaft verwenden, um einen Bereich (Teilbereich) mit kleiner Verformung durch Auswählen der lokalen Bereiche, die zu den geraden Linien gehören, die auf den Fluchtpunkt 803 konvergieren, auszuwählen.
Als nächstes wird ein Bestimmungsbeispiel unter Verwendung eines optischen Langzeitflusses mit Bezug auf 11 beschrieben. Wenn ein optischer Fluss von einem abgebildeten Bereich 805 zu einer beliebigen Zeit t-k zum abgebildeten Bereich 802 zur Zeit t verwendet wird, wird ein optischer Fluss 807 in einem Bereich, der nur durch eine Vergrößerungs/Verkleinerungs-Änderung ausgedrückt werden kann, zu einer geraden Linie und das Bewegungsausmaß für jeden Verarbeitungszyklus wird auch stabilisiert. Zu dieser Zeit nimmt ein optischer Fluss 808 in einem Bereich mit einer anderen Verformung als einer Vergrößerung und Verkleinerung wie z. B. die Spitze der Hand eines Fußgängers eine andere Trajektorie als eine gerade Linie und die Richtung und das Bewegungsausmaß ändern sich erheblich für jeden Verarbeitungszyklus. Die Bereichsauswahleinheit 243 kann diese Eigenschaft verwenden, um einen Bereich (Teilbereich) mit kleiner Verformung durch Auswählen eines Bereichs, in dem der optische Fluss stabil eine gerade Trajektorie zeichnet, auszuwählen.
Dann berechnet die TTC-Berechnungseinheit 244 die TTC aus den Vergrößerungsverhältnis, das unter Verwendung des Bildbereichs berechnet wird, der von der Bereichsauswahleinheit 243 empfangen wird (S906).
Es ist zu beachten, dass in diesem Fall die Bereichstrenneinheit 242 und die Berechnungseinheit 247 für den optischen Fluss separate Blöcke sind, aber selbstverständlich die Berechnungseinheit 247 für den optischen Fluss in der Bereichstrenneinheit 242 vorgesehen sein kann und die vorstehend beschriebene Berechnung des optischen Flusses in der Bereichstrenneinheit 242 durchgeführt werden kann.
Wie vorstehend beschrieben, wählt in der Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 gemäß dem Beispiel 3 die Bereichsauswahleinheit 243 einen Teilbereich, der für die Vergrößerungsverhältnisberechnung verwendet werden soll, unter Verwendung eines optischen Flusses in einem erfassten Bildbereich eines Objekts, das in einem Bild verfolgt wird, aus.
Gemäß dem Beispiel 3 ist es möglich, die Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 zu schaffen, die in der Lage ist, einen Bereich mit einer kleinen Zeitreihenverfolgung für ein beliebiges Objekt auszuwählen und die TTC zu berechnen.
[Beispiel 4 (Beispiel der Bereichsauswahl für ein Objekt, das eine wiederholte Bewegung durchführt)]
Beispiel 4 ist eine Modifikation von Beispiel 1 und zeigt ein Beispiel, das wirksam ist, wenn ein Zielobjekt wie z. B. ein Fußgänger eine wiederholte Bewegung durchführt. Da beispielsweise eine Laufbewegung eine Wiederholung eines bestimmten Musters ist, tritt die Zeit, um dieselbe Haltung einzunehmen, in jeder bestimmten Zeitdauer auf. In diesem Beispiel kann die Fläche eines durch die Bereichsauswahleinheit 243 auszuwählenden Bereichs durch Extrahieren von zwei Zeitpunkten, wenn dieselbe Haltung durchgeführt wird, von einem Objektdetektionsbereich mit einem vergangenen Objektdetektionsergebnis anstelle von Objektdetektionsergebnissen zu festen zwei Zeitpunkten und Auswählen des Bereichs maximiert werden.
12 ist ein Diagramm, das eine Konfiguration einer Objektdetektionsvorrichtung 102 gemäß dem Beispiel 4 darstellt. Eine Bildverarbeitungseinheit 204 der Objektdetektionsvorrichtung 102 weist zusätzlich zur Konfiguration von Beispiel 1 eine Ähnlichkeitsberechnungseinheit 248 auf, die eine Ähnlichkeit zwischen einem Objekt (in einem Bild verfolgten Objekt), das durch die Objektdetektionseinheit 241 zu einem von zwei Zeitpunkten detektiert wird, und einem Objekt, das durch die Objektdetektionseinheit 241 zum anderen Zeitpunkt detektiert wird, berechnet.
13 stellt einen Ablaufplan der Bildverarbeitungseinheit 204 gemäß diesem Beispiel, insbesondere der Bereichstrenneinheit 242 und der Bereichsauswahleinheit 243, dar.
Die Objektdetektionseinheit 241 detektiert ein Objekt aus einem Bild (S1301). Das Objektdetektionsergebnis (Bildbereich) wird im Speicher 202 oder dergleichen gespeichert. In diesem Fall ist die aktuelle Zeit t und die vergangene Zeit ist k. Die Ähnlichkeitsberechnungseinheit 248 setzt zuerst die Zeit k auf t-1 (S1302) und berechnet die Ähnlichkeit zwischen dem Objekt zur Zeit t und einem Objekt zur Zeit k mit Bezug auf das gespeicherte Objektdetektionsergebnis (S1303). Verschiedene bekannte Verfahren können für das Ähnlichkeitsberechnungsmittel in Betracht gezogen werden. Es wird bestimmt, ob die in S1303 berechnete Ähnlichkeit gleich oder größer als ein vorgegebener Schwellenwert ist oder nicht (S1304), und wenn die Ähnlichkeit geringer ist als der Schwellenwert, wird die Zeit k auf k-1 gesetzt als Fall, in dem Haltungen unterschiedlich sind (S1305), und die Ähnlichkeit wird erneut berechnet (S1303). Da in diesem Fall der Zweck darin besteht, zwei Zeitpunkte zu bestimmen, wenn dieselbe Haltung durchgeführt wird, können beispielsweise vergangene Objektdetektionsergebnisse gespeichert werden, solange der Speicher es zulässt, die Ähnlichkeit zu allen Objektdetektionsergebnissen kann berechnet werden und die Zeit, wenn die Ähnlichkeit am höchsten ist, kann als Zeit k gesetzt werden. Wenn die Ähnlichkeit gleich oder größer als der Schwellenwert ist, das heißt, wenn die Zeit k, zu der dieselbe Haltung bestimmt werden kann, gefunden werden kann, trennen und wählen die Bereichstrenneinheit 242 und die Bereichsauswahleinheit 243 den Bereich auf der Basis der Objektdetektionsergebnisse zur Zeit t und Zeit k aus (das heißt aus den in der Vergangenheit erfassten Bildbereichen) (S1306).
Dann berechnet die TTC-Berechnungseinheit 244 die TTC aus dem Vergrößerungsverhältnis, das unter Verwendung des Bildbereichs berechnet wird, der von der Bereichsauswahleinheit 243 empfangen wird (S1307).
Wie vorstehend beschrieben, wählt in der Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 gemäß dem Beispiel 4 die Bereichsauswahleinheit 243 einen Teilbereich, der für die Vergrößerungsverhältnisberechnung verwendet werden soll, aus Bildbereichen aus, die vorher für ein in einem Bild verfolgtes Objekt erfasst wurden.
Gemäß dem Beispiel 4 ist es, selbst in einem Fall, in dem ein verformter Bereich eines Zielobjekts, das in den letzten zwei Rahmen abgebildet ist, dominant ist, möglich, einen breiten Bereich ohne Verformung unter Verwendung eines vergangenen Objektdetektionsergebnisses (Bildbereich des detektierten und verfolgten Objekts, das in der Vergangenheit abgebildet wurde) auszuwählen und die Genauigkeit der TTC zu verbessern.
[Beispiel 5 (Beispiel der Bereichsauswahl unter Verwendung von Sensorvereinigung)]
Beispiel 5 ist eine Modifikation von Beispiel 1 und zeigt ein Beispiel, das wirksam ist, wenn andere den Abstand messfähige Sensoren als die Kamera (monokulare Kamera) 101 gleichzeitig verfügbar sind. 14 stellt beispielsweise einen Überwachungsbereich eines Beispiels einer Stereokamera und einer monokularen Kamera dar. Ein Abstand zu einem Zielobjekt wird auf der Basis des Prinzips der Triangulation in einem Bereich (auch als Stereobereich bezeichnet) 1003 gemessen, der durch zwei Kameras 1001 und 1002 überwacht werden kann, aber die Triangulation kann in Bereichen (auch als monokulare Bereiche bezeichnet) 1004 und 1005, von denen jeder nur durch eine Kamera (in diesem Fall die Kamera 1001 oder die Kamera 1002) überwacht werden kann, nicht verwendet werden, und es ist erforderlich, die TTC unter Verwendung des Verfahrens wie in diesem Beispiel zu berechnen. Wenn ein den Abstand messfähiger Sensor wie z. B. ein Millimeterwellenradar oder LiDAR und eine monokulare Kamera gleichzeitig verwendet werden, sind ebenso ein Bereich, der gleichzeitig durch mehrere Sensoren beobachtet werden kann, und ein Bereich, der nur durch die monokulare Kamera beobachtet werden kann, vorhanden. Wie vorstehend beschrieben, kann, wenn ein anderer den Abstand messfähiger Sensor (Stereokamera, Millimeterwellenradar, LiDAR oder dergleichen) als die monokulare Kamera gleichzeitig verfügbar ist, die TTC gleichzeitig durch mehrere Mittel berechnet werden, einschließlich der monokularen Kamera und anderer den Abstand messfähiger Sensoren.
15 stellt eine Konfiguration einer Objektdetektionsvorrichtung 102 gemäß dem Beispiel 5 dar. Eine Bildverarbeitungseinheit 204 der Objektdetektionsvorrichtung 102 weist zusätzlich zur Konfiguration von Beispiel 1 eine Bestimmungseinheit 249 für die Möglichkeit der TTC-Berechnung durch anderen Sensor, die bestimmt, ob die TTC durch einen anderen den Abstand messfähigen Sensor (nachstehend als anderer Sensor bezeichnet) als die monokulare Kamera aus einem Bildbereich, in dem ein Objekt durch die Objektdetektionseinheit 241 detektiert wurde, berechnet werden kann oder nicht, eine Extraktionseinheit 250 für einen Bereich mit kleiner Verformung, die einen Bereich, der weniger verformt ist und für die Vergrößerungsverhältnisberechnung geeignet ist, aus dem Bildbereich, in dem das Objekt durch die Objektdetektionseinheit 241 detektiert wurde, extrahiert, und eine Bestimmungsergebnisdatenbank 251 für den Bereich mit kleiner Verformung, die den Bereich, der durch die Extraktionseinheit 250 für den Bereich mit kleiner Verformung extrahiert wurde, als Bereich mit kleiner Verformung speichert und ablegt.
16 stellt einen Ablaufplan der Bildverarbeitungseinheit 204 gemäß diesem Beispiel, insbesondere der Bereichstrenneinheit 242 und der Bereichsauswahleinheit 243 dar.
Die Objektdetektionseinheit 241 detektiert ein Objekt aus einem Bild (S1601). Die Bestimmungseinheit 249 für die Möglichkeit der TTC-Berechnung durch anderen Sensor bestimmt, ob ein Bereich, in dem das Objekt durch die Objektdetektionseinheit 241 detektiert wurde, ein Bereich ist oder nicht, der gleichzeitig durch die monokulare Kamera und den anderen Sensor, beispielsweise die Stereokamera, beobachtet werden kann, wodurch bestimmt wird, ob die TTC durch den anderen Sensor berechnet werden kann oder nicht (S1602). Wenn die Bestimmungseinheit 249 für die Möglichkeit der TTC-Berechnung durch anderen Sensor bestimmt, dass der Bereich, in dem das Objekt durch die Objektdetektionseinheit 241 detektiert wurde, ein Bereich ist, der gleichzeitig durch die monokulare Kamera und den anderen Sensor, beispielsweise die Stereokamera, beobachtet werden kann (Ja in S1602), berechnet der andere Sensor die TTC (S1603). Da beispielsweise die Stereokamera direkt den Abstand messen kann, kann die TTC unter Verwendung des Abstandes berechnet werden. Als nächstes trennt die Bereichstrenneinheit 242 den Objektbereich (Bildbereich), der durch die monokulare Kamera erfasst wird, in mehrere Bereiche (S1604), die Bereichsauswahleinheit 243 wählt einen Bereich, der für die Vergrößerungsverhältnisberechnung verwendet werden soll, aus den mehreren getrennten Bereichen aus (S1605) und die TTC-Berechnungseinheit 244 führt die TTC-Berechnung unter Verwendung des Vergrößerungsverhältnisses des ausgewählten Bereichs durch (S1606). Die Extraktionseinheit 250 für den Bereich mit kleiner Verformung vergleicht die TTC (S1606), die durch die monokulare Kamera berechnet wurde (unter Verwendung des Vergrößerungsverhältnisses), mit der TTC (S1603), die durch den anderen Sensor, beispielsweise die Stereokamera, berechnet wurde, extrahiert einen Bereich (das heißt einen Bereich, in dem die TTC abgeglichen werden kann), für den ein Wert (Wert nahe einem vorgegebenen Schwellenwert) nahe der TTC, die durch den anderen Sensor, beispielsweise die Stereokamera, berechnet wurde, als Bereich (Bereich mit kleiner Verformung) berechnet werden kann, der weniger verformt ist und für die Berechnung des Vergrößerungsverhältnisses geeignet ist (S1607), und speichert und legt den Bereich als Bereich mit kleiner Verformung in der Bestimmungsergebnisdatenbank 251 für den Bereich mit kleiner Verformung ab, so dass der Bereich für die TTC-Berechnung unter Verwendung des anschließenden Vergrößerungsverhältnisses ausgewählt werden kann (S1608).
Wenn die Bestimmungseinheit 249 für die Möglichkeit der TTC-Berechnung durch anderen Sensor bestimmt, dass der Bereich, in dem das Objekt durch die Objektdetektionseinheit 241 detektiert wurde, kein Bereich ist, der gleichzeitig durch die monokulare Kamera und den anderen Sensor, beispielsweise die Stereokamera, beobachtet werden kann (Nein in S1602), ist es nicht möglich, die TTC durch den anderen Sensor zu berechnen, nur die Berechnung der TTC auf der Basis des Vergrößerungsverhältnisses ist möglich, und folglich wird die TTC-Berechnung durch den anderen Sensor nicht durchgeführt und die vorstehend beschriebenen S1604, S1605 und S1606 werden durchgeführt. Zu dieser Zeit (das heißt wenn nur die Berechnung der TTC auf der Basis des Vergrößerungsverhältnisses möglich wird) trennen und wählen die Bereichstrenneinheit 242 und die Bereichsauswahleinheit 243 den Bereich unter Verwendung des Bereichs mit kleiner Verformung aus, der in der Bestimmungsergebnisdatenbank 251 für den Bereich mit kleiner Verformung gespeichert und abgelegt ist (S1604, S1605).
Wie vorstehend beschrieben, extrahiert in der Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 gemäß Beispiel 5 die Bereichsauswahleinheit 243 einen Bereich, in dem die TTC abgeglichen ist, speichert den extrahierten Bereich als Bereich mit kleiner Verformung, wenn mehrere Mittel gleichzeitig die TTC berechnen können, und wählt den Bereich mit kleiner Verformung als Teilbereich, der für die Vergrößerungsverhältnisberechnung verwendet werden soll, aus und speichert diesen, wenn nur die Berechnung der TTC auf der Basis des Vergrößerungsverhältnisses möglich ist.
Gemäß dem Beispiel 5 kann, wenn Daten von mehreren Sensoren verfügbar sind, ein Bereich, der für die TTC-Berechnung unter Verwendung des Vergrößerungsverhältnisses geeignet ist, unter Verwendung eines gemeinsamen Überwachungsbereichs ausgewählt werden, und selbst wenn sich ein Zielobjekt zu einem Bereich bewegt, der nur durch eine monokulare Kamera überwacht wird, kann ein Bereich, in dem keine Verformung vorhanden ist, unter Verwendung eines vergangenen Bereichsauswahlergebnisses genau ausgewählt werden, und die Genauigkeit der TTC kann verbessert werden.
Die Beispiele der vorliegenden Erfindung wurden vorstehend beschrieben. In den obigen Beispielen kann die Genauigkeit der TTC im Vergleich zum Stand der Technik verbessert werden. Daher ist die vorliegende Erfindung für die Anwendung auf eine Kollisionsbeschädigungsverringerungsbremse in einer Situation besonders geeignet, in der eine sehr genaue TTC erforderlich ist, beispielsweise an einer Kreuzung. Es ist zu beachten, dass die vorliegende Erfindung nicht auf die vorstehend beschriebenen Beispiele begrenzt ist und verschiedene Modifikationen umfasst. Die vorstehend beschriebenen Beispiele wurden beispielsweise für ein leichtes Verständnis der vorliegenden Erfindung im Einzelnen beschrieben und sind nicht notwendigerweise auf jene mit allen beschriebenen Konfigurationen begrenzt. Außerdem kann ein Teil der Konfiguration eines bestimmten Beispiels durch die Konfiguration eines anderen Beispiels ersetzt werden und die Konfiguration eines bestimmten Beispiels kann zur Konfiguration eines anderen Beispiels hinzugefügt werden. Für einen Teil der Konfiguration jedes Beispiels ist es außerdem möglich, eine andere Konfiguration hinzuzufügen, zu streichen und zu ersetzen.
Außerdem können einige oder alle der obigen Konfigurationen durch Hardware konfiguriert sein oder können durch Ausführen eines Programms durch einen Prozessor implementiert werden. Außerdem geben die Steuerleitungen und die Informationsleitungen das an, was als für die Beschreibung erforderlich betrachtet wird, und nicht alle Steuerleitungen und Informationsleitungen an dem Produkt sind angegeben. In der Praxis kann in Betracht gezogen werden, dass fast alle Konfigurationen miteinander verbunden sind.
Bezugszeichenliste

100: Fahrzeug
101: Kamera
102: Objektdetektionsvorrichtung
103: Fahrzeugsteuereinheit
201: Bildgebungselement
202: Speicher
203: CPU
204: Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung)
205: externe Ausgabeeinheit
206: Kommunikationsleitung
241: Objektdetektionseinheit
242: Bereichstrenneinheit
243: Bereichsauswahleinheit
244: TTC-Berechnungseinheit
245: Objektidentifikationseinheit (Beispiel 2)
246: Datenbank für den Bereich mit kleiner Verformung (Beispiel 2)
247: Berechnungseinheit für den optischen Fluss (Beispiel 3)
248: Ähnlichkeitsberechnungseinheit (Beispiel 4)
249: Bestimmungseinheit für die Möglichkeit der TTC-Berechnung durch anderen
250: Sensor (Beispiel 5) Extraktionseinheit für den Bereich mit kleiner Verformung (Beispiel 5)
251: Bestimmungsergebnisdatenbank für den Bereich mit kleiner Verformung (Beispiel 5)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 5687702 [0002, 0003]

Claims

Bildverarbeitungsvorrichtung, die Folgendes umfasst: eine Objektdetektionseinheit, die ein Objekt aus einem Bild detektiert; eine Bereichstrenneinheit, die einen Bildbereich, in dem das Objekt detektiert wurde, in mehrere Teilbereiche trennt; eine Bereichsauswahleinheit, die einen Teilbereich, der verwendet werden soll, um ein Vergrößerungsverhältnis zu berechnen, aus den mehreren getrennten Teilbereichen auswählt; und eine TTC-Berechnungseinheit, die die Zeit bis zur Kollision bis zu einer Kollision mit dem Objekt als Ziel aus dem Vergrößerungsverhältnis, das unter Verwendung des ausgewählten Teilbereichs berechnet wurde, berechnet.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bereichstrenneinheit und die Bereichsauswahleinheit einen speziellen Bereich in dem Bild gemäß dem Typ des detektierten Objekts trennen und auswählen.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bereichsauswahleinheit einen Teilbereich, der für die Vergrößerungsverhältnisberechnung verwendet werden soll, unter Verwendung eines optischen Flusses in einem erfassten Bildbereich des Objekts, das im Bild verfolgt wird, auswählt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bereichsauswahleinheit einen Teilbereich, der für die Vergrößerungsverhältnisberechnung verwendet werden soll, aus Bildbereichen auswählt, die vorher für das Objekt erfasst wurden, das im Bild verfolgt wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bereichsauswahleinheit einen Bereich, in dem die Zeit bis zur Kollision abgeglichen ist, auswählt und den extrahierten Bereich als Bereich mit kleiner Verformung speichert, wenn mehrere Mittel gleichzeitig die Zeit bis zur Kollision berechnen können, und den gespeicherten Bereich mit kleiner Verformung als Teilbereich auswählt, der für die Vergrößerungsverhältnisberechnung verwendet werden soll, wenn nur die Berechnung der Zeit bis zur Kollision auf der Basis des Vergrößerungsverhältnisses möglich ist.