DE112021003430T5

DE112021003430T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112021003430T5
Application number: DE112021003430.8T
Authority: DE
Inventors: Felipe GOMEZCABALLERO; Haruki Matono; Takeshi Nagasaki
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-09-02
Filing date: 2021-06-29
Publication date: 2023-04-27
Also published as: WO2022049880A1; JP2022042386A; JP7436331B2

Abstract

Es wird eine Bildverarbeitungsvorrichtung geschaffen, die konfiguriert ist, zu verursachen, dass eine Verarbeitungseinheit oder eine von zwei Verarbeitungseinheiten eine Verarbeitung eines Bilds (z. B. eine affine Transformation) getrennt ausführt, und gleichzeitig konfiguriert ist, einen externen Faktor oder Daten wie z. B. einen Sensororientierungsparameter, der in Echtzeit auf der Grundlage einer Durchquerungsumgebung berechnet wird, zu verwenden, um einen Bereich und/oder eine Größe des Bilds, die die eine Verarbeitungseinheit oder die eine von zwei Verarbeitungseinheiten verarbeitet hat, dynamisch einzustellen. Die Bildverarbeitungsvorrichtung behält eine Genauigkeit der Detektion eines Objekts und eine Genauigkeit bei der Berechnung einer Entfernung zum Objekt in einem Szenario, das die Detektion insbesondere in einer nahen Entfernung erfordert, wie z. B. insbesondere ein Kreuzungsszenario bei, während eine Menge eines Zeilenspeichers, der in einer Hardware eines Systems verwendet wird, verringert wird. Die Bildverarbeitungsvorrichtung enthält eine Verarbeitungsbereich-Zuweisungseinheit 141, die konfiguriert ist, in Übereinstimmung mit einem Kameraorientierungsparameter ein proportionales Verhältnis zwischen einem Bereich des Bilds, der zu einer ersten Bildverarbeitungseinheit 151 gesendet werden soll, und einem Bereich des Bilds, der zu einer zweiten Bildverarbeitungseinheit 152 gesendet werden soll, zu bestimmen.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung zur Verwendung in einem Fahrzeug, wobei die Bildverarbeitungsvorrichtung konfiguriert ist, ein Hindernis in einem Bild einer Umgebung, die ein Trägerfahrzeug umgibt, zu detektieren und zu erkennen.
Technischer Hintergrund
Kürzlich wurde eine bildbasierte Objektdetektionsvorrichtung verwendet, um ein bewegtes Objekt und ein Hindernis in einer nahen Entfernung zu detektieren. Die bildbasierte Objektdetektionsvorrichtung kann in einem Überwachungssystem zum Detektieren von Eindringungen oder Anomalien oder einem fahrzeuginternen System zum Unterstützen des sicheren Fahrens von Personenkraftwägen verwendet werden.
Wenn eine bildbasierte Objektdetektionsvorrichtung dieses Typs im fahrzeuginternen System verwendet wird, ist sie konfiguriert zum: Anzeigen einer Umgebung, die ein Trägerfahrzeug umgibt, für einen Fahrer und/oder Detektieren des bewegten Objekts oder eines statischen Objekts (eines Hindernisses) in der Umgebung, die das Trägerfahrzeug umgibt; Benachrichtigen des Fahrers über ein mögliches Risiko einer Kollision zwischen dem Trägerfahrzeug und dem Hindernis und automatisches Stoppen des Trägerfahrzeugs auf der Grundlage eines Bestimmungssystems, um die Kollision zwischen dem Trägerfahrzeug und dem Hindernis zu vermeiden.
Zum Beispiel offenbart PTL 1 eine Vorrichtung, die Folgendes enthält: eine erste Vogelperspektivenbilderzeugungseinheit, die konfiguriert ist, ein Bild in einer vorgegebenen Entfernung von einem Muldenkipper (einer Arbeitsmaschine) unter erfassten Bildern zu wählen und das gewählte Bild auf eine erste Projektionsoberfläche parallel zu einer Fahrbahnoberfläche zu projizieren, um ein erstes Vogelperspektivenbild zu erzeugen; eine zweite Vogelperspektivenbilderzeugungseinheit, die konfiguriert ist, eine Bild außerhalb der vorgegebenen Entfernung unter den erfassten Bildern zu wählen und das gewählte Bild auf eine zweite Projektionsoberfläche, die in Bezug auf die erste Projektionsoberfläche geneigt ist, zu projizieren, um ein zweites Vogelperspektivenbild zu erzeugen; eine Skalenänderungseinheit, die konfiguriert ist, ein Anzeigeverhältnis eines Bereichs außer einem Bereich, der in Bezug auf ein Hindernis im zweiten Vogelperspektivenbild näher beim Muldenkipper ist, zu erhöhen; und eine Bildzusammensetzungseinheit, die konfiguriert ist, das erste Vogelperspektivenbild und das zweite Vogelperspektivenbild zusammenzusetzen, wobei das Anzeigeverhältnis geändert wurde. Entsprechend zeigt in der Arbeitsmaschine, die in einer geräumigen und sich selten ändernden Umgebung verwendet wird, die Vorrichtung dem Fahrer geeignet das Hindernis, das von der Arbeitsmaschine entfernt angeordnet ist.
Entgegenhaltungsliste
Patentliteratur
PTL 1: JP 2018-170557 A
Zusammenfassung der Erfindung
Technisches Problem
Allerdings modifiziert die Vorrichtung, die die in PTL 1 offenbart ist, eine Orientierung und eine Blickrichtung einer Kamera, die das Bild aufnimmt, das dem Fahrer bereitgestellt wird, nicht auf der Grundlage eines aktuellen Zustands der Umgebung, in der das Trägerfahrzeug sich bewegt, oder einer Beziehung zwischen der Umgebung und dem Trägerfahrzeug, sondern lediglich auf der Grundlage einer Fahrbahnform, die aus einer Karte erfasst wird. Wenn das bereitgestellt Bild verwendet wird, um ein Objekt zu detektieren, ist es schwierig, eine Position des Objekts, das ohne Verwendung eines externen Entfernungsmessungssensors detektiert wird, genau zu identifizieren, derart, dass die Komplexität und die Kosten eines Systems erhöht sein können.
Entsprechend muss, wenn das System in einem Szenario verwendet wird, das die Detektion z. B. in einer nahen Entfernung erfordert, und wenn gleichzeitig eine Änderung der Geschwindigkeit des Trägerfahrzeugs und ein Ist-Zustand der Fahrbahn eine räumliche Beziehung zwischen dem Ist-Zustand der Fahrbahn und einem fahrzeuginternen Sensor beeinträchtigen, was eine Änderung eines anfänglich eingestellten Sensororientierungsparameters erzeugt, eine Hardware-Konfiguration des Systems eine große Anzahl von Zeilenspeichern enthalten, derart, dass eine Bildtransformation in Entsprechung zu einer Änderung der Orientierung des fahrzeuginternen Sensors verarbeitet wird; und letztendlich beeinträchtigt diese Konfiguration einen Bereich und eine Datenmenge, die erforderlich sind, einen Bereich einer Detektion bei der nahen Entfernung, der vorgegeben ist, zu unterstützen, was zu einer Zunahme der Kosten des gesamten Systems führt. Allerdings sind, wenn eine externe Änderung (z. B. eine Änderung der Kameraorientierung) nicht unterstützt wird und somit das Bild nicht ordnungsgemäß verarbeitet wird, eine Leistungsfähigkeit der Detektion des Objekts und eine Genauigkeit der Berechnung der Entfernung vermindert, was dadurch in einer falschen Detektion des Objekts resultiert und zu einer verminderten Zuverlässigkeit des gesamten Systems führt.
Eine Aufgabe der vorliegenden Erfindung ist, eine Bildverarbeitungsvorrichtung zu schaffen, die konfiguriert ist, zu verursachen, dass eine Verarbeitungseinheit oder eine von zwei Verarbeitungseinheiten eine Verarbeitung eines Bilds (z. B. eine affine Transformation) getrennt ausführt, und gleichzeitig konfiguriert ist, einen externen Faktor oder Daten wie z. B. einen Sensororientierungsparameter, der in Echtzeit auf der Grundlage einer Durchquerungsumgebung berechnet wird, zu verwenden, um einen Bereich und/oder eine Größe des Bilds, das die eine Verarbeitungseinheit oder die eine von zwei Verarbeitungseinheiten verarbeitet hat, dynamisch einzustellen. Die Bildverarbeitungsvorrichtung behält eine Genauigkeit der Detektion eines Objekts und eine Genauigkeit der Berechnung einer Entfernung zum Objekt in einem Szenario, das die Detektion insbesondere in einer nahen Entfernung erfordert, wie z. B. einem Kreuzungsszenario bei, während eine Menge eines Zeilenspeichers, der in einer Hardware eines Systems verwendet wird, verringert wird.
Lösung des Problems
Um die Aufgabe zu lösen, schafft die vorliegende Erfindung eine Bildverarbeitungsvorrichtung, die Folgendes enthält: eine erste Bildverarbeitungseinheit, die konfiguriert ist, eine Bildverarbeitung eines ersten Abschnitts als mindestens ein Abschnitt eines Bilds, das durch eine Kamera aufgenommen wurde, durchzuführen; eine zweite Bildverarbeitungseinheit, die konfiguriert ist, dann, wenn der erste Abschnitt dem Abschnitt des Bilds entspricht, eine Bildverarbeitung eines zweiten Abschnitts des Bilds durchzuführen, wobei der zweite Abschnitt ein vom ersten Abschnitt verschiedener Abschnitt ist; und eine Verarbeitungsbereich-Zuweisungseinheit, die konfiguriert ist, in Übereinstimmung mit einem Kameraorientierungsparameter ein proportionales Verhältnis zwischen einem Bereich des Bilds, der zur ersten Bildverarbeitungseinheit gesendet werden soll, und einem Bereich des Bilds, der zur zweiten Bildverarbeitungseinheit gesendet werden soll, zu bestimmen.
Vorteilhafte Wirkungen der Erfindung
Mit dieser Konfiguration verringert die Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung die Menge des Zeilenspeichers, der in der Hardware des Systems verwendet wird, während das Szenario unterstützt wird, das die Detektion des Objekts bei der nahen Entfernung erfordert. Dies ist darauf zurückzuführen, dass die Menge von Speicherbetriebsmitteln, die zum Zweck der Bildverarbeitung verwendet wird, durch dynamisches Einstellen des proportionalen Verhältnisses (zwischen dem Bereich des Bilds, der durch die erste Bildverarbeitungseinheit verarbeitet werden soll, und dem Bereich des Bilds, der durch die zweite Bildverarbeitungseinheit verarbeitet werden soll) auf der Grundlage des Kameraorientierungsparameters, den eine Kameraorientierungsparameter-Berechnungseinheit berechnet hat, verteilt ist; hier ist die erste Bildverarbeitungseinheit optimiert, einen bestimmten Bereich des Bilds zu verarbeiten, und ist die zweite Bildverarbeitungseinheit optimiert, einen weiteren bestimmten Bereich des Bilds (der vom bestimmten Bereich verschieden ist) zu verarbeiten. Entsprechend wird selbst bei einer Änderung von Umgebungsbedingungen, unter denen eine Vorrichtung, die mit der Bildverarbeitungsvorrichtung ausgestattet ist, sich bewegt (fährt), die Genauigkeit der Detektion des Objekts und der Identifizierung einer Position des Objekts (die durch eine Hindernisdetektionseinheit ausgeführt werden) beibehalten.
Die Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist konfiguriert, insbesondere in einem Kreuzungsszenario, das die Detektion des Objekts bei der nahen Entfernung erfordert, zu verursachen, dass die eine Verarbeitungseinheit oder die eine von zwei Verarbeitungseinheiten eine Verarbeitung des Bilds getrennt ausführt, und ist gleichzeitig konfiguriert, den externen Faktor, z. B. den Sensororientierungsparameter, der in Echtzeit auf der Grundlage der Durchquerungsumgebung berechnet wird, zu verwenden, um den Bereich und/oder Größe des Bilds, das die eine Verarbeitungseinheit oder die eine von zwei Verarbeitungseinheiten verarbeitet hat, dynamisch einzustellen. Mit dieser Konfiguration behält die Bildverarbeitungsvorrichtung die Genauigkeit der Detektion des Objekts und die Genauigkeit bei der Berechnung der Entfernung zum Objekt, das detektiert wird, bei, während die Menge des Zeilenspeichers, der in der Hardware des Systems verwendet wird, verringert wird.
Probleme, Konfigurationen und Wirkungen zusätzlich zu den oben beschriebenen werden unten in Beschreibungen von Ausführungsformen verdeutlicht.
Figurenliste

[1] 1 ist ein schematisches Diagramm einer Konfiguration einer Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung.
[2] 2 beschreibt eine Beziehung zwischen einem Kameraorientierungsparameter jeweils bei Nick-, Gier- und Rollwinkeln und einer Position in Bezug auf einen entsprechenden der Nick-, Gier- und Rollwinkel in einem dreidimensionalen Raum. 2(a) beschreibt den Kameraorientierungsparameter beim Nickwinkel; 2(b) beschreibt den Kameraorientierungsparameter beim Gierwinkel und 2(c) beschreibt den Kameraorientierungsparameter beim Rollwinkel.
[3] 3 beschreibt in einem beispielhaften Szenario einen Raum eines Bilds, den ein Sensor erfasst hat und dann eine Zusammensetzungseinheit auf der Grundlage eines Ergebnisses von einer Bildverarbeitungseinheit berechnet hat, und ein Differenzbild, das eine Bildberechnungseinheit berechnet hat.
[4] 4 veranschaulicht drei verschiedene Fälle eines Szenarios, in dem dann, wenn ein Fahrzeug sich einer Kreuzung genähert hat, der Kameraorientierungsparameter berechnet und verwendet wird, um einen Bereich der Bildverarbeitung zur weiteren Verarbeitung zu erhalten, und 4(a) veranschaulicht einen Fall zu normalen Zeiten; 4(b) veranschaulicht einen Fall während eines Bremsvorgangs und 4(c) veranschaulicht einen Fall während eines Beschleunigungsvorgangs.

Beschreibung der Ausführungsformen
Eine bevorzugte Ausführungsform einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung wird unter Bezugnahme auf die Zeichnungen unten beschrieben.
Eine Konfiguration und eine Leistungsfähigkeit einer Bildverarbeitungsvorrichtung 110 gemäß dieser Ausführungsform wird unter Bezugnahme auf 1 bis 4 beschrieben. Obwohl es nicht veranschaulicht ist, besitzt die Bildverarbeitungsvorrichtung 110 eine Konfiguration, in der eine CPU, ein RAM, ein ROM oder weitere mittels eines Bus verbunden sind und die CPU verschiedene Steuerungsprogramme ausführt, die im ROM gespeichert sind, um einen Betrieb eines gesamten Systems zu steuern. Ein Teil oder alle Funktionen, die durch die CPU ausgeführt werden (z. B. eine Funktion einer ersten Bildverarbeitungseinheit einer Bildverarbeitungseinheit, wie später beschrieben wird) können durch ein FPGA oder weitere übernommen werden.
Es ist festzuhalten, dass, in der Konfiguration unten zwei Kamerasensoren (die im Folgenden jeweils einfach als eine Kamera oder ein Sensor bezeichnet werden) als eine einzelne fahrzeuginterne Stereokamera, die einer Erfassungseinheit 111 entspricht, gepaart sind. Allerdings ist die Konfiguration nicht einschränkend und somit kann eine einzelne monokulare Kamera als die Erfassungseinheit 111 in der Bildverarbeitungsvorrichtung 110 verwendet werden.
1 ist ein Blockdiagramm einer Konfiguration einer Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung. Die Bildverarbeitungsvorrichtung 110 dieser Ausführungsform entspricht einer Vorrichtung, die z. B. an einem Fahrzeug (einem Trägerfahrzeug) montiert ist und konfiguriert ist, eine Bildverarbeitung (z. B. eine affine Transformation) an einem Bild, das das Fahrzeug (das Trägerfahrzeug) umgibt, auszuführen, wobei das Bild durch den Kamerasensor (die Erfassungseinheit 111) aufgenommen wird, und eine Differenz in mehreren verarbeiteten Bildern zu verwenden, wobei die mehreren Bilder eine zeitliche Differenz (eine Zeitdifferenz) aufweisen, um ein Hindernis (ein Objekt, das in dem Bild, das das Fahrzeug (das Trägerfahrzeug) umgibt aufgenommen wird) zu detektieren und zu erkennen.
In 1 enthält die Bildverarbeitungsvorrichtung 110 die Erfassungseinheit 111, eine Bildaufnahmeeinheit 121, eine Kameraorientierungsparameter-Berechnungseinheit 131, eine Verarbeitungsbereich-Zuweisungseinheit 141, eine erste Bildverarbeitungseinheit 151, eine zweite Bildverarbeitungseinheit 152, eine Zusammensetzungseinheit 161, eine Bildberechnungseinheit 171, eine Hindernisdetektionseinheit 181 und eine Steuerungsanwendüngs-Verarbeitungseinheit 191. Die Erfassungseinheit 111 enthält die zwei Kamerasensoren, die bei derselben Höhe positioniert sind.
(Bildaufnahmeeinheit)
Die Bildaufnahmeeinheit 121 verarbeitet ein Bild/Bilder, das/die durch einen oder beide der zwei Kamerasensoren (die der Erfassungseinheit 111 entsprechen) aufgenommen wurden, um Eigenschaften des Bilds zur weiteren Verarbeitung einzustellen. Die Verarbeitung kann, während sie nicht auf das Folgende beschränkt ist, eine Einstellung der Auflösung des Bilds durch Verringern und Vergrößerns eines eingegebenen Bilds und Ändern einer Größe des Bilds, das aus einem Verringern oder Vergrößern resultiert ist, und eine Auswahl eines Interessensbereichs im Bild durch Ausschneiden (oder Beschneiden) eines bestimmten Bereichs aus dem Bild enthalten, um die weitere Verarbeitung durchzuführen. Ein Parameter, der für jede Anpassung der Auflösung des Bilds und die Auswahl des Interessensbereichs im Bild verwendet wird, wird auf der Grundlage einer aktuellen Fahrumgebung und Fahrbedingungen (z. B. Geschwindigkeit, Kurvenfahrtgeschwindigkeit oder weitere) gesteuert.
(Kameraorientierungsparameter-Berechnungseinheit)
Wie in 2(a) bis 2(c) veranschaulicht ist, besitzt die Kameraorientierungsparameter-Berechnungseinheit 131 eine Funktion, um beliebige Kameraorientierungsparameter in Bezug auf einen ebenen Boden zu berechnen, wobei die Kameraorientierungsparameter durch einen Nickwinkel (eine Drehung einer horizontalen Achse) einer Kamera, einen Rollwinkel (eine Drehung einer Längsachse (einer Vorne/Hinten-Achse)) der Kamera und einen Gierwinkel (eine Drehung einer vertikalen Achse) der Kamera definiert sind. Die Verarbeitung kann, während sie nicht auf das Folgende beschränkt ist, eine Verwendung von Informationen von externen Sensoren (z. B. einem internen Sensor, einem Trägheitsmessungssensor und einem Positionssensor des Fahrzeugs, das ein Aufhängungssystem bereitstellt, und eine Geschwindigkeit/Kurvenfahrtgeschwindigkeit/Gierrate des Fahrzeugs) enthalten, um erwünschte Parameter zu erhalten, oder kann eine Formschätzung enthalten, die verwendet wird, um den Nickwinkel und den Rollwinkel der Bildverarbeitungsvorrichtung in Bezug auf eine Fahrbahn vor dem Fahrzeug oder mindestens in Bezug auf eine Fahrbahn vor dem Trägerfahrzeug auf der Grundlage von Entfernungsdaten, die von Stereoabgleichverarbeitung erfasst werden, zu berechnen. Die Verarbeitung kann auch weitere Verfahren enthalten, um die oben beschriebenen Kameraorientierungsparameter zu berechnen.
Es ist festzuhalten, dass der „Kameraorientierungsparameter“ sich auf eine Sammlung von Werten und Parametern bezieht, die verwendet werden, um eine Position und eine Orientierung (eine Blickrichtung) der Kamera im dreidimensionalen Raum in Bezug auf eine bestimmte Position oder Ebene anzugeben. Der Kameraorientierungsparameter kann z. B. Translationsparameter X, Y und Z, die verwendet werden, um die Position der Kamera in Bezug auf die Fahrbahn zu beschreiben, zusammen mit den Nick-, Gier- und Rollwinkeln als Drehungsparameter, die die Orientierung der Kamera im dreidimensionalen Raum beschreiben, enthalten.
(Verarbeitungsbereich-Zuweisungseinheit)
Die Verarbeitungsbereich-Zuweisungseinheit 141 besitzt eine Funktion, mindestens einen Bereich im Raum des Bilds, das die Bildaufnahmeeinheit 121 erfasst und verarbeitet hat, auf der Grundlage des Kameraorientierungsparameters, den die Kameraorientierungsparameter-Berechnungseinheit 131 berechnet hat (z. B. der Kameraorientierungsparameter, der berechnet wird, während das Fahrzeug, das mit der Bildverarbeitungsvorrichtung 110 ausgestattet ist, fährt (sich bewegt)), dynamisch zu berechnen. Der Bereich, der berechnet wird, kann, während er nicht auf das Folgende beschränkt ist, z. B. einem Bereich einer realen Entfernung, der in das erfasste Bild abgebildet ist, entsprechen, dem Bereich der realen Entfernung, in dem ein naher Entfernungsbereich (ein Bereich einer relativ nahen Entfernung zur Kamera) und ein ferner Entfernungsbereich (ein Bereich einer von der Kamera relativ fernen Entfernung) eingestellt sind, um Speicherbetriebsmittel zu verteilen. Das berechnete Bild kann außerdem jeweils durch die erste Bildverarbeitungseinheit 151 und die zweite Bildverarbeitungseinheit 152 verwendet werden, um das Bild oder den entsprechenden Abschnitt des Bilds zu verarbeiten.
Der Verarbeitungsbereich wird zugewiesen, um den nahen Entfernungsbereich und den fernen Entfernungsbereich auf der Grundlage der realen Entfernung und des Sichtwinkels des Sensors z. B. wie folgt einzustellen. Auf der Grundlage eines vertikalen Sichtfelds (z. B. 20 Grad) der Kamera und eines Standardkameraorientierungsparameters werden ein minimale Sichtentfernung und eine erwünschte maximale Sichtentfernung des Systems berechnet. Anschließend wird auf der Grundlage der minimalen Sichtentfernung und der maximalen Sichtentfernung, die jeweils berechnet wurden, ein Bereich im realen Entfernungsraum für den nahen Entfernungsbereich gesetzt. Wenn die abgedeckte reale Entfernung in der Bildebene abgebildet ist, wird der nahe Entfernungsbereich auf der Grundlage einer Menge von Bilddaten, die im entsprechenden Bereich enthalten ist, gesetzt. Die Menge der Bilddaten entspricht auch einer Datenmenge, die das System in Übereinstimmung mit einer Speichermenge (z. B. ein Pixel, das verwendet wird, um eine vorgegebene Höhe als eine vorgegebene Entfernung in einer Z-Achsenrichtung bei der minimale Sichtentfernung abzudecken) in der Bildverarbeitungsvorrichtung verwenden darf. Der ferne Entfernungsbereich wird derart eingestellt, dass er einen Bereich zwischen einem Ende des nahen Entfernungsbereichs und der maximalen Sichtentfernung abdeckt. Nachdem der Bereich der realen Entfernung gesetzt worden ist, können der nahe Entfernungsbereich und der ferne Entfernungsbereich jeweils in die Bildebene abgebildet werden, wenn sich die Kameraorientierung in Reaktion auf Änderungen der minimalen und der maximalen Sichtentfernung ändert. Gleichzeitig kann die Wirksamkeit jeweils des nahen Entfernungsbereichs und des fernen Entfernungsbereichs geschätzt werden. Zum Beispiel kann dann, wenn der Bereich der realen Entfernung, die vorgegeben ist, mit der aktuellen Kameraorientierung vom Sensor nicht sichtbar ist, der Bereich als ungültig gesetzt werden.
(Erste Bildverarbeitungseinheit)
Die erste Bildverarbeitungseinheit 151 besitzt eine Funktion, eine erwünschte Bildverarbeitung an einem (vorgegebenen) Bereich des Bilds, den die Bildaufnahmeeinheit 121 erfasst und verarbeitet hat, den die Verarbeitungsbereich-Zuweisungseinheit 141 berechnet hat und der von dem Bereich, der durch die zweite Bildverarbeitungseinheit 152 verarbeitet werden soll, verschieden ist, auszuführen.
Die erwünschte Bildverarbeitung kann, während sie nicht auf das Folgende beschränkt ist, die affine Transformation wie z. B. eine Vogelperspektivenbildtransformation auf der Grundlage einer Drehung, einer Skalierung, einer Scherung und des ebenen Bodens enthalten. In einem derartigen Fall kann eine geometrische Formel oder eine Transformationstabelle zuvor berechnet oder eingestellt werden. Im Falle der Vogelperspektivenbildtransformation ist die Menge der Bilddaten, die im (vorgegebenen) Bereich des Bilds verarbeitet wird und die einem bestimmten Bereich in einem tatsächlichen Raum vor dem Fahrzeug entspricht, z. B. die Menge der Bilddaten, die auf der Grundlage der realen Entfernung verarbeitet wird, kleiner als die Datenmenge, die vom nahen Entfernungsbereich erforderlich ist. Somit ist die erste Bildverarbeitungseinheit 151 optimiert, den fernen Entfernungsbereich zu verarbeiten, wobei die Optimierung speziell auf die Geschwindigkeit der Verarbeitung und/oder die Hardware angewendet werden kann.
(Zweite Bildverarbeitungseinheit)
Die zweite Bildverarbeitungseinheit 152 besitzt eine Funktion, eine erwünschte Bildverarbeitung an einem (vorgegebenen) Bereich des Bilds, den die Bildaufnahmeeinheit 121 erfasst und verarbeitet hat, den die Verarbeitungsbereich-Zuweisungseinheit 141 berechnet hat und der von dem Bereich, der durch die erste Bildverarbeitungseinheit 151 verarbeitet werden soll, verschieden ist, auszuführen.
Die erwünschte Bildverarbeitung kann, während sie nicht auf das Folgende beschränkt ist, die affine Transformation wie z. B. die Vogelperspektivenbildtransformation auf der Grundlage einer Drehung, Skalierung, Scherung und des ebenen Bodens enthalten. In einem derartigen Fall kann eine geometrische Formel oder eine Transformationstabelle zuvor berechnet oder eingestellt werden. Im Falle der Vogelperspektivenbildtransformation ist die Menge der Bilddaten die in dem (vorgegeben) Bereich des Bilds verarbeitet wird, der dem bestimmten Bereich im tatsächlichen Raum vor dem Fahrzeug entspricht, z. B. die Menge der Bilddaten, die auf der Grundlage der realen Entfernung verarbeitet wird, größer als die Datenmenge, die vom fernen Entfernungsbereich erforderlich ist. Somit ist die zweite Bildverarbeitungseinheit 152 optimiert, den nahen Entfernungsbereich zu verarbeiten, wobei die Optimierung auf den Speicherzugriff und die Datenverarbeitung (die eine dynamische Feineinstellung erfordert) angewendet kann werden.
(Zusammensetzungseinheit)
Die Zusammensetzungseinheit 161 besitzt eine Funktion, um auf der Grundlage von Ergebnissen der Bildverarbeitung der ersten Bildverarbeitungseinheit 151 und der Bildverarbeitung der zweiten Bildverarbeitungseinheit 152 ein zusammengesetztes Bild zu erstellen. In der Konfiguration der Bildverarbeitungsvorrichtung werden typische Eigenschaften (z. B. die Größe des Bilds, der Interessensbereich des Bilds) des zusammengesetzten Bilds als Ergebnis des oben Beschriebenen nicht durch einen oder mehr als zwei der Bereiche, die die Verarbeitungsbereich-Zuweisungseinheit 141 berechnet hat und die dynamisch geändert werden, beeinflusst. Mit anderen Worten gibt, z. B. mit der Bildverarbeitungsvorrichtung die die Konfiguration aufweist, in der „500“ für ein 500 Pixel-Bild, das die Bildberechnungseinheit 171 verarbeiten soll, ausgegeben werden soll, die Zusammensetzungseinheit 161 für das 500 Pixel-Bild immer „500“ aus, ungeachtet des Bereichs, der dynamisch gesetzt wurde. Dies ist darauf zurückzuführen, dass jede der ersten Bildverarbeitungseinheit 151 und der zweiten Bildverarbeitungseinheit 152 das Bild derart erzeugt hat, dass dann, wenn diese Bilder kombiniert werden, das kombinierte Bild dieselbe Größe aufweist wie das vorgegebenen Bild, das ausgegeben werden soll (in diesem Beispiel ein 500 × 500 Pixel-Bild). Somit wird erwartet, dass die Bilder, die durch die erste Bildverarbeitungseinheit 151 und die zweite Bildverarbeitungseinheit 152 erzeugt werden, perfekt passen, um das zusammengesetzte Bild zu sein. Der oben beschriebene Fall gilt auch, wenn auf der Grundlage des Bereichs, den die Verarbeitungsbereich-Zuweisungseinheit 141 berechnet hat, lediglich entweder das Bild, das die erste Bildverarbeitungseinheit 151 erzeugt hat, oder das Bild, das die zweite Bildverarbeitungseinheit 152 erzeugt hat, verwendet wird.
3 veranschaulicht ein Beispiel der Ausgabe. In 3 werden die Bilder CT21 und CT22 in verschiedenen Zeiträumen erfasst und können verschiedene berechnete Bereiche aufweisen. Wenn die Bilder CT21 und CT22 der Vogelperspektivenbildtransformation unterworfen wurden, weisen ein zusammengesetztes Bild CT31 und ein zusammengesetztes Bild CT32 dieselben typischen Eigenschaften auf. Es ist festzuhalten, dass es selbst dann, wenn die typischen Eigenschaften der zusammengesetzten Bilder sich dynamisch ändern, noch möglich ist, die Zusammensetzung zu implementieren.
(Bildberechnungseinheit)
Die Bildberechnungseinheit 171 besitzt eine Funktion, um ein Differenzbild zu berechnen, das eine Inkonsistenz zwischen mindestens zwei der Bilder, die durch die Zusammensetzungseinheit 161 erstellt wurden, repräsentiert. Hier können, ohne auf das Folgende beschränkt zu sein, einige bekannte Verfahren, z. B. eine einfache Zwischenpixeldifferenzberechnung und eine filterbasierte Bilddifferenzberechnung angewendet werden, um eine Differenz der Bilder zu berechnen. Zum Beispiel veranschaulicht, wie in 3 veranschaulicht ist, ein Differenzbild CT4 Differenzdaten POD, die von einem Fußgänger PO auftreten, und Differenzdaten OBOD, die von einem vorgegebenen Objekt OBO auftreten. Das Differenzbild CT4 wird auf der Grundlage des zusammengesetzten Bilds CT31 (das einem vorhergehenden Zeitraum entspricht) und des zusammengesetzten Bilds CT32 (das einem aktuellen Zeitraum entspricht) berechnet. Das Differenzbild CT4 wird gleichzeitig unter Verwendung von Bewegungsdaten des Trägerfahrzeugs berechnet, um das Bild einzustellen/zu positionieren, bevor die Bilddifferenz berechnet wird.
(Hindernisdetektionseinheit)
Die Hindernisdetektionseinheit 181 besitzt, während sie nicht auf das Folgende beschränkt ist, eine Funktion, um unter Verwendung eines bekannten Gruppierungsverfahrens (z. B. eines K-Mittelwerte-Algorithmus) unter Berücksichtigung einer Entfernung zwischen Punkten (Pixeln) im Differenzbild, eine Gruppe von Differenzpixeln, die nahe beieinander liegen und jeweils ein Zielhindernis auf der Fahrbahn repräsentieren, zu erstellen; und die Hindernisdetektionseinheit 181 besitzt eine Funktion, um unter Bezugnahme auf das Bild, das die Bildaufnahmeeinheit 121 erfasst hat, sowie das Bild, das die Bildberechnungseinheit 171 berechnet hat, ein dreidimensionales Objekt, das im Bild erscheint, zu detektieren und eine Position des dreidimensionalen Objekts zu berechnen. Es ist festzuhalten, dass in dieser Beschreibung, ein „Detektieren eines Hindernisses“ einem Verarbeiten des Ausführens mindestens der folgenden Aufgaben entspricht: Detektieren eines Zielobjekts (einer Position des Zielobjekts im Raum des Bilds), Identifizieren des Zielobjekts (z. B. ein Personenkraftwagen/Fahrzeug, ein zweirädriges Fahrzeug, ein Fahrrad, ein Fußgänger oder ein Pfosten), Messen einer Entfernung vom Trägerfahrzeug zum Zielobjekt im dreidimensionalen Raum und Berechnen einer Geschwindigkeit des Zielobjekts.
(Steuerungsanwendungs-Verarbeitungseinheit)
Die Steuerungsanwendungs-Verarbeitungseinheit 191 besitzt eine Funktion, um eine Steuerungsanwendung zu bestimmen, die das Fahrzeug, das mit der Bildverarbeitungsvorrichtung 110 ausgestattet ist, in Übereinstimmung mit dem Hindernis, das die Hindernisdetektionseinheit 181 erkannt hat, durchführen soll.
In Beschreibungen unten wird unter Bezugnahme auf 4(a) und 4(b) die Bildverarbeitungsvorrichtung 110 als ein System zum Überwachen einer Fläche, die ein Fahrzeug V umgibt, angewendet. 4(a), 4(b) und 4(c) veranschaulichen jeweils dasselbe Szenario, wobei das Fahrzeug V bei einer normalen Durchquerungsbewegung (4(a)), bei einem Bremsvorgang (4(b)) und bei einem Beschleunigungsvorgang (4(c)) verschiedene Neigungswinkel in Bezug auf eine Fahrbahn R1 aufweist und sich die Kameraorientierungsparameter ändern. 4(a), 4(b) und 4(c) beschreiben jeweils die Kameraorientierungsparameter in Bezug auf eine optische Achse 12, wobei die Kameraorientierungsparameter lediglich als Nickwinkel (θ_A, θ_B, θ_C) bezeichnet werden. Alternativ ist es möglich, einen weiteren Kameraorientierungsparameter, der als der Gierwinkel oder der Rollwinkel bezeichnet wird, zu berücksichtigen, ohne die hier beschriebene Verarbeitung zu modifizieren. CT11, CT12 und CT13 veranschaulichen jeweils eine entsprechende Szene in dem Bild, das durch den Sensor als die Erfassungseinheit 111 erfasst wird. In CT11, CT12 und CT13 berechnet die Kameraorientierungsparameter-Berechnungseinheit 131 jeweils den Kameraorientierungsparameter in Bezug auf den entsprechenden Neigungswinkel. Dann berechnet auf der Grundlage der Kameraorientierungsparameter, die in CT11, CT12 und CT13 berechnet wurden, die Verarbeitungsbereich-Zuweisungseinheit 141 die entsprechenden Bereiche, die verarbeitet werden sollen, wie in IR1, IR2 und IR3 veranschaulicht ist.
Die Verarbeitungsbereich-Zuweisungseinheit 141 führt eine Berechnungsverarbeitung (auf der Grundlage des aktuellen Kameraorientierungsparameters) ungefähr wie folgt aus.
Zunächst verwendet die Verarbeitungsbereich-Zuweisungseinheit 141 die geometrische Formel, um Positionen im Bild zu berechnen, wobei die Positionen einer Startposition und einer Endposition des fernen Entfernungsbereichs (was einem proportionalen Verhältnis des Bereichs des Bilds entspricht) in der dreidimensionalen Ebene mit der Erfassungseinheit 111 (die am Fahrzeug V montiert ist) als ein Startpunkt entsprechen; und die Verarbeitungsbereich-Zuweisungseinheit 141 setzt eine Fläche, die die Startposition und die Endposition, die berechnet wurden, abdeckt, wobei die Fläche in einem wirksamen Bereich des Bilds, das die Bildaufnahmeeinheit 121 erfasst und verarbeitet hat, liegt, als den Bereich, der verarbeitet werden soll, um den fernen Entfernungsbereich zu erhalten. Wenn alle Flächen, die durch den fernen Entfernungsbereich, der wie oben beschrieben berechnet wurde, abgedeckt sind, nicht im wirksamen Bereich liegen, soll der entsprechende Bereich als ungültig markiert werden und somit nicht für die nachfolgenden Verarbeitungsschritte verwendet werden.
Anschließend verwendet die Verarbeitungsbereich-Zuweisungseinheit 141 die geometrische Formel, um Positionen im Bild zu berechnen, wobei die Positionen einer Startposition und einer Endposition des nahen Entfernungsbereichs (was einem proportionalen Verhältnis des Bereichs des Bilds entspricht) in der dreidimensionalen Ebene mit der Erfassungseinheit 111 (die am Fahrzeug V montiert ist) als Startpunkt entsprechen; und setzt die Verarbeitungsbereich-Zuweisungseinheit 141 eine Fläche, die die Startposition und die Endposition, die berechnet wurden, abdeckt, wobei die Fläche in dem wirksamen Bereich des Bilds, das die Bildaufnahmeeinheit 121 erfasst und verarbeitet hat, liegt, als den Bereich der verarbeitet werden soll, um den nahen Entfernungsbereich zu erhalten. Wenn alle Flächen, die durch den nahen Entfernungsbereich, der wie oben beschrieben berechnet wurde, abgedeckt sind, außerhalb des wirksamen Bereichs liegen, soll der entsprechende Bereich als ungültig markiert werden und somit nicht für nachfolgende Verarbeitungsschritte verwendet werden.
In jedem Fall, der unten beschrieben ist, bewegt sich das Fahrzeug V zur Kreuzung. im Falle von 4(a) besitzt das Fahrzeug V die Neigung in Bezug auf die Fahrbahn als eine Neutralstellung (z. B. eine Neigung von O Grad). In diesem Fall erfasst die Kameraorientierungsparameter-Berechnungseinheit 131 den Nickwinkel (θ_A), auf dessen Grundlage die Verarbeitungsbereich-Zuweisungseinheit 141 einen Bildbereich IR11, der dem fernen Entfernungsbereich geeignet und speziell entspricht, sowie einen Bildbereich IR12, der dem nahen Entfernungsbereich geeignet und speziell entspricht, berechnen soll. Anschließend verwendet die erste Bildverarbeitungseinheit 151 den Bildbereich IR11, um die Vogelperspektivenbildtransformation an jedem der Bereiche im Bild durchzuführen, während die Optimierung speziell auf die Geschwindigkeit der Verarbeitung und/oder die Hardware angewendet wird. Ferner verwendet die zweite Bildverarbeitungseinheit 152 den Bildbereich IR12, um die Vogelperspektivenbildtransformation an jedem der Bereiche im Bild durchzuführen, während die Optimierung auf den Speicherzugriff und die Datenverarbeitung angewendet wird. Dies ist darauf zurückzuführen, dass die Menge der Bilddaten; die unter Bezugnahme auf die reale Entfernung verarbeitet wird, größer ist als die Datenmenge, die vom fernen Entfernungsbereich erforderlich ist.
Im Falle von 4(b) weist das Fahrzeug V die Neigung in Bezug auf die Fahrbahn auf, wobei die Neigung durch den Bremsvorgang verursacht wird. In diesem Fall erfasst die Kameraorientierungsparameter-Berechnungseinheit 131 den Nickwinkel (θ_B), auf dessen Grundlage die Verarbeitungsbereich-Zuweisungseinheit 141 einen Bildbereich IR21, der dem fernen Entfernungsbereich geeignet und speziell entspricht, sowie einen Bildbereich IR22, der dem nahen Entfernungsbereich geeignet und speziell entspricht, berechnen soll. Aufgrund einer Änderung der Neigung des Fahrzeugs V sind, wie mit dem Nickwinkel (θ_B) beschrieben ist, Daten, die dem nahen Entfernungsbereich entsprechen, für die Erfassungseinheit 111 sichtbar. Unter diesen Umständen nimmt der Bildbereich IR22 (den die Verarbeitungsbereich-Zuweisungseinheit 141 berechnet hat) dynamisch zu und muss somit verarbeitet werden, um das aktuelle Szenario abzudecken. Anschließend verwendet die erste Bildverarbeitungseinheit 151 den Bildbereich IR21, um die Vogelperspektivenbildtransformation an jedem der Bereiche im Bild durchzuführen, während die Optimierung speziell auf die Geschwindigkeit der Verarbeitung und/oder die Hardware angewendet wird. Ferner verwendet die zweite Bildverarbeitungseinheit 152 den Bildbereich IR22, um die Vogelperspektivenbildtransformation an jedem der Bereiche im Bild durchzuführen, während die Optimierung auf den Speicherzugriff und die Datenverarbeitung angewendet wird. Dies ist darauf zurückzuführen, dass die Menge der Bilddaten, die unter Bezugnahme auf die reale Entfernung verarbeitet wird, größer ist als die Datenmenge, die vom fernen Entfernungsbereich erforderlich ist.
Im Falle von 4(c) besitzt das Fahrzeug V die Neigung in Bezug auf die Fahrbahn, wobei die Neigung durch den Beschleunigungsvorgang verursacht wird. In diesem Fall erfasst die Kameraorientierungsparameter-Berechnungseinheit 131 den Nickwinkel (θ_C), auf dessen Grundlage die Verarbeitungsbereich-Zuweisungseinheit 141 einen Bildbereich IR31, der dem fernen Entfernungsbereich geeignet und speziell entspricht, berechnen soll. Aufgrund einer Änderung der Neigung des Fahrzeugs V sind, wie mit dem Nickwinkel (θ_C) beschrieben ist, die Daten, die dem nahen Entfernungsbereich entsprechen, für die Erfassungseinheit 111 nicht sichtbar. Unter diesen Umständen nimmt der Bildbereich IR31 (den die Verarbeitungsbereich-Zuweisungseinheit 141 berechnet hat) dynamisch zu und wird die Position aktualisiert. Der Bereich, der dem nahen Entfernungsbereich entspricht, wird auch berechnet; jedoch liegen in diesem Fall alle Flächen, die durch den nahen Entfernungsbereich, der berechnet wurde, abgedeckt sind, außerhalb des wirksamen Bereichs des Bilds und ist somit der Bereich als ungültig markiert und soll nicht zur weiteren Verarbeitung verwendet werden. Anschließend verwendet die erste Bildverarbeitungseinheit 151 den Bildbereich IR31, um die Vogelperspektivenbildtransformation an jedem der Bereiche im Bild durchzuführen, während die Optimierung speziell auf die Geschwindigkeit der Verarbeitung und/oder die Hardware angewendet wird. In diesem bestimmten Fall soll die zweite Bildverarbeitungseinheit 152 keine weitere Verarbeitung durchführen.
In allen oben beschriebenen Fällen erstellt die Zusammensetzungseinheit 161 das (endgültige) zusammengesetzte Bild auf der Grundlage der Ergebnisse der Bildverarbeitung der ersten Bildverarbeitungseinheit 151 und der zweiten Bildverarbeitungseinheit 152. Anschließend verwendet die Bildberechnungseinheit 171 das zusammengesetzte Bild, um das Differenzbild zu berechnen. Dann detektiert auf der Grundlage des Differenzbilds, das die Bildberechnungseinheit 171 berechnet hat, die Hindernisdetektionseinheit 181 das Hindernis. Schließlich verwendet die Steuerungsanwendungs-Verarbeitungseinheit 191 das oben beschriebene Ergebnis, um eine Steuerungsanwendung zu bestimmen, die das Fahrzeug V ausführen soll.
Wie oben beschrieben wurde, enthält eine Bildverarbeitungsvorrichtung 110 gemäß dieser Ausführungsform, die in 1 veranschaulicht ist, wobei die Bildverarbeitungsvorrichtung 110 konfiguriert ist, ein Hindernis zu detektieren und das Hindernis zu erkennen, Folgendes:

eine Erfassungseinheit 111, die konfiguriert ist, ein Bild einer Szene vor einer Vorrichtung, die mit der Bildverarbeitungsvorrichtung 110 ausgestattet ist, zu erfassen;
eine Bildaufnahmeeinheit 121, die konfiguriert ist, das Bild, das die Erfassungseinheit 111 erfasst hat, zu verarbeiten, und konfiguriert ist, Eigenschaften (die, während sie nicht auf das Folgende beschränkt sind, eine Größe des Bilds, die Auflösung des Bilds und einen Bereich von Interesse des Bilds enthalten) einzustellen;
eine Kameraorientierungsparameter-Berechnungseinheit 131, die konfiguriert ist, einige oder alle Kameraorientierungsparameter, die jeweils durch einen Nickwinkel (eine Drehung einer horizontalen Achse) einer Kamera, einen Rollwinkel (eine Drehung einer Längsachse) der Kamera und einen Gierwinkel (eine Drehung einer vertikalen Achse) der Kamera definiert sind, zu berechnen;
eine Verarbeitungsbereich-Zuweisungseinheit 141, die konfiguriert ist, auf der Grundlage einiger oder aller der Kameraorientierungsparameter, die die Kameraorientierungsparameter-Berechnungseinheit 131 berechnet hat, zwei Bereiche in dem Bild, das die Bildaufnahmeeinheit 121 erfasst hat, zu berechnen, wobei einer der zwei Bereiche durch eine erste Bildverarbeitungseinheit 151 verarbeitet werden soll, ein weiterer der zwei Bereiche durch eine zweite Bildverarbeitungseinheit 152 verarbeitet werden soll und der eine und der weitere der zwei Bereiche voneinander verschieden sind;
die erste Bildverarbeitungseinheit 151, die konfiguriert ist, auf der Grundlage des einen der zwei Bereiche, die die Verarbeitungsbereich-Zuweisungseinheit 141 berechnet hat und der von dem weiteren der zwei Bereiche, die durch die zweite Bildverarbeitungseinheit 152 verarbeitet werden sollen, verschieden ist, eine vorgegebene Bildverarbeitung (z. B. eine geometrische Bildtransformation) an dem Bild, das die Bildaufnahmeeinheit 121 erfasst und verarbeitet hat, auszuführen;
die zweite Bildverarbeitungseinheit 152, die konfiguriert ist, auf der Grundlage des weiteren der zwei Bereiche, die die Verarbeitungsbereich-Zuweisungseinheit 141 berechnet hat, der von dem einen der zwei Bereiche, die durch die erste Bildverarbeitungseinheit 151 verarbeitet werden sollen, verschieden ist, eine vorgegebene Bildverarbeitung (z. B. eine geometrische Bildtransformation) an dem Bild, das die Bildaufnahmeeinheit 121 erfasst und verarbeitet hat, auszuführen;
eine Zusammensetzungseinheit 161, die konfiguriert ist, die zwei Bilder in ein einzelnes Bild zusammenzusetzen, wobei an jedem der zwei Bilder die erste Bildverarbeitungseinheit 151 oder die zweite Bildverarbeitungseinheit 152 die Bildverarbeitung ausgeführt hat;
eine Bildberechnungseinheit 171, die konfiguriert ist, ein erwünschtes Bild zu berechnen (das, während es nicht auf das Folgende beschränkt ist, ein Differenzbild enthält, das eine Differenz zwischen mindestens zwei Bildern, die durch die Zusammensetzungseinheit 161erstellt wurden, repräsentiert), wobei das erwünschte Bild in eine Hindernisdetektionseinheit 181 eingegeben werden soll;
die Hindernisdetektionseinheit 181, die konfiguriert ist, das Bild, das die Bildaufnahmeeinheit 121 erfasst hat, und das erwünschte Bild, das die Bildberechnungseinheit 171 berechnet hat, zu verwenden, um ein Objekt zu detektieren und das Objekt zu erkennen; und
eine Steuerungsanwendungs-Verarbeitungseinheit 191, die konfiguriert ist, auf der Grundlage eines aktuellen Zustands, der mindestens eine Ausgabe von der Hindernisdetektionseinheit 181 enthält, eine Steuerungsanwendung zu bestimmen, die die Vorrichtung, die mit der Bildverarbeitungsvorrichtung 110 ausgestattet ist, ausführen soll.

Mit anderen Worten, die Bildverarbeitungsvorrichtung 110 gemäß dieser Ausführungsform enthält Folgendes: die erste Bildverarbeitungseinheit 151, die konfiguriert ist, die Bildverarbeitung (z. B. eine Vogelperspektivenbildtransformation) an einem ersten Abschnitt (z. B. einem fernen Entfernungsbereich) als mindestens ein Abschnitt des Bilds, das durch die Kamera aufgenommen wurde, durchzuführen; die zweite Bildverarbeitungseinheit 152, die konfiguriert ist, dann, wenn der erste Abschnitt dem Abschnitt des Bilds entspricht, die Bildverarbeitung (z. B. die Vogelperspektivenbildtransformation) an einem zweiten Abschnitt (z. B. einem nahen Entfernungsbereich) des Bilds durchzuführen, wobei der zweite Abschnitt ein vom ersten Abschnitt verschiedener Abschnitt ist; und die Verarbeitungsbereich-Zuweisungseinheit 141, die konfiguriert ist, in Übereinstimmung mit einigen oder allen Kameraorientierungsparametern ein proportionales Verhältnis zwischen dem einen der zwei Bereiche des Bilds, der zur ersten Bildverarbeitungseinheit 151 gesendet werden soll, und dem weiteren der zwei Bereiche des Bilds, der zur zweiten Bildverarbeitungseinheit 152 gesendet werden soll, zu bestimmen.
Mit der oben beschriebenen Konfiguration stellt die Bildverarbeitungsvorrichtung 110 das proportionale Verhältnis zwischen dem einen der zwei Bereiche des Bilds, der durch die erste Bildverarbeitungseinheit 151 verarbeitet werden soll, und dem weiteren der zwei Bereiche des Bilds, der durch die zweite Bildverarbeitungseinheit 152 verarbeitet werden soll, dynamisch ein, wobei auf der Grundlage einiger oder aller der Kameraorientierungsparameter, die die Kameraorientierungsparameter-Berechnungseinheit 131 berechnet hat, die erste Bildverarbeitungseinheit 151 optimiert ist, Daten für den fernen Entfernungsbereich zu verarbeiten, und die zweite Bildverarbeitungseinheit 152 optimiert ist, Daten für den nahen Entfernungsbereich zu verarbeiten, um eine Menge von Speicherbetriebsmitteln, die zum Zweck der Bildverarbeitung verwendet werden, zu verteilen. Entsprechend wird selbst bei einer Änderung der Umgebungsbedingungen, unter denen sich die Vorrichtung, die mit der Bildverarbeitungsvorrichtung 110 ausgestattet ist, bewegt (fährt), die Genauigkeit der Detektion des Objekts und die Genauigkeit der Identifizierung einer Position des Objekts (die jeweils durch die Hindernisdetektionseinheit 181 ausgeführt werden) beibehalten.
Die vorhergehenden Beschreibung betrifft eine Konfiguration und einen Betrieb einer Bildverarbeitungsvorrichtung 110 gemäß dieser Ausführungsform, wobei die Bildverarbeitungsvorrichtung 110 konfiguriert ist, ein Hindernis zu detektieren und zu erkennen. Die Bildverarbeitungsvorrichtung 110 gemäß dieser Ausführungsform ist konfiguriert, insbesondere in einem Kreuzungsszenario, das eine Detektion eines Objekts in einer nahen Entfernung erfordert, zu verursachen, dass eine Verarbeitungseinheit oder eine von zwei Verarbeitungseinheiten eine Verarbeitung eines Bilds getrennt ausführt, und ist gleichzeitig konfiguriert, einen externen Faktor, z. B. einen Sensororientierungsparameter, der in Echtzeit auf der Grundlage einer Durchquerungsumgebung berechnet wird, zu verwenden, um einen Bereich und/oder eine Größe des Bilds, die die eine Verarbeitungseinheit oder die eine von zwei Verarbeitungseinheiten verarbeitet hat, dynamisch einzustellen. Mit dieser Konfiguration behält die Bildverarbeitungsvorrichtung 110 eine Genauigkeit der Detektion des Objekts und eine Genauigkeit bei der Berechnung einer Entfernung zu dem Objekt, das detektiert wird, bei, während eine Menge eines Zeilenspeichers, die in einer Hardware des Systems verwendet wird, verringert wird.
Oben wurde eine gegenwärtig bevorzugte Ausführungsform der vorliegenden Erfindung beschrieben, jedoch können verschiedene Änderungen und Abwandlungen an der gegenwärtig bevorzugten Ausführungsform vorgenommen werden; und sind der wahre Gedanke und der Umfang der vorliegenden Erfindung durch die beigefügten Ansprüche definiert und sollen alle Änderungen und Abwandlungen in den Bedeutungen und Umfängen, die den beigefügten Ansprüchen entsprechen, umfassen.
Die vorliegende Erfindung ist nicht auf die vorhergehende Ausführungsform beschränkt und verschiedene Abwandlungen können enthalten sein. Zum Beispiel soll die genaue Beschreibung jeder der Konfigurationen in der vorhergehenden Ausführungsform zur Vereinfachung der Beschreibung der vorliegenden Erfindung in jeder Hinsicht als lediglich veranschaulichend betrachtet werden und ist somit nicht einschränkend.
Komponenten, Funktionen, Verarbeitungseinheiten, Verarbeitungsmittel oder Sonstiges in der vorhergehenden Ausführungsform können jeweils teilweise oder vollständig in ein Hardware-System wie z. B. einen Entwurf einer integrierten Schaltung aufgenommen werden. Ferner können die Komponenten, die Funktionen oder Sonstiges jeweils in ein Software-System aufgenommen werden, wobei ein Prozessor ein Programm hinsichtlich jeder der Funktionen interpretiert und ausführt. Informationen, die jede der Funktionen angeben, wie z. B. das Programm, eine Tabelle oder eine Datei können in einer Speichervorrichtung wie z. B. einem Arbeitsspeicher, einer Festplatte oder einem Festkörperlaufwerk (einem SSD) gespeichert sein. Die Informationen können alternativ in einem Speichermedium wie z. B. einer IC-Karte, einer SD-Karte oder einem DVD gespeichert sein.
Ferner werden jeweils eine Steuerungsleitung und eine Datenleitung als für Beschreibungszwecke nötig erachtet und repräsentieren somit nicht alle Steuerungsleitungen oder Datenleitungen des Produkts. Praktisch versteht sich, dass im Wesentlichen alle Komponenten miteinander verbunden sind.
Bezugszeichenliste

110: Bildverarbeitungsvorrichtung
111: Erfassungseinheit
121: Bildaufnahmeeinheit
131: Kameraorientierungsparameter-Berechnungseinheit
141: Verarbeitungsbereich-Zuweisungseinheit
151: Erste Bildverarbeitungseinheit
152: Zweite Bildverarbeitungseinheit
161: Zusammensetzungseinheit
171: Bildberechnungseinheit
181: Hindernisdetektionseinheit
191: Steuerungsanwendungs-Verarbeitungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018170557 A [0005]

Claims

Bildverarbeitungsvorrichtung, die Folgendes umfasst: eine erste Bildverarbeitungseinheit, die konfiguriert ist, eine Bildverarbeitung eines ersten Abschnitts als mindestens ein Abschnitt eines Bilds, das durch eine Kamera aufgenommen wurde, durchzuführen; eine zweite Bildverarbeitungseinheit, die konfiguriert ist, dann, wenn der erste Abschnitt dem Abschnitt des Bilds entspricht, eine Bildverarbeitung eines zweiten Abschnitts des Bilds durchzuführen, wobei der zweite Abschnitt ein vom ersten Abschnitt verschiedener Abschnitt ist; und eine Verarbeitungsbereich-Zuweisungseinheit, die konfiguriert ist, in Übereinstimmung mit einem Kameraorientierungsparameter ein proportionales Verhältnis zwischen einem Bereich des Bilds, der zur ersten Bildverarbeitungseinheit gesendet werden soll, und einem Bereich des Bilds, der zur zweiten Bildverarbeitungseinheit gesendet werden soll, zu bestimmen.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der erste Abschnitt des Bilds einem fernen Entfernungsbereich entspricht, der relativ weit von der Kamera entfernt ist, und der zweite Abschnitt des Bilds einem nahen Entfernungsbereich entspricht, der relativ nahe bei der Kamera ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei jede der Bildverarbeitung, die die erste Bildverarbeitungseinheit durchführt, und der Bildverarbeitung, die die zweite Bildverarbeitungseinheit durchführt, einer Vogelperspektivenbildtransformation entspricht.
Bildverarbeitungsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Zusammensetzungseinheit, die konfiguriert ist, auf der Grundlage eines Ergebnisses der Bildverarbeitung der ersten Bildverarbeitungseinheit und eines Ergebnisses der Bildverarbeitung der zweiten Bildverarbeitungseinheit ein zusammengesetztes Bild zu erstellen; und eine Bildberechnungseinheit, die konfiguriert ist, ein Differenzbild zu berechnen, das eine Inkonsistenz zwischen mindestens zwei zusammengesetzten Bildern, die durch die Zusammensetzungseinheit erstellt wurden, darstellt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Verarbeitungsbereich-Zuweisungseinheit in Übereinstimmung mit dem Kameraorientierungsparameter, der während einer Bewegung eines Fahrzeugs, das mit der Kamera ausgestattet ist, berechnet wird, das proportionale Verhältnis zwischen dem Bereich des Bilds, der zur ersten Bildverarbeitungseinheit gesendet werden soll, und dem Bereich des Bilds, der zur zweiten Bildverarbeitungseinheit gesendet werden soll, dynamisch bestimmt.