DE102020127278B4

DE102020127278B4 - Around-View-Synthese-System und -Verfahren

Info

Publication number: DE102020127278B4
Application number: DE102020127278.2A
Authority: DE
Inventors: Yeo Min YUN
Original assignee: Hyundai Mobis Co Ltd
Current assignee: Hyundai Mobis Co Ltd
Priority date: 2020-01-16
Filing date: 2020-10-16
Publication date: 2022-02-10
Anticipated expiration: 2040-10-17
Also published as: CN113139897B; US11625847B2; CN113139897A; KR102281609B1; DE102020127278A1; US20210225024A1; KR20210092605A

Abstract

Around-View-Synthese-System mit:mehreren Kameras (10), die jeweils an einem Fahrzeug (V) angebracht sind, um die jeweiligen unterschiedlichen Bereiche um das Fahrzeug (V) herum zu erfassen; einer Grenzfestlegungseinheit (30), die eine Synthesegrenze (B) von Bildern festlegt, die in einem Überlappungsbereich (S) aufgenommen werden, in dem sich durch die mehreren Kameras (10) aufgenommene Bilder überlappen; undeinem Bild-Synthesizer (40), der die von den mehreren Kameras (10) aufgenommenen Bilder empfängt und die empfangenen Bilder entsprechend der durch die Grenzfestlegungseinheit (30) festgelegten Synthesegrenze (B) synthetisiert, wobei die Grenzfestlegungseinheit (30) ein Hindernis (O) in dem Überlappungsbereich (S) detektiert und die Synthesegrenze (B) basierend auf dem Detektionszustand des Hindernisses (O) festlegt,dadurch gekennzeichnet,dass die Grenzfestlegungseinheit (30) eine obere Schicht unter den von den mehreren Kameras (10) aufgenommenen Bildern festlegt, die sich im Überlappungsbereich (S) überlappen, und eine Synthesegrenze (B) für ein als obere Schicht festgelegtes Bild basierend auf dem Detektionszustand des Hindernisses (O) festlegt.

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Around-View-Synthese-System und -Verfahren (Rundumsicht-Synthese-System und -Verfahren) und insbesondere ein System und Verfahren zum Erzeugen einer Rundumsicht eines Fahrzeugs durch Synthetisierung mehrerer Bilder.
Beschreibung des Standes der Technik
In jüngster Zeit ist zugunsten des Fahrerkomforts die Entwicklung und Kommerzialisierung eines intelligenten Fahrzeugs angelaufen. Das intelligente Fahrzeug enthält insbesondere ein Around-View-Monitor-(AVM)-System, das um ein Fahrzeug herum aufgenommene Bilder liefert, und ein Blind-Spot-View-Monitor-(BVM)-System, das ein Bild einer hinteren Seite des Fahrzeugs anzeigt.
Das Around-View-Monitor-System ist insbesondere ein System, das die von den vorderen, hinteren, linken und rechten Kameras des Fahrzeugs aufgenommenen Bilder synthetisiert und als ein Bild anzeigt.
Da das Around-View-Monitor-System jedoch ein Synthesebild liefert, das durch Synthetisierung von durch vordere, hintere, linke und rechte Kameras erhaltenen Bildern erhalten wird, wird ein toter Winkel in einem Grenzbereich zwischen jedem Bild in dem Synthesebild aufgrund eines Blickwinkelunterschieds jeder Kamera erzeugt. Wenn im toten Winkel ein Hindernis vorliegt, kann das Hindernis nicht auf dem synthetisierten Bild auftreten oder kann nur in je einem Bild auftreten.
Das heißt, dass bei dem Around-View-Monitor-System das Problem besteht, dass ein Hindernis an der Synthesegrenze jedes Bildes doppelt sichtbar oder nicht sichtbar ist, wodurch sich die Zuverlässigkeit des Around-View-Monitor-Systems verschlechtert, so dass es aus Stabilitätsgründen schwierig ist, das Blind-Spot-View-Monitor-System zu ersetzen.
Die als einschlägiger Stand der Technik beschriebenen Sachverhalte dienen nur dem Zweck, das Verständniss des Hintergrunds der vorliegenden Erfindung zu verbessern, und sollten nicht so verstanden werden, dass sie dem zugehörigen Stand der Technik entsprechen, der Fachleuten bereits bekannt ist.
Dokumente des zugehörigen Standes der Technik
(Patentdokument 1) Koreanisches Patent Nr. KR 10-1729486 B1
DE 10 2011 088 332 A1 offenbart ein Around-View-Synthese-System mit den Merkmalen des Oberbegriffs des Anspruchs 1. Weitere derartige Systeme sind auch aus DE 10 2009 036 200 A1 und JP 2007-89 081 A bekannt.
Überblick über die Erfindung
Dementsprechend wurde die vorliegende Erfindung unter Berücksichtigung der im Stand der Technik auftretenden vorstehenden Probleme gemacht und eine Aufgabe der vorliegenden Erfindung ist, ein System und Verfahren zum Erzeugen einer Rundumsicht eines Fahrzeugs durch Variieren von Grenzen zwischen mehreren zu synthetisierenden Bildern bereitzustellen.
Zur Lösung der vorstehenden Aufgabe weist ein Around-View-Synthese-System nach der vorliegenden Erfindung Folgendes auf: mehrere Kameras, die jeweils an einem Fahrzeug angebracht sind, um die jeweiligen unterschiedlichen Bereiche um das Fahrzeug herum zu erfassen; eine Grenzfestlegungseinheit, die eine Synthesegrenze von Bildern festlegt, die in einem Überlappungsbereich aufgenommen werden, in dem sich durch die mehreren Kameras aufgenommene Bilder überlappen; und einen Bild-Synthesizer, der die von den mehreren Kameras aufgenommenen Bilder empfängt und die empfangenen Bilder entsprechend der durch die Grenzfestlegungseinheit festgelegten Synthesegrenze synthetisiert.
Die mehreren Kameras können aufweisen: eine erste Kamera, die einen vorderen Bereich des Fahrzeugs erfasst; eine zweite Kamera, die einen hinteren Bereich des Fahrzeugs erfasst; eine dritte Kamera, die eine linke Seite des Fahrzeugs erfasst; und eine vierte Kamera, die eine rechte Seite des Fahrzeugs erfasst.
Die Grenzfestlegungseinheit detektiert ein Hindernis in dem Überlappungsbereich und legt die Synthesegrenze basierend auf dem Detektionszustand des Hindernisses fest.
Das System kann ferner einen Sensor aufweisen, der das Hindernis um das Fahrzeug herum detektiert, wobei die Grenzfestlegungseinheit das Hindernis in dem Überlappungsbereich unter Verwendung von Sensierinformationen, die von dem Sensor sensiert werden, oder unter Verwendung der Bilder detektiert, die von den mehreren Kameras aufgenommen werden.
Die Grenzfestlegungseinheit legt eine obere Schicht unter den von den mehreren Kameras aufgenommenen Bildern fest, die sich im Überlappungsbereich überlappen, und kann eine Synthesegrenze für ein als obere Schicht festgelegtes Bild basierend auf dem Detektionszustand des Hindernisses festlegen.
Wenn ein Hindernis nur in einem Bild der von den mehreren Kameras aufgenommenen Bildern detektiert wird, die sich in dem Überlappungsbereich überlappen, kann die Grenzfestlegungseinheit als die obere Schicht das Bild festlegen, in dem das Hindernis detektiert ist, und legt die Synthesegrenze des als die obere Schicht festgelegten Bildes derart fest, dass diese sich außerhalb des detektierten Hindernisses befindet; und der Bild-Synthesizer kann die obere Schicht und die untere Schicht unter den von den mehreren Kameras aufgenommenen Bildern synthetisieren.
Wenn das gleiche Hindernis in sämtlichen von den mehreren Kameras aufgenommenen Bildern detektiert wird, die sich in dem Überlappungsbereich überlappen, kann die Grenzfestlegungseinheit als eine obere Schicht ein Bild festlegen, das in einer eine Fahrtrichtung des Fahrzeugs kreuzenden Richtung aufgenommen wird, und kann eine Synthesegrenze des als die obere Schicht festgelegten Bildes derart festlegen, dass diese sich außerhalb des detektierten Hindernisses befindet; und der Bild-Synthesizer kann die obere Schicht und die untere Schicht unter den von den mehreren Kameras aufgenommenen Bildern synthetisieren.
Wenn nur ein Teil von Hindernissen, die in einem ersten Bild unter den von den mehreren Kameras aufgenommen Bildern, die sich in dem Überlappungsbereich überlappen, detektiert werden, in einem zweiten Bild detektiert wird, kann die Grenzfestlegungseinheit die Synthesegrenze derart festlegen, dass diese sich außerhalb eines Hindernisses befindet, das sich an einer äußersten Seite des in dem ersten Bild detektierten Hindernisses befindet.
Wenn voneinander verschiedene Hindernisse in den von den mehreren Kameras aufgenommenen Bildern, die sich in dem Überlappungsbereich überlappen, detektiert werden, kann die Grenzfestlegungseinheit die Synthesegrenze der Bilder derart festlegen, dass diese sich zwischen den voneinander verschiedenen Hindernissen befindet.
Der Bild-Synthesizer kann ein dreidimensionales Rundumsichtbild synthetisieren, das dem Fahrzeug an einem Sichtpunkt zugewandt ist, der eine Ebene höher liegt als eine Fahrzeugkarosserie des Fahrzeugs, und das System kann ferner eine Bildanzeige enthalten, die das von dem Bild-Synthesizer synthetisierte dreidimensionale Rundumsichtbild anzeigt.
Die Bildanzeige kann das Bild durch Erhöhen einer Transparenz des Fahrzeugs anzeigen, wenn sich das Hindernis mit dem Fahrzeug überlappt, um im dreidimensionalen Rundumsichtbild verborgen zu sein.
Zur Lösung der vorstehenden Aufgabe umfasst ein Around-View-Synthese-Verfahren nach der vorliegenden Erfindung folgende Schritte: Erfassen jeweils unterschiedlicher Bereiche um ein Fahrzeug herum durch mehrere Kameras, die jeweils an dem Fahrzeug angebracht sind; Festlegen einer Synthesegrenze von Bildern, die in einem Überlappungsbereich aufgenommen werden, in dem sich von den mehreren Kameras aufgenommene Bilder überlappen; und Synthetisieren der von den mehreren Kameras aufgenommenen Bilder entsprechend der festgelegten Synthesegrenze.
Vor dem Festlegen der Synthesegrenze umfasst das Verfahren ferner das Detektieren eines Hindernisses in dem Überlappungsbereich unter Verwendung von Sensierinformationen, die von einem Sensor sensiert werden, der das um das Fahrzeug herum befindliche Hindernis sensiert, oder unter Verwendung der Bilder, die von den mehreren Kameras aufgenommen werden, wobei beim Festlegen der Synthesegrenze eine Synthesegrenze basierend auf dem Detektionszustand des Hindernisses festgelegt wird.
Das Festlegen der Synthesegrenze kann das Detektieren der Position des Hindernisses und das Festlegen der Synthesegrenze basierend auf der detektierten Position des Hindernisses umfassen, wenn das Hindernis in dem Überlappungsbereich detektiert wird.
Das Festlegen der Synthesegrenze umfasst das Festlegen einer oberen Schicht unter den von den mehreren Kameras aufgenommenen Bildern, die sich in dem Überlappungsbereich überlappen, basierend auf dem Detektionszustand des Hindernisses sowie das Festlegen der Synthesegrenze des als die obere Schicht festgelegten Bildes.
Das Verfahren kann ferner das Synthetisieren eines dreidimensionale Rundumsichtbildes umfassen, das dem Fahrzeug an einem Sichtpunkt zugewandt ist, der eine Ebene höher liegt als eine Fahrzeugkarosserie des Fahrzeugs beim Synthetisieren der Bilder, sowie das Anzeigen des synthetisierten dreidimensionalen Rundumsichtbildes nach dem Synthetisieren der Bilder.
Das Anzeigen des Bildes kann das Anzeigen des Bildes durch Erhöhen einer Transparenz des Fahrzeugs umfassen, wenn sich das Hindernis mit dem Fahrzeug überlappt, um im dreidimensionalen Rundumsichtbild verborgen zu sein.
Gemäß dem Around-View-Synthese-System und -Verfahren der vorliegenden Erfindung wird verhindert, dass das um das Fahrzeug herum befindliche Hindernis doppelt sichtbar oder nicht sichtbar ist, wodurch die Zuverlässigkeit der Rundumsicht verbessert wird.
Zudem kann die synthetisierte Rundumsicht das Blind-Spot-Monitor-(BVM)-System des Fahrzeugs ersetzen, wodurch die Sichtbarkeit von an der hinteren Seite des Fahrzeugs befindlichen Hindernissen verbessert wird.
Figurenliste
Die oben aufgeführten und weiteren Aufgaben, Merkmale und weiteren Vorteile der vorliegenden Erfindung werden durch die nachfolgende detaillierte Beschreibung in Verbindung mit den zugehörigen Zeichnungen ersichtlicher, die Folgendes abbilden:

1 zeigt ein Blockdiagramm mit Darstellung eines Around-View-Synthese-Systems nach einer Ausführungsform der vorliegenden Erfindung;
2 zeigt eine Abbildung mit Darstellung eines synthetischen Modells nach einer Ausführungsform der vorliegenden Erfindung;
3A und 3B zeigen Abbildungen mit Darstellung eines Synthesemodells mit variierenden Synthesegrenzen nach einer Ausführungsform der vorliegenden Erfindung;
4 bis 7 zeigen Abbildungen mit Darstellung des Festlegens einer Synthesegrenze nach verschiedenen Ausführungsformen der vorliegenden Erfindung;
8 zeigt eine Abbildung mit Darstellung eines dreidimensionalen Rundumsichtbildes nach einer Ausführungsform der vorliegenden Erfindung; und
9 zeigt ein Flussdiagramm mit Darstellung eines Around-View-Synthese-Verfahrens nach einer Ausführungsform der vorliegenden Erfindung.

Detaillierte Beschreibung der Erfindung
Spezifische strukturelle bis hin zu funktionalen Beschreibungen nach den Ausführungsformen der hier offenbarten vorliegenden Erfindung sind lediglich zum Zwecke der Beschreibung der Ausführungsformen nach der vorliegenden Erfindung dargestellt und die Ausführungsformen nach der vorliegenden Erfindung können in unterschiedlichen Formen implementiert sein und sollten nicht als auf die vorliegend beschriebenen Ausführungsformen beschränkt ausgelegt werden.
Da die Ausführungsformen nach der vorliegenden Erfindung unterschiedlich modifiziert werden können und verschiedene Formen aufweisen können, werden spezifische Ausführungsformen in den Zeichnungen dargestellt und detailliert in der vorliegenden Spezifikation beschrieben. Damit ist jedoch nicht beabsichtigt, die Ausführungsformen nach dem Konzept der vorliegenden Erfindung auf eine bestimmte offenbarte Form zu beschränken, sondern sämtliche Änderungen, Äquivalente und Ersetzungen, die in der Idee und dem Umfang der vorliegenden Erfindung enthalten sind, sollten als dazugehörig angesehen werden.
Zwar können die Ausdrücke „erste/r/s“, „zweite/r/s“ zur Beschreibung verschiedener Elemente verwendet werden, jedoch sollten diese Elemente nicht durch diese Ausdrücke eingeschränkt werden. Diese Ausdrücke dienen ausschließlich der Unterscheidung eines Elements von anderen Elementen und somit kann beispielsweise das erste Element als ein zweites Element bezeichnet werden und das zweite Element kann als das erste Element bezeichnet werden, ohne den Umfang der Rechte gemäß dem erfinderischen Konzept zu verlassen.
Wenn ein Element, als „verbunden mit“ oder „gekoppelt mit“ einem anderen Element bezeichnet wird, kann es unmittelbar mit dem anderen Element verbunden oder gekoppelt sein und es kann ein anderes Element zwischengefügt sein. Wenn jedoch ein Element als „unmittelbar verbunden mit“ oder „unmittelbar gekoppelt mit“ bezeichnet wird, ist kein zwischengefügtes Element vorhanden. Andere Ausdrücke, welche die Beziehung zwischen Elementen beschreiben, sollten auf gleiche Weise interpretiert werden, z. B. „zwischen“ und „unmittelbar zwischen“ oder „angrenzend“ und „unmittelbar angrenzend“.
Die vorliegend verwendete Terminologie dient lediglich der Beschreibung bestimmter Ausführungsformen und ist nicht als die Erfindung einschränkend zu verstehen. Singularausdrücke umfassen auch Pluralausdrücke, sofern der Kontext nicht deutlich anderes angibt. Die Begriffe „aufweisen“ oder „umfassen“, wenn sie vorliegend verwendet werden, sollen das Vorhandensein eines Merkmals, einer Zahl, eins Schritts, einer Handlung, eines Elements, eines Teils oder Kombination derselben angeben und das Vorhandensein eines oder mehrerer anderer Merkmale oder Zahlen. Es wird davon ausgegangen, dass die vorliegende Erfindung die Möglichkeit oder das Hinzufügen von Schritten, Elemente, Teilen oder Kombinationen derselben nicht im Vorfeld ausschließt.
Sofern nicht anderweitig definiert, haben sämtliche vorliegend verwendete Begriffe, einschließlich technischer und wissenschaftlicher Begriffe, dieselbe Bedeutung, die sie für eine durchschnittliche Fachperson haben. Begriffe wie solche, die in allgemein verwendeten Wörterbüchern definiert sind, sind so zu interpretieren, dass sie Bedeutungen haben, die mit ihrer Bedeutungen im Kontext des zugehörigen Standes der Technik konsistent sind, und sind nicht in einem idealisierten oder übermäßig formellen Sinn zu interpretieren, es sei denn, dies ist vorliegend ausdrücklich so angegeben.
Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung detailliert unter Bezugnahme auf die zugehörigen Zeichnungen beschrieben. Gleiche Bezugszeichen in den Zeichnungen bezeichnen gleiche Elemente.
1 zeigt ein Blockdiagramm mit Darstellung eines Around-View-Synthese-Systems nach einer Ausführungsform der vorliegenden Erfindung; 2 zeigt eine Abbildung mit Darstellung eines synthetischen Modells nach einer Ausführungsform der vorliegenden Erfindung; und 3A und 3B zeigen Abbildungen mit Darstellung eines Synthesemodells mit variierenden Synthesegrenzen nach einer Ausführungsform der vorliegenden Erfindung.
Bezugnehmend auf 1 bis 3 weist ein Around-View-Synthese-System nach einer Ausführungsform der vorliegenden Erfindung Folgendes auf: mehrere Kameras 10, die jeweils an einem Fahrzeug V angebracht sind, um die jeweiligen unterschiedlichen Bereiche um das Fahrzeug V herum zu erfassen; eine Grenzfestlegungseinheit 30, die eine Synthesegrenze B von Bildern festlegt, die in einem Überlappungsbereich S aufgenommen werden, in dem sich durch die mehreren Kameras 10 aufgenommene Bilder überlappen; und einen Bild-Synthesizer 40, der die von den mehreren Kameras 10 aufgenommenen Bilder empfängt und die empfangenen Bilder entsprechend der durch die Grenzfestlegungseinheit 30 festgelegten Synthesegrenze B synthetisiert.
Die mehreren Kameras 10 können an dem Fahrzeug V angebracht sein, um die vorderen, linken, rechten und hinteren Bereiche des Fahrzeugs V zu erfassen. Die mehreren Kameras 10 können insbesondere jeweils an den vorderen, linken, rechten und hinteren Seiten des Fahrzeugs V positioniert sind, um den Umfangsbereich des Fahrzeugs V zu erfassen. Bilder, die von nah beieinander liegenden Kameras 10 aufgenommen werden, können einander teilweise überlappen.
Der Bild-Synthesizer 40 kann eine Rundumsicht durch Synthetisieren der von jeder der mehreren Kameras 10 aufgenommenen Bilder synthetisieren. Die von den mehreren Kameras 10 aufgenommenen Bilder können einander jedoch teilweise überlappen und die Bilder können entlang der Synthesegrenze B in dem Überlappungsbereich synthetisiert werden.
Nach dem Stand der Technik besteht das Problem, dass ein Hindernis O, das in dem Überlappungsbereich S positioniert ist, in der synthetisierten Rundumsicht nicht sichtbar ist oder doppelt sichtbar ist.
Die Grenzfestlegungseinheit 30 kann eine Synthesegrenze B festlegen, die von den benachbarten Kameras 10 in dem Überlappungsbereich S, in dem die von den mehreren Kameras 10 aufgenommenen Bilder sich gegenseitig überlappen, aufgenommenen Bilder synthetisieren.
Die Grenzfestlegungseinheit 30 und der Bild-Synthesizer 40 nach einer Ausführungsform der vorliegenden Erfindung können durch einen Permanentspeicher (nicht abgebildet) implementiert werden, der zum Speichern eines Algorithmus ausgebildet ist, welcher zum Steuern von Betätigungen unterschiedlicher Komponenten des Fahrzeugs V oder von Daten ausgebildet ist, die sich auf Softwareanweisungen zur Reproduktion des Algorithmus beziehen, und durch einen Prozessor (nicht abgebildet), der zum Durchführen von im Folgenden beschriebenen Betätigungen unter Verwendung der in dem Speicher gespeicherten Daten ausgebildet ist. Der Speicher und der Prozessor können vorliegend als separate Chips implementiert sein. Alternativ können der Speicher und der Prozessor miteinander integriert als ein einzelner Chip implementiert sein. Der Prozessor kann die Form eines oder mehrere Prozessoren annehmen.
Wie in den 2 und 3 gezeigt, kann das synthetische Modell nach einer Ausführungsform der vorliegenden Erfindung insbesondere eine dreidimensionale Halbkugel oder eine U-förmige Form sein. 2 und 3 zeigen Abbildungen mit Darstellung einer (zweidimensionalen) Draufsicht des Synthesemodells.
In dem 3D-Synthesemodell kann ein Überlappungsbereich S gebildet werden, in dem sich die von den mehreren Kameras 10 aufgenommenen Bilder gegenseitig überlappen. Die Synthesegrenze B kann in dem Überlappungsbereich S ausgebildet sein, so dass das untere Bild um das synthetisierte Fahrzeug V herum immer in dem Rundumsichtbild angezeigt werden kann.
Die Synthesegrenze B kann innerhalb des Überlappungsbereichs S variiert werden. Wie in den 3A bis 3B gezeigt, kann die Synthesegrenze B insbesondere innerhalb des Überlappungsbereichs S variiert werden.
Die mehreren Kameras 10 weisen insbesondere Folgendes auf: eine erste Kamera 11, die den vorderen Bereich des Fahrzeugs V erfasst; eine zweite Kamera 12, die den hinteren Bereich des Fahrzeugs V erfasst; eine dritte Kamera 13, welche die linke Seite des Fahrzeugs V erfasst; und eine vierte Kamera 14, welche die rechte Seite des Fahrzeugs V erfasst.
Die erste Kamera 11 befindet sich im vorderen Bereich des Fahrzeugs V, die zweite Kamera 12 befindet sich im hinteren Bereich des Fahrzeugs V, die dritte Kamera 13 befindet sich auf der linken Seite des Fahrzeugs V und die vierte Kamera 14 befindet sich auf der rechten Seite des Fahrzeugs V.
In der Grenzfestlegungseinheit 30 kann ein Hindernis O in dem Überlappungsbereich S detektiert werden und die Synthesegrenze B kann basierend auf dem Detektionszustand des Hindernisses O festgelegt werden.
Die Grenzfestlegungseinheit 30 kann den Überlappungsbereich S als einen interessierenden Bereich (ROI) festlegen und das in dem Überlappungsbereich S befindliche Hindernis O detektieren.
Die Grenzfestlegungseinheit 30 kann zudem eine Art des Hindernisses O erkennen, das sich in dem Überlappungsbereich S befindet, oder dergleichen und wenn die mehreren Hindernisse O detektiert werden, kann die Grenzfestlegungseinheit 30 identifizieren, ob die mehreren Hindernisse O gleich sind oder sich voneinander unterscheiden.
Das System nach einer Ausführungsform der vorliegenden Erfindung weist ferner einen Sensor 20 auf, der das um das Fahrzeug V herum befindliche Hindernis (O) detektiert, wobei die Grenzfestlegungseinheit 30 das Hindernis O in dem Überlappungsbereich S unter Verwendung der von dem Sensor 20 sensierten Informationen oder den von den mehreren Kameras 10 aufgenommenen Bildern detektiert.
Der Sensor 20 kann beispielsweise als ein auf der Stoßstange des Fahrzeugs V angebrachter Ultraschallsensor, als LIDAR oder als Radarsensor ausgebildet sein.
Die Grenzfestlegungseinheit 30 kann detektieren, ob sich das Hindernis O in dem Überlappungsbereich S des 3D-Synthesemodells befindet. Zudem kann das detektierte Hindernis O unter Verwendung von durch den Sensor 20 oder die mehreren Kameras 10 aufgenommenen Bildern detektiert werden. Hierbei kann eine Art eines Hindernisses O (Fahrzeug V, Fußgänger, Struktur, etc.) unter Verwendung von Deep Learning oder maschinellem Lernen durch künstliche Intelligenz detektiert werden.
Die Grenzfestlegungseinheit 30 kann ferner eine Positionskoordinate eines zweidimensionalen Synthesemodells in eine Positionskoordinate eines dreidimensionalen Synthesemodells in Bezug auf das detektierte Hindernis O umwandeln. Die Grenzfestlegungseinheit 30 kann die Synthesegrenze B basierend auf einer Position des dreidimensionalen Synthesemodells des Hindernisses O festlegen.
Wenn das Hindernis O nicht in dem Überlappungsbereich S detektiert wird, kann die Grenzfestlegungseinheit 30 die vorab festgelegte Synthesegrenze B so wie sie ist als die Synthesegrenze B verwenden.
Hierbei kann die Synthesegrenze B als eine Seitengrenze oder die andere Seitengrenze des Überlappungsbereichs S vorab festgelegt werden. Alternativ kann die vorab festgelegte Synthesegrenze B auf die Mitte des Überlappungsbereichs S vorab festgelegt werden.
Die Grenzfestlegungseinheit 30 kann die Position des Hindernisses O detektieren, wenn das Hindernis O in dem Überlappungsbereich S detektiert wird, und kann die Synthesegrenze B basierend auf der Position des Hindernisses O festlegen. Die Grenzfestlegungseinheit 30 kann insbesondere die vorbestimmte Synthesegrenze B basierend auf der Position des Hindernisses O bewegen, welches in dem Überlappungsbereich S detektiert wird.
4 bis 7 zeigen Abbildungen mit Darstellung des Festlegens einer Synthesegrenze nach verschiedenen Ausführungsformen der vorliegenden Erfindung.
Bezugnehmend auf 4 bis 7 legt die Grenzfestlegungseinheit 30 eine obere Schicht unter den von den mehreren Kameras 10 aufgenommenen Bildern, die sich in dem Überlappungsbereich S überlappen, basierend auf dem Detektionszustand des Hindernisses O fest und legt eine Synthesegrenze B des als die obere Schicht festgelegten Bildes fest.
Der Bild-Synthesizer 40 kann die mehreren Bilder derart synthetisieren, dass sie sich gegenseitig überlappen, wobei ein Bild von der Grenzfestlegungseinheit 30 als eine obere Schicht festgelegt wird und ein mit der oberen Schicht im Überlappungsbereich S überlappendes Bild als untere Schicht festgelegt wird.
Genauer gesagt, wie in 4 dargestellt, wird in der Grenzfestlegungseinheit 30, wenn das Hindernis O nur in einem der von den mehreren Kameras 10 aufgenommenen Bildern detektiert wird, die sich in dem Überlappungsbereich S überlappen, das Bild, für welches das Hindernis O detektiert wird, als eine obere Schicht festgelegt und die Synthesegrenze B des als die obere Schicht festgelegten Bildes wird derart festgelegt, dass diese sich außerhalb des detektierten Hindernisses O befindet. In dem Bild-Synthesizer 40 können die obere Schicht und die untere Schicht von durch die mehreren Kameras 10 aufgenommenen Bildern durch Alpha-Blending synthetisiert werden.
Hierbei bezeichnet das Alpha-Blending eine Technik, bei der ein Übertragungsbild durch Hinzufügen einer Variable α, die Transparenz repräsentiert, zu allgemeinen Bilddaten ausgedrückt wird und eine transluzente Rendering-Funktion sein kann.
Wie dargestellt, kann die Grenzfestlegungseinheit 30 das linke Bild als die obere Schicht festlegen, wenn das Hindernis O in dem linken Bild detektiert wird und das Hindernis O nicht in dem vorderen Bild detektiert wird. Die Grenzfestlegungseinheit 30 kann ferner die Synthesegrenze B des linken Bildes als die obere Schicht festlegen.
Der Bild-Synthesizer 40 kann eine Rundumsicht durch Synthetisieren des linksseitigen Bildes und des vorderen Bildes entsprechend der Synthesegrenze B des linksseitigen Bildes erzeugen, welche von der Grenzfestlegungseinheit 30 festgelegt wird.
Wie in 5 dargestellt, wird ferner in der Grenzfestlegungseinheit 30, wenn das gleiche Hindernis O in sämtlichen von den mehreren Kameras 10 aufgenommen Bildern detektiert wird, die sich in dem Überlappungsbereich S überlappen, ein Bild, das in der die Fahrtrichtung des Fahrzeugs V kreuzenden Richtung aufgenommenen wird, als die obere Schicht festgelegt und die Synthesegrenze B das als die obere Schicht festgelegten Bildes wird derart festgelegt, dass diese sich außerhalb des detektierten Hindernisses O befindet. Der Bild-Synthesizer 40 kann die obere Schicht und die untere Schicht von durch die mehreren Kameras 10 aufgenommenen Bildern durch Alpha-Blending synthetisieren.
Wie dargestellt, kann die Grenzfestlegungseinheit 30 das linke Bild als die obere Schicht festlegen, wenn das gleiche Hindernis O in dem linken Bild und dem vorderen Bild detektiert wird. Die Grenzfestlegungseinheit 30 kann ferner die Synthesegrenze B des als obere Schicht festgelegten linken Bildes bewegen.
Die Grenzfestlegungseinheit 30 kann insbesondere dem linksseitigen Bild oder dem rechtsseitigen Bild gegenüber dem vorderen Bild oder dem hinteren Bild Vorrang einräumen. Dementsprechend kann selbst dann, wenn sich das Fahrzeug V entlang der Fahrtrichtung bewegt, das Hindernis O in dem Bild, das in der die Fahrtrichtung des Fahrzeugs V kreuzenden Richtung aufgenommen wird, relativ lange detektiert werden.
Der Bild-Synthesizer 40 kann eine Rundumsicht durch Synthetisieren des linksseitigen Bildes und des vorderen Bildes entsprechend der Synthesegrenze B des linksseitigen Bildes synthetisieren, die von der Grenzfestlegungseinheit 30 festgelegt wird.
Wie in 6 dargestellt, kann ein Teil (Hindernis O2) der Hindernisse O1 und O2, der in dem ersten Bild unter den von den mehreren Kameras 10 aufgenommenen Bildern detektiert wird, die sich in dem Überlappungsbereich S überlappen, in dem zweiten Bild detektiert werden; die Grenzfestlegungseinheit 30 kann die Synthesegrenze B derart festlegen, dass diese sich außerhalb des Hindernisses O2 befindet, welches sich an der äußersten Seite des in dem ersten Bild detektierten Hindernisses O befindet.
Wie gezeigt, wird die Synthesegrenze B, wenn nur ein Teil der der in dem linken Bild detektierten Hindernisse O1 und O2 in dem vorderen Bild detektiert wird, derart festgelegt, dass diese sich außerhalb des Hindernisses O2 befindet, welches an der äußersten Seite der in dem linken Bild detektierten Hindernisse O1 und O2 positioniert ist. Das heißt, wenn die Person (O1) und das Fahrzeug V (O2) in dem linksseitigen Bild detektiert werden, kann die Synthesegrenze B außerhalb des Fahrzeugs (O2) festgelegt werden, das sich an der äußersten Seite befindet.
Hierbei kann die Grenzfestlegungseinheit 30 das Bild mit mehr Hindernissen O1 und I2 als eine obere Schicht festlegen. Das heißt, dass die Grenzfestlegungseinheit 30 das linke Bild als die obere Schicht festlegen kann und der Bild-Synthesizer 40 eine Rundumsicht durch Synthetisieren des linken Bildes und des vorderen Bildes erzeugen kann.
In diesem Fall können das linksseitige Bild und das vordere Bild jedoch derart synthetisiert werden, dass das als die obere Schicht festgelegte linksseitige Bild (das erste Bild) nach oben gerichtet ist, ohne Anwendung von Alpha-Blending.
Wie in 7 gezeigt, wenn voneinander verschiedene Hindernisse O1 und O2 in den von den mehreren Kameras 10 aufgenommenen Bildern detektiert werden, die sich in dem Überlappungsbereich S überlappen, kann in der Grenzfestlegungseinheit 30 die Synthesegrenze B des Bildes derart festgelegt werden, dass diese zwischen den Hindernissen O1 und O2 positioniert ist.
Wenn die Hindernisse O1 und O2 in dem ersten Bild und dem zweiten Bild detektiert werden, kann die Schichtreihenfolge des ersten Bildes und des zweiten Bildes unabhängig voneinander angewandt werden. In der Grenzfestlegungseinheit 30 können das erste Bild und das zweite Bild basierend auf der Synthesegrenze B ohne Anwendung von Alpha-Blending synthetisiert werden.
Die Grenzfestlegungseinheit 30 kann insbesondere eine Synthesegrenze B sowohl in dem ersten Bild als auch in dem zweiten Bild derart festlegen, dass das erste Bild und das zweite Bild sich nicht gegenseitig überlappen, und kann das erste Bild und das zweite Bild entlang der Synthesegrenze B synthetisieren.
8 zeigt eine Abbildung mit Darstellung eines dreidimensionalen Rundumsichtbildes nach einer Ausführungsform der vorliegenden Erfindung.
Bezugnehmend auf 8 kann der Bild-Synthesizer 40 eine dreidimensionale Rundumsicht synthetisieren, die dem Fahrzeug V an einem Sichtpunkt zugewandt ist, der höher liegt als eine Fahrzeugkarosserie des Fahrzeugs V.
Die dreidimensionale Rundumsicht kann ein Bild um das Fahrzeug V herum sein, das dem Fahrzeug V von der Außenseite des Fahrzeugs V zugewandt ist, und der Sichtpunkt kann höher gelegen sein als die Fahrzeugkarosserie des Fahrzeugs V, um das Einschätzen des Abstands zwischen dem Hindernis O und dem Fahrzeug V zu verbessern.
Insbesondere bei einem Blind-Spot-View-Monitor-(BMV)-System nach dem zugehörigen Stand der Technik ist es für den Fahrer schwierig, den Abstand zwischen dem Fahrzeug V und dem Hindernis O, welches um das Fahrzeug V herum positioniert ist, einzuschätzen, da sich der Sichtpunkt auf einer niedrigeren Ebene als die Fahrzeugkarosserie befindet. Zur Lösung dieses Problems kann die dreidimensionale Rundumsicht derart bereitgestellt werden, dass sich der Sichtpunkt eine Ebene höher als die Fahrzeugkarosserie befindet.
Das System nach einer Ausführungsform der vorliegenden Erfindung weist ferner eine Bildanzeige 50 auf, die ein von dem Bild-Synthesizer 40 synthetisiertes dreidimensionales Rundumsichtbild anzeigt.
Die Bildanzeige 50 kann eine Anzeigevorrichtung sein, die dem Fahrer ein von dem Bild-Synthesizer 40 synthetisiertes dreidimensionales Rundumsichtbild anzeigt.
Die Bildanzeige 50 kann dem Fahrer automatisch das synthetisierte dreidimensionale Rundumsichtbild anzeigen, wenn der Richtungsindikator durch Betätigung des Fahrers eingeschaltet wird oder wenn das Hindernis O entsprechend den von den mehreren Kameras 10 aufgenommenen Bildern oder den Sensierinformationen der Sensoren 20 detektiert wird.
Wenn sich das Hindernis O mit dem Fahrzeug V überlappt, um in der dreidimensionalen Rundumsicht verborgen zu sein, kann die Bildanzeige 50 das Bild durch Erhöhen der Transparenz des Fahrzeugs V anzeigen.
Das heißt, wenn das Hindernis O aus der Sicht des dreidimensionalen Rundumsichtbildes hinter dem Fahrzeug V positioniert ist, so dass sich das Hindernis O mit dem Fahrzeug V überlappt, um verborgen zu sein, kann die Fahrzeugkarosserie des Fahrzeugs V transluzent angezeigt werden. Dementsprechend kann verhindert werden, dass die Anzeige des Hindernisses O in der dreidimensionalen Rundumsicht gestört wird.
9 zeigt ein Flussdiagramm mit Darstellung eines Around-View-Synthese-Verfahrens nach einer Ausführungsform der vorliegenden Erfindung.
Bezugnehmend auf 9 umfasst ein Around-View-Synthese-Verfahren nach einer Ausführungsform der vorliegenden Erfindung Folgendes: Erfassen jeweils unterschiedlicher Bereiche um ein Fahrzeug V herum durch mehrere Kameras 10, die jeweils an dem Fahrzeug V angebracht sind (S100); Festlegen einer Synthesegrenze B von Bildern, die in einem Überlappungsbereich S aufgenommen werden, in dem sich von den mehreren Kameras 10 aufgenommene Bilder überlappen (S500); und Synthetisieren der von den mehreren Kameras 10 aufgenommenen Bilder entsprechend der festgelegten Synthesegrenze B (S600).
Vor dem Festlegen der Synthesegrenze B (S500) umfasst das Verfahren ferner das Detektieren eines Hindernisses O in dem Überlappungsbereich S unter Verwendung von Sensierinformationen, die von einem Sensor 20 sensiert werden, der das um das Fahrzeug V herum befindliche Hindernis O sensiert, oder unter Verwendung von Bildern, die von den mehreren Kameras 10 aufgenommen werden (S200), wobei beim Festlegen der Synthesegrenze B (S500) die Synthesegrenze B basierend auf dem Detektionszustand des Hindernisses O festgelegt werden kann.
Das Festlegen der Synthesegrenze umfasst das Detektieren der Position des Hindernisses O und das Festlegen der Synthesegrenze B basierend auf der detektierten Position des Hindernisses O, wenn das Hindernis O in dem Überlappungsbereich S detektiert wird.
Genauer gesagt, wenn das Hindernis O in dem Überlappungsbereich S detektiert wird, kann die Detektionskoordinate (zweidimensionales Modell) des Hindernissen in dreidimensionale Modellkoordinaten umgewandelt werden (S300). Zudem kann die Synthesegrenze B basierend auf den umgewandelten dreidimensionalen Modellkoordinaten des Hindernisses festgelegt werden (S500).
Das Festlegen der Synthesegrenze B (S500) umfasst das Festlegen einer oberen Schicht unter den von den mehreren Kameras 10 aufgenommenen Bildern, die sich in dem Überlappungsbereich S überlappen, basierend auf dem Detektionszustand des Hindernisses O (S400) sowie das Festlegen der Synthesegrenze B eines als die obere Schicht festgelegten Bildes (S500).
Das Synthetisieren des Bildes (600) umfasst das Synthetisieren eines dreidimensionale Rundumsichtbildes, das dem Fahrzeug V an einem Sichtpunkt zugewandt ist, der höher liegt als die Karosserie des Fahrzeugs V; und das Verfahren umfasst ferner das Anzeigen des synthetisierten dreidimensionalen Rundumsichtbildes (S800) nach dem Synthetisieren der Bilder (S600).
Das Anzeigen des Bildes (S800) umfasst das Anzeigen des Bildes durch Erhöhen der Transparenz des Fahrzeugs V, wenn sich ein Hindernis O mit dem Fahrzeug V überlappt, um in einem dreidimensionalen Rundumsichtbild verborgen zu sein (S700).
Ausführungsformen der vorliegenden Erfindung werden nicht nur durch die oben beschriebene Vorrichtung und/oder das oben beschrieben Verfahren implementiert, denn der Umfang der vorliegenden Erfindung ist nicht darauf beschränkt, und verschiedene Modifikationen und Verbesserung durch Fachleute unter Verwendung des Grundkonzepts der vorliegenden Erfindung, das in den nachfolgenden Ansprüchen definiert ist, fallen ebenfalls in den Umfang der vorliegenden Erfindung.

Claims

Around-View-Synthese-System mit: mehreren Kameras (10), die jeweils an einem Fahrzeug (V) angebracht sind, um die jeweiligen unterschiedlichen Bereiche um das Fahrzeug (V) herum zu erfassen; einer Grenzfestlegungseinheit (30), die eine Synthesegrenze (B) von Bildern festlegt, die in einem Überlappungsbereich (S) aufgenommen werden, in dem sich durch die mehreren Kameras (10) aufgenommene Bilder überlappen; und einem Bild-Synthesizer (40), der die von den mehreren Kameras (10) aufgenommenen Bilder empfängt und die empfangenen Bilder entsprechend der durch die Grenzfestlegungseinheit (30) festgelegten Synthesegrenze (B) synthetisiert, wobei die Grenzfestlegungseinheit (30) ein Hindernis (O) in dem Überlappungsbereich (S) detektiert und die Synthesegrenze (B) basierend auf dem Detektionszustand des Hindernisses (O) festlegt, dadurch gekennzeichnet, dass die Grenzfestlegungseinheit (30) eine obere Schicht unter den von den mehreren Kameras (10) aufgenommenen Bildern festlegt, die sich im Überlappungsbereich (S) überlappen, und eine Synthesegrenze (B) für ein als obere Schicht festgelegtes Bild basierend auf dem Detektionszustand des Hindernisses (O) festlegt.
System nach Anspruch 1, wobei die mehreren Kameras (10) aufweisen: eine erste Kamera, die einen vorderen Bereich des Fahrzeugs (V) erfasst; eine zweite Kamera, die einen hinteren Bereich des Fahrzeugs (V) erfasst; eine dritte Kamera, die eine linke Seite des Fahrzeugs (V) erfasst; und eine vierte Kamera, die eine rechte Seite des Fahrzeugs (V) erfasst.
System nach Anspruch 1, ferner mit einem Sensor (20), der das Hindernis (O) um das Fahrzeug (V) herum detektiert, wobei die Grenzfestlegungseinheit (30) das Hindernis in dem Überlappungsbereich (S) unter Verwendung von Sensierinformationen detektiert, die von dem Sensor (20) sensiert werden, oder unter Verwendung der Bilder detektiert, die von den mehreren Kameras (10) aufgenommen werden.
System nach Anspruch 1, wobei, wenn ein Hindernis (O) nur in einem Bild der von den mehreren Kameras (10) aufgenommenen Bildern detektiert wird, die sich in dem Überlappungsbereich (S) überlappen, die Grenzfestlegungseinheit (30) als die obere Schicht das Bild festlegt, in dem das Hindernis (O) detektiert wird, und die Synthesegrenze (B) des als die obere Schicht festgelegten Bildes derart festlegt, dass diese sich außerhalb des detektierten Hindernisses (O) befindet; und der Bild-Synthesizer (40) die obere Schicht und die untere Schicht unter den von den mehreren Kameras (10) aufgenommenen Bildern synthetisiert.
System nach Anspruch 1, wobei, wenn das gleiche Hindernis (O) in sämtlichen von den mehreren Kameras (10) aufgenommenen Bildern detektiert wird, die sich in dem Überlappungsbereich (S) überlappen, die Grenzfestlegungseinheit (30) als eine obere Schicht ein Bild festlegt, das in einer eine Fahrtrichtung des Fahrzeugs (V) kreuzenden Richtung aufgenommen wird, und eine Synthesegrenze (B) des als die obere Schicht festgelegten Bildes derart festlegt, dass diese sich außerhalb des detektierten Hindernisses (O) befindet; und der Bild-Synthesizer (40) die obere Schicht und die untere Schicht unter den von den mehreren Kameras (10) aufgenommenen Bildern synthetisiert.
System nach Anspruch 1, wobei, wenn nur ein Teil der Hindernisse (O,O2), die in einem ersten Bild unter den von den mehreren Kameras (10) aufgenommen Bildern detektiert werden, die sich in dem Überlappungsbereich (S) überlappen, in einem zweiten Bild detektiert wird, die Grenzfestlegungseinheit (30) die Synthesegrenze (B) derart festlegt, dass diese sich außerhalb eines Hindernisses (O2) befindet, das sich an einer äußersten Seite der in dem ersten Bild detektierten Hindernisse (O,O2) befindet.
System nach Anspruch 1, wobei, wenn voneinander verschiedene Hindernisse (O) in den von den mehreren Kameras (10) aufgenommenen Bildern detektiert werden, die sich in dem Überlappungsbereich (S) überlappen, die Grenzfestlegungseinheit (40) die Synthesegrenze (B) der Bilder derart festlegt, dass diese sich zwischen den voneinander verschiedenen Hindernissen (O) befindet.
System nach Anspruch 1, wobei der Bild-Synthesizer (40) ein dreidimensionales Rundumsichtbild synthetisiert, das dem Fahrzeug (V) an einem Sichtpunkt zugewandt ist, der eine Ebene höher liegt als eine Fahrzeugkarosserie des Fahrzeugs (V), ferner mit einer Bildanzeige (50), die das von dem Bild-Synthesizer (40) synthetisierte dreidimensionale Rundumsichtbild anzeigt.
System nach Anspruch 8, wobei die Bildanzeige (50) das Bild durch Erhöhen einer Transparenz des Fahrzeugs (V) anzeigt, wenn sich das Hindernis (O) mit dem Fahrzeug überlappt, um im dreidimensionalen Rundumsichtbild verborgen zu sein.
Around-View-Synthese-Verfahren mit folgenden Schritten: Erfassen jeweils unterschiedlicher Bereiche um ein Fahrzeug (V) herum durch mehrere Kameras (10), die jeweils an dem Fahrzeug (V) angebracht sind; Festlegen einer Synthesegrenze von Bildern, die in einem Überlappungsbereich (S) aufgenommen werden, in dem sich von den mehreren Kameras (10) aufgenommene Bilder überlappen; und Synthetisieren der von den mehreren Kameras (10) aufgenommenen Bilder entsprechend der festgelegten Synthesegrenze (B), ferner umfassend: vor dem Festlegen der Synthesegrenze (B), Detektieren eines Hindernisses (O)in dem Überlappungsbereich (S) unter Verwendung von Sensierinformationen, die von einem Sensor (20) sensiert werden, der das um das Fahrzeug (V) herum befindliche Hindernis (O)sensiert, oder unter Verwendung der Bilder, die von den mehreren Kameras (10) aufgenommen werden, wobei beim Festlegen der Synthesegrenze (B) eine Synthesegrenze (B) basierend auf dem Detektionszustand des Hindernisses (O)festgelegt wird, dadurch gekennzeichnet, dass das Festlegen der Synthesegrenze (B) das Festlegen einer oberen Schicht unter den von den mehreren Kameras (10) aufgenommenen Bildern, die sich in dem Überlappungsbereich (S) überlappen, basierend auf dem Detektionszustand des Hindernisses (O) umfasst sowie das Festlegen der Synthesegrenze (B) des als die obere Schicht festgelegten Bildes.
Verfahren nach Anspruch 10, wobei das Festlegen der Synthesegrenze (B) das Detektieren der Position des Hindernisses und das Festlegen der Synthesegrenze (B) basierend auf der detektierten Position des Hindernisses (O) umfasst, wenn das Hindernis (O)in dem Überlappungsbereich (S) detektiert wird.
Verfahren nach Anspruch 10, ferner umfassend: Synthetisieren eines dreidimensionale Rundumsichtbildes, das dem Fahrzeug (V) an einem Sichtpunkt zugewandt ist, der eine Ebene höher liegt als eine Fahrzeugkarosserie des Fahrzeugs (V) beim Synthetisieren der Bilder; und Anzeigen des synthetisierten dreidimensionalen Rundumsichtbildes nach dem Synthetisieren der Bilder.
Verfahren nach Anspruch 12, wobei das Anzeigen des Bildes das Anzeigen des Bildes durch Erhöhen einer Transparenz des Fahrzeugs (V) umfasst, wenn sich das Hindernis (O)mit dem Fahrzeug (V) überlappt, um im dreidimensionalen Rundumsichtbild verborgen zu sein.