-
Die vorliegende Erfindung betrifft eine Anordnung, ein Fortbewegungsmittel sowie ein Verfahren zur Bildverarbeitung in einem Fortbewegungsmittel. Insbesondere betrifft die vorliegende Erfindung eine ressourcenschonende Verwendung hochauflösender Kameras und eine kostenreduzierte Infrastruktur zur Erzeugung einer Rundumsicht.
-
Für die Realisierung von Fahrerassistenzsystemen halten immer mehr Kamerasysteme Einzug in moderne Fahrzeuge. Häufig sind aktuelle Fahrzeuge mit Rückfahrkameras ausgestattet, um dem Benutzer das Einparken zu erleichtern. In einigen Fahrzeugen werden bereits mehrere Kameras verwendet, um dem Fahrer einen größeren Sichtbereich um das Fahrzeug bereitzustellen. Bisher wird bei jeder Kameraaufnahme im Fahrzeug eine eigene, dedizierte Videodatei mit einem eigenen, dedizierten Videoframe erzeugt. Diese Videodatei kann anschließend auf einem Fahrzeugmonitor wiedergegeben oder bei manchen Modellen auf einen externen Datenträger übertragen werden. Eine Kameraaufnahme im Fahrzeug (integrierte Lösung) ist im derzeitigen Stand der Technik nur begrenzt möglich, da hierzu große Datenmengen verarbeitet und transferiert werden müssen. Ursächlich sind technische Leistungsgrenzen u. a. des Speichers, der Rechenperformance, der Übertragungsbandbreite und des Arbeitsspeichers. Die Verarbeitung, Übertragung und Speicherung sehr großer Datenmengen zur Bildgebung im Fahrzeug ist aus technischer Sicht schwierig und aufwändig.
-
US 2012/0229641 A1 ,
US 2012/0229642 A1 und
GB 2490131 A offenbaren fahrzeugbasierte Kamerasysteme, im Falle der
GB 2490131 A auch die Erzeugung einer Rundumsicht, die Darstellung auf einem Monitor und die Aufnahme derselben auf einem Recorder.
-
Es ist eine Aufgabe der vorliegenden Erfindung, die im Stand der Technik bekannten und oben identifizierten Nachteile auszuräumen oder zu lindern.
-
Die Lösung dieser Aufgabe erfolgt durch ein Verfahren zur Bildverarbeitung in einem Fortbewegungsmittel. Das Fortbewegungsmittel kann bspw. ein Pkw, Transporter, Lkw, Luft- und/oder Wasserfahrzeug sein. Die Bildverarbeitung kann damit beginnen, dass ein erstes Kamerabild und ein zweites Kamerabild erstellt werden. Die Kamerabilder können Digitalkameras oder Analogkameras umfassen. Die Kamerabilder können einzelne Bilder, insbesondere jedoch auch bewegte Bilder mit mehreren Frames pro Sekunde darstellen. Sie werden in einem ersten Steuergerät empfangen und mittels einer vordefinierten Maske zugeschnitten. Insbesondere können Randbereiche der jeweiligen Kamerabilder dauerhaft entfernt werden. Dieser Vorgang kann bildlich gesprochen als Anwendung einer statischen Schablone auf jedes der Kamerabilder verstanden werden. Insbesondere für die weitere Verwendung der Kamerabilder irrelevante Bereiche werden hierbei entfernt, um die Datenflut der Kameras zu begrenzen. Hierbei können auch in den Kamerabildern der beiden Kameras redundante, da doppelt enthaltene Bildbereiche entfernt werden. Anschließend werden die beiden zugeschnittenen Kamerabilder in einem gemeinsamen Bildrahmen (auch "Frame") zusammengesetzt. Aus bislang zwei Videodateien und zu gleichen Zeitpunkten aufgenommenen Frames wird eine gemeinsame Videodatei mit nur noch einem Frame pro Zeiteinheit erzeugt. Das Zusammensetzen kann bspw. in dem ersten Steuergerät erfolgen. Für den Datentransfer zwischen dem ersten Steuergerät und einem zweiten Steuergerät kann eine geringere Datenrate bzw. Bandbreite verwendet werden, als wenn die nicht-zugeschnittenen Kamerabilder im zweiten Steuergerät zusammengesetzt würden. Das Zuschneiden kann rechtwinklig zueinander orientierte Kanten der zugeschnittenen Kamerabilder erzeugen. Das Seitenverhältnis der rechtwinklig zueinander orientierten Kanten der zugeschnittenen Kamerabilder kann bereits auf das Seitenverhältnis eines später zur Anzeige vorgesehenen Monitors abgestimmt sein. Insbesondere kann beim Zuschneiden eine solche "Schablone" verwendet werden, welche ausschließlich rechtwinklig zueinander orientierte Kanten der zugeschnittenen Kamerabilder erzeugt. Entsprechend ist das zugeschnittene Kamerabild rechteckig geformt. Wenn in der vorstehenden bzw. der nachfolgenden Beschreibung von zwei Kamerabildern, zwei Kameras, zwei zugeschnittenen, zwei zusammengesetzten oder zwei angezeigten Bildern die Rede ist, ist für den Fachmann ersichtlich, dass die erfindungsgemäßen Vorteile ebenso durch drei bzw. vier oder mehr der vorgenannten Merkmale erzielt werden und entsprechende Gegenstände als vom Schutzbereich der vorliegenden Erfindung umfasst zu verstehen sind. Im Ergebnis kann mit einer weniger aufwendigen Hardware und Dateninfrastruktur eine robuste Bildübertragung und Weiterverarbeitung bereitgestellt werden.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bevorzugt können die Kamerabilder vor dem Zusammensetzen entzerrt werden. Unter einer Entzerrung wird im Rahmen der vorliegenden Erfindung eine solche Korrektur des Bildinhaltes verstanden, dass durch die Bildgebungsoptik abweichend vom tatsächlichen Motiv verfälscht dargestellte Bildinhalte korrigiert werden. Bspw. können in der Natur linear verlaufende Merkmale, welche durch die verwendete Aufnahmeoptik gekrümmt dargestellt werden, im Zuge der Entzerrung begradigt werden, um einen weitgehend unverfälschten Eindruck beim Anwender zu erzeugen. Dieser Vorgang kann insbesondere vor dem Zuschneiden des Kamerabildes erfolgen.
-
Alternativ oder zusätzlich können das erste Kamerabild und das zweite Kamerabild bzw. das erste zugeschnittene Kamerabild oder das zweite zugeschnittene Kamerabild skaliert werden. Hierunter sei im Rahmen der vorliegenden Erfindung ein Vorgang verstanden, bei welchem nicht sämtliche Pixel, welche zuvor Bestandteil des Kamerabildes bzw. des zugeschnittenen Kamerabildes waren, auch für die Datenübertragung (z. B. an das zweite Steuergerät) vorgesehen bzw. verwendet werden. Bspw. kann in einer Reihe jedes zweite, jedes dritte, jedes vierte usw. Pixel entfernt werden. Hierbei gehen zwar Informationen verloren. Diese können jedoch weitestgehend durch moderne Datenverarbeitung bzw. Bildverarbeitung wiederhergestellt werden. Bspw. kann die Verwandtschaft von Pixeln dazu verwendet werden, ursprünglich zwischen ihnen angeordnete entfernte Pixel zu replizieren. Auf diese Weise kann die Datenflut weiter reduziert werden und somit bspw. die Echtzeitfähigkeit einer gegebenen Hardware verbessert werden.
-
Das erste Kamerabild und das zweite Kamerabild können derartige Bestandteile einer Fahrzeugumgebung repräsentieren, dass sie lediglich teilweise einander überlappen oder gar keine Überlappungsbereiche zueinander aufweisen. Dies kann bspw. für eine Rückfahrkamera und eine Frontkamera zutreffen. Entsprechende Überlegungen können auf eine nach links (Y-Richtung) gerichtete Kamera und eine nach rechts (-Y-Richtung) gerichtete Kamera zutreffen. Überlappungsbereiche ergeben sich jeweils zwischen der Frontkamera und den Seitenkameras sowie zwischen den Seitenkameras und der Rückfahrkamera. Überlappungsbereiche bieten sich für die erfindungsgemäße Entfernung im Zuge des Zuschneidens der Kamerabilder an, sodass einander nicht überlappende zugeschnittene Kamerabilder entstehen.
-
Die derart erzeugten (zusammengesetzten) Frames können anschließend an eine Anzeigeeinheit gesendet werden. Die Anzeigeeinheit kann eine fest im Fortbewegungsmittel verbaute Anzeigeeinheit (z. B. ein Kombiinstrument, ein zentrales Informationsdisplay o. Ä.) sein. Die Anzeigeeinheit kann im Armaturenbrett, in Kopfstützen, in einem Head-up-Display o. Ä. angeordnet sein. Alternativ oder zusätzlich kann die Anzeigeeinheit eines Drahtloskommunikationsgerätes (z. B. Smartphone, Tablet) eines Anwenders erfindungsgemäß zur Anzeige der Frames verwendet werden. Hierzu kann eine Drahtloskommunikationsverbindung mit dem Drahtloskommunikationsgerät aufgebaut werden (z. B. via Bluetooth, WLAN etc.), während sich das Drahtloskommunikationsgerät innerhalb oder außerhalb des Fortbewegungsmittels befindet.
-
Die erfindungsgemäß erzeugten (zusammengesetzten) Frames können zur Erzeugung einer Rundumsicht bezüglich der Fahrzeugumgebung verwendet werden. Eine Rundumsicht muss hierbei nicht notwendigerweise eine Vogelperspektive bzw. eine Fotomontage sein, bei welcher miteinander verwandte Bildgrenzen zusammengefügt (Englisch "Stitching") werden. Vielmehr kann nach Art eines Überwachungsmonitors ein in Quadranten aufgeteiltes Bild erzeugt werden, dessen Quadranten mit den jeweiligen zugeschnittenen Kamerabildern befüllt sind. Insbesondere kann eine derartige Darstellung zu einem jeweiligen Zeitpunkt lediglich einen einzigen Frame mit zwei, drei oder vier unterschiedlichen Ursprungsperspektiven (der jeweiligen Kameras) umfassen.
-
Insbesondere bei der Aufteilung des Frames in zwei oder vier Kamerabilder können jeweils zwei aneinander liegende Kanten eine identische Länge aufweisen. Sind zwei zugeschnittene Bilder nebeneinander angeordnet, ist die Hochkante beider Bilder von identischer Länge. Sind zwei Bildpaare übereinander angeordnet, sind die Hochkanten der jeweils nebeneinander angeordneten Bilder paarweise, bevorzugt sämtlich von identischer Länge. Die jeweils übereinander angeordneten Bildpaare weisen zumindest paarweise, insbesondere sämtlich, horizontale Kanten identischer Länge auf. Auf diese Weise weist ein Frame, welcher zwei nebeneinander angeordnete Bilder aufweist, mindestens eine doppelt so lange horizontale Kante auf, wie die jeweilige horizontale Kantenlänge der beiden Bilder. Entsprechendes gilt für die Hochkante des Frames für den Fall, dass er zwei übereinander angeordnete Bilder aufweist.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Anordnung zur Bildverarbeitung in einem Fortbewegungsmittel vorgeschlagen, welche imstande ist, ein Verfahren gemäß den obigen Ausführungen durchzuführen. Die Anordnung umfasst einen Dateneingang zum Empfang der Kamerabilder, eine Auswerteeinheit (z. B. ein digitaler Signalprozessor, ein elektronisches Steuergerät o. Ä.) und einen Datenausgang zur Weiterleitung der Arbeitsergebnisse. Über den Datenausgang können bspw. eine zentrale Verarbeitungseinheit oder auch eine Anzeigeeinheit angesteuert werden. Die Auswerteeinheit ist eingerichtet, das erste Kamerabild und das zweite Kamerabild (statische Bilder oder Bewegtbilder) zuzuschneiden und die zugeschnittenen Kamerabilder in einem gemeinsamen Frame zusammenzusetzen. Hierbei werden rechtwinklig zueinander orientierte Kanten der zugeschnittenen Kamerabilder erzeugt. Die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile entsprechen derart ersichtlich denjenigen der Ausgestaltungen des ersten Erfindungsaspektes, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.
-
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches bspw. als Pkw, Transporter, Lkw, Luft- und/oder Wasserfahrzeug ausgestaltet sein kann. Das Fortbewegungsmittel umfasst eine Anordnung gemäß dem zweitgenannten Erfindungsaspekt. Zusätzlich kann das Fortbewegungsmittel eine Anzeigeeinheit und/oder eine Drahtloskommunikationseinheit aufweisen, mittels welcher es eingerichtet ist, eine Anzeige des erstellten Bildmaterials zu veranlassen.
-
Es ist ein Ziel der vorliegenden Erfindung, die aus den am Fortbewegungsmittel angeordneten Außenkameras gewonnenen Einzelbilderfolgen bzw. Einzelvideos durch ein neuartiges Bildverarbeitungsverfahren in einen einzigen Videoframe zu konvertieren. Hierbei sind die Außenkameras z. B. jeweils vorne und hinten auf Höhe des amtlichen Kennzeichens sowie seitlich (links/recht) in den Außenspiegeln platziert. Im vorliegenden Fall wird bspw. aus den vier Einzelbilderfolgen à 1.280×960 Pixel ein resultierender Videoframe à 1.920×1.080 Pixel erzeugt. Aus diesem Videoframe kann anschließend eine 3D-Rundumsicht des Fahrzeugs generiert werden. Bspw. kann ein folgender Ablauf die erfindungsgemäßen Vorteile erzeugen. Zunächst wird eine Bildaufnahme pro Kamera ein Bild von bspw. vier Kameras mit jeweils 1.280×960 Pixeln und einer Framerate von 30 Frames pro Sekunde (FPS) erstellt. Bei der anschließenden Bildverarbeitung können Linsenbrechungsfehler mit intrinsischen Parametern korrigiert und somit die aufgenommenen Bilder entzerrt werden. Dies kann insbesondere in der digitalen Domäne erfolgen. Die Nutzdatenmenge wird anschließend extrahiert, indem redundante Daten verworfen werden. Ein Ziel kann bspw. darin bestehen, die Gesamtgröße der vier Kamerabilder auf 1.920×1.080 Pixel zu verkleinern. Sofern die Bilder paarweise übereinander bzw. paarweise nebeneinander gesetzt werden, ist hierzu eine Verkleinerung der Einzelbilder auf 960×540 Pixel erforderlich. Hierzu werden die Bilder zunächst mit einer vorgegebenen Schnittmaske zugeschnitten, um störende oder irrelevante Bildbereiche zu entfernen. Z. B. werden sichtbare Teile der Fahrzeugkarosserie abgeschnitten. Anschließend werden die wie vorstehend beschrieben zugeschnittenen Bilder mit einer rechteckigen Schnittmaske zugeschnitten, um redundante Bereiche des Gesamtkamerablickfelds zu entfernen. Dies hat den Hintergrund, dass die Blickfelder der vier Kameras, die eine 360 ° Rundumsicht um das Fahrzeug aufnehmen, sich teilweise überschneiden. Es werden also redundante Bildbereiche entfernt, die sich im Blickfeld mehrerer Kameras befinden, sodass jedes Objekt nur noch einfach abgebildet wird. Anschließend können die Bilder skaliert und/oder komprimiert werden. Im Ergebnis werden vier Einzelbilder in ein Full-HD-Bild zusammengefügt. Das heißt, dass vier separate Videoframes zu einem einzelnen Videoframe zusammengefügt werden. Hierzu können die vier Einzelbilder gedreht und/oder positioniert werden. Mit anderen Worten werden die vier Einzelbilder innerhalb des Gesamtframes in vordefinierter Weise platziert. Zusätzlich können zur verbesserten Datenreduktion die Gesamtframes im h.264-Format encodiert werden. Das resultierende Full-HD-Video kann anschließend in eine 3D-Rundumsicht des Fahrzeugs weiterverarbeitet werden. Hierbei kann eine 360 °-Ansicht der Fahrzeugumgebung erstellt werden, welche auf Wunsch des Benutzers vergrößert/verkleinert werden kann. Auf diese Weise wird eine Darstellung aller Ansichten in einem einzelnen Frame möglich. Durch lediglich geringe Qualitätsverluste können bei der Extraktion der Nutzdaten und Verwerfen der irrelevanten und redundanten Bildbereiche erhebliche Datenmengen erübrigt werden, deren Transport und Weiterverarbeitung einen erheblichen Hardwareaufwand bedeuten würden. Zudem ist eine hohe Videobildrate (FPS) möglich, welche eine hohe Wertanmutung des Videomaterials bzw. seiner Präsentationshardware erzeugt. Auch die Arbeitsspeicher- und Datenspeicherauslastung fällt gegenüber der Verwendung des ursprünglichen Bildmaterials erheblich geringer aus. Insbesondere die Übertragung der Videostreams auf mobile Endgeräte wird schneller und echtzeitfähig. Zudem können die entstandenen Videos in nur einer einzigen Datei abgelegt werden, wodurch die Videoweiterverarbeitung einfacher wird.
-
Weitere Merkmale, Merkmalskombinationen und Vorteile der vorliegenden Erfindung werden durch die Diskussion der beigefügten Zeichnungen ersichtlich. In den Figuren zeigen:
-
1 eine schematische Draufsicht auf ein Ausführungsbeispiel eines erfindungsgemäßen Fortbewegungsmittels mit einem Ausführungsbeispiel einer erfindungsgemäßen Anordnung;
-
2 eine schematische Darstellung einer erfindungsgemäßen Bilddatenverarbeitung;
-
3 eine schematische Darstellung eines Ergebnisses des in 2 veranschaulichten Verfahrens; und
-
4 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Bildverarbeitung in einem Fortbewegungsmittel.
-
1 zeigt eine Draufsicht auf einen Pkw 10 als erfindungsgemäßes Fortbewegungsmittel, welcher über vier Kameras (Frontkamera 1, rechte Seitenkamera 2, Rückfahrkamera 3, linke Seitenkamera 4) verfügt. Ein zentrales Kamerasteuergerät 5 als erste Verarbeitungseinheit wird mit jeweiligen Kamerarohdaten versorgt, welche eine erhebliche Datenmenge für den Weitertransport bzw. die weitere Verarbeitung bedeuten würden. Insbesondere die Weiterleitung vom Kamerasteuergerät 5 an eine informationstechnisch mit diesem gekoppelte Headunit 6 wird durch eine erfindungsgemäß vorgesehene Bildbearbeitung (das Zuschneiden) erleichtert. Von der Headunit 6 kann ein auf einem Smartphone 8 als Drahtloskommunikationsendgerät befindliches Display 9 angesteuert und zur Anzeige der resultierenden Gesamtframes verwendet werden.
-
Beim Zuschneiden des Bildmaterials der vier Kameras 1, 2, 3, 4 können einander überlappende Bildbereiche I, II, III, IV zumindest derart zugeschnitten werden, dass jeweils jenseits der Grenzlinien 12, 23, 34, 41 liegende Umgebungsbereiche repräsentierende Daten entfernt werden. Mit anderen Worten werden lediglich diejenigen für die erfindungsgemäße Weiterleitung an die Headunit 6 vorgesehenen Bilddaten beim Zuschneiden des Bildmaterials nicht entfernt, welche aus Sicht der jeweiligen Kamera 1, 2, 3, 4 innerhalb der Grenzlinienpaare 41, 12; 12, 23; 23, 34; 34, 41 liegen.
-
2 zeigt in Schritt 100 übereinander das Rohbildmaterial sowie nachfolgende Verarbeitungsschritte 300, 200 für vier unterschiedlich ausgerichtete Kameras eines identischen Fortbewegungsmittels. Die Fischaugenoptik der beiden oberen Bilddatenströme legt eine Entfernung sämtlicher Randbereiche in Schritt 300 nahe (Bildmitte). Mit anderen Worten werden Bildbereiche in Randnähe nach Art eines Passepartouts oder einer Schablone entfernt, bevor das Bildmaterial mit den Videodatenströmen der beiden übrigen Kameras zusammengesetzt wird. Die beiden unteren Rohbilddaten werden in Schritt 300 lediglich links und rechts beschnitten, während ihre ursprüngliche Höhe erhalten bleibt. Um die vier zugeschnittenen Bilder schließlich platzsparend und optisch ansprechend weiterverarbeiten und zusammensetzen zu können, ist in Schritt 200 eine Skalierung der beiden unteren Datenströme erforderlich. Mit anderen Worten wird das Seitenverhältnis angepasst, um dem Seitenverhältnis der beiden obigen Bilddatenströme zu entsprechen. Da die zum Zuschneiden der beiden oberen Bilddatenströme verwendete Maske bereits das Zielseitenverhältnis aufweist, ist eine Skalierung der beiden obigen Bilddatenströme nicht erforderlich.
-
3 zeigt das Ergebnis des in 2 veranschaulichten Verfahrensablaufs. Der dargestellte Gesamtframe 7 weist in einer oberen Zeile die Bilddatenströme der Front- sowie der Rückfahrkamera auf. In der unteren Bildhälfte sind die zugeschnittenen und skalierten Bilder der linken sowie der rechten Kamera dargestellt. Die Bilder sind entsprechend der Kameraposition beschriftet (Labels "front", "rear", "left", "right"). Die Hochkanten der zugeschnittenen Bilddatenströme sind jeweils 540 Pixel lang. Die horizontalen Kanten der zugeschnittenen Bilder sind jeweils 960 Pixel lang. Entsprechend ergeben sich Kantenlängen des dargestellten Gesamtframes 7 von 1.920 bzw. 1.080 Pixel.
-
4 zeigt ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Bildverarbeitung in einem Fortbewegungsmittel. In Schritt 100 werden ein erstes Kamerabild und ein zweites Kamerabild von zwei Kameras desselben Fortbewegungsmittels empfangen. In Schritt 200 werden die Kamerabilder entzerrt und skaliert, um die optische Wiedergabequalität zu verbessern und die zu verarbeitende Datenflut zu verringern. In Schritt 300 werden die entzerrten und skalierten Kamerabilder durch eine Bildmaske derart zugeschnitten, dass sämtliche Kanten paarweise rechtwinklig zueinander orientiert sind. In Schritt 400 werden das erste zugeschnittene Kamerabild und das zweite zugeschnittene Kamerabild in einen gemeinsamen Frame zusammengesetzt. In Schritt 500 wird der Gesamtframe an eine Anzeigeeinheit des Fortbewegungsmittels (zentrales Informationsdisplay) sowie eines Drahtloskommunikationsendgerätes, welches mit dem Fortbewegungsmittel logisch verknüpft ist, gesendet. In Schritt 600 wird schließlich eine Rundumsicht anhand des jeweils empfangenen Frames auf den Anzeigeeinheiten dargestellt.
-
Bezugszeichenliste
-
- 1
- Frontkamera
- 2
- Seitenkamera
- 3
- Rückfahrkamera
- 4
- Seitenkamera
- 5
- Kamerasteuergerät
- 6
- Headunit
- 7
- Gesamtframe
- 8
- Smartphone
- 9
- Display
- 10
- Pkw
- 12, 23, 34, 41
- Grenzlinien der Bildbereiche
- 100–600
- Verfahrensschritte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2012/0229641 A1 [0003]
- US 2012/0229642 A1 [0003]
- GB 2490131 A [0003, 0003]
