-
Die Erfindung betrifft ein Verfahren zum Bearbeiten eines Originalbilds, eine Anordnung zum Verarbeiten eines Originalbilds, ein Computerprogramm und ein Computerprogrammprodukt.
-
Stand der Technik
-
Ein NIR-basiertes Nachtsichtgerät, das auf der Grundlage von elektromagnetischer Strahlung im nahen Infrarotbereich funktioniert, weist in der Regel eine Kamera mit einem zugeordneten Steuergerät auf. Dabei wird ein 12 Bit Bildsignal, das von der Kamera bereitgestellt wird, an das Steuergerät übertragen. Weiterhin wird in dem Steuergerät unter Durchführung geeigneter Berechnungen aus dem 12 Bit Bildsignal ein 6 Bit Bildsignal bereitgestellt, das auf einen Monitorausgang, der als eine Schnittstelle zwischen dem Steuergerät und einem Monitor vorgesehen ist, ausgegeben wird. Bei diesem Nachtsichtgerät können jedoch aufgrund einer begrenzten Rechenleistung durch das Steuergerät keine weiteren Funktionen durchgeführt werden.
-
Aus der Druckschrift
JP 2005/167831 ist ein Bilderzeugungsgerät bekannt. Dieses Gerät umfasst eine Kamera mit einem Prozessor, der zur Bereitstellung eines Bilds von Objekten, die von der Kamera aufgenommen werden, ausgebildet ist. Hierbei digitalisiert der Prozessor das fotografierte Bild in ein Digitalbild, das vertikal und horizontal angeordnete Pixel umfasst. Außerdem ist der Prozessor dazu ausgebildet, eine Filterung von Bereichen dieses digitalen Bilds vorzunehmen.
-
Ein Verfahren zur Weiterverarbeitung von zwei Eingabesignalen eines digitalen Bilds ist in der Druckschrift
WO 96/13806 A1 bekannt. Hierbei ist vorgesehen, dass jedes der beiden digitalen Bilder eine von einer Kamera aufgenommene Szene aus zwei unterschiedlichen Perspektiven darstellt. Weiterhin wird aus diesen beiden Bildern ein drittes Bild bereitgestellt, das für eine Anwendung in einem RGB (Rot Grün Blau) -Farbraum genutzt werden kann.
-
Aus der
EP 1 703 462 A1 sind ein System und ein Verfahren zum Verbessern des Kontrasts innerhalb eines Bildes bekannt. Ein verbessertes Bild kann in Echtzeit oder im Wesentlichen in Echtzeit von einem Anfangsbild erzeugt werden. Die Pixelwerte des Anfangsbildes können verwendet werden, um ein Histogramm zu füllen oder anderweitig als die Basis für die nachfolgende Verarbeitung zu dienen. Ein Tal kann innerhalb des Bereichs von Pixelwerten zur Verwendung als eine Dehnungsmetrik identifiziert werden, die von einer Dehnungsheuristik verwendet wird, um den Kontrast der Pixelwerte in dem Anfangsbild zu erweitern durch Erweitern des Bereichs von Pixelwerten, die den Pixeln in dem Histogramm zugeordnet sind. In einigen Ausführungsformen wird das Ausgangsbild zuerst in Bildbereiche unterteilt, die jeweils einer individualisierten Verarbeitung zugeordnet sind. Ein bilinearer Interpolationsschritt kann dann durchgeführt werden, um das integrierte Bild zu glätten, nachdem die individualisierte Verarbeitung verwendet wird, um die Pixel innerhalb der einzelnen Bildbereiche zu strecken.
-
Aus der
DE 102 02 163 A1 ist ein ein Verfahren und eine Vorrichtung zur Bildverarbeitung sowie ein Nachtsichtsystem für Kraftfahrzeuge bekannt, bei welchem eine im nahen Infrarot empfindliche Standardkamera Bilder liefert, die auf einem gegenüber der Kamera geringere Auflösung aufweisenden Anzeigemittel angezeigt werden. Ferner wird eine Bildverarbeitung vorgeschlagen, die die Rohbilder des Sensors mittels Bildschärfungsverfahren und/oder Kontrastverstärkungsverfahren verbessert, so dass eine Anzeige auf einem Anzeigemittel zur Betrachtung durch einen Betrachter ermöglicht ist.
-
Aus der
DE 697 08 44 T2 ist ein Graupegel-Umwandlungsgerät bekannt aufweisend ein Mittel zum Teilen eines ursprünglichen Bildes mit mehreren Graupegeln in eine Niederfrequenzkomponente, welche eine breite Abstufung repräsentiert, und eine Hochfrequenzkomponente , welche eine lokale Abstufung repräsentiert. Das Graupegel-Umwandlungsgerät weist weiterhin ein Mittel zum Detektieren einer Kantenstärke, die als Differenz zwischen den Graupegeln benachbarter Pixel des ursprünglichen Bildes definiert ist; und ein Mittel zum Ändern einer in dem Teilungsmittel verwendeten Teilungscharakteristik gemäß der durch das Kantenstärke-Detektiermittel bestimmten Kantenstärke auf.
-
Offenbarung der Erfindung
-
Bei dem erfindungsgemäßen Verfahren zum Verarbeiten eines Originalbilds ist vorgesehen, dass dieses Originalbild von einer Recheneinheit in ein Sichtbild und ein Restbild zerlegt wird, wobei das Sichtbild und das Restbild gemeinsam zu einem Steuergerät übertragen und von dem Steuergerät gemeinsam weiterverarbeitet werden. Außerdem wird das Sichtbild von dem Steuergerät zu einem Monitor übertragen.
-
Das Originalbild wird üblicherweise von einer Kamera aufgenommen. In einer Ausgestaltung ist das Verfahren zur Durchführung einer Nachtsichtfunktion ausgebildet. Hierbei wird das Originalbild von einer Kamera mit einer Nachtsichtfunktion und/oder typischerweise von einem Nachsichtmodul, das im Infrarotbereich arbeitet, aufgenommen und von der Recheneinheit in ein als Nachtsichtbild ausgebildetes Sichtbild und das Restbild zerlegt. Das Nachtsichtbild und das Restbild werden gemeinsam zu dem Steuergerät übertragen, wobei das Nachtsichtbild und das Restbild von dem Steuergerät gemeinsam weiterverarbeitet werden und das Nachtsichtbild von dem Steuergerät zu einem Monitor übertragen wird.
-
Es ist vorgesehen, dass eine Zerlegung des Originalbilds in das Nachtsichtbild und das Restbild außerhalb des Steuergeräts vorgenommen wird. Die zum Zerlegen des Originalbilds vorgesehene Recheneinheit kann dabei als eine Komponente der Kamera oder als unabhängiges Modul ausgebildet sein. Das Originalbild, das bspw. einen Datenumfang von 12 Bit umfasst, wird in das Sichtbild und das Restbild, die jeweils 6 Bit umfassen, zerlegt. Durch die Maßnahme, dass das Originalbild in das Sichtbild und das Restbild zerlegt ist, ist eine Weiterverarbeitung dieses derart zerlegten Originalbilds durch das Steuergerät vereinfacht. So ist es nicht mehr erforderlich, dass das Steuergerät das Originalbild zerlegt, um dabei das für den Monitor vorgesehene Sichtbild zu filtern und somit bereitzustellen.
-
Üblicherweise wird über den Monitor einem Nutzer, bspw. einem Fahrer eines Fahrzeugs, lediglich das Sichtbild und in Ausgestaltung das Nachtsichtbild gezeigt. Da das Steuergerät die voranstehend beschriebene Zerlegung des Originalbilds nicht vornehmen muss, kann dieses Steuergerät weitere Funktionen ausführen. So ist es nunmehr möglich, dass das Steuergerät das Sichtbild und das Restbild derart gemeinsam weiterverarbeitet, dass ein dabei bspw. bereitgestelltes rekonstruiertes Bild für Zusatzfunktionen, bspw. Fahrerassistenzfunktionen, genutzt werden kann.
-
In einer Variante des Verfahrens ist vorgesehen, dass zu dem Originalbild Parameter, bspw. ein Histogramm, für Grauwerte des Originalbilds ermittelt und zusätzlich zu dem Steuergerät übertragen werden. Außerdem kann das Steuergerät aus dem Sichtbild und dem Restbild, ggf. unter Verwendung der Parameter, mit einem Algorithmus durch geeignete Berechnung ein rekonstruiertes Bild bereitstellen, das auch dem Originalbild entsprechen kann.
-
Die erfindungsgemäße Anordnung zum Verarbeiten eines Originalbilds weist eine Recheneinheit und ein Steuergerät auf. Dabei ist die Recheneinheit dazu ausgebildet, das Originalbild in ein Sichtbild und ein Restbild zu zerlegen. Das Steuergerät ist dazu ausgebildet, das von der Recheneinheit empfangene Sichtbild und Restbild gemeinsam zu verarbeiten und weiterhin das Sichtbild an einen Monitor zu übertragen.
-
Die Anordnung kann eine Kamera aufweisen, die dazu ausgebildet ist, das Originalbild aufzunehmen. Die zum Zerlegen des Originalbilds vorgesehene Recheneinheit kann als ein unabhängiges Modul oder als eine Komponente der Kamera ausgebildet sein. Es ist typischerweise vorgesehen, dass diese beschriebene Recheneinheit außerhalb des Steuergeräts angeordnet ist. Diese Anordnung kann außerdem Schnittstellen und Verbindungsleitungen zum Verbinden der genannten Komponenten aufweisen. In einer Variante kann auch der Monitor als Komponente der Anordnung ausgebildet sein.
-
Die Anordnung eignet sich u.a. zur Durchführung von Nachtsichtfunktionen, falls die Kamera ein Nachtsichtmodul umfasst. Somit ist die Anordnung in diesem Kontext als Nachtsichtgerät ausgebildet. Einem Nutzer der Anordnung und insbesondere des Nachtsichtgeräts wird über den Monitor regelmäßig das Sichtbild gezeigt. Das Sichtbild und das Restbild, die von dem Steuergerät weiterverarbeitet werden, können zur Bereitstellung einer Zusatzfunktion oder Fahrerassistenzfunktion genutzt werden, wobei das Steuergerät dazu ausgebildet ist, aus dem Sichtbild und dem Restbild ein weiteres Bild zu rekonstruieren, wobei die Informationen aus diesem rekonstruierten Bild für die Zusatzfunktionen genutzt werden.
-
Die beschriebene Anordnung ist dazu ausgebildet, sämtliche Schritte des vorgestellten Verfahrens durchzuführen. Dabei können einzelne Schritte dieses Verfahrens auch von einzelnen Komponenten der Anordnung durchgeführt werden. Weiterhin können Funktionen der Vorrichtung oder Funktionen von einzelnen Komponenten der Anordnung als Schritte des Verfahrens umgesetzt werden.
-
Die Erfindung betrifft weiterhin ein Computerprogramm mit Programmcodemitteln, um alle Schritte eines beschriebenen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer erfindungsgemäßen Anordnung, ausgeführt wird.
-
Das erfindungsgemäße Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, ist zum Durchführen aller Schritte eines beschriebenen Verfahrens ausgebildet, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer erfindungsgemäßen Anordnung, ausgeführt wird.
-
Die Erfindung sieht somit u. a. eine Zerlegung des Originalbilds in ein Nachtsichtbild und ein Restbild durch einen Rechner bzw. eine Recheneinheit vor, der bzw. die als eine Komponente der Kamera ausgebildet sein kann. Das Nachtsichtbild und das Restbild werden zusammen mit Parametern, z. B. einem Histogramm, zur Weiterleitung dieses Nachtsichtbilds in ein Steuergerät auf einen Monitorausgang übermittelt.
-
In dem Steuergerät kann mit einem einfachen Algorithmus eine Berechnung zur Kombination des Nachtsichtbilds und des Restbilds mit Hilfe der übertragenen Parameter zu einem rekonstruierten Bild, bspw. einem ähnlichen Bild oder ggf. dem Originalbild, erfolgen. Somit werden bspw. in der Kamera neben einer Filterung der für das Nachtsichtbild vorgesehenen 6 Bit auch die gefilterten Daten, insbesondere für das Restbild, in den weiteren 6 Bit zusammengeführt und gemeinsam mit dem Nachtsichtbild als ein Paket mit 12 Bit übertragen.
-
Das Steuergerät weist in einer Ausgestaltung einen einfachen Filter und/oder eine Recheneinheit mit einem derartigen Filter auf, der aus den kombinierten 2 x 6 Bits durch geeignete Rechenoperationen ein rekonstruiertes Bild zusammenstellt, das weitgehend dem aus 12 Bit bestehenden Originalbild entspricht. Dies ist möglich, da neben dem Nachtsichtbild auch die zusätzlichen Parameter, wie bspw. das Histogramm des Originalbilds, an das Steuergerät geschickt werden.
-
Bei der Rekonstruktion des Bilds wird u. a. das Histogramm, das eine Formel für eine ursprüngliche Zerlegung des Originalbilds in das Nachtsichtbild und das Restbild umfasst, benutzt. Somit ist es möglich, auf einer Übertragungsstrecke zwischen der Kamera, die die Recheneinheit zur Optimierung des Nachtsichtbilds aufweisen kann, zu dem Steuergerät, das ebenfalls eine Recheneinheit für weitere Funktionen sowie einen Bildausgang für einen Monitor aufweist, nunmehr das darzustellende Nachtsichtbild und die gefilterten Bildinformationen gemeinsam zu übertragen, ohne dass eine aufwendige Trennung der Daten im Steuergerät zur Monitorausgabe mit einem Algorithmus erforderlich ist.
-
In weiterer Ausgestaltung der Erfindung sind die Nachtsichtalgorithmen in die Kamera ausgelagert, so dass das Steuergerät genügend Kapazitäten zur Berechnung weiterer Funktionen aufweist. Diese weiteren Funktionen können dennoch das vollständige 12 Bit umfassende Signal für das Originalbild benutzen. In der Recheneinheit der Kamera werden die 6 Bit ausgehend aus dem Bild, typischerweise dem Originalbild, herausgefiltert und an das Steuergerät übertragen, so dass das Steuergerät diese Daten unmittelbar an den Monitorausgang ausgeben kann.
-
In einer weiteren Variante ist auch eine Verwendung der Nachtsichtkamera bzw. der Kamera zur Bereitstellung von Nachtsichtbildern als alleinstehendes bzw. Stand-Alone- und somit selbsttätiges Nachtsichtgerät möglich, wobei eine Übertragung des Restbilds nicht erforderlich ist. Bei einer derartigen Anwendung als Stand-Alone-Nachtsichtgerät ist es weiterhin möglich, das Nachtsichtbild über einen Digital-/Analog-Konverter als Analogsignal auszugeben.
-
Es ist üblicherweise vorgesehen, dass jedes Originalbild Bildpunkte bzw. Pixel umfasst, die für eine als Nachtsichtkamera ausgebildete Kamera mit 12 Bit aufgelöst werden. Mit einem sog. Cruncher-Algorithmus, der typischerweise dazu ausgelegt ist, große Datenmenge mit speziellen Funktionen zu berechnen, wird aus dem auf 12 Bit aufgelösten Bild, das aus Pixeln besteht, ein ebenfalls aus Pixeln bestehendes Bild mit 6 Bit errechnet. Der Cruncher-Algorithmus wird u. a. dazu verwendet, ein als Grauwerthistogramm ausgebildetes Histogramm des Rohbilds bzw. Originalbilds mit 4096 Einträgen auf 12 Bit bereitzustellen. Als eine weitere Funktion kann für jeden Bildpunkt eine Verschiebung von Grauwerten mit geringer Häufigkeit auf die benachbarten Grauwerte mit größerer Häufigkeit und ein anschließendes Bereitstellen eines zusammengestauchten Histogramms mit 64 Einträgen auf 6 Bit mit Hilfe des Cruncher-Algorithmus durchgeführt werden.
-
Weiterhin wird eine Information über die Verschiebung jeweils eines Grauwerts pro Bildpunkt in dem Restbild abgelegt. Die zusätzlichen Parameter umfassen hierbei ein Original-Histogramm. Das Restbild wird umso größer, je genauer die Verschiebung aufgelöst wird. Bei geringer Auflösung der Verschiebung unterscheidet sich das rekonstruierte Bild stärker von dem Originalbild. Dabei können Verschiebungen im Restbild bis zu 12 Bit betragen. Doch selbst in diesem Fall ist kein externer Rechner zur Berechnung des Nachtsichtbilds erforderlich. Allerdings wird ein Datenstrom zu einem externen Rechner, der zur Rekonstruktion des Originalbilds vorgesehen ist, größer.
-
In der Regel wird jeder Bildpunkt im Rohbild bzw. Originalbild durch 12 Bit repräsentiert. Falls in einer Ausgestaltung Grauwerte selten vorkommen, ist deren Häufigkeit klein. In diesem Fall wird für einen selten vorkommenden Grauwert ein Nachbargrauwert, der häufiger vorkommt, eingesetzt. Ein Abstand vom Nachbarwert zu einem Grauwert kann festgehalten werden. Die Anzahl der häufiger vorkommenden Nachbarwerte wird somit klein gehalten, so dass ein Nachtsichtbild z. B. nur noch 6 Bit enthält. Das Histogramm des Rohbilds und die Abstände zum Nachbargrauwert werden als Restbildinformationen und folglich auch als Parameter des Originalbilds festgehalten, die dann verwendet werden, um das Rohbild aus dem Nachtsichtbild und dem Restbild zu rekonstruieren.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden-Erfindung zu verlassen.
-
Kurze Beschreibung der Zeichnungen
-
- 1 zeigt in schematischer Darstellung eine Ausführungsform einer erfindungsgemäßen Anordnung.
- 2 zeigt in schematischer Darstellung ein Diagramm zu einer Ausführungsform eines erfindungsgemäßen Verfahrens.
-
Ausführungsformen der Erfindung
-
Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird im folgenden unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
-
Die in 1 schematisch dargestellte Ausführungsform einer Anordnung 2 umfasst eine Kamera 4 mit einem Nachtsichtmodul 6 und einer Recheneinheit 8, ein Steuergerät 10, das eine weitere Recheneinheit 12 sowie einen Monitor 14 aufweist. Die Kamera 4 und das Steuergerät 10 sind zur Übermittlung von Signalen mit einer ersten Verbindung 16 verbunden. Das Steuergerät 10 und der Monitor 14 sind über eine zweite zur Übermittlung von Signalen ausgebildete Verbindung 18 verbunden.
-
Diese hier gezeigte Ausführungsform der Anordnung 2 ist zum Verarbeiten eines Originalbilds ausgebildet, wobei vorgesehen ist, dass dieses Originalbild von der Kamera 4 aufgenommen wird. Von der Recheneinheit 8 innerhalb der Kamera 4 wird das Originalbild weiterhin in ein als ein Nachtsichtbild ausgebildetes Sichtbild und in ein Restbild zerlegt. Dieses Nachtsichtbild und das Restbild werden gemeinsam über die erste Verbindung 16 zu dem Steuergerät 10 übertragen. Das Steuergerät 10 ist weiterhin dazu ausgebildet, das Nachtsichtbild über die zweite Verbindung 18 an den Monitor 14 zu übermitteln, auf dem dieses Nachtsichtbild einem Nutzer dargestellt wird. Die weitere Recheneinheit 12 des Steuergeräts ist dazu ausgebildet, das Nachtsichtbild und das Restbild gemeinsam weiterzuverarbeiten. Ein hierbei aus dem Nachtsichtbild und dem Restbild errechnetes rekonstruiertes Bild des Originalbilds wird zur Durchführung von Zusatzfunktionen 20 genutzt.
-
2 zeigt in schematischer Darstellung ein Diagramm zu einer Ausführungsform des erfindungsgemäßen Verfahrens. Hierbei ist vorgesehen, dass ein Originalbild 40, das in diesem Fall von einer Kamera mit einem Nachtsichtmodul aufgenommen wird, von einer Recheneinheit in ein Nachtsichtbild 42 sowie ein Restbild 44 zerlegt wird. Außerdem werden mit der Recheneinheit aus dem Originalbild 40 Parameter 46, die hier ein Histogramm umfassen, bereitgestellt. In einem weiteren Schritt werden das Nachtsichtbild 42, das Restbild 44 und die Parameter 46 zu einem Steuergerät übertragen. Das Steuergerät ist dazu ausgebildet, über eine Monitorschnittstelle einem Monitor das Nachtsichtbild 42 bereitzustellen, so dass der Monitor dieses Nachtsichtbild 42 einem Nutzer anzeigt. Außerdem ist das Steuergerät dazu ausgebildet, unter Verwendung der Parameter 46 aus dem Nachtsichtbild 42 und dem Restbild 44 ein rekonstruiertes Bild 48 des Originalbilds 40 bereitzustellen. Dieses rekonstruierte Bild 48 wird zur Unterstützung und/oder Realisierung von Zusatzfunktionen genutzt. Hierbei kann ggf. vorgesehen sein, dass das in dem rekonstruierten Bild 48 bestimmte Merkmale des Originalbilds 40, die für die Zusatzfunktionen besonders geeignet und somit wichtig sind, hervorgehoben sind.
