-
EINFÜHRUNG
-
Das technische Gebiet bezieht sich im Allgemeinen auf die Bildverarbeitung zur Objekterkennung und -darstellung in einem Fahrzeug und im Besonderen auf ein Verfahren und eine Vorrichtung zur Aufnahme eines Bildes mit einer Fahrzeugkamera, zur Skalierung des Bildes und zur Einstellung der Schärfe des skalierten Bildes zur Verwendung durch ein fortschrittliches Fahrassistenzsystem.
-
Der Betrieb moderner Fahrzeuge wird immer stärker automatisiert, d. h. sie sind in der Lage, das Fahren mit immer weniger Eingriffen des Fahrers zu steuern. Die Fahrzeugautomatisierung wurde in numerische Stufen eingeteilt, die von Null, d. h. keine Automatisierung mit vollständiger menschlicher Kontrolle, bis zu Fünf, d. h. vollständige Automatisierung ohne menschliche Kontrolle, reichen. Verschiedene automatisierte Fahrerassistenzsysteme wie Tempomat, adaptiver Tempomat und Einparkhilfe entsprechen niedrigeren Automatisierungsgraden, während echte „fahrerlose“ Fahrzeuge höheren Automatisierungsgraden entsprechen. Diese Fahrerassistenzsysteme müssen so ausgestattet sein, dass sie ihre Umgebung autonom oder teilautonom mit Hilfe von bordeigenen Sensoren erfassen können.
-
Kameras werden häufig zur optischen Erfassung der Umgebung des Fahrzeugs verwendet und können für unterschiedliche Aufgaben Kameras mit unterschiedlicher Auflösung umfassen. Beispielsweise können Kameras, die einen Videostream der Rückansicht an eine Benutzeroberfläche liefern, eine höhere Auflösung haben als eine Seitenansichtskamera, die zur Erkennung von Fahrspurmarkierungen verwendet wird. Die derzeitigen Beschränkungen der Videoarchitektur in Kraftfahrzeugen führen dazu, dass Kameras mit höherer Pixelzahl (Auflösung) nicht ausreichend genutzt werden. Die Erzielung einer höheren Wahrnehmungsgenauigkeit und Objekterkennung ist bei Kamerabildern mit höherer Auflösung eine Herausforderung. Darüber hinaus ist die Verwendung verallgemeinerter Wahrnehmungsalgorithmen für Kamerabilder mit unterschiedlichen Auflösungen eine ebenso große Herausforderung.
-
Dementsprechend ist es wünschenswert, verbesserte Systeme und Verfahren bereitzustellen, um die zuvor genannten Schwierigkeiten zu überwinden und eine verbesserte Wahrnehmungsgenauigkeit und Objekterkennung für Bilder mit höheren und/oder anderen Auflösungen zu ermöglichen. Darüber hinaus werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Offenbarung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen und dem vorstehenden technischen Gebiet und Hintergrund ersichtlich.
-
BESCHREIBUNG
-
Es wird eine Vorrichtung bereitgestellt, die eine dynamische Wiederherstellung der Pixeldichte und der Klarheit für skalierte Bilder ermöglicht. In einer Ausführungsform umfasst die Vorrichtung eine Kamera, die so konfiguriert ist, dass sie ein Bild mit einer ersten Auflösung und einer ersten Bildschärfe aufnimmt, einen Bildprozessor zum Empfangen des Bildes, zum Skalieren des Bildes auf eine zweite Auflösung, um ein skaliertes Bild zu erzeugen, was dazu führt, dass das skalierte Bild eine zweite Bildschärfe aufweist, wobei der Bildprozessor ferner in der Lage ist, eine Schärfe des skalierten Bildes einzustellen, um ein eingestelltes skaliertes Bild zu erzeugen, so dass das eingestellte skalierte Bild die erste Bildschärfe aufweist, einen Fahrunterstützungsprozessor zum Erzeugen eines Bewegungspfades in Reaktion auf das eingestellte skalierte Bild und eine Fahrzeugsteuerung zum Steuern eines Fahrzeugs in Reaktion auf den Bewegungspfad.
-
Gemäß einer anderen beispielhaften Ausführungsform umfasst die Vorrichtung ferner ein globales Positionierungssystem zum Erfassen einer Fahrzeugposition und einen Speicher zum Speichern einer Karte, und wobei der Bildprozessor ferner dazu dient, das Bild in Abhängigkeit von der Karte und der Fahrzeugposition auf einen Bereich von Interesse zuzuschneiden.
-
Gemäß einer anderen beispielhaften Ausführungsform ist der Bildprozessor in der Lage, das Bild unter Verwendung eines exponentiellen Polynoms vierten Grades herunterzuskalieren.
-
Gemäß einer anderen beispielhaften Ausführungsform ist der Bildprozessor in der Lage, das Bild unter Verwendung eines linearen Polynoms vierten Grades hochzuskalieren.
-
Gemäß einer anderen beispielhaften Ausführungsform ein Objekterkennungsprozessor zum Erkennen eines Objekts innerhalb des angepassten skalierten Bildes, wobei der Bildprozessor das Bild herunterskalieren kann, um das skalierte Bild zu erzeugen.
-
In Übereinstimmung mit einer anderen beispielhaften Ausführungsform, eine Anzeige zum Anzeigen des angepassten skalierten Bildes und wobei der Bildprozessor das Bild hochskaliert, um das skalierte Bild zu erzeugen.
-
In Übereinstimmung mit einer anderen beispielhaften Ausführungsform ist der Bildprozessor in der Lage, das Bild hochzuskalieren, um das skalierte Bild zu erzeugen, und wobei der Bildprozessor ferner in der Lage ist, das skalierte Bild zu schärfen, um das angepasste skalierte Bild zu erzeugen.
-
Gemäß einer anderen beispielhaften Ausführungsform ist der Bildprozessor in der Lage, das Bild herunterzuskalieren, um das skalierte Bild zu erzeugen, und wobei der Bildprozessor ferner in der Lage ist, das skalierte Bild unscharf zu machen, um das angepasste skalierte Bild zu erzeugen.
-
Gemäß einer anderen beispielhaften Ausführungsform ist der Bildprozessor in der Lage, die Schärfe des skalierten Bildes mit Hilfe eines Wavelet-Kerns anzupassen.
-
Gemäß einer anderen beispielhaften Ausführungsform umfasst ein Verfahren das Erfassen eines Bildes mit einer Kamera, das eine erste Auflösung und eine erste Bildschärfe aufweist, das Skalieren des Bildes mit einem Bildprozessor auf eine zweite Auflösung, um ein skaliertes Bild zu erzeugen, was dazu führt, dass das skalierte Bild eine zweite Bildschärfe aufweist, und das Einstellen einer Schärfe des skalierten Bildes, um ein eingestelltes skaliertes Bild zu erzeugen, so dass das eingestellte skalierte Bild die erste Bildschärfe aufweist, das Erzeugen eines Bewegungspfades mit einem Fahrunterstützungsprozessor als Reaktion auf das eingestellte skalierte Bild und das Steuern eines Fahrzeugs mit einer Fahrzeugsteuerung als Reaktion auf den Bewegungspfad.
-
Gemäß einer anderen beispielhaften Ausführungsform wird ein Fahrzeugstandort durch ein globales Positionierungssystem ermittelt und das Bild als Reaktion auf den Fahrzeugstandort und eine in einem Speicher gespeicherte Karte auf einen Bereich von Interesse zugeschnitten.
-
Gemäß einer anderen beispielhaften Ausführungsform umfasst die Skalierung des Bildes die Herunterskalierung des Bildes unter Verwendung eines exponentiellen Polynoms vierten Grades.
-
In Übereinstimmung mit einer anderen beispielhaften Ausführungsform umfasst die Skalierung des Bildes die Hochskalierung des Bildes unter Verwendung eines linearen Polynoms vierten Grades.
-
In Übereinstimmung mit einer anderen beispielhaften Ausführungsform umfasst das Skalieren des Bildes das Herunterskalieren des Bildes, um das skalierte Bild zu erzeugen, und das Erkennen eines Objekts innerhalb des angepassten Maßstabs.
-
Gemäß einer anderen beispielhaften Ausführungsform umfasst das Skalieren des Bildes das Hochskalieren des Bildes, um das skalierte Bild zu erzeugen, und das Anzeigen des angepassten skalierten Bildes auf einem Display in einer Fahrzeugkabine.
-
Gemäß einer anderen beispielhaften Ausführungsform umfasst das Skalieren des Bildes das Hochskalieren des Bildes, um das skalierte Bild zu erzeugen, und das Anpassen der Schärfe umfasst das Schärfen des skalierten Bildes, um das angepasste skalierte Bild zu erzeugen.
-
Gemäß einer anderen beispielhaften Ausführungsform umfasst die Skalierung des Bildes die Verkleinerung des Bildes, um das skalierte Bild zu erzeugen, und die Anpassung der Schärfe umfasst die Unschärfe des skalierten Bildes, um das angepasste skalierte Bild zu erzeugen.
-
Gemäß einer anderen beispielhaften Ausführungsform enthält ein Fahrzeug eine Kamera, die so konfiguriert ist, dass sie ein Bild mit einer ersten Auflösung und einer ersten Bildschärfe aufnimmt, einen Bildprozessor zum Skalieren des Bildes, um ein skaliertes Bild mit einer zweiten Bildschärfe zu erzeugen, wobei der Bildprozessor ferner so arbeitet, dass er die Schärfe des skalierten Bildes einstellt, um ein eingestelltes skaliertes Bild zu erzeugen, so dass das eingestellte skalierte Bild die erste Bildschärfe hat, und eine Anzeige zum Anzeigen des eingestellten skalierten Bildes für einen Fahrzeuginsassen.
-
Gemäß einer anderen beispielhaften Ausführungsform kann der Bildprozessor das Bild hochskalieren, um das skalierte Bild zu erzeugen, und das skalierte Bild schärfen, um das angepasste skalierte Bild zu erzeugen.
-
Gemäß einer anderen beispielhaften Ausführungsform ist der Bildprozessor in der Lage, das Bild als Reaktion auf eine Verzerrung des Bildes, die von einem Objektiv der Kamera herrührt, zu beschneiden, um das skalierte Bild zu erzeugen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungen beschrieben, wobei gleiche Ziffern gleiche Elemente bezeichnen und wobei:
- 1 ein beispielhaftes Fahrzeugsystem ist, das ein verbessertes Bildverarbeitungssystem mit dynamischer Wiederherstellung der Pixeldichte und Wiederherstellung der Klarheit für skalierte Bilder in Übereinstimmung mit verschiedenen Ausführungsformen enthält;
- 2 ein Flussdiagramm ist, das ein beispielhaftes Verfahren zur dynamischen Wiederherstellung der Pixeldichte und zur Wiederherstellung der Klarheit für skalierte Bilder in Übereinstimmung mit verschiedenen Ausführungsformen zeigt;
- 3 eine grafische Darstellung der Bildskalierung im Vergleich zur Bildschärfe für ein Bild in Übereinstimmung mit verschiedenen Ausführungsformen ist.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende detaillierte Beschreibung ist lediglich beispielhaft und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, durch ausdrückliche oder stillschweigende Theorien gebunden zu sein, die in dem vorangehenden technischen Gebiet, dem Hintergrund, der kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellt sind. Wie hierin verwendet, bezieht sich der Begriff Modul auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
-
In 1 ist ein beispielhaftes Fahrzeugsystem 100 mit einem verbesserten Bildverarbeitungssystem 101 mit dynamischer Wiederherstellung der Pixeldichte und Wiederherstellung der Klarheit für skalierte Bilder in Übereinstimmung mit verschiedenen Ausführungsformen dargestellt. Das beispielhafte Fahrzeugsystem 100 umfasst eine erste Kamera 110, eine zweite Kamera 112, einen Bildprozessor 115, einen ADAS-Prozessor 160, eine Benutzerschnittstelle 165, ein GPS 175 und eine Fahrzeugsteuerung 155 . Das beispielhafte Bildverarbeitungssystem 101 kann so konfiguriert werden, dass es je nach Designanforderungen eine oder mehrere Kameras verwendet. Diese Kameras können gleiche oder unterschiedliche Auflösungen haben. Das beispielhafte Bildverarbeitungssystem 101 ist so konfiguriert, dass es dynamische Verfahren ausführt, um die Bildschärfe auf der Grundlage eines aus der Bildskalierung abgeleiteten Verhältnisses für die Computer-Vision und -Wahrnehmung und zur Erweiterung der Betrachtungsmöglichkeiten in Richtung einer effektiven Nutzung der Kameraauflösung zu modifizieren. Dies ermöglicht die Integration von Kameras mit unterschiedlichen Auflösungen in eine einzige Verarbeitungspipeline für eine verlustfreie Bildqualität von Betrachtungsanwendungen und auch eine Erhöhung der Objektpixeldichte für Computer Vision und Wahrnehmung.
-
Die erste Kamera 110 kann an einem Fahrzeug mit einem nach vorn gerichteten Sichtfeld angebracht werden. Die erste Kamera 110 kann am Kühlergrill des Fahrzeugs, hinter einem Rückspiegel oder an der Vorderkante des Fahrzeugdachs angebracht werden. Die erste Kamera 110 kann so konfiguriert sein, dass sie ein Bild des vorderen Sichtfeldes aufnimmt und dieses Bild an den Bildprozessor 115 koppelt. In einigen beispielhaften Ausführungsformen kann die erste Kamera eine erste Auflösung haben, z. B. acht Megapixel. Darüber hinaus kann eine zweite Kamera 112 an einem oder mehreren Seitenspiegelgehäusen angebracht werden, deren zweites Sichtfeld sich teilweise mit dem vorderen Sichtfeld überschneidet. In einigen beispielhaften Ausführungsformen kann die zweite Kamera eine zweite Auflösung haben, die sich von der ersten Auflösung unterscheidet, beispielsweise zwei Megapixel. Das Bild der ersten Kamera 110 und ein von der zweiten Kamera 112 aufgenommenes Bild können sowohl für die Wahrnehmung als auch für die Anzeige für den Fahrer auf einer Benutzerschnittstelle 165, z. B. einem Kabinendisplay, verwendet werden. Darüber hinaus kann es wünschenswert sein, diese Bilder zu kombinieren, um ein Bild mit erweiterter Ansicht zu erzeugen, das das erste Sichtfeld und das zweite Sichtfeld umfasst.
-
Der Bildprozessor 115 skaliert und/oder beschneidet zunächst das von der ersten Kamera 110 oder der zweiten Kamera 112 aufgenommene Bild in Abhängigkeit von der gewünschten Anwendung. Zum Beispiel kann der Bildprozessor 115 das Bild für die Wahrnehmung herunterskalieren und/oder zuschneiden. Für die Bilddarstellung auf einem Display kann der Bildprozessor 115 das Bild hochskalieren. Der Bildprozessor 115 führt dann eine dynamische Änderung der Bildschärfe auf der Grundlage eines aus der Bildskalierung abgeleiteten Verhältnisses durch.
-
In verschiedenen Ausführungsformen ist der Bildprozessor 115 so konfiguriert, dass er eine exponentielle polynomiale Kurvenanpassung für die Herunterskalierung und eine lineare polynomiale Kurvenanpassung für die Hochskalierung als Reaktion auf die Beziehung zwischen Bildschärfe und Bildskalierung durchführt. Die Korrelation zwischen Bildschärfe und Skalierungsverhältnis optimiert die Maximierung der Pixeldichte und den Abruf relevanter Daten. Die Normalisierung der Bildschärfe wird sowohl für Betrachtungs- als auch für Erfassungsanwendungen separat auf der Grundlage der jeweiligen Bildskalierungsverhältnisse durchgeführt. Dadurch kann das Bildverarbeitungssystem 101 die Bildschärfe beibehalten und die Pixeldichte von skalierten Bildern wiederherstellen. Das beispielhafte Bildverarbeitungssystem 101 behält die Bildschärfe trotz Skalierung der Kameraauflösung in der Verarbeitungspipeline bei. Das beispielhafte Bildverarbeitungssystem 101 kann darüber hinaus die Bildschärfe in Echtzeit verbessern, indem es Kamerabilder auf der Grundlage von Hoch- oder Herunterskalierungsverhältnissen nachbearbeitet. Die Objekterkennung und - klassifizierung kann dann unter Verwendung der Ergebnisse der Bildverarbeitung auf dem skalierten Bild und den resultierenden Daten, die mit dem ADAS-Prozessor 160 verbunden sind, durchgeführt werden. Die Objekterkennung auf dem fusionierten Bild oder dem Bild der ersten Kamera 110 kann mit einem trainierten neuronalen Netz durchgeführt werden. Die Ergebnisse der Objekterkennung können zum weiteren Training des neuronalen Netzes verwendet werden.
-
Die Ergebnisse der Objekterkennung können dann als Eingabe für den ADAS-Prozessor 160 bereitgestellt werden. Der ADAS-Prozessor 160 kann die erfassten Objektinformationen, die Punktwolke, die in einem Speicher 170 gespeicherten Kartendaten und die als Reaktion auf ein GPS 175 empfangenen Standortdaten verwenden, um eine Karte des lokalisierten Gebiets in Bezug auf das Host-Fahrzeug zu erstellen. Der ADAS-Prozessor 160 kann ferner in der Lage sein, als Reaktion auf einen ADAS-Algorithmus Steuersignale zu erzeugen, die mit der Fahrzeugsteuerung 155 zur Steuerung des Host-Fahrzeugs verbunden werden. Beispielsweise kann der ADAS-Algorithmus einen adaptiven Geschwindigkeitsregelungsvorgang durchführen und Lenk-, Brems- und Drosselklappensteuerungsinformationen zur Kopplung mit dem Fahrzeugsteuergerät 155 erzeugen. Alternativ kann der ADAS-Prozessor 160 als Reaktion auf die erkannten Objektinformationen, die im Speicher 170 gespeicherten Kartendaten und die vom GPS 175 empfangenen Standortdaten des Host-Fahrzeugs einen Bewegungspfad erzeugen und diesen Bewegungspfad mit dem Fahrzeugsteuergerät 455 koppeln.
-
Die Benutzerschnittstelle 165 kann so konfiguriert sein, dass sie eine Benutzereingabe zur Initiierung eines ADAS-Algorithmus empfängt. Darüber hinaus kann die Benutzerschnittstelle 165 so konfiguriert sein, dass sie Bilder und/oder das hochskalierte Bild vom Bildprozessor 115 anzeigt. Die Benutzerschnittstelle 165 kann ferner so konfiguriert sein, dass sie als Reaktion auf ein vom ADAS-Prozessor 160 und/oder von der Fahrzeugsteuerung 155 erzeugtes Benutzeralarm-Steuersignal Benutzerwarnungen, Benutzerwarnungen und/oder ADAS-Systemrückmeldungen an einen Fahrzeugführer liefert.
-
2 zeigt ein Flussdiagramm, das eine beispielhafte Implementierung des verbesserten Bildverarbeitungssystems 101 zur dynamischen Wiederherstellung der Pixeldichte und zur Wiederherstellung der Klarheit von skalierten Bildern veranschaulicht. Das beispielhafte Verfahren 200 dient zunächst der Durchführung eines ADAS-Algorithmus (Advanced Driver Assistance System). ADAS-Algorithmen können einen adaptiven Geschwindigkeitsregler (ACC), einen Spurhalteassistenten (ACC), eine autonome Fahrzeugsteuerung, Kollisionsvermeidungssysteme, Spurverlassenswarnungen, Spurwechselassistenten und ähnliches umfassen, bei denen ein Bewusstsein für die Betriebsumgebung in Echtzeit erforderlich ist. Der ADAS-Algorithmus kann von einem ADAS-Prozessor oder einem ADAS-Steuergerät in einem Host-Fahrzeug ausgeführt werden. Das ADAS-Steuergerät kann dann Steuersignale an ein Fahrzeugsteuergerät weiterleiten, um den Betrieb des Basisfahrzeugs als Reaktion auf den ADAS-Algorithmus zu steuern.
-
Als Reaktion auf die Durchführung eines ADAS-Vorgangs kann das beispielhafte Verfahren 200 als Nächstes die Bildgebungstechnologie 210 steuern, um Bilder der Umgebung des Host-Fahrzeugs zu erfassen. Die Bildverarbeitungstechnologie kann Kameras oder optische Sensoren mit verschiedenen Auflösungen und Sichtfeldern umfassen. In einigen beispielhaften Ausführungsformen kann die Bildgebungstechnologie kontinuierlich einen Strom von Bildern, beispielsweise einen Videostrom, an einen Videoprozessor oder Ähnliches liefern.
-
Das Verfahren 200 erfasst als nächstes ein Bild 215 eines interessierenden Sichtfeldes. Das Sichtfeld kann z. B. ein nach vorne gerichtetes Sichtfeld des Basisfahrzeugs umfassen, das von einer nach vorne gerichteten Kamera erfasst wird. Als nächstes bestimmt das Verfahren 220 die ursprüngliche Auflösung des erfassten Bildes. Die Bilderfassung kann den Empfang eines Bildes aus einem Bildstrom von einer Fahrzeugkamera mit einer bestimmten Auflösung umfassen. Bei dem Bild kann es sich beispielsweise um ein Acht-Megapixel-Bild handeln, das von einer nach vorne gerichteten Kamera empfangen wird. Die Bilder können von anderen Systemen, wie ADAS oder Displays, angefordert und zur Anzeige für die Fahrzeuginsassen oder vom ADAS-System zur Objekterkennung oder Umgebungswahrnehmung verwendet werden.
-
Das Verfahren 200 dient dann dazu, das Bild dynamisch zu skalieren und/oder zu beschneiden 225. Das Bild kann abhängig von der Anwendung skaliert werden. Beispielsweise kann das Bild für die Darstellung auf einem Display im Host-Fahrzeug hochskaliert werden. Das Bild kann für die Verwendung durch einen Objekterkennungsalgorithmus auf eine niedrigere Auflösung herunterskaliert werden. Das Bild kann beschnitten werden, um Bereiche des Sichtfeldes zu entfernen, die von der anfordernden Anwendung nicht benötigt werden. So kann zum Beispiel ein Bild der Rückansicht von einer Fischaugenkamera aufgenommen werden, aber nur ein Bereich direkt hinter dem Fahrzeug wird einem Fahrzeuginsassen beim Rückwärtsfahren angezeigt. Das Verfahren kann dann Bereiche des Bildes abschneiden, die außerhalb des gewünschten Bereichs liegen. Ebenso kann das Bild bei ACC-Vorgängen so beschnitten werden, dass Bereiche außerhalb der interessierenden Fahrspuren des Fahrzeugs ausgeschlossen werden, wodurch der Rechenaufwand für die Bildverarbeitung bei Bilderkennungsvorgängen verringert wird. Diese Bereiche außerhalb der interessierenden Fahrspuren können als Reaktion auf Karten- und GPS-Daten des Host-Fahrzeugs erkannt werden.
-
Als nächstes bestimmt das Verfahren 230 eine dynamische skalierte Auflösung des skalierten/beschnittenen Bildes. Als nächstes wird ein Skalierungsverhältnis 235 in Abhängigkeit von der ursprünglichen Bildauflösung und der skalierten Bildauflösung berechnet. Ist das Skalierungsverhältnis größer als eins 240, was auf ein hochskaliertes Bild hinweist, erzeugt das Verfahren als Nächstes 250 eine lineare 4D-Polynomkurvenanpassung für das skalierte Bild gemäß einem Hochpasswert. Wenn das Bildskalierungsverhältnis kleiner als eins 240 ist, erzeugt das Verfahren als nächstes 245 eine exponentielle 4D-Polynomkurvenanpassung für das skalierte Bild gemäß einem Tiefpasswert. In einigen beispielhaften Ausführungsformen können die Hochpass- und Tiefpasswerte aus einer Nachschlagetabelle in Abhängigkeit vom Skalenverhältnis und der Klarheit des Originalbildes bestimmt werden.
-
Im Falle eines hochskalierten Bildes erzeugt das Verfahren eine lineare 4D-Polynomkurvenanpassung für das skalierte Bild. Während des Hochskalierungsvorgangs werden im gesamten Bild Pixel hinzugefügt, um eine Lücke zwischen Pixeln des Originalbildes zu füllen und die Auflösung zu erhöhen. Die Farbe und Leuchtdichte dieser hinzugefügten Pixel werden in Abhängigkeit von den benachbarten Pixeln des Originalbildes geschätzt. Die Pixelhelligkeit kann beispielsweise ein Durchschnitt der benachbarten Pixel des Originalbildes sein, und die Farbe kann eine Farbe des nächstgelegenen benachbarten Pixels des Originalbildes sein. Diese Hochskalierung kann zu unerwünschten Bildartefakten führen, wie z. B. Verpixelung, Clipping, Verfärbung, Ringing und Gradientendiskrepanzen.
-
Als Reaktion auf das Skalenverhältnis werden Bildschärfe-, Tiefpass- und Hochpasswerte verwendet, um einen Wavelet-Kernel zu erzeugen und einen Schärfewert für das verarbeitete Bild zu bestimmen. Dieser Klarheitswert kann dann der Bildgebungstechnologie 210 zur Verwendung bei der Aufnahme nachfolgender Bilder zur Verfügung gestellt werden. Das skalierte Bild wird dann 280 in Abhängigkeit von der erzeugten 4D-Polynomkurvenanpassung verarbeitet, um ein Bild zu erzeugen, dessen Klarheit ungefähr der Klarheit des ursprünglich aufgenommenen Bildes entspricht.
-
Um diese Upscaling-Artefakte zu beseitigen, wird das skalierte Bild mit einer linearen 4D-Polynom-Kurvenanpassung bearbeitet, um das Bild wieder auf die Bildschärfe des Originalbildes zu schärfen, die durch die Modulationsübertragungsfunktion (MTF) des Originalbildes definiert ist. Die lineare 4D-Polynomkurvenanpassung ist eine lineare Funktion, die ein Polynom der kleinsten Quadrate für einen gegebenen Datensatz berechnet. Die 4D-Polynom-Kurvenanpassung erzeugt die Koeffizienten des Polynoms, die zur Modellierung einer Kurve zur Anpassung an die Daten verwendet werden können. Die lineare 4D-Polynomkurvenanpassung wird durchgeführt, da es wünschenswert ist, das Bild auf die ursprüngliche Bildschärfe zurückzuführen, um die Leistung der Bilderkennungssoftware zu verbessern und Verzerrungen aus den hochskalierten Bildern zu entfernen.
-
Im Falle des herunterskalierten Bildes wird eine exponentielle 4D-Polynomkurvenanpassung an das skalierte Bild vorgenommen, um die Bildschärfe des herunterskalierten Bildes zu verringern. Durch die verringerte Klarheit wird das Bild unscharf, um die Leistung des Bilderkennungsalgorithmus zu verbessern, u. a. indem das Auftreten von verpixelten Linien im Bild verringert wird. Die Bildschärfe des herunterskalierten Bildes wird auf den Schärfewert des Originalbildes zurückgesetzt.
-
3 zeigt eine grafische Darstellung 300 der Bildskalierung im Vergleich zur Bildschärfe für einen beispielhaften Bildverarbeitungsvorgang in Übereinstimmung mit verschiedenen Ausführungsformen. Die ursprüngliche Kamera-Bildauflösung 310 ist in der Mitte des Diagramms 300 dargestellt. Das Diagramm 300 zeigt die Klarheitswerte gegenüber der Skalierung für ein Sieben-Megapixel-Bild 330 und ein Acht-Megapixel-Bild 320. In diesen beispielhaften Ausführungsformen hat das Sieben-Megapixel-Bild eine ursprüngliche Bildschärfe von 0,24 und das Acht-Megapixel-Bild eine ursprüngliche Bildschärfe von 0,38. Wenn die Bilder linear hochskaliert werden, nimmt die Bildschärfe für jedes der Bilder ab. Wenn die Bilder exponentiell herunterskaliert werden, nimmt die Bildschärfe für jedes der Bilder zu. Es ist nun wünschenswert, die Bildschärfe der skalierten Bilder wieder auf die der Originalbilder zurückzuführen, um die Kompatibilität des Objekterkennungsalgorithmus für herunterskalierte Bilder zu gewährleisten und visuelle Artefakte und Verzerrungen bei den hochskalierten Bildern zu beseitigen.
-
In einigen beispielhaften Ausführungsformen fällt die Bildschärfe von 0,38 auf 0,21, wenn das Acht-Megapixel-Bild linear um den Faktor 1,5 hochskaliert wird. Das beispielhafte Verfahren ist dann so konfiguriert, dass es das hochskalierte Bild schärft, um die Klarheit des hochskalierten Bildes wieder auf den ursprünglichen Wert von 0,38 zu bringen. Es ist wünschenswert, das hochskalierte Bild zu schärfen, um Verzerrungen und Artefakte zu entfernen, die aus dem Hochskalierungsvorgang resultieren, um die visuelle Darstellung des Bildes für die Präsentation auf einem Kabinendisplay zu verbessern.
-
In anderen beispielhaften Ausführungsformen steigt die Bildschärfe von 0,24 auf 0,51, wenn ein Sieben-Megapixel-Bild auf 0,3 der ursprünglichen Bildauflösung herunterskaliert wird. Das beispielhafte Verfahren ist dann so konfiguriert, dass das herunterskalierte Bild unscharf wird, um die Bildschärfe des herunterskalierten Bildes wieder auf 0,24 zu reduzieren. Es ist wünschenswert, das Bild unscharf zu machen, um die Verpixelung von Linien und anderen Kanten im Bild zu reduzieren, um den Rechenaufwand für Objekterkennungsalgorithmen zu verringern und die Bildschärfe wieder auf die Bildschärfe des Originalbildes zurückzuführen, damit sie von Standard-Objekterkennungsalgorithmen verwendet werden kann, die ein Bild mit bekannter Bildschärfe erwarten.
-
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine Vielzahl von Varianten gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu begrenzen. Vielmehr soll die vorstehende detaillierte Beschreibung dem Fachmann einen praktischen Leitfaden für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen an die Hand geben. Es versteht sich von selbst, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne dass der Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren gesetzlichen Entsprechungen dargelegt ist, verlassen wird.
