DE102016121959A1

DE102016121959A1 - Bildbearbeitungsvorrichtung und Bildbearbeitungsverfahren zur Vorverarbeitung zum Erhalten eines Bildes mit verbesserter Schärfe

Info

Publication number: DE102016121959A1
Application number: DE102016121959.2A
Authority: DE
Inventors: Jin wook Choi; Byung Cheol Song; Dong Yoon CHOI; Ji Hoon Choi
Original assignee: Hyundai Motor Co; Kia Motors Corp; Inha University Research and Business Foundation
Current assignee: Hyundai Motor Co; Inha University Research and Business Foundation; Kia Corp
Priority date: 2016-06-10
Filing date: 2016-11-15
Publication date: 2017-12-14
Also published as: CN107492066B; US20170358061A1; KR101795271B1; CN107492066A; US10007972B2

Abstract

Eine Bildverarbeitungsvorrichtung (300) zum Transformieren eines Weitwinkelbildes in ein Schmalwinkelbild weist auf: einen Unschärfeentferner (310) der ein Entfernen einer Unschärfe bei dem Weitwinkelbild durchführt, um ein Bild zu erzeugen, bei dem die Unschärfe entfernt wurde; eine Höchstauflösung-Einheit (320), die ein SR-Prozessieren bei dem Bild, bei dem die Unschärfe entfernt wurde, durchführt, um ein hochskaliertes transformiertes Bild zu erzeugen; und ein Ansichttransformierer (330), der eine Ansichttransformation durchführt, um das Schmalwinkelbild basierend auf dem Weitwinkelbild und dem hochskalierten transformierten Bild zu erhalten.

Description

QUERVERWEIS AUF BEZOGENE ANMELDUNG
Diese Anmeldung beansprucht den Nutzen der Priorität der koreanischen Patentanmeldung Nummer 10-2016-0072497 , eingereicht am 10. Juni 2016 beim koreanischen Patentamt, deren Gesamtheit hierin durch Bezugnahme aufgenommen ist.
TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Bildbearbeitungsvorrichtung und ein Bildbearbeitungsverfahren und mehr ins Besondere, eine Bildbearbeitungsvorrichtung und ein Bildbearbeitungsverfahren, bei dem Unschärfe entfernt wird und ein Höchstauflösungs-Programm verwendet wird, um ein für eine Rundumansichtüberwachung (engl.: Around View Monitor, AVM) hochskaliertes Bild scharf zu machen.
HINTERGRUND
Die Smart-Revolution, die von Smartphones ausgelöst wurde, hat sich nach und nach ausgebreitet, so dass auch Automobile davon betroffen sind. Aufgrund von Bemühungen, sich über vergangene Konzepte der Automobile hinaus zu bewegen, wurde die Informationstechnologie verwendet, um den Komfort eines Fahrers mit smarten, beispielsweise intelligenten, Fahrzeugen zu erhöhen, die Technologien verwenden, wie zum Beispiel einen Fernstart, Spracherkennung, Techniken automatisierten Fahrens und Ähnliches. Unter verschiedenen Gebieten wurden Technologien zum Sicherstellen einer Sicherheit von Fußgängern in der Nähe der fahrenden Fahrzeuge sowie der Fahrer aktiv weiter entwickelt.
Wenn ein Fahrzeug fährt, kann es einen toten Winkel im Blickfeld eines Fahrers geben, wenn der Fahrer die Außenspiegel verwendet. Insbesondere, wenn der Fahrer das Fahrzeug parkt, kann das Vorhandensein eines toten Winkels die Sicherheit der Umgebung des Fahrzeugs, einschließlich eines Fußgängers, beeinträchtigen. Um Kollisionen zu verhindern, kann ein benachbartes Objekt unter Verwendung elektronischer Komponenten, wie beispielsweise einem Sensor oder Ähnlichem, erkannt werden oder das Blickfeld des Fahrers kann durch Verwendung einer Rückfahrkamera unterstützt werden. Bei einem anderen Verfahren wird eine Draufsicht verwendet, die das Fahrzeug mittels Synthetisierens einer Mehrzahl von Weitwinkelkamerabildern von oben darstellt. Wenn das Bild in Draufsicht aufgebaut wird, wird ein teilweises Hochskalieren und Übertragen der Bilder, die mit den Weitwinkelkameras aufgenommen wurden, durchgeführt.
Die Verwendung bestehender linearer Verfahren bei dem Durchführen des Hochskalierens der Bilder kann jedoch Unschärfe, einen Treppeneffekt (engl.: jagging artifact) und Ähnliches verursachen, was zu einer Verschlechterung der Schärfe der hochskalierten Bilder führt.
KURZE BESCHREIBUNG
Die vorliegende Offenbarung wurde gemacht, um die im Vorhergehenden erläuterten Probleme zu lösen, die bei dem Stand der Technik auftreten, während Vorteile, die vom Stand der Technik erzielt werden, beibehalten werden.
Ein Aspekt der vorliegenden Offenbarung stellt eine Bildbearbeitungsvorrichtung und ein Bildbearbeitungsverfahren bereit, die ermöglichen, ein Bild, das von einer Weitwinkelkamera aufgenommen wurde, die in einem Fahrzeug angeordnet ist, in ein scharfes Draufsichtbild für eine Rundumansichtüberwachung (AVM) zu konvertieren und abhängig von Bereichen selektiv einen Vorgang einer Vorverarbeitung, bei dem eine Unschärfe entfernt wird, bei dem Weitwinkelbild durchzuführen, um Nachteile in äußeren Bereichen des Weitwinkelbilds zu verringern, und die ermöglichen, eine Schärfe eines hochskalierten, beispielsweise vergrößerten, Bildes mittels Anwendens einer Höchstauflösungs-Technik zu verbessern, um die Bildqualität eines final aufgebauten AVM-Draufsichtbildes oder Ähnliches zu verbessern, um die Möglichkeit eines Fahrers zur Objekterkennung zu verbessern, wodurch Komfort und Sicherheit begünstigt werden.
Gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung weist eine Bildbearbeitungsvorrichtung zum Transformieren eines Weitwinkelbildes in ein Schmalwinkelbild, also ein Bild, das kein Weitwinkelbild ist, auf: einen Unschärfeentferner, der ein Entfernen der Unschärfe bei dem Weitwinkelbild durchführt, um ein Bild, bei dem die Unschärfe entfernt ist, zu erzeugen; eine Höchstauflösung(SR)-Einheit, die eine SR-Verarbeitung bei dem Bild, bei dem die Unschärfe entfernt wurde, durchführt, um ein hochskaliertes transformiertes Bild zu erzeugen; und einen Ansicht-Transformierer, der eine Transformation der Ansicht durchführt, um basierend auf dem Weitwinkelbild das Schmalwinkelbild und das hochskalierte transformierte Bild zu erhalten.
Das hochskalierte transformierte Bild kann mittels der Vorverarbeitung eine verbesserte Schärfe haben und die Vorverarbeitung kann das Entfernen der Unschärfe des Weitwinkelbilds und die SR-Verarbeitung des Bildes, bei dem die Unschärfe entfernt wurde, umfassen und das hochskalierte transformierte Bild kann als Eingabe für die Ansichttransformation verwendet werden, um die Leistungsfähigkeit der Ansichttransformation zum Erhalten des Schmalwinkelbilds zu verbessern.
Der Unschärfeentferner kann ein Unschärfeentfern-Programm durchführen unter Verwendung einer Selbstähnlichkeit, um das eingegebene Weitwinkelbild runterzuskalieren, beispielsweise zu verkleinern, und nachfolgend nach Hochfrequenzinformationen suchen und die Hochfrequenzinformationen mit dem eingegebenen Weitwinkelbild synthetisieren, beispielsweise zusammenfassen, um dadurch das Weitwinkelbild mit einer verbesserten Schärfe ausgeben zu können.
Die SR-Einheit kann das hochskalierte transformierte Bild mit einer scharfen Bildqualität erhalten mittels Anwendens eines Filters, der für ein korrespondierendes Bild geeignet ist in Übereinstimmung mit einer Form eines Bildmusters basierend auf einem SR-Programm unter Verwendung eines aktiven Lokal-Binärmuster(engl.: Lokal Binary Pattern, LBP)-basierten Klassifizierers.
Der Ansicht-Transformierer kann Werte von Pixel schätzen, die an nicht ganzzahligen Koordinatenpositionen eines Weitwinkelbilds angeordnet sind unter Verwendung von Werten benachbarter Pixel, die an ganzzahligen Positionen des Weitwinkelbilds angeordnet sind, unter Bezug auf eine Wertetabelle, basierend auf einem Wertetabelle-basierten Ansicht-Transformation-Interpolation-Programm.
Der Unschärfeentferner kann aufweisen: eine Runterskalierungs-Einheit, beispielsweise eine Verkleinerungs-Einheit, die mit Bezug auf das eingegebene Weitwinkelbild ein runterskaliertes, beispielsweise verkleinertes, Bild mit geringer Auflösung unter Verwendung linearer Interpolation erzeugt; einen ersten gauß'schen Tiefpassfilter (LPF), der das runterskalierte Bild geringer Auflösung tiefpassfiltert; einen zweiten gauß'schen LPF, der einen Hochskalieren, beispielsweise ein Hochskalieren, und ein Tiefpassfiltern des runterskalierten Bildes mit geringer Auflösung durchführt; eine erste Recheneinheit, die eine Ausgabe des ersten gauß'schen LPF von dem runterskalierten gering aufgelösten Bild subtrahiert, um ein Hochfrequenz(HF)-Komponentenbild zu erzeugen; eine Blockanpassungseinheit, die eine Hochfrequenzkomponente der ersten Recheneinheit sucht und ausgibt korrespondierend zu einem Ausgangsbild des zweiten gauß'schen LPF unter Verwendung eines aneinander Anpassens eines Ausgabebilds des ersten gauß'schen LPF und des Ausgabebilds des zweiten gauß'schen LPF; und eine zweite Recheneinheit, die das Ausgabebild des zweiten gauß'schen LPF und die Hochfrequenzkomponente der Blockanpassungseinheit synthetisiert, beispielsweise zusammenfasst, um ein Bild auszugeben, bei dem die Unschärfe entfernt wurde.
Der Unschärfeentferner kann die Unschärfe bei einer Mehrzahl von gering aufgelösten Bildern entfernen, die mittels Mehrfachskalierens des eingegebenen Weitwinkelbildes erhalten werden, und nachfolgend ein erstes scharfes runterskaliertes Bild erhalten mittels Interpolation der Bilder, bei denen die Unschärfe entfernt wurde, und das Bild, bei dem die Unschärfe entfernt wurde, erzeugen mittels Interpolation unter Verwendung des eingegebenen Weitwinkelbildes und des ersten runterskalierten Bildes.
Der Unschärfeentferner kann in einem Randbereich, ausschließlich eines kontrastarmen Bereichs und eines Texturbereichs, des eingegebenen Weitwinkelbildes die Unschärfe entfernen.
Die SR-Einheit kann das hochskalierte transtransformierte Bild unter Verwendung eines 2D-Endliche-Impulsdauer(engl.: two-dimensional Finite Impulse Response, 2D-FIR)-Filters erhalten.
Der Ansicht-Transformierer kann die Transformation unter Verwendung eines Lanczos-Filters durchführen.
Gemäß einem anderen Ausführungsbeispiel der vorliegenden Offenbarung weist ein Bildverarbeitungsverfahren zum Transformieren eines Weitwinkelbilds in ein Schmalwinkelbild die Schritte auf: Entfernen einer Unschärfe bei dem Weitwinkelbild, um ein Bild zu erzeugen, bei dem die Unschärfe entfernt wurde; Durchführen eines Höchstauflösung(SR)-Prozesses bei dem Bild, bei dem die Unschärfe entfernt wurde, um ein hochskaliertes transformiertes Bild zu erzeugen; und Durchführen einer Ansichttransformation, um das Schmalwinkelbild basierend auf dem Weitwinkelbild und dem hochskalierten transformierten Bild zu erhalten.
Das hochskalierte transformierte Bild mit verbesserter Schärfe aufgrund der Vorverarbeitung einschließlich dem Entfernen der Unschärfe bei dem eingegebenen Weitwinkelbild und dem Durchführen des SR-Prozesses bei dem Bild, bei dem die Unschärfe entfernt wurde, kann als Eingabe für die Ansichttransformation, um das Schmalwinkelbild zu erhalten, verwendet werden, um die Leistungsfähigkeit bei der Ansichttransformation zu verbessern.
Beim Durchführen des Entfernens der Unschärfe kann ein Programm, das eine Selbstähnlichkeit verwendet, zum Entfernen der Unschärfe abgearbeitet werden, um das eingegebene Weitwinkelbild runterzuskalieren und die Hochfrequenzinformation kann nachfolgend gesucht und mit dem eingegebenen Weitwinkelbild synthetisiert werden, um dadurch das Weitwinkelbild mit verbesserter Schärfe ausgeben zu können.
Bei dem Erzeugen des hochskalierten transformierten Bildes kann das hochskalierte transformierte Bild mit scharfer Bildqualität erhalten werden mittels Anwendens eines Filters, der geeignet ist für ein korrespondierendes Bild in Übereinstimmung mit einer Form eines Bildmusters basierend auf einem SR-Programm, das einen aktiven Lokal-Binärmuster(engl.: Lokal Binary Pattern, LBP)-basierten Klassifizierer verwendet. Beispielsweise ist der Filter auch für ein Bild geeignet, das zu dem aufgenommenen Bild korrespondiert, insbesondere, weil es bezüglich der Form des entsprechenden Bildmusters mit dem Bild übereinstimmt.
Bei dem Durchführen der Ansichttransformation können Werte von Pixeln, die an nicht ganzzahligen Koordinatenpositionen angeordnet sind, unter Verwendung von Werten benachbarter Pixel geschätzt werden, die an ganzzahligen Positionen des Weitwinkelbilds vorliegen, unter Bezug auf eine Wertetabelle, basierend auf einem Wertetabelle-basierten Ansichttransformation-Interpolation-Programm.
Das Entfernen der Unschärfe kann aufweisen: Erzeugen eines runterskalierten Bildes mit geringer Auflösung unter Verwendung linearer Interpolation mit Bezug auf das eingegebene Weitwinkelbild (beispielsweise wird unter Verwendung linearer Interpolation aus dem eingegebenen Weitwinkelbild das runterskalierte Bild mit geringer Auflösung erzeugt); Tiefpassfiltern des runterskalierten Bilds geringer Auflösung mittels eines ersten gauß'schen Tiefpassfilter (LPF); Hochskalieren und Tiefpassfiltern des runterskalierten Bildes mit geringer Auflösung mittels eines zweiten gauß'schen LPF; Subtrahieren einer Ausgabe des ersten gauß'schen LPF von dem runterskalierten gering aufgelösten Bild mittels einer ersten Recheneinheit, um ein Hochfrequenz(HF)-Komponentenbild zu erzeugen; Suchen und Ausgeben einer Hochfrequenzkomponente von der ersten Recheneinheit korrespondierend zu einem Ausgangsbild des zweiten gauß'schen LPF unter Verwendung eines aneinander Anpassens eines Ausgabebilds des ersten gauß'schen LPF und eines Ausgabebilds des zweiten gauß'schen LPF mittels einer Blockanpassungseinheit; und Synthetisieren des Ausgabebilds des zweiten gauß'schen LPF und der Hochfrequenzkomponente der Blockanpassungseinheit, um ein Bild auszugeben, bei dem die Unschärfe entfernt wurde.
Beim Entfernen der Unschärfe kann bei einer Mehrzahl von niedrig aufgelösten Bildern, die mittels Mehrfachskalierens des eingegebenen Weitwinkelbildes erhalten werden, die Unschärfe entfernt werden und ein erstes scharfes runterskaliertes Bild kann erhalten werden mittels Interpolation der Bilder, bei denen die Unschärfe entfernt wurde, und das Bild, bei dem die Unschärfe entfernt wurde, kann erzeugt werden mittels Interpolation unter Verwendung des eingegebenen Weitwinkelbildes und des ersten runterskalierten Bildes.
Bei dem Entfernen der Unschärfe kann die Unschärfe von einem Randbereich, ausschließlich eines kontrastarmen Bereichs und eines Texturbereich, des eingegebenen Weitwinkelbild des entfernt werden.
Bei dem Erzeugen des hochskalierten transformierten Bildes kann das hochskalierte transformierte Bild unter Verwendung eines 2D-Endliche-Impulsdauer(2D-FIR)-Filters erhalten werden.
Bei dem Transformieren der Ansicht kann das Transformieren der Ansicht mittels eines Lanczos Filters durchgeführt werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorstehend genannten und andere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden von der folgenden detaillierten Beschreibung in Zusammenhang mit den beigefügten Zeichnungen offensichtlicher.
1A und 1B sind Ansichten, die eine Zuordnungsvorschrift zwischen einem Weitwinkelbild und einem Schmalwinkelbild, wenn eine Ansicht in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung transformiert wird, veranschaulichen.
2A und 2B sind Ansichten, die ein Höchstauflösung-Anwendungsverfahren, wenn eine Ansicht in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung konvertiert wird, veranschaulichen.
3A ist ein Blockdiagramm einer Bildverarbeitungsvorrichtung in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung.
3B ist ein Ablaufdiagramm, das einen Betrieb einer Bildverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung veranschaulicht.
4A und 4B sind Ansichten, die ein Beispiel eines Unschärfe-Kerns (bspw. Filterkern oder Faltungskern), der auf einen äußeren Bereich eines Weitwinkelbildes angewendet wird, veranschaulichen.
5 ist ein Blockdiagramm eines Unschärfeentferners in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung.
6A bis 6C sind Ansichten, die einen Vergleich zwischen einem Bildverarbeitungsergebnis in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung und einem Bildverarbeitungsergebnis einer herkömmlichen Technik anhand eines eingegebenen Weitwinkelbildes veranschaulichen.
7 ist eine Ansicht, die ein Beispiel eines Verfahrens zum Implementieren einer Bildverarbeitungsvorrichtung in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung veranschaulicht.
DETAILLIERTE BESCHREIBUNG
Nachfolgend werden Ausführungsbeispiele der vorliegenden Erfindung im Detail mit Bezug zu den beigefügten Zeichnungen beschrieben. Gleiche Bezugszeichen beziehen sich figurenübergreifend auf gleiche Elemente. Ferner werden detaillierte Beschreibungen relevanter bekannter Funktionen und/oder Konfigurationen weggelassen. Bei den nachfolgend offenbarten Details werden die Beschreibungen auf Elemente fokussiert, die notwendig sind, um die Funktionen gemäß verschiedenen Ausführungsformen zu verstehen, und detaillierte Beschreibungen von Elementen, welche unnötigerweise die wichtigen Punkte der Beschreibungen verschleiern, werden weggelassen. Ferner werden in den Zeichnungen manche Elemente übertrieben oder schematisch dargestellt oder weggelassen. Die Größe der Elemente gibt nicht ganz deren tatsächliche Größe wieder und daher sind die Details, die hierin beschrieben sind, nicht auf die relativen Größen oder Abstände von Elementen, die in den Zeichnungen dargestellt sind, beschränkt.
Wenn ein herkömmliches lineares Verfahren bei einem Prozess des Hochskalierens eines Bildes verwendet wird, um ein Draufsichtbild für eine Rundumansichtüberwachung (AVM) oder Ähnliches zu erhalten, können ein Unschärfephänomen, ein Treppeneffekt (engl.: jagging artifact) und Ähnliches die Schärfe des hochskalierten Bildes verschlechtern. Daher können, um die Schärfe zu verbessern, ein Verfahren, wie beispielsweise ein Laplace-Verfahren, Unschärfemaskierung und Ähnliches verwendet werden, aber hierbei können ein Treppeneffekt oder Rauschen verstärkt werden.
Um dies zu vermeiden, wird die Schärfe des hochskalierten Bildes ohne ein Artefakt kompensiert unter Verwendung eines Höchstauflösung(SR)-Programms, um die Bildqualität des synthetisierten Draufsichtbildes zu verbessern. Hierbei ist jedoch in Bezug auf die Charakteristiken eines Weitwinkelbildes ein äußerer Bereich des Bildes relativ zu einem zentralen Bereich desselben nicht fokussiert und kann eine geringe Schärfe haben. Da die Schärfe des eingegebenen Bildes gering ist, auch wenn das SR-Programm darauf angewendet wird, wird ein Effekt des Verbesserns der Schärfe des hochskalierten Bildes verringert. Daher, wenn ein Programm zum Entfernen der Unschärfe als Vorverarbeitung bei dem eingegebenen Weitwinkelbild durchgeführt wird, kann eine Wiederherstellungsleistungsfähigkeit des SR-Programms verbessert werden, was eventuell zu einer Verbesserung der Leistungsfähigkeit bei dem Prozess der Ansichttransformation führen kann, um die Bildqualität eines Ausgabebildes zu maximieren.
Basierend auf diesem Prinzip verwendet die vorliegende Offenbarung das Entfernen der Unschärfe und die SR-Programme als Vorverarbeitung, um die Bildqualität beim Konvertieren eines Bildes, das von einer Weitwinkelkamera aufgenommen wurde, die in einem Fahrzeug angeordnet ist, in ein Rundumansichtüberwachung(AVM)-Draufsichtbild oder Ähnliches zu verbessern, wodurch die Möglichkeit eines Fahrers zur Objekterkennung verbessert wird, um den Komfort des Nutzers und die Sicherheit zu erhöhen.
1A und 1B sind Ansichten, die eine Zuordnungsvorschrift zwischen einem Weitwinkelbild und einem Schmalwinkelbild, wenn eine Ansicht in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung konvertiert wird, veranschaulichen.
Bezugnehmend auf die 1A und 1B, wird eine Wertetabelle (LUT), die im Vorhinein erzeugt wurde, verwendet, beispielsweise um bei einem Erzeugen eines AVM-Draufsichtbildes ein Weitwinkelbild 110 in ein Schmalwinkelbild 120, also ein Bild, das kein Weitwinkelbild ist, zu konvertieren. Die LUT gibt an, auf welchen Wert eines Pixels (Bilddaten) des Weitwinkelbildes 110 Bezug genommen werden muss, um Werte (Bilddaten) jedes Pixels (oder Koordinaten) zu erhalten, die das Schmalwinkelbild 120 bilden. Jedoch, um den Wert eines Pixels des Schmalwinkelbildes 120 zu erhalten, wird ein Wert eines Pixels, der an Koordinaten positioniert ist, die nicht ganzzahlige Werte (Werte, die keine ganze Zahlen sind) haben, mittels Interpolation geschätzt unter Verwendung von Werten benachbarter Pixel an ganzzahligen Position des Weitwinkelbildes 110, die es in der LUT gibt. Als Interpolation kann im Allgemeinen eine bilineare Interpolation, ein sehr einfaches lineares Verfahren, verwendet werden, aber da die Rekonstruktionsleistungsfähigkeit desselben nicht gut ist, kann eine Schärfe des konvertierten Schmalwinkelbildes leicht verringert sein.
2A und 2B sind Ansichten, die ein Höchstauflösungs-Anwendungsverfahren, wenn eine Ansicht in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung konvertiert wird, veranschaulichen.
Bezugnehmend auf 2A wird ein Wert eines Pixels 210, der zu nicht ganzzahligen Koordinaten eines Weitwinkelbildes korrespondiert, bei einem Prozess eines Erzeugens eines Schmalwinkelbildes aus einem Weitwinkelbild ermittelt, beispielsweise mittels eines Prozesses einer Ansichttransformation. Um den Wert des Pixels 210 an den nicht ganzzahligen Koordinaten zu ermitteln, wird eine Interpolation mit Bezug auf die Werte von Pixeln 205 durchgeführt, die an umliegenden ganzzahligen Koordinaten vorliegen. Wenn ein Abstand zwischen tatsächlich existierenden Pixeln (Referenzpixeln) runterskaliert, beispielsweise verkleinert, wird, kann eine Leistungsfähigkeit der Interpolation verbessert werden. Daher kann, wenn die Werte von Referenzpixeln 220 verwendet werden, die mittels des SR-Programms erhalten werden, das ein Bild hochskaliert, während dessen Schärfe effektiv erhalten bleibt, ein Abstand zwischen den Pixeln, die für das Durchführen der Interpolation benötigt werden, reduziert werden, und dadurch kann die Leistungsfähigkeit bei dem Prozess der Ansichttransformation verbessert werden.
3A ist ein Blockdiagramm einer Bildverarbeitungsvorrichtung 300 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung.
Bezugnehmend auf 3A weist die Bildverarbeitungsvorrichtung 300 gemäß dem vorliegenden Ausführungsbeispiel einen Unschärfeentferner 310, eine SR-Einheit 320 und einen Ansichttransformierer 330 auf. Der Unschärfeentferner 310, die SR-Einheit 320 und der Ansichttransformierer 330 können mittels Hardware, wie beispielsweise einem Halbleiterprozessor, mittels Software, wie beispielsweise einem Anwendungsprogramm, oder einer Kombination derselben implementiert sein.
Als erstes werden die Funktionsweisen der Komponenten der Bildverarbeitungsvorrichtung 300 gemäß dem vorliegenden Ausführungsbeispiel kurz beschrieben.
Der Unschärfeentferner 310 maximiert die Leistungsfähigkeit eines SR-Prozesses mittels Verbesserns von Charakteristiken, um die Schärfe in äußeren Bereichen eines Weitwinkelbildes zu erhöhen. Um einem Unschärfephänomen (engl.: haziness) zu begegnen, das mit Bezug auf optische Charakteristiken eines Weitwinkelbildes in einem äußeren Bereich außerhalb des Fokus auftritt, fasst der Unschärfeentferner 310 den äußeren Bereich des eingegebenen Weitwinkelbildes als unscharfes Bild auf, das einen Unschärfekern (bspw. Filterkern oder Faltungskern) in einer gauß'schen Form auf Basis einer Bildunschärfemodellierung hat und führt ein Verfahren zum Entfernen der Unschärfe unter Verwendung von Selbstähnlichkeits-Charakteristiken durch, um nach Hochfrequenz(HF)-Informationen in dem runterskalierten eingegebenen Bild zu suchen und die gesuchte HF-Information mit dem eingegebenen Weitwinkelbild zu synthetisieren, um ein Weitwinkelbild mit verbesserter Schärfe auszugeben. D. h., der Unschärfeentferner 310 erzeugt ein scharfes Bild mit niedriger Auflösung mittels Verkleinerns des unscharfen eingegebenen Weitwinkelbildes, separiert die Hochfrequenzinformation und fasst die separierte Hochfrequenzinformation mit dem unscharfen eingegebenen Weitwinkelbild zusammen, um das Weitwinkelbild mit verbesserter Schärfe zu erzeugen.
Die SR-Einheit 320 führt eine SR bei dem Weitwinkelbild durch, das von dem Unschärfeentferner 310 ausgegeben wird, um ein hochskaliertes Bild als scharfes Bild ohne Artefakt zu erzeugen. Während des SR-Prozesses, wenn das Bild runterskaliert wird, wird ein Filter verwendet, der für ein korrespondierendes Bild in Übereinstimmung mit Formen des Bildmusters geeignet ist, basierend auf einem SR-Programm, das einen aktiven Lokal-Binärmuster(engl.: Lokal Binary Pattern, LBP)-basierten Klassifizierer verwendet, um ein hochskaliertes transformiertes Bild mit scharfer Bildqualität zu erhalten. Da das Bild unter Verwendung von SR hochskaliert ist, kann ein Abstand zwischen ganzzahlig positionierten Pixeln, die bei der Interpolation verwendet werden, bei der Ansichttransformation reduziert werden, wodurch eine Leistungsfähigkeit des Ansichttransformationsprogramms verbessert wird.
Um korrespondierend zu dem Weitwinkelbild ein Schmalwinkelbild zu erhalten, das mittels der SR-Einheit 320 hochskaliert wurde, schätzt der Ansichttransformierer 330 Werte von Pixeln, die an nicht ganzzahligen Koordinatenpositionen angeordnet sind, unter Verwendung von Werten umliegender Pixel an ganzzahligen Positionen des Weitwinkelbildes, unter Bezug auf die LUT basierend auf einer LUT-basierten Ansichttransformation-Interpolation.
Auf diese Weise werden bei der vorliegenden Offenbarung, wenn ein Bild, das von einer Weitwinkelkamera aufgenommen wird, die in einem Fahrzeug angeordnet ist, in ein scharfes AVM Draufsichtbild konvertiert wird, eine Unschärfe entfernt und ein SR-Programm als Vorverarbeitung durchgeführt, um ein bezüglich der Schärfe verbessertes hochskaliertes Bild zu erhalten und das bezüglich der Schärfe verbesserte hochskalierte Bild wird in den Ansichttransformationsprozess eingegeben, wobei die Bildqualität des AVM Bildes oder Ähnliches letztendlich maximiert werden können, und dadurch kann eine Möglichkeit eines Fahrers, Objekte zu erkennen, verbessert werden, um Komfort und Sicherheit zu fördern.
Nachfolgend wird ein Betrieb einer Bildverarbeitungsvorrichtung 300 gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung in größerem Detail mit Bezug zu 3B beschrieben.
3B ist ein Ablaufdiagramm, das einen Betrieb der Bildverarbeitungsvorrichtung 300 gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung erläutert.
Bezugnehmend auf 3, um eine Leistungsfähigkeit eines SR-Prozesses mittels Verhinderns einer Verschlechterung der Schärfe in einem äußeren Bereich eines unscharfen Weitwinkelbildes zu maximieren, entfernt der Unschärfeentferner 310 in Schritt S311 die Unschärfe des eingegebenen unscharfen Weitwinkelbildes, um ein Weitwinkelbild mit verbesserter Schärfe zu erzeugen. D. h., der Unschärfeentferner 310 gibt ein Bild, bei dem die Unschärfe entfernt wurde, aus, wodurch er dem Unschärfephänomen begegnet, das auftritt, wenn der äußere Bereich des Weitwinkelbildes in Bezug auf optische Charakteristiken nicht im Fokus ist.
<1. Verwendung von Unschärfekern-Modellierung>
Ein Weitwinkelbild, das mittels einer Weitwinkelkamera eines Fahrzeugs aufgenommen wurde, oder Ähnliches hat Charakteristiken dahingehend, dass ein äußerer Bereich desselben in Bezug auf optische Charakteristiken nicht perfekt fokussiert ist, wodurch er eine geringere Schärfe hat als ein zentraler Bereich des Bildes. Wenn ein Unschärfekern k bezüglich eines äußeren Bereichs Y (Pixel Wert) des Weitwinkelbildes (X ist eine Koordinate und N ist Rauschen) mittels Anwendens derartiger Charakteristiken auf eine Funktion zur Bildunschärfemodellierung geschätzt wird, wie beispielsweise in Gleichung 1, kann angenommen werden, dass ein äußerer Bereich des Weitwinkelbildes einen Unschärfekern in gauß'scher Form hat.
[Gleichung 1]

Y = X·K + N

Wenn eine Bildansicht transformiert wird, kann ein Unschärfekern bezüglich des äußeren Bereichs des Weitwinkelbildes geschätzt werden und in Übereinstimmungen mit Rahmenbedingungen, bei denen ein transformierter Bereich an einem äußeren Bereich des Weitwinkelbildes fixiert ist, kann angenommen werden, dass ein Unschärfe-Kern des korrespondierenden Bereichs gleichförmig eine gauß'sche Form hat und ein Schätzprozess des Unschärfe-Kerns kann weggelassen werden, um Bildverarbeitungszeit zu sparen. Die 4A und 4B sind Ansichten, die einen Unschärfekern 420 (beispielsweise einen Gewichtswert in gauß'scher Form, der auf die Pixel angewendet wird) veranschaulichen, der auf einen äußeren Bereich eines Weitwinkelbildes, das mit Bezugszeichen 410 gekennzeichnet ist, angewendet wird.
Auf diese Weise setzt der Unschärfeentferner 310 den äußeren Bereich des eingegebenen Weitwinkelbildes als unscharfes Bild voraus, das einen Unschärfekern einer gauß'schen Form hat, basierend auf einer Bildunschärfe-Modellierung, und führt ein Verfahren zum Entfernen der Unschärfe unter Verwendung von Selbstähnlichkeit-Charakteristiken durch, um nach Hochfrequenz(HF)-Informationen aus dem runterskalierten eingegebenen Bild zu suchen und die gefundene HF-Information mit dem eingegebenen Weitwinkelbild zu synthetisieren, um ein Weitwinkelbild mit verbesserter Schärfe auszugeben. D. h., der Unschärfeentferner 310 erzeugt ein scharfes Bild mit niedriger Auflösung mittels Runterskalierens des eingegebenen unscharfen Weitwinkelbildes, separiert die HF-Information und synthetisiert die separierte HF-Information mit dem eingegebenen unscharfen Weitwinkelbild, um das Weitwinkelbild mit verbesserter Schärfe zu erzeugen.
In anderen Worten, gleiche natürliche Bilder, die mittels Aufnehmens der gleichen Szene mit verschiedenen Auflösungen erhalten werden, haben Selbstähnlichkeits-Charakteristiken, wobei diese Bildcharakteristiken, wie beispielsweise eine Kante oder Ähnliches, teilweise ähnlich sind. Ferner kann ein unscharfes Bild mit einem gauß'schen Kern ein Bild mit einem niedrigen Frequenzband sein, im Allgemeinen ohne hohe Frequenzkomponenten. Jedoch, wenn ein eingegebenes unscharfes Weitwinkelbild runterskaliert wird, wird ein Bild erzeugt, das eine hohe Schärfe hat und bei dem eine Hochfrequenzkomponente vorhanden ist, obwohl die Auflösung desselben gering ist. Daher, um die Schärfe eines eingegebenen unscharfen Weitwinkelbildes zu verbessern basierend auf den Charakteristiken, wird bei der vorliegenden Offenbarung ein eingegebenes Bild runterskaliert, um ein Bild mit hoher Schärfe zu erhalten und eine Hochfrequenzkomponente wird extrahiert und mit dem eingegebenen Bild synthetisiert, wodurch die Hochfrequenzkomponente letztendlich wiederhergestellt wird, sodass ein Bild mit verbesserter Schärfe ausgegeben werden kann.
<2. Verwendung von Selbstähnlichkeits-Charakteristiken>
Ein Programm zum Entfernen der Unschärfe, das Selbstähnlichkeits-Charakteristiken verwendet, wird mit Bezug zu einem Ausführungsbeispiel, das in 5 gezeigt ist, beschrieben.
5 ist ein Blockdiagramm des Unschärfeentferners 310 gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung.
Bezugnehmend auf 5 weist der Unschärfeentferner 310 gemäß dem vorliegenden Ausführungsbeispiel auf. eine Runterskalierungs-Einheit 311, einen ersten gauß'schen Tiefpassfilter (LPF) 312, einen zweiten LPF 313, eine Blockanpassungseinheit, eine erste Recheneinheit 315 und eine zweite Recheneinheit 316.
<Extrahieren der Hochfrequenzkomponente>
Um eine Hochfrequenzkomponente von einem eingegebenen Weitwinkelbild zu erhalten, das mit einem gauß'schen Kern unscharf ist, erzeugt die Runterskalierungseinheit 311 zuerst ein niedrigaufgelöstes Bild LR, das mit Bezug auf ein eingegebenes Weitwinkelbild I unter Verwendung linearer Interpolation D runterskaliert ist, wie mittels Gleichung 2 ausgedrückt. Das runterskalierte niedrigaufgelöste Bild LR ist ein scharfes Bild, das eine Hochfrequenzkomponente aufweist. Als nächstes verarbeitet der erste gauß'sche LPF 312, ein LPF gauß'scher Form, das niedrigaufgelöste Bild LR, so dass ein Niederfrequenzkomponentenbild LR_LF erzeugt wird, und die erste Recheneinheit 315 kann das Niederfrequenzkomponenten Bild LR_LF von dem niedrigaufgelösten Bild LR subtrahieren, um ein Hochfrequenzkomponentenbild LR_HF zu erzeugen. Die aufgespaltenen Niedrigfrequenz/Hochfrequenzkomponentenbilder LR_LF und LR_HF werden in die Blockanpassungseinheit 314 eingegeben.
[Gleichung 2]

LR = D(I) LR_LF = LPF₁·LR LR_HF = LR – LR_LF

<Anpassungsprozess>
Um eine Hochfrequenzkomponente zu synthetisieren, die für ein eingegebenes Weitwinkelbild geeignet ist, werden davor ein Prozess des Anpassens des eingegebenen Weitwinkelbildes I und das niedrigaufgelöste Bild LR benötigt. Bandbereiche von Frequenzkomponenten, die bei den beiden Bildern vorliegen, sind verschieden. Daher führt der zweite gauß'sche LPF 313 bei dem eingegebenen Weitwinkelbild I das Hochskalieren durch (beispielsweise mittels reziproken Runterskalierens) und das Tiefpassfiltern des runterskalierten niedrigaufgelösten Bildes LR, so dass ein runterskaliertes Niederfrequenzkomponentenbild HR_LF erzeugt wird (beispielsweise korrespondierend zu dem eingegebenen Weitwinkelbild), wie mittels Gleichung 3 ausgedrückt.
Dementsprechend passt die Blockanpassungseinheit 314 die beiden korrespondierenden Bildblöcke LR_LF und HR_LF, die das gleiche Frequenzband haben, aneinander an. Der Anpassungsprozess kann in Einheiten von vorgegebenen Blöcken oder Bereichen durchgeführt werden.
[Gleichung 3]

HR_LF = LPF₂·I

Bei jedem Prozess des Aufspaltens des eingegebenen Weitwinkelbildes und des niederfrequenten niedrigaufgelösten Bildes, wie im Vorhergehenden erläutert, können gauß'sche Filter verwendet werden, die verschiedene Sigmawerte (beispielsweise Standardabweichungen zum Ermitteln einer Breite eines Gaußgraphen oder Größen eines Unschärfekerns) haben. Dies ermöglicht, dass die Ergebnisse des Filterns des eingegebenen Weitwinkelbildes, die Komponenten eines niedrigen Frequenzbandes haben, und das niedrigaufgelöste Bild, das eine Komponente des gesamten Bandes hat, Komponenten des gleichen Bandes haben, da das Tiefpassfiltern mittels räumlicher Filterung durchgeführt wird. Ferner, da bei dem eingegebenen Weitwinkelbild ein gauß'sches Filtern durchgeführt wird, können der Einfluss von Rauschen und Artefakten, die während eines Bildverarbeitungsprozesses erzeugt werden, reduziert werden, um die Anpassungsleistungsfähigkeit zu verbessern.
<Synthetisierungsprozess>
Die Blockanpassungseinheit 314 kann nach einer Niederfrequenzkomponente LR_LF, die eine geringe Auflösung hat, und nach einer Hochfrequenzkomponente LR_HF der ersten Recheneinheit 315 suchen, die dazu bezüglich Blöcken des Niederfrequenzkomponentenbildes HR_LF korrespondiert (beispielsweise korrespondierend zu dem eingegebenen Weitwinkelbild), das aktuell mittels des Anpassungsprozesses hochskaliert wird. Ein Prozess des Wiederherstellens der Hochfrequenzkomponente, um letztendlich ein Bild mit verbesserter Schärfe zu synthetisieren, wird in Einheiten von Bereichen durchgeführt und die zweite Recheneinheit 316 kann den aktuellen hochskalierten Niederfrequenzkomponenten-Bildblock HR_LF (beispielsweise korrespondierend zu dem eingegebenen Weitwinkelbild) und den Hochfrequenzkomponenten-Bildblock LR_HF der Blockanpassungseinheit 314, der dazu korrespondiert, synthetisieren, um ein Bild, bei dem die Unschärfe entfernt wurde, auszugeben, wie mittels Gleichung 4 ausgedrückt. D. h., ein Bereich O(p) des Ausgabebildes, bei dem die Unschärfe entfernt wurde, kann als zusammengesetzter Wert des Niederfrequenzkomponentenbereichs HR_LF(p) des eingegebenen Weitwinkelbildes und des Hochfrequenzkomponentenbildbereichs LR_HF(p) des niedrig aufgelösten Bildes, das darauf angepasst ist, ausgedrückt werden, wie mittels Gleichung 4 ausgedrückt.
[Gleichung 4]

O(p) = HR_LF(p) + LR_HF(p)

<3. Mehrfachskalierungsprogramm>
Das Verfahren, das die Selbstähnlichkeit verwendet kann ein Bild liefern, das schärfer ist als ein eingegebenes Bild, das so runterskaliert wurde, dass es eine geringere Größe hat, aber da die Ähnlichkeit desselben zu dem eingegebenen Bild verringert ist, ist eine Anpassungsleistungsfähigkeit verschlechtert. Andererseits, wenn das Bild nicht ausreichend runterskaliert ist und verwendet wird, kann die Anpassungsleistungsfähigkeit verbessert werden, aber die Schärfe des niedrigaufgelösten Bildes ist etwas gering, wodurch es schwierig wird, einen Effekt des Verbesserns der Schärfe des endgültigen Bildes sicherzustellen.
Um dieses Problem zu lösen, wird bei der vorliegenden Offenbarung ein Prozess eines Entfernens der Unschärfe in zwei Stufen durchgeführt. Zunächst entfernt der Unschärfeentferner 310 die Unschärfe bei einer Mehrzahl von niedrigaufgelösten Bildern, die verschiedene Auflösungen haben und die mittels Mehrfachskalierens (beispielsweise 1/2 Vergrößerungen, 2/3 Vergrößerung und Ähnliches) des eingegebenen Bildes mittels des Vorgangs, der in 5 dargestellt ist, erhalten werden und erzeugt mittels Interpolation oder Ähnlichem nachfolgend ein scharfes runterskaliertes Bild mit 2/3 Vergrößerung oder Ähnlichem aus den Bildern, bei denen die Unschärfe entfernt wurde. Nachfolgend kann der Unschärfeentferner 310 letztendlich mittels Interpolation oder Ähnlichem ein scharfes Bild erzeugen, bei dem die Unschärfe entfernt wurde und das die Auflösung des eingegebenen Bildes hat, unter Verwendung des eingegebenen Bildes und des scharfen runterskalierten Bildes mit 2/3 Vergrößerung oder Ähnlichem.
<4. Entfernen der Unschärfe nach Bereich>
Wenn das Programm zum Entfernen der Unschärfe bei dem gesamten eingegebenen Weitwinkelbild auf die gleiche Art durchgeführt wird, ist ein Effekt des Entfernens der Unschärfe in kontrastarmen Bereichen und Texturbereichen reduziert, da ein zentraler Bereich des Bildes eine ausreichende Schärfe hat und kontrastarme Bereiche und Texturbereiche weniger von der Unschärfe betroffen sind. Ferner, da der Anwender eine große Verbesserung der Schärfe in den Randbereichen erkennen kann, kann der Unschärfeentferner 310 den Prozess des Entfernens der Unschärfe nur bei den Randkomponenten durchführen, während der Prozess des Entfernens der Unschärfe in den kontrastarmen Bereichen und Texturbereichen weggelassen wird.
Beispielsweise beim Anwenden von Laplace von Gauß, einem allgemein verwendeten Randermittlungsverfahren, kann ein Bild so hochskaliert werden, dass es doppelt so groß oder Ähnliches ist, um einen schärferen Rand zu ermitteln. Der Unschärfeentferner 310 kann einen Rand mittels Vergebens eines Gewichtswerts unterscheiden, so dass ein Rand eines äußeren Bereichs eines Bildes in einem Nulldurchgangsprozess einfacher erkannt werden kann. Nachfolgend kann der Unschärfeentferner 310 einen Ausreißer entfernen, ein Lochfüllen durchführen und das Bild so Hochskalieren, das ist doppelt so groß ist, um einen endgültigen Randbereich zu ermitteln, und kann das Entfernen der Unschärfe nur in einem Bereich durchführen, der ein Randbereich ist.
Die SR-Einheit 320 führt in Schritt S321 einen SR-Prozess bei dem Weitwinkelbild durch, das von dem Unschärfeentferner 310 ausgegeben wird, um ein artefaktfreies, hochskaliertes scharfes Bild mit hoher Auflösung zu erhalten. Während des SR-Prozesses wird beim Hochskalieren des Bildes ein Filter, der für das korrespondierende Bild geeignet ist, verwendet in Übereinstimmung mit einer Form eines Musters basierend auf dem SR-Programm unter Verwendung eines aktiven Lokal-Binärmuster(LBP)-basierten Klassifizierers, um ein hochskaliertes transformiertes Bild mit scharfer Bildqualität zu erhalten. Da das Bild unter Verwendung von SR hochskaliert wird, kann ein Raum zwischen ganzzahligen Positionen von Pixeln, die bei der Interpolation verwendet werden, bei der Ansichttransformation reduziert werden, wodurch eine Leistungsfähigkeit bei dem Ansichttransformationsprozess verbessert wird.
Der SR-Prozess, der mittels der SR-Einheit 320 durchgeführt wird, weist einen Lernprozess und einen Zusammenfassprozess auf.
<1. Lernprozess>
Während des Lernprozesses werden ein Paar eines niedrig aufgelösten Bildes und eines hoch aufgelösten Bildes eingegeben und Muster der entsprechenden Bilder werden klassifiziert mittels eines LBP-basierten Klassifizierers und codiert und Filterfaktoren bezüglich der korrespondierenden Muster werden berechnet und in einer vorgegebenen Wörterbuchdatenbank (DB) gespeichert.
<2. Synthetisierungsprozess>
Während des Synthetisierungsprozesses wird ein Programm verwendet, bei dem ein Filterfaktor von der Wörterbuch-DB erhalten wird unter Verwendung eines Adressierungsprogramms.
Bezüglich einer Eingabe eines niedrig aufgelösten Bildes wird ein korrespondierendes Muster codiert unter Verwendung des LBP-basierten Klassifizierers, der bei dem Lernprozess verwendet wird, und ein Filterfaktor wird von der Wörterbuch-DB erhalten unter Verwendung des Codes als ein Adresswert eines Filterfaktors korrespondierend zu dem Muster, um einen Filter für SR aufzurufen. Hierbei wird ein Filter korrespondierend zu dem Muster erhalten ohne einen Merkmalsanpassungsprozess, wodurch der Prozess bei hoher Geschwindigkeit durchgeführt werden kann. Letztendlich kann mit Bezug zu dem eingegebenen niedrig aufgelösten Bildbereich die SR-Einheit 320 einen hochskalierten hochaufgelösten Bereich mit scharfer Bildqualität ausgeben, der wiedergewonnen wird mittels Filterns unter Verwendung eines 2D-Endliche-Impulsdauer(2D-FIR)Filters für SR.
Um ein Schmalwinkelbild zu erhalten, das zu dem Weitwinkelbild korrespondiert, das mittels der SR-Einheit 320 hochskaliert wird, schätzt der Ansichttransformierer 330 in dem Schritt S331 Pixelwerte, die an nicht ganzzahligen Koordinatenpositionen angeordnet sind, unter Verwendung benachbarter Pixelwerte, die an ganzzahligen Positionen des Weitwinkelbilds vorliegen, unter Bezug auf die LUT basierend auf der LUT-basierten Ansichttransformation-Interpolation.
Um die Pixelwerte des Schmalwinkelbildes 120 zu erhalten, wird ein Wert eines Pixels, der an Koordinaten angeordnet ist, die einen nicht ganzzahligen Wert haben, geschätzt mittels Anwendens bilinearer Interpolation unter Verwendung der Werte benachbarter Pixel, die an ganzzahligen Positionen angeordnet sind, aus der LUT. Da ein Filter einschließlich vier Abgriffe (engl.: taps) bei der bilinearen Interpolation verwendet wird, wird bei der Transformation des Werts eines Weitwinkelbildes an den nicht ganzzahligen Positionen ein Ergebnis mit relativ geringer Leistungsfähigkeit erhalten.
Abseits der Verwendung von bilinearer Interpolation kann bei der vorliegenden Offenbarung der Ansichttransformierer 330 den Wert eines Pixels an jeder Koordinate x berechnen unter Verwendung eines Lanczos-Filters basierend auf einer idealen Sinusfunktion L(x), wie in Gleichung 5 gezeigt. Die Verwendung des Lanczos-Filters verbessert die Interpolationsleistungsfähigkeit. Um die Werte der Pixel, die an nicht ganzzahligen Koordinatenpositionen angeordnet sind, unter Verwendung der Werte benachbarter Pixel, die bei ganzzahligen Positionen angeordnet sind, unter Bezug auf die LUT zu schätzen, wird ein Koeffizient „a” in Gleichung 5 als ein geeigneter Wert (beispielsweise 3) ausgewählt und eine vorgegebene Anzahl von Abgriffen (engl.: taps) (beispielsweise insgesamt 36 Abgriffe in Breite und Länge) wird gewählt, um einen Gewichtswert präziser zu verwenden, als bei einer bekannten Technik, um eine größere Anzahl von Werten von Pixeln des Weitwinkelbildes zu nutzen, um ein verbessertes Ergebnis zu erhalten, während das Bild transformiert wird. [Gleichung 5]
Die 6A bis 6C sind Ansichten, die einen Vergleich zwischen einem Ergebnis 630 einer Bildverarbeitung in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung und einem Ergebnis 620 einer Bildverarbeitung gemäß einer herkömmlichen Technik mit Bezug zu einem eingegebenen Weitwinkelbild 610 zeigen.
Wie in den 6A bis 6C dargestellt, kann gesehen werden, dass verglichen mit dem Ergebnis 620 der Bildverarbeitung, das in 6B gezeigt ist, bei dem die herkömmliche Technik basierend auf einem Ansichttransformationsprogramm einen bilinearen Filter verwendet, eine Bildqualität eines AVM-Draufsichtbildes so verbessert wird, dass es bei dem Ergebnis 630 der Bildverarbeitung gemäß der vorliegenden Offenbarung, das in 6C gezeigt ist, schärfer ist, welche auf der Anwendung des Entfernens der Unschärfe und der SR-Vorverarbeitung und dem Ansichttransformationsprogramm, das den Lanczos-Filter verwendet, basiert.
7 ist eine Ansicht, die ein Ausführungsbeispiel einer Vorrichtung zum Implementieren einer Bildbearbeitungsvorrichtung 100 veranschaulicht. Die Bildbearbeitungsvorrichtung 100 kann Hardware, Software oder eine Kombination derselben aufweisen. Beispielsweise kann die Bildbearbeitungsvorrichtung 100 als Computersystem 1000 implementiert werden, wie in 7 veranschaulicht.
Das Computersystem 1000 kann aufweisen: mindestens einen Prozessor 1100, einen Speicher 1300, eine Anwenderschnittstelle-Eingabevorrichtung 1400, eine Anwenderschnittstelle-Ausgabevorrichtung 1500, einen Speicher 1600 und eine Netzwerkschnittstelle 1700, die mittels eines Busses 1200 verbunden ist. Der Prozessor 1100 kann eine Halbleitervorrichtung sein, die ein Prozessieren von Computersprachkommandos durchführt, die in einer Zentralprozessoreinheit (CPU), dem Speicher 1300 und/oder dem Speicher 1600 gespeichert sind. Der Speicher 1300 und der Speicher 1600 können verschiedene Arten von flüchtigen und nichtflüchtigen Speichermedien aufweisen. Beispielsweise kann der Speicher 1300 einen Nur-Lese-Speicher (ROM) 1310 und einen Zufallszugriff-Speicher (RAM) 1320 aufweisen.
Daher können die Schritte der Verfahren oder des Algorithmus, die im Vorhergehenden mit Bezug zu den Ausführungsbeispielen der vorliegenden Offenbarung beschrieben wurden, direkt mittels Hardware, einem Softwaremodul oder einer Kombination derselben implementiert werden und mittels des Prozessors 1100 abgearbeitet werden. Das Softwaremodul kann in einem Speichermedium abgelegt sein (beispielsweise dem Speicher 1300 und/oder dem Speicher 1600), wie beispielsweise einem RAM-Speicher, einem Flash-Speicher, einem ROM-Speicher, einem EPROM-Speicher, einem EEPROM-Speicher, einem Register, einer Festplatte, einer tragbaren Festplatte oder einer CD-ROM. Ein beispielhaftes Speichermedium ist mit dem Prozessor 1100 verbunden und der Prozessor 1100 kann Informationen von dem Speichermedium lesen und Informationen auf das Speichermedium schreiben. Bei einem anderen Verfahren kann das Speichermedium in den Prozessor 1100 integriert sein. Der Prozessor 1100 und das Speichermedium können in einem anwendungsspezifischen integrierten Schaltkreis (ASIC) abgelegt sein. Der ASIC kann in einem Anwenderterminal abgelegt sein. Bei einem anderen Verfahren können der Prozessor 1100 und das Speichermedium als separate Komponenten in einem Anwenderterminal angeordnet sein.
Wie im Vorhergehenden beschrieben, wird bei der Bildverarbeitungsvorrichtung 100 gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung ein Unschärfekern eines äußeren Bereichs eines Weitwinkelbilds, das mit einer Weitwinkelkamera aufgenommen wird, die in einem Fahrzeug angeordnet ist, geschätzt mittels Bildunschärfemodellierung und eine Hochfrequenzinformation wird von einem eingegebenen runterskalierten Bild erhalten mittels Anwendens eines Entfernens von Unschärfe unter Verwendung von Selbstähnlichkeit und Synthetisierens mit dem eingegebenen Bild, um ein Weitwinkelbild mit verbesserter Schärfe auszugeben. Ferner kann mittels Hochskalierens eines Bildes unter Verwendung von Höchstauflösung (SR), ein Raum zwischen Pixeln runterskaliert werden, die bei einer Interpolation im Falle der Ansichttransformation verwendet werden, um eine Leistungsfähigkeit bei dem Ansichttransformationsprozess zu verbessern. Dadurch wird ein hochskaliertes Bild mit einer Schärfe, die mittels Vorverarbeitung, bei der eine Unschärfe entfernt wird, und dem SR-Prozess verbessert ist, in einen Ansichttransformationsprozess eingegeben und die Bildqualität eines AVM-Draufsichtbildes wird verbessert, wodurch die Möglichkeit eines Fahrers zur Objekterkennung verbessert wird, was den Komfort und die Sicherheit fördert.
Gemäß der Bildverarbeitungsvorrichtung und dem Bildverarbeitungsverfahren gemäß der vorliegenden Offenbarung, wenn ein Bild, das mit einer Weitwinkelkamera aufgenommen wird, die in einem Fahrzeug angeordnet ist, in ein AVM-Draufsichtbild transformiert wird, werden ein Entfernen der Unschärfe und ein SR-Programm bei einer Vorverarbeitung des Bildes verwendet, um die Bildqualität des AVM-Draufsichtbildes zu verbessern, wodurch die Möglichkeit eines Fahrers zur Objekterkennung verbessert wird, um den Komfort und die Sicherheit zu fördern.
Obwohl die vorliegende Offenbarung im Vorhergehenden mit Bezug zu den Ausführungsbeispielen und den beigefügten Zeichnungen beschrieben wurde, ist die vorliegende Offenbarung nicht darauf beschränkt, sondern kann von den Fachmännern auf diesem Gebiet, an die sich diese Offenbarung richtet, verschiedentlich modifiziert und verändert werden, ohne von dem Geist und dem Umfang der vorliegenden Offenbarung abzuweichen, welche in den folgenden Ansprüchen beansprucht ist.
Bezugszeichenliste

210: Wert eines Pixels
220: Wert eines Referenzpixels
205: Pixel Wert
310: Unschärfeentferner,
320: SR-Einheit,
330: Ansichttransformierer

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2016-0072497 [0001]

Claims

Bildverarbeitungsvorrichtung (300) zum Transformieren eines Weitwinkelbildes in ein Schmalwinkelbild, die Bildverarbeitungsvorrichtung (300) aufweisend: einen Unschärfeentferner (310), der bei dem Weitwinkelbild eine Unschärfe entfernt, um ein Bild zu erzeugen, bei dem die Unschärfe entfernt wurde; eine Höchstauflösung-Einheit (320), die bei dem Bild, bei dem die Unschärfe entfernt wurde, einen SR-Prozess durchführt, um ein hochskaliertes transformiertes Bild zu erzeugen; und einen Ansichttransformierer (330), der eine Ansichttransformation durchführt, um das Schmalwinkelbild basierend auf dem Weitwinkelbild und dem hochskalierten transformierten Bild zu erhalten.
Bildverarbeitungsvorrichtung (300) gemäß Anspruch 1, wobei das hochskalierte transformierte Bild eine Schärfe hat, die mittels Vorverarbeitung verbessert ist und die Vorverarbeitung das Entfernen der Unschärfe bei dem Weitwinkelbild und das SR-Prozessieren des Bildes, bei dem die Unschärfe entfernt wurde, aufweist und das hochskalierte transformierte Bild als Eingabe für die Ansichttransformation verwendet wird, um die Leistungsfähigkeit der Ansichttransformation, um das Schmalwinkelbild zu erhalten, zu verbessern.
Bildverarbeitungsvorrichtung (300) gemäß einem der vorstehenden Ansprüche, wobei der Unschärfeentferner (310) eine Selbstähnlichkeit verwendet, um das Weitwinkelbild runterzuskalieren, und nach Hochfrequenzinformation sucht und die Hochfrequenzinformation mit dem Weitwinkelbild synthetisiert, um dadurch das Bild, bei dem die Unschärfe entfernt wurde, mit verbesserter Schärfe auszugeben.
Bildverarbeitungsvorrichtung (300) gemäß einem der vorstehenden Ansprüche, wobei die SR-Einheit (320) einen Filter verwendet, der für ein korrespondierendes Bild geeignet ist, in Übereinstimmung mit einem Bildmuster basierend auf einen SR-Programm, das einen Lokal-Binärmuster-basierten Klassifizierer verwendet.
Bildverarbeitungsvorrichtung (300) gemäß einem der vorstehenden Ansprüche, wobei der Ansichttransformierer (330) Werte von Pixeln schätzt, die an nicht ganzzahligen Koordinatenpositionen angeordnet sind, unter Verwendung von Werten benachbarter Pixel, die an ganzzahligen Pixelpositionen des Weitwinkelbildes angeordnet sind, unter Bezug auf eine Wertetabelle basierend auf einem Wertetabelle-basierten Ansichttransformation-Interpolationsprogramm.
Bildverarbeitungsvorrichtung (300) gemäß einem der vorstehenden Ansprüche, wobei der Unschärfeentferner (310) aufweist: eine Runterskalierungs-Einheit, die mit Bezug auf das eingegebene Weitwinkelbild ein runterskaliertes niedrig aufgelöstes Bild unter Verwendung linearer Interpolation erzeugt; einen ersten gauß'schen Tiefpassfilter, der das runterskalierte niedrigaufgelöste Bild tiefpassfiltert; einen zweiten gauß'schen Tiefpassfilter, der ein Hochskalieren und ein Tiefpassfiltern des runterskalierten niedrig aufgelösten Bildes durchführt; eine erste Recheneinheit, die einen Ausgang des ersten gauß'schen Tiefpassfilters von dem runterskalierten niedrig aufgelösten Bild subtrahiert, um ein Hochfrequenzkomponentenbild zu erzeugen; eine Blockanpassungseinheit, die Hochfrequenzkomponenten der ersten Recheneinheit korrespondierend zu einem ausgegebenen Bild des zweiten gauß'schen Tiefpassfilters sucht und ausgibt unter Verwendung eines Anpassens eines Ausgabebildes des ersten gauß'schen Tiefpassfilters und eines Ausgabebildes des zweiten gauß'schen Tiefpassfilters; und eine zweite Recheneinheit, die das Ausgabebild des zweiten gauß'schen Tiefpassfilters und die Hochfrequenzkomponente der Blockanpassungseinheit synthetisiert, um ein Bild auszugeben, bei dem die Unschärfe entfernt wurde.
Bildverarbeitungsvorrichtung (300) gemäß einem der vorstehenden Ansprüche, wobei der Unschärfeentferner (310) bei einer Mehrzahl von niedrig aufgelösten Bildern, die mittels Mehrfachskalierens des Weitwinkelbildes erhalten werden, die Unschärfe entfernt und ein scharfes runterskaliertes erstes Bild mittels Interpolation bei den Bildern, bei denen die Unschärfe entfernt wurde, erhält und das Bild, bei dem die Unschärfe entfernt wird, erzeugt mittels Interpolation unter Verwendung des Weitwinkelbildes und des runterskalierten ersten Bildes.
Bildverarbeitungsvorrichtung (300) gemäß einem der vorstehenden Ansprüche, wobei der Unschärfeentferner (310) bei einem Randbereich, ausgenommen eines kontrastarmen Bereichs und eines Texturbereichs, des Weitwinkelbilds die Unschärfe entfernt.
Bildverarbeitungsvorrichtung (300) gemäß einem der vorstehenden Ansprüche, wobei die SR-Einheit (320) das hochskalierte transformierte Bild unter Verwendung eines 2D-Endliche-Impulsreaktion-Filters erhält.
Bildverarbeitungsvorrichtung (300) gemäß einem der vorstehenden Ansprüche, wobei der Ansichttransformierer (330) die Ansichttransformation unter Verwendung eines Lanczos-Filters durchführt.
Bildverarbeitungsverfahren zum Transformieren eines Weitwinkelbildes in ein Schmalwinkelbild, das Verfahren aufweisend die Schritte: Entfernen der Unschärfe bei dem Weitwinkelbild, um ein Bild zu erzeugen, bei dem die Unschärfe entfernt wurde; Durchführen eines Höchstauflösung-Prozessierens bei dem Bild, bei dem die Unschärfe entfernt wurde, um ein hochskaliertes transformiertes Bild zu erzeugen; und Durchführen einer Ansichttransformation, um das Schmalwinkelbild basierend auf dem Weitwinkelbild und dem hochskalierten transformierten Bild zu erhalten.
Verfahren nach Anspruch 11, wobei das hochskalierte transformierte Bild eine Schärfe hat, die verbessert ist mittels Vorverarbeitung, und die Vorverarbeitung das Entfernen der Unschärfe des Weitwinkelbildes und das SR-Prozessieren des Bildes, bei dem die Unschärfe entfernt wurde, aufweist, und das hochskalierte transformierte Bild als Eingang für die Ansichttransformation verwendet wird, um die Leistungsfähigkeit der Ansichttransformation, um das Schmalwinkelbild zu erhalten, zu verbessern.
Verfahren gemäß einem der Ansprüche 11 oder 12, wobei bei dem Schritt des Entfernens der Unschärfe ein Programm zum Entfernen der Unschärfe verwendet wird, das Selbstähnlichkeit nutzt, um das Weitwinkelbild runterzuskalieren, und die Hochfrequenzkomponente gesucht wird und mit dem eingegebenen Weitwinkelbild synthetisiert wird, um dadurch das Bild auszugeben, bei dem die Unschärfe entfernt wurde.
Verfahren gemäß einem der Ansprüche 11 bis 13, wobei bei dem Schritt des Erzeugens des hochskalierten transformierten Bildes, das hochskalierte transformierte Bild erhalten wird mittels Anwendens eines Filters, der für ein korrespondierendes Bild geeignet ist in Übereinstimmung mit einem Bildmuster basierend auf einem SR-Programm, das einen Lokal-Binärmuster-basierten Klassifizierer verwendet.
Verfahren gemäß einem der Ansprüche 11 bis 14, wobei bei dem Schritt des Durchführens der Ansichttransformation Werte von Pixeln geschätzt werden, die an nicht ganzzahligen Koordinatenpositionen vorliegen, unter Verwendung von Werten benachbarter Pixel, die an ganzzahligen Position des Weitwinkelbildes vorliegen, unter Bezug auf eine Wertetabelle basierend auf einem Wertetabelle-basierten Ansichttransformation-Interpolationsprogramm.
Verfahren gemäß einem der Ansprüche 11 bis 15, wobei der Schritt des Entfernens der Unschärfe die Schritte aufweist: Erzeugen eines runterskalierten niedrig aufgelösten Bildes unter Verwendung linearer Interpolation mit Bezug auf das Weitwinkelbild; Tiefpassfiltern des runterskalierten niedrig aufgelösten Bildes mittels eines ersten gauß'schen Tiefpassfilters; Subtrahieren einer Ausgabe des ersten gauß'schen Tiefpassfilters von dem runterskalierten niedrig aufgelösten Bild mittels einer ersten Recheneinheit; Suchen und Ausgeben mittels einer Blockanpassungseinheit einer Hochfrequenzkomponente der ersten Recheneinheit korrespondierend zu einem Ausgabebild des ersten gauß'schen Tiefpassfilters unter Verwendung eines Anpassens eines Ausgabebilds des ersten gauß'schen Tiefpassfilters und des Ausgabebilds des zweiten gauß'schen Tiefpassfilters; und Synthetisieren des Ausgabebilds des zweiten gauß'schen Tiefpassfilters und der Hochfrequenzkomponente von der Blockanpassungseinheit, um das Bild auszugeben, bei dem die Unschärfe entfernt wurde.
Verfahren gemäß einem der Ansprüche 11 bis 16, wobei bei dem Entfernen der Unschärfe bei einer Mehrzahl von niedrig aufgelösten Bildern, die mittels Mehrfachskalierens des eingegebenen Weitwinkelbildes erhalten werden, die Unschärfe entfernt wird und ein scharfes runterskaliertes erstes Bild erhalten wird mittels Interpolation bei den Bildern, bei denen die Unschärfe entfernt wurde, und das Bild, bei dem die Unschärfe entfernt wird, erzeugt wird mittels Interpolation unter Verwendung des Weitwinkelbildes und des runterskalierten ersten Bildes.
Verfahren gemäß einem der Ansprüche 11 bis 17, wobei bei dem Schritt des Entfernens der Unschärfe bei einem Randbereich, ausgenommen einem kontrastarmen Bereich und einem Texturbereich, des Weitwinkelbildes die Unschärfe entfernt wird.
Verfahren gemäß einem der Ansprüche 11 bis 18, wobei bei dem Schritt des Erzeugens des hochskalierten transformierten Bildes das hochskalierte transformierte Bild unter Verwendung eines 2D-Endliche-Impulsreaktion-Filters erhalten wird.
Verfahren gemäß einem der Ansprüche 11 bis 19, wobei bei dem Schritt des Durchführens der Ansichttransformation die Ansichttransformation durchgeführt wird unter Verwendung eines Lanczos-Filters.