-
Die vorliegende Offenbarung bezieht sich auf ein Fahrzeugkamerasystem.
-
Mehr und mehr Fahrzeuge sind mit Kameras ausgerüstet, um Spurmarkierungen, Hindernisse, Signale, Infrastruktur, andere Fahrzeuge, Fußgänger, etc. zu erfassen. Die Kameras können beispielsweise verwendet werden, um einen sicheren Fahrzeugbetrieb zu verbessern und/oder um das Fahrzeug während eines autonomen Fahrens zu leiten. Während gegenwärtige Kameras für deren beabsichtigte Verwendung geeignet sind, können diese verbessert werden.
-
Bezüglich einer Hochdynamikbereich-Bildgebung (Hochdynamikbereich: High-Dynamic-Range, HDR) werden mehrere mit einer einzelnen Kamera aufgenommene Bilder verarbeitet und in ein einzelnes HDR-Verbundbild kombiniert. Jedes der mehreren Bilder hat typischerweise einen verschiedenen Belichtungswert (EV) mit einem verschiedenen Ausmaß von Licht, wie ein erstes Bild, das normal belichtet ist, ein zweites Bild, das unterbelichtet ist, und ein drittes Bild, das überbelichtet ist. Die Bilder werden ausgerichtet und dann kombiniert, um ein finales Bild zu erlangen. Eine solche HDR-Verarbeitung von mehreren Bildern resultiert in einer hohen Rechenlast (ist aus Computersicht belastend), insbesondere für ein autonomes Fahrzeugsystem, das sich bei Schnellstraßengeschwindigkeiten fortbewegt. Die vorliegenden Lehren umfassen vorteilhafterweise Kamerasysteme und Verfahren, die eine HDR-Verarbeitung fördern und die beispielsweise Objekterfassungsfähigkeiten von Fahrzeugkamerasystemen verbessern. Der Fachmann wird schätzen, dass die vorliegenden Lehren verschiedene zusätzliche Vorteile und unerwartete Ergebnisse zusätzlich zu den hierin dargelegten bereitstellt.
-
Es ist eine Aufgabe der vorliegenden Offenbarung, ein Verfahren zur Erzeugung von Hochdynamikbereich-(HDR)-Bildern mit einem HDR-Kamerasystem bereitzustellen.
-
Es ist auch eine Aufgabe der vorliegenden Offenbarung, ein Hochdynamikbereichbildgebungssystem bereitzustellen.
-
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Verfahren zur Erzeugung von Hochdynamikbereich-(HDR)-Bildern mit einem HDR-Kamerasystem bereitgestellt. Das Verfahren umfasst:ein Aufnehmen einer Vielzahl von Kamerabelichtungen mit einer Kamera des HDR-Kamerasystems, ein Erzeugen eines ersten HDR-Bilds aus einem ersten Unter-Satz der Vielzahl von Kamerabelichtungen, wobei jede Kamerabelichtung des ersten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist, und ein Erzeugen eines zweiten HDR-Bilds aus einem zweiten Unter-Satz der Vielzahl von Kamerabelichtungen, wobei der zweite Unter-Satz zumindest eine Belichtung aus dem ersten Unter-Satz und zumindest eine zusätzliche Belichtung, die vor kürzerer Zeit als die Belichtungen des ersten Unter-Satzes aufgenommen wurde, umfasst, wobei jede Belichtung des zweiten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist.
-
Gemäß einem anderen Aspekt der vorliegenden Offenbarung umfasst ein Hochdynamikbereich-(HDR)-Bildgebungssystem: eine Kamera, die dazu eingerichtet ist, um eine Vielzahl von Kamerabelichtungen eines Bereichs aufzunehmen, und ein Steuermodul, das dazu eingerichtet ist, um ein erstes HDR-Bild aus einem ersten Unter-Satz der Vielzahl von Kamerabelichtungen zu erzeugen, wobei jede Kamerabelichtung des ersten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist, und ein zweites HDR-Bild aus einem zweiten Unter-Satz der Vielzahl von Kamerabelichtungen zu erzeugen, wobei der zweite Unter-Satz zumindest eine Belichtung aus dem ersten Unter-Satz und zumindest eine zusätzliche Belichtung, die vor kürzerer Zeit als die Belichtungen des ersten Unter-Satzes aufgenommen sind, aufweist, wobei jede Belichtung des zweiten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist.
-
Gemäß der vorliegenden Offenbarung kann es möglich sein, die Erzeugung von HDR-Bildern aus mehreren Kamerabelichtungen zur Eingabe zu jedem geeigneten Objekterfassungsmodul zu beschleunigen und eine HDR-Verarbeitung zu fördern und Objekterfassungsfähigkeiten von Fahrzeugkamerasystemen zu verbessern.
-
Die hierin beschriebenen Zeichnungen sind zum Zwecke der Veranschaulichung lediglich ausgewählter Ausführungsbeispiele und nicht aller möglichen Implementierungen und es ist nicht beabsichtigt, dass diese den Bereich der vorliegenden Offenbarung begrenzen.
- 1 veranschaulicht ein Kamerasystem gemäß den vorliegenden Lehren, das von einem beispielhaften Fahrzeug umfasst ist,
- 2A veranschaulicht mehrere Kamerabelichtungen mit verschiedenen Belichtungswerten, und eine Auswahl von Gruppen der mehreren Kamerabelichtungen, um mehrere HDR-Bilder gemäß den vorliegenden Lehren zu erzeugen,
- 2B veranschaulicht zusätzliche Kamerabelichtungen mit verschiedenen Belichtungswerten, und eine Auswahl von Gruppen der mehreren Kamerabelichtungen, um mehrere HDR-Bilder gemäß den vorliegenden Lehren zu erzeugen,
- 3 veranschaulicht ein Verfahren gemäß den vorliegenden Lehren zur Bestimmung einer optimalen Anzahl von Kamerabelichtungen, mit denen ein Hochdynamikbereich-(HDR)-Bild zu erzeugen ist,
- 4 veranschaulicht ein Verfahren gemäß den vorliegenden Lehren zur Erzeugung eines trainierten Modells von Trainings-HDR-Bilddaten, und
- 5 veranschaulicht ein Verfahren gemäß den vorliegenden Lehren zur Auswahl von Kamerabelichtungen, die zur Erzeugung eines HDR-Bilds zu verwenden sind, aus mehreren Kamerabelichtungen mit verschiedenen Belichtungswerten.
-
Übereinstimmende (entsprechende) Bezugszeichen zeigen übereinstimmende (entsprechende) Teile über die verschiedenen Ansichten der Zeichnungen hinweg.
-
Beispielhafte Ausführungsbeispiele werden nachstehend vollständiger unter Bezugnahme auf die anhängenden Zeichnungen beschrieben.
-
Unter anfänglicher Bezugnahme auf 1 wird eine Hochdynamikbereich-(HDR)-Kamera oder ein Hochdynamikbereich-(HDR)-Bildgebungssystem gemäß den vorliegenden Lehren mit Bezugszeichen 10 veranschaulicht. Das HDR-Kamerasystem 10 umfasst grundsätzlich eine HDR-Kamera 20 und ein Steuermodul 30. Obwohl das HDR-Kamerasystem 10 als bei einem Passagierfahrzeug 40 enthalten veranschaulicht ist, kann das HDR-Kamerasystem 10 bei jedem geeigneten Typ von Fahrzeug enthalten sein. Beispielsweise kann das HDR-Kamerasystem 10 bei jedem/jeder geeigneten Freizeitfahrzeug, Massentransportfahrzeug, Baufahrzeug, Militärfahrzeug, Motorrad, Bauausrüstung, Bergbauausrüstung, Wasserfahrzeug, Luftfahrzeug, etc. enthalten sein. Ferner kann das HDR-Kamerasystem 10 mit jeglichen geeigneten nicht fahrzeugbezogenen Anwendungen verwendet werden, um die Fähigkeit der HDR-Kamera 20 zu verbessern, Objekte von Interesse abzubilden bzw. bildzugeben. Das HDR-Kamerasystem 10 kann als ein HDR-Bildgebungssystem bezeichnet werden.
-
Die HDR-Kamera 20 kann jede geeignete Kamera sein, die in der Lage ist, Objekte von Interesse abzubilden bzw. bildzugeben. Beispielsweise kann die HDR-Kamera 20 jede geeignete Kamera bezüglich visuellen Licht sein. Arten von Kameras können PC-Webcams, industrielle Kameras wie GigE- und USB3-Kameras, Point-And-Shoot-Kameras (Zeigen-Und-Abdrücken-Kameras), und fortschrittliche DSLR-Kameras umfassen. Dies kann auch Kameras umfassen, die verschiedene Bereiche des Lichtspektrums wie IR (Infrarot), NIR (Nahinfrarot), FIR (Ferninfrarot), SWIR (Kurzwelleninfrarot), und LWIR (Langwelleninfrarot) abbilden bzw. bildgeben, umfassen. Die HDR-Kamera 20 kann bei jeder geeigneten Position an dem Fahrzeug 40 montiert sein, wie bei einem Dach des Fahrzeugs 40, an einer Front des Fahrzeugs 40, an einer Windschutzscheibe des Fahrzeugs 40, etc. Das HDR-Kamerasystem 10 kann jede geeignete Anzahl von Kameras 20 umfassen, obwohl das hierin beschriebene beispielhafte System eine einzelne Kamera 20 aufweist.
-
Wie nachstehend hierin erklärt wird, empfängt das Steuermodul 30 mehrere Belichtungen (manchmal als Kamerabelichtungen oder Bildbelichtungen bezeichnet), die durch die HDR-Kamera 20 aufgenommen sind, und kombiniert eine Auswahl der mehreren Belichtungen in ein einzelnes HDR-Bild. In dieser Anmeldung kann einschließlich der nachstehenden Definitionen der Begriff „Modul“ durch den Begriff „Schaltkreis“ ersetzt werden. Der Begriff „Modul“ kann sich auf Prozessorhardware (gemeinsam genutzt, dediziert, oder eine Gruppe davon), die Code ausführt, und auf Speicherhardware (gemeinsam genutzt, dediziert, oder eine Gruppe davon) beziehen, die Code, der durch die Prozessorhardware ausgeführt wird, speichert, kann Teil davon sein, oder dieses enthalten. Der Code ist dazu eingerichtet, um die Merkmale der Module, Steuerelemente und Systeme wie hierin beschrieben bereitzustellen. Der Begriff Speicherhardware ist ein Unter-Satz des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich durch ein Medium ausbreiten (wie auf einer Trägerwelle); der Begriff computerlesbares Medium wird daher als materiell und nicht-transitorisch betrachtet. Nicht einschränkende Beispiele eines nicht-transitorischen computerlesbaren Mediums sind nicht flüchtige Speichervorrichtungen (wie eine Flash-Speichervorrichtung, eine Vorrichtung lesbaren programmierbaren Nur-Lese-Speichers, oder eine Vorrichtung maskierten Nur-Lese-Speichers), flüchtige Speichervorrichtungen (wie eine Vorrichtung statischen Lese-Schreib-Speichers oder eine Vorrichtung dynamischen Schreib-Lese-Speichers), Magnetspeichermedien (wie ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk), und optische Speichermedien (wie eine CD, eine DVD, oder eine Blu-ray-Disc).
-
Zumindest zwei der mehreren Belichtungen, die durch die HDR-Kamera 20 aufgenommen sind, weisen unterschiedliche bzw. verschiedene Belichtungswerte auf, die basierend auf dem Ausmaß von Licht in der Belichtung variieren. Beispielsweise werden, wie in 2A veranschaulicht, mehrere durch die HDR-Kamera 20 aufgenommene Kamerabelichtungen mit Bezugszeichen 50A bis 50L veranschaulicht. Die Belichtungen 50A bis 50L sind in chronologischer Reihenfolge angeordnet. Daher wurde die Belichtung 50A durch die HDR-Kamera 20 vor der Belichtung 50B aufgenommen. Die Belichtung 50C wurde durch die HDR-Kamera 20 nach Aufnahme der Belichtung 50B und vor Aufnahme der Belichtung 50D aufgenommen. Belichtung 50L wurde durch die HDR-Kamera 20 aufgenommen, nachdem jede der Belichtungen 50A bis 50K aufgenommen wurden.
-
Belichtung 50B hat einen Belichtungswert von 0 und ist daher eine Basisbelichtung. Belichtungen 50E, 50H, und 50K weisen ebenfalls einen Belichtungswert von 0 auf und sind daher ebenfalls Basisbelichtungen. Belichtung 50A weist einen Belichtungswert von -1 auf, was darauf hinweist, dass die Belichtung 50A weniger Licht aufweist oder dunkler als die Basisbelichtung 50B ist. Die Belichtung 50A kann irgendein geeignetes Ausmaß von Licht geringer als die Basisbelichtung 50B wie die Hälfte des Ausmaßes von Licht der Basisbelichtung 50B aufweisen. Die Belichtung 50C hat einen Belichtungswert von +1, was darauf hinweist, dass die Belichtung 50C mehr Licht als die Basisbelichtung 50B aufweist. Die Belichtung 50C kann jedes geeignete Ausmaß von Licht, das größer als das Licht der Basisbelichtung 50B ist, wie zweimal das Ausmaß von Licht der Basisbelichtung 50B, aufweisen. Belichtungen 50F, 50I, und 50L weisen jeweils Belichtungswerte von +1 auf, und daher haben diese jeweils ein Ausmaß von Licht gleich der Belichtung 50C. Belichtungen 50D, 50G, und 50J weisen jeweils Belichtungswerte von -1 auf und haben daher jeweils ein Ausmaß von Licht gleich der Belichtung 50A.
-
Wie ferner hierin erklärt kombiniert das Steuermodul 30 zwei oder mehr der Belichtungen 50A bis 50L mit unterschiedlichen/verschiedenen Belichtungswerten in ein einzelnes HDR-Bild. In dem Beispiel der 2A werden drei der Belichtungen 50A bis 50L mit unterschiedlichen Belichtungswerten in ein einzelnes HDR-Bild kombiniert. Insbesondere werden Belichtungen 50A, 50B, und 50C durch das Steuermodul 30 in ein einzelnes HDR-Bild 52A kombiniert. Die Belichtungen 50A, 50B, und 50C sind daher ein erster Unter-Satz der mehreren Kamerabelichtungen 50A bis 50L. Jede dieser Belichtungen 50A, 50B, und 50C dieses ersten Unter-Satzes weist unterschiedliche Belichtungswerte auf.
-
Nach Erzeugung des ersten HDR-Bildes 52A erzeugt das Steuermodul 30 ein zweites HDR-Bild 52B. Das zweite HDR-Bild 52B umfasst zumindest eine der Belichtungen 50B und 50C des ersten Unter-Satzes und ersetzt zumindest die Belichtung 50A mit der vor (noch) kürzerer Zeit aufgenommenen Belichtung 50D, die einen Belichtungswert aufweist, der gleich dem Belichtungswert von 50A ist. Daher umfasst bei dem Beispiel der 2A das zweite HDR-Bild 52B Belichtungen 50B und 50C, und ersetzt Belichtung 50A mit der vor (noch) kürzerer Zeit aufgenommenen Belichtung 50D. Bei einigen Anwendungen kann das zweite HDR-Bild 52B Belichtung 50C, Belichtung 50D, und Belichtung 50E enthalten. Belichtungen 50D und 50E können daher jeweils Belichtungen 50A und 50B ersetzen.
-
Das Steuermodul 30 ist ferner dazu eingerichtet, um ein drittes HDR-Bild 52C zu erzeugen, das in dem Beispiel der 2A Belichtungen 50C, 50D, und 50E enthält. Ein viertes HDR-Bild 52D, das durch das Steuermodul 30 erzeugt ist, umfasst Belichtungen 50D, 50E, und 50E. Wie ferner hierin erklärt kann das Steuermodul 30 die HDR-Kamera 20 konfigurieren, um jede geeignete Anzahl von Belichtungen einschließlich jeder geeigneten Anzahl von Belichtungswerten aufzunehmen. Ferner kann das Steuermodul 30 dazu eingerichtet sein, um HDR-Bilder einschließlich jeder geeigneten Anzahl von Belichtungen zu erzeugen und jede geeignete Anzahl von Belichtungen von einem HDR-Bild zu dem nächsten wie von dem HDR-Bild 52A zu dem HDR-Bild 52B beizubehalten.
-
2B veranschaulicht ein Beispiel, in dem das Steuermodul 30 die HDR-Kamera 20 konfiguriert hat, um mehrere Kamerabelichtungen 60A bis 60L einschließlich zusätzlicher Belichtungswerte verglichen mit Belichtungen 60A bis 60L der 2A aufzunehmen. Insbesondere sind zusätzlich zu einem Aufweisen der Belichtungswerte von Belichtungen 50A bis 50L wie vorstehend beschrieben Belichtungswerte von -2 und +2 enthalten. Beispielsweise weist Belichtung 60A einen Belichtungswert von -2 auf, was darauf hinweist, dass Belichtung 60A dunkler als Belichtung 60B ist, die einen Belichtungswert von -1 aufweist, wie zweimal so dunkel wie die Belichtung 60B. Belichtung 60E mit einem Belichtungswert von +2 ist heller als Belichtung 60D mit einem Belichtungswert von +1. Beispielsweise kann Belichtung 60E zweimal so viel Licht wie Belichtung 60D umfassen. Belichtung 60F umfasst einen Belichtungswert von -2 und ist dunkler als, wie zweimal so dunkel wie, die Belichtung 60G mit einem Belichtungswert von -1. Belichtung 60J weist einen Belichtungswert von +2 auf und hat daher mehr Licht als Belichtung 60I, wie zweimal so viel Licht wie Belichtung 60I. Belichtung 60K hat einen Belichtungswert von -2 und hat daher weniger Licht als Belichtung 60L mit einem Belichtungswert von -1, wie die Hälfte des Ausmaßes von Licht der Belichtung 60L mit einem Belichtungswert von -1.
-
Bei dem Beispiel der 2B ist das Steuermodul 30 dazu eingerichtet, um HDR-Bilder 62A bis 62E aus Belichtungen 60A bis 60L zu erzeugen, die in chronologischer Reihenfolge in 2B von links nach rechts angeordnet sind. Jedes der HDR-Bilder 62A bis 62E umfasst fünf Belichtungen mit unterschiedlichen/verschiedenen Belichtungswerten. Insbesondere ist das Steuermodul 30 dazu eingerichtet, um ein erstes HDR-Bild 62A einschließlich Belichtungen 60A bis 60E zu erzeugen, was einen ersten Unter-Satz der mehreren Belichtungen 60A bis 60L ausbildet. Das Steuermodul 30 ist dazu eingerichtet, um ein zweites HDR-Bild 62B zu erzeugen, das zumindest eine aus den Belichtungen 60A bis 60E, die zur Erzeugung des HDR-Bilds 62A verwendet sind, umfasst. Bei dem veranschaulichten Beispiel erzeugt das Steuermodul 30 das HDR-Bild 62B aus Belichtungen 60B bis 60F. Vor kürzerer Zeit aufgenommene Belichtung 60F ersetzt Belichtung 60A. Das Steuermodul 30 ist ferner dazu eingerichtet, um HDR-Bilder 62C, 62D, und 62E auszubilden, von denen jedes vier der Belichtungen, die verwendet sind, um das vorhergehende HDR-Bild zu erzeugen, plus eine vor (noch) kürzerer Zeit aufgenommene Belichtung mit einem Belichtungswert, der gleich der ältesten Belichtung des vorangegangenen aufgenommenen HDR-Bildes ist, die ersetzt wird, enthält. Obwohl das Beispiel der 2B die HDR-Bilder 62A bis 62E als aus vier Belichtungen, die verwendet sind, um ein vorhergehendes HDR-Bild zu erzeugen, plus eine einzelne vor (noch) kürzerer Zeit aufgenommene Belichtung ausgebildet veranschaulicht, kann das Steuermodul 30 dazu eingerichtet sein, um ein HDR-Bild unter Verwendung jeder geeigneten Anzahl von Belichtungen, die verwendet sind, um ein vorhergehendes HDR-Bild zu erzeugen, plus jeder geeignete Anzahl von vor (noch) kürzerer Zeit aufgenommenen Belichtungen zu erzeugen.
-
Durch Erzeugung von HDR Bildern, die zumindest eine Belichtung aus einem vorher erzeugten HDR-Bild beibehalten, kann das Steuermodul 30 vorteilhafterweise die Erzeugung von HDR-Bildern aus mehreren Kamerabelichtungen für eine Eingabe zu jedem geeigneten Objekterfassungsmodul 32 wie einem Spurerfassungsmodul beschleunigen. Beispielsweise müssen, wenn sich das Fahrzeug 40 mit einer hohen Geschwindigkeit (Fahrstufe) fortbewegt, die durch die HDR-Kamera 20 aufgenommenen Belichtungen zur Eingabe in ein Fahrzeugspurerfassungsmodul schnell in HDR-Bilder verarbeitet werden, so dass das Objekterfassungssystem den Ort der Spurmarkierungen leicht identifizieren kann.
-
Mit fortgesetzte Bezugnahme auf 1, 2A, und 2B und zusätzlicher Bezugnahme auf 3 wird nachstehend ein Verfahren 110 gemäß den vorliegenden Lehren zur Einstellung der Anzahl von Kamerabelichtungen, die in jedem der HDR-Bilder enthalten sind, die durch das Steuermodul 30 erzeugt werden (wie HDR-Bilder 52A bis 52D und 62A bis 62E), beschrieben. Mit anfänglicher Bezugnahme auf Block 112 der 3 greift das Steuermodul 30 auf ein trainiertes Modell einschließlich Trainingsbilddaten zu. Das trainierte Modell kann in jeder geeigneten Weise wie durch einen Entwickler, einen Hersteller, einen Vertreiber, etc., des HDR-Bildgebungssystems 10 bereitgestellt werden. Das trainierte Modell kann auf jede geeignete Weise wie durch das Verfahren 210, das in 4 veranschaulicht ist, erzeugt werden.
-
Unter Bezugnahme auf Block 212 des Verfahrens 210 der 4 werden mehrere Trainings-HDR-Bilder für verschiedene Arten von Szenen, die typischerweise angetroffen werden, auf jede geeignete Weise wie durch den Entwickler, Hersteller, Vertreiber, etc. des HDR-Bildgebungssystems aufgenommen. Beispielsweise können 3000 Bilder für jede der folgenden Szenen unter unterschiedlichen Bedingungen wie unterschiedlichen Licht- und Sichtbedingungen aufgenommen werden: normale Szene, regnerische Szene, verschneite Szene, sonnige Szene, wolkige Szene, Tunneleingangsszene, und Tunnelausgangsszene. Unter Bezugnahme auf Block 214 wird jedes der Trainings-HDR-Bilder in irgendein geeignetes Format konvertiert, um die Extraktion (Extrahierung) von verschiedenen Merkmalen daraus zu ermöglichen. Beispielsweise können Farbversionen der Trainings-HDR-Bilder in Graustufenbilder umgewandelt werden, werden mehrere Gauß'sche Unschärfen bezüglich der Graustufenbilder durchgeführt, und wird eine Differenz der Gauß'schen Unschärfen genommen. Jedes der Trainings-HDR-Bilder kann auch aus Farbversionen in Farbton-Sättigung-und-Wert-(HSV)-Bilder konvertiert werden.
-
In Block 216 werden verschiedene Merkmale aus jeder Kamerabelichtung jedes der Trainings-HDR-Bilder extrahiert. Jegliche geeigneten Merkmale können extrahiert werden, wie eines oder mehrere der folgenden: Anzahl von Belichtungen in jedem Trainings-HDR-Bild (Block 218A), zwischen jeder Belichtung jedes Trainings-HDR-Bilds verstrichene Zeit (218B), Mittelwert und/oder Standardabweichung einer oder mehrerer Ebenen für jede Belichtung jedes Trainings-HDR-Bilds (218C). Beispielhafte Ebenen umfassen Rot-, Grün-, Blau-Ebenen zusammen, Rotebenen, Blauebenen, Grünebenen, Farbtonebenen (Hue-Ebenen), Sättigungsebenen (Saturation-Ebenen), und Wertebenen (Value-Ebenen). Unter Bezugnahme auf Block 220 wird die Bildqualität jedes Trainings-HDR-Bilds (das zusammengefügte Trainings-HDR-Bild und/oder jede Belichtung, die verwendet ist, um das Trainings-HDR-Bild zu erzeugen) auf jede geeignete Weise beurteilt. Beispielsweise kann jedes Trainings-HDR-Bild (das zusammengefügte Trainings-HDR-Bild und/oder jede Belichtung, die verwendet ist, um das Trainings-HDR-Bild zu erzeugen) bezüglich Qualität (wie gute oder schlechte Qualität) durch den Entwickler, Hersteller, Vertreiber, etc. des HDR-Bildgebungssystems 10 betrachtet und eingestuft werden. Das Einstufen kann zu jeder geeigneten Zeit während des Verfahrens 210 auftreten und muss nicht genau vor Block 222 wie in 4 veranschaulicht auftreten. Nachdem die vorstehend beschriebenen oder irgendwelche anderen geeigneten Merkmale aus jeder Belichtung jedes Trainings-HDR-Bilds extrahiert wurden und die Bildeinstufung abgeschlossen ist, schreitet das Verfahren 210 zu Block 222 fort, wo die Merkmale und Bildeinstufungen verwendet werden, um das Modell von Trainingsbilddaten mit irgendeinem geeigneten Algorithmus wie einem Random-Forest-Algorithmus zu trainieren.
-
Mit neuerlicher Bezugnahme auf das Verfahren 110 der 3 schreitet, nachdem das Steuermodul 30 auf das trainierte Modell von Trainingsbilddaten (beispielsweise gemäß dem Verfahren 210 der 4 erzeugt und trainiert) zugreift, das Steuermodul 30 zu Block 114 der 3 fort. In Block 114 ruft das Steuermodul 30 Live-Kamerabelichtungen von der HDR-Kamera 20 ab und erzeugt ein Test-HDR-Bild daraus einschließlich jeder geeigneten Anzahl von Belichtungen wie drei der Belichtungen 50A bis 50L wie in 2A veranschaulicht oder fünf der Belichtungen 60A bis 60L wie in 2B veranschaulicht. Unter Bezugnahme auf Block 116 klassifiziert das Steuermodul 30 das Test-HDR-Bild gemäß der aufgenommenen Szene, wie einer normalen Szene, einer verregneten Szene, einer sonnigen Szene, einer wolkigen Szene, einer Tunneleingangsszene, oder einer Tunnelausgangsszene. In Block 118 wird das Test-HDR-Bild für daraus zu extrahierende Merkmale, wie auf dieselbe Weise wie vorab in Verbindung mit der Beschreibung von Block 214 bezüglich den Trainings-HDR-Bildern erklärt vorbereitet. Dann werden relevante Merkmale aus dem Test-HDR-Bild extrahiert, wie aus jeder Belichtung davon. Jegliche geeigneten Merkmale können extrahiert werden, wie zumindest die in Block 216A, 216B, und 216C des Verfahrens 210 detailliert dargestellten Merkmale.
-
In Block 120 werden die extrahierten Merkmale des Test-HDR-Bilds mit Merkmalen der Trainingsbilder des trainierten Modells von Trainingsbilddaten verglichen. In Block 122 wird das Trainings-HDR-Bild mit Merkmalen am ähnlichsten zu dem Test-HDR-Bild (und aus derselben Szene) und mit einer zufriedenstellenden Bildqualität wie in Block 220 beurteilt identifiziert. Unter Bezugnahme auf Block 124 wird das Steuermodul 30 derart eingestellt, dass die dadurch erzeugten HDR-Bilder aus einer Anzahl von Belichtungen bestehen (wie drei Kamerabelichtungen des Beispiels von 2A oder fünf Kamerabelichtungen in dem Beispiel von 2B), die mit der Anzahl von Belichtungen übereinstimmt, die in dem Trainings-HDR-Bild enthalten sind, das als das am ähnlichsten zu dem Test-HDR-Bild in Block 122 bestimmt ist. Als ein Ergebnis wird das Steuermodul 30 vorteilhafterweise HDR-Bilder erzeugen, die von einer für die vorliegenden Bedingungen am meisten geeigneten Klarheit sind. Das Verfahren 110 kann wie beispielsweise durch das Steuermodul 30 regelmäßig durchgeführt werden, um sicherzustellen, dass die HDR-Bilder der höchsten Qualität erzeugt werden, wenn sich Umweltbedingungen bzw. Umgebungsbedingungen ändern.
-
Unter Bezugnahme auf 5 wird ein Verfahren 310 gemäß den vorliegenden Lehren zur Erzeugung von HDR-Bildern mit einer Anzahl von Belichtungen, die mit der Anzahl von Belichtungen übereinstimmt, die verwendet sind, um das Trainings-HDR-Bild zu erzeugen, das als das am ähnlichsten zu dem Test-HDR-Bild bestimmt ist (beispielsweise wie in Block 124 des Verfahrens 110 bestimmt), veranschaulicht. Obwohl das Verfahren 310 als das System 10 und die Verfahren 110 und 210 der vorliegenden Lehren verwendend beschrieben ist, kann das Verfahren 310 unter Verwendung jeglicher anderer geeigneter Systeme und Verfahren durchgeführt werden.
-
Mit anfänglicher Bezugnahme auf Block 312 des Verfahrens 310 werden mehrere Kamerabelichtungen aufgenommen, wie die Belichtungen 50A bis 50L (2A) oder 60A bis 60L (2B). Unter Bezugnahme auf Block 314 erzeugt das Steuermodul 30 oder irgendein anderes geeignetes Modul ein erstes HDR-Bild (wie das HDR-Bild 52A der 2A oder das HDR-Bild 62A der 2B) aus einem ersten Unter-Satz der mehreren Kamerabelichtungen. Jede Kamerabelichtung des ersten Unter-Satzes weist einen unterschiedlichen Belichtungswert auf. Unter Bezugnahme auf Block 316 erzeugt das Steuermodul 30 oder irgendein anderes Modul ein zweites HDR-Bild (wie das HDR-Bild 52B der 2A oder das HDR-Bild 62B der 2B) aus einem zweiten Unter-Satz der mehreren Kamerabelichtungen. Der zweite Unter-Satz umfasst zumindest eine Belichtung aus dem ersten Unter-Satz von Belichtungen und zumindest eine zusätzliche Belichtung, die vor kürzerer Zeit als die Belichtungen des ersten Unter-Satzes aufgenommen wurde. Jede Belichtung des zweiten Unter-Satzes weist einen unterschiedlichen Belichtungswert auf. Durch Erzeugung von HDR-Bildern, die zumindest eine Belichtung aus einem vorher erzeugten HDR-Bild beibehalten, können die vorliegenden Lehren vorteilhafterweise die Erzeugung von HDR-Bildern aus mehreren Kamera-Belichtungen zur Eingabe in irgendein geeignetes Objekterfassungsmodul wie ein Spurerfassungsmodul beschleunigen. Beispielsweise müssen, wenn sich ein Fahrzeug mit einer hohen Geschwindigkeit (Fahrstufe) fortbewegt, die durch die HDR-Kamera aufgenommenen Belichtungen schnell in HDR-Bilder zur Eingabe in ein Fahrzeugspurerfassungsmodul verarbeitet werden, so dass das Objekterfassungssystem den Ort der Spurmarkierungen leicht identifizieren kann.
-
Die vorstehende Beschreibung der Ausführungsbeispiele wurde zum Zwecke der Veranschaulichung und Beschreibung bereitgestellt. Es ist nicht beabsichtigt, abschließend zu sein oder die Offenbarung einzuschränken. Individuelle Elemente oder Merkmale eines bestimmten Ausführungsbeispiels sind grundsätzlich nicht auf dieses bestimmte Ausführungsbeispiel beschränkt, sondern sind, wo anwendbar, austauschbar und können in einem ausgewählten Ausführungsbeispiel verwendet werden, selbst wenn dies nicht speziell gezeigt oder beschrieben ist. Dasselbe kann auch auf verschiedene Weisen variiert werden. Solche Variationen bzw. Abwandlungen sind nicht als eine Abweichung von der Offenbarung anzusehen und es ist beabsichtigt, dass alle solche Modifikationen, in dem Bereich der Offenbarung enthalten sind.
-
Beispielhafte Ausführungsbeispiele sind derart bereitgestellt, dass diese Offenbarung umfassend ist und den Bereich den Fachleuten vollständig übermittelt. Zahlreiche spezifische Details werden wie als Beispiele von spezifischen Komponenten, Vorrichtungen und Verfahren dargelegt, um ein umfassendes Verständnis von Ausführungsbeispielen der vorliegenden Offenbarung bereitzustellen. Es wird den Fachleuten ersichtlich, dass spezifische Details nicht eingesetzt werden müssen, dass beispielhafte Ausführungsbeispiele in vielen verschiedenen Formen umgesetzt werden können, und dass diese nicht ausgelegt werden sollten, um den Bereich der Offenbarung einzuschränken. In einigen beispielhaften Ausführungsbeispielen werden wohlbekannte Prozesse, wohlbekannte Vorrichtungsstrukturen, und wohlbekannte Technologien nicht detailliert beschrieben.
-
Die hierin verwendete Terminologie dient nur dem Zweck eines Beschreibens bestimmter beispielhafter Ausführungsbeispiele und es ist nicht beabsichtigt, dass diese einschränkend ist. Wie hierin verwendet kann beabsichtigt sein, die Singularformen „ein“, „eine“, und „der/die/das“ die Pluralformen ebenso zu umfassen, es sei denn der Kontext indiziert das Gegenteil klar. Die Begriffe „umfasst“, „umfassend“, „enthaltend“, und „aufweisend“, sind inklusiv und spezifizieren daher das Vorhandensein genannter Merkmale, Integer, Schritte, Operationen, Elemente, und/oder Komponenten, aber schließen die Anwesenheit oder den Zusatz eines oder mehrerer anderer Merkmale, Integer, Schritte, Operationen, Elemente, Komponenten, und/oder Gruppen davon nicht aus. Die Verfahrensschritte, Prozesse, und Operationen, die hierin beschrieben sind, sind nicht als deren Durchführung in der bestimmten Reihenfolge wie diskutiert oder veranschaulicht notwendigerweise benötigend auszulegen, es sei denn diese ist besonders als eine Reihenfolge einer Durchführung identifiziert. Es ist auch zu verstehen, dass zusätzliche oder alternative Schritte eingesetzt werden können.
-
Wenn ein Element oder eine Schicht genannt ist als „an“, „eingegriffen mit“, „verbunden mit“, oder „gekoppelt zu“ einem anderen Element oder einer anderen Schicht, kann diese(s) direkt an, eingegriffen mit, verbunden oder gekoppelt mit dem anderen Element oder der anderen Schicht sein, oder dazwischentretende Elemente oder Schichten können vorhanden sein. Im Gegensatz dazu können, wenn ein Element als „direkt an“, „direkt in Eingriff mit“, „direkt verbunden mit“, oder „direkt gekoppelt mit“ einem anderen Element oder einer anderen Schicht genannt ist, keine dazwischentretenden Elemente oder Schichten anwesend sein. Andere Worte, die verwendet werden, um die Beziehung zwischen Elementen zu beschreiben, sollten in einer vergleichbaren Weise interpretiert werden (beispielsweise „zwischen“ im Gegensatz zu „direkt zwischen“, „benachbart“ im Gegensatz zu „direkt benachbart“, etc.). Wie hierin verwendet umfasst der Begriff „und/oder“ irgendwelche und alle Kombinationen eines oder mehrerer der verbundenen aufgelisteten Elemente.
-
Obwohl die Begriffe erstes, zweites, drittes, etc. hierin verwendet werden können, um verschiedene Elemente, Komponenten, Bereiche, Schichten, und/oder Abschnitte zu beschreiben, sollten diese Elemente, Komponenten, Bereiche, Schichten und/oder Abschnitte nicht durch diese Begriffe eingeschränkt werden. Diese Begriffe können nur verwendet werden, um ein(e/en) Element, Komponente, Bereich, Schicht, oder Abschnitt von eine(m/r) anderen Bereich, Schicht, oder Abschnitt zu unterscheiden. Begriffe wie „erstes“, „zweites“, und andere numerische Begriffe implizieren, wenn hierin verwendet, keine Sequenz oder Reihenfolge, es sei denn dieses ist klar durch den Kontext indiziert. Daher könnte ein(e) erste(s/r) Element, Komponente, Bereich, Schicht, oder Abschnitt wie nachstehend diskutiert auch als ein(e) zweite(s/r) Element, Komponente, Bereich, Schicht, oder Abschnitt bezeichnet werden, ohne von den Lehren der beispielhaften Ausführungsbeispiele abzuweichen.
-
Räumlich relative Begriffe wie „inneres“, „äußeres“, „darunter“, „unter“, „niedriger“, „über“, „oberes“, und dergleichen können hierin der Einfachheit einer Beschreibung halber verwendet werden, um eine Beziehung eines Elements oder Merkmals zu anderen Element(en) oder Merkmal(en) wie in den Figuren veranschaulicht zu beschreiben. Es kann beabsichtigt sein, dass räumlich relative Begriffe verschiedene Orientierungen der verwendeten Vorrichtung oder Operation zusätzlich zu der in den Figuren abgebildeten Orientierung einschließen. Beispielsweise würden, wenn die Vorrichtung in den Figuren herumgedreht wird, Elemente, die als „unter“ oder „darunter“ bezüglich anderer Elemente oder Merkmale beschrieben sind, dann „über“ den anderen Elementen oder Merkmalen orientiert sein. Daher kann der beispielhafte Begriff „unter“ sowohl eine Orientierung von über als auch darunter umfassen. Die Vorrichtung kann anders orientiert sein (um 90° rotiert oder mit anderen Orientierungen) und die räumlichen relativen Beschreibungen, die hierin verwendet sind, können entsprechend interpretiert werden.
-
Während die Ausführungsbeispiele, die Konfigurationen, die Aspekte eines Fahrzeugkamerasystems beispielhaft beschrieben wurden, sollte erkannt werden, dass Ausführungsbeispiele, Konfigurationen, Aspekte der vorliegenden Offenbarung nicht auf die jeweiligen Ausführungsbeispiele, die jeweiligen Konfigurationen, und die jeweiligen Aspekte wie vorstehend beschrieben beschränkt sind. Beispielsweise sind Ausführungsbeispiele, Konfigurationen, Aspekte, die durch geeignetes Kombinieren von technischen Abschnitten, die in unterschiedlichen Ausführungsbeispielen, Konfigurationen, und Aspekten offenbart sind, erlangt werden, in einem Bereich von Ausführungsbeispielen, Konfigurationen, und Aspekten der vorliegenden Offenbarung enthalten.
-
Ein Verfahren zur Erzeugung von Hochdynamikbereich-(HDR)-Bildern mit einem HDR-Kamerasystem (10) umfasst ein Aufnehmen einer Vielzahl von Kamerabelichtungen mit einer Kamera (20) des HDR-Kamerasystems, ein Erzeugen eines ersten HDR-Bilds (52A, 62A) aus einem ersten Unter-Satz der Vielzahl von Kamerabelichtungen, wobei jede Kamerabelichtung des ersten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist, und ein Erzeugen eines zweiten HDR-Bilds (52A, 62A) aus einem zweiten Unter-Satz der Vielzahl von Kamerabelichtungen, wobei der zweite Unter-Satz zumindest eine Belichtung aus dem ersten Unter-Satz und zumindest eine zusätzliche Belichtung, die vor kürzerer Zeit als die Belichtungen des ersten Unter-Satzes aufgenommen wurde, umfasst, wobei jede Belichtung des zweiten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist.
