-
Hintergrund
-
Das Vorliegende bezieht sich im allgemeinen auf Bilderzeugungssysteme und insbesondere auf Bilderzeugungssysteme, die einen Bilderzeugungsverifizierungsschaltkreis haben.
-
Moderne elektronische Geräte, wie etwa Mobiltelefone, Kameras und Computer, verwenden in vielen Fällen digitale Bildsensoren. Bilderzeugungseinrichtungen (d. h. Bildsensoren) können aus einer zweidimensionalen Anordnung von Bilderfassungspixeln bestehen. Jedes Pixel empfängt einfallende Photonen (Licht) und wandelt die Photonen in elektrische Signale um.
-
Bildsensoren werden vielfach bei Kraftfahrzeuganwendungen verwendet. Bei Kraftfahrzeug-Bilderzeugungsanwendungen ist es unablässig geworden, dass Bildsensoren bestimmte regelnde Sicherheitsstandards, wie etwa den Straßenfahrzeug-Funktionssicherheitsstandard nach ISO 26262 erfüllen. Um derartigen Typen von Industriesicherheitsstandards gerecht zu werden, führen Kraftfahrzeugbildsensoren normalerweise Selbsttestvorgänge aus um zu bestimmen, ob der Bildsensor ordnungsgemäß arbeitet. Insbesondere wird es in vielen Fällen gewünscht, dass man in der Lage ist zu bestimmen, ob eine Linse, die mit einem Bildsensor assoziiert ist, ordnungsgemäß arbeitet. Bei herkömmlichen Kraftfahrzeugbildsensoren kann es jedoch schwierig oder unmöglich sein, eine bekannte Szenerie durch die Linse des Bildsensors wahrzunehmen, wenn der Bildsensor innerhalb des Kraftfahrzeuges eingebettet ist. Dadurch kann es für das Kraftfahrzeug-Bilderzeugungssystem schwierig werden zu bestimmen, ob die Linse unbeabsichtigt oder arglistig manipuliert wurde.
-
Es wäre somit wünschenswert, ein Bilderzeugungssystem mit verbesserten Eigenschaften für die Verifizierung einer geeigneten Bilderzeugungsfunktionalität anzugeben.
-
Kurze Beschreibung der Zeichnungen
-
1 ist ein Diagramm eines beispielhaften Systems, wie etwa eines Kraftfahrzeugsystems, das ein Bilderzeugungssystem und ein Host-Teilsystem umfasst, gemäß einer Ausführungsform der vorliegenden Erfindung.
-
2 ist ein Diagramm eines beispielhaften Kameramoduls, das eine Lichtquelle hat, die verwendet wird, um Nahsichtfeld-Hindernisse eines entsprechenden Bildsensors für die Ausführung von Bildsensor-Verifikationsvorgänge zu erfassen, gemäß einer Ausführungsform der vorliegenden Erfindung.
-
3 ist ein Flussdiagramm von beispielhaften Schritten, die verwendet werden können, um Nahsichtfeld-Hinderniserfassungsvorgänge auszuführen und so einen ordnungsgemäßen Betrieb eines Bilderzeugungssystems des Typs aus 1 und 2 zu verifizieren, gemäß einer Ausführungsform der vorliegenden Erfindung.
-
4 ist ein Diagramm eines beispielhaften Lichtmodulationsschemas, das von einer Lichtquelle des Typs verwendet werden kann, der in 2 gezeigt ist, um Bilderzeugungssystem-Verifizierungsvorgänge gemäß einer Ausführungsform der vorliegenden Erfindung auszuführen.
-
5 ist ein Blockschaltbild eines Diagramms eines Systems, das die Ausführungsformen von 1 bis 4 verwendet, gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Detaillierte Beschreibung
-
Bilderzeugungssysteme, die über Digitalkameramodule verfügen, werden weit verbreitet in elektronischen Geräten, die etwa Digitalkameras, Computern, Mobiltelefonen und anderen elektronischen Geräten verwendet. Ein Digitalkameramodul kann einen oder mehrere Bildsensoren umfassen, die einfallendes Licht sammeln, um ein Bild zu erfassen.
-
In einigen Situationen können Bilderzeugungssysteme einen Abschnitt eines größeren Systems, wie etwa eines Überwachungssystems oder eines Sicherheitssystems für ein Fahrzeug ausbilden (z. B. ein Automobil, ein Bus oder ein anderes Fahrzeug). Bei einem Fahrzeugsicherheitssystem können Bilder, die von dem Bilderzeugungssystem erfasst werden, von dem Fahrzeugsicherheitssystem verwendet werden, um Umweltbedingungen zu bestimmen, die das Fahrzeug umgeben. Als Beispiele können Fahrzeugsicherheitssysteme Systeme, wie etwa ein Einparkassistenzsystem, ein automatisches oder halbautomatisches Tempomatsystem, ein automatisches Bremssystem, eine Kollisionsvermeidungssystem, ein Spurhaltesystem (bisweilen ein Spurabdrift-Vermeidungssystem genannt) und dergleichen umfassen. In diesen Szenerien werden Bilddaten, die von dem Bilderzeugungssystem erfasst werden, von dem Fahrzeugsicherheitssystem verwendet, um Kraftfahrzeugfunktionen auszuführen (z. B. Funktionen, die mit dem mechanischen Betrieb des Automobils in Verbindung stehen, die mit der Gewährleistung der Sicherheit des Automobils und/oder der Sicherheit von Gegenständen in der Nähe des Automobils in Verbindung stehen können oder nicht). Bei wenigstens einigen Beispielen kann das Bilderzeugungssystem einen Teil des Fahrzeugsicherheitssystems für ein halbautonomes oder autonomes selbstfahrendes Fahrzeug bilden.
-
Das Fahrzeugsicherheitssystem kann ein Rechnergerät (das z. B. bei einem Speicher- und Verarbeitungsschaltkreis, der einen flüchtigen oder nicht flüchtigen Speicher hat, und einem Prozessor, wie etwa einem Zentralverarbeitungssystem oder einem anderen Verarbeitungsgerät verwendet wird) und ein entsprechendes Antriebssteuergerät umfassen, das Anweisungen, die von dem Berechnungsgerät erzeugt werden, in mechanische Vorgänge übersetzt, die mit dem Antrieb des Fahrzeugs in Verbindung stehen. Das Antriebssteuersystem kann beispielsweise mechanische Systeme, die mit dem Fahrzeug in Verbindung stehen, in Erwiderung auf Steuersignale betätigen, die von dem Fahrzeugsicherheitssystem erzeugt werden. Das Fahrzeugsicherheitssystem kann die Bilddaten verarbeiten, um die Steuersignale zu erzeugen, so dass die Steuersignale dazu verwendet werden, dass Antriebssteuergerät anzuweisen, gewünschte mechanische Vorgänge auszuführen, die mit dem Antrieb des Fahrzeugs in Verbindung stehen. Das Antriebssteuersystem kann beispielsweise die Steuerräder des Fahrzeuges derart einstellen, dass das Fahrzeug in einer gewünschten Richtung lenkt (um beispielsweise eine Einparkassistenzfunktion auszuführen, bei der das Fahrzeug von dem Fahrzeugsicherheitssystem in einen Parkplatz geleitet wird, um die Spurassistenzfunktionen auszuführen, bei denen das Lenkrad automatisch justiert wird, um den Fahrzeugverlauf zwischen Straßenspurmarkierungen beizubehalten), kann die Maschine (Motor) des Fahrzeuges derart steuern, dass das Fahrzeug eine bestimmte Geschwindigkeit hat, oder derart, dass sich das Fahrzeug mit einer gewünschten Maschinenleistung vorwärts oder rückwärts bewegt (das Antriebssteuersystem kann beispielsweise eine Drosselklappe des Fahrzeuges derart steuern, dass das Fahrzeug einen gewünschten Abstand in Bezug auf ein weiteres Fahrzeug vor dem Fahrzeug beibehält, etc.), kann Handbremssysteme einstellen, die mit dem Fahrzeug in Verbindung stehen (kann beispielsweise eine Handbremse, Antiblockierbremsen, etc. betätigen) oder kann einen beliebigen anderen mechanischen Vorgang ausführen, der mit der Bewegung des Fahrzeuges in Verbindung steht. Das Fahrzeugsicherheitssystem kann Gefahrenerfassungsvorgänge ausführen, die Gegenstände neben, vor und/oder hinter dem Fahrzeug erfassen und den Fahrer vor der Gefahr (beispielsweise über einen Alarm oder eine Anzeige) warnen und/oder die Bewegung des Fahrzeuges (beispielsweise durch Steuern des Antriebssystems) automatisch einstellen, um die erfasste Gefahr oder den erfassten Gegenstand zu meiden. Funktionen, die von dem Fahrzeugsicherheitssystem für die Beibehaltung der Sicherheit des Fahrzeuges (beispielsweise durch Steuern des Antriebssteuersystems ausgeführt) werden, können hier bisweilen als Fahrzeugsicherheitsvorgänge oder Fahrzeugsicherheitsfunktionen bezeichnet werden.
-
Regelstandards, die von einem Regelwerk, wie etwa Fahrzeugsicherheitsstandards aufgestellt werden, können es erfordern, dass der ordnungsgemäße Betrieb eines beliebigen Bauteils eines Fahrzeugsicherheitssystems (einschließlich den Bilderzeugungssystembauteilen) vor, während und/oder nach dem Betrieb des entsprechenden Fahrzeugs verifiziert werden. Verifizierungsvorgänge für Bilderzeugungssystembauteile können von dem Bilderzeugungssystem vor und/oder nach dem Betrieb eines Fahrzeuges (z. B. beim Starten und/oder Abschalten des Bilderzeugungssystems) ausgeführt werden. Bei diesen Verifizierungsvorgängen kann der zeitgleiche Betrieb des Bilderzeugungssystems und der Verifizierungsvorgänge nicht erforderlich sein. Es kann jedoch erwünscht sein, fortwähren den Status der Bilderzeugungssystembauteile während des Betriebs des Bilderzeugungssystems insbesondere in Situationen zu überwachen, in denen die Fahrzeugsicherheit durch die Qualität von Bilderzeugungsdaten beeinflusst werden kann, die von dem Bilderzeugungssystem bereitgestellt werden. Bilderzeugungssysteme können mit dieser Art einer spontanen (beispielsweise in Echtzeit erfolgenden) Verifizierungsfunktionalität ausgestattet sein.
-
Bildsensoren, wie etwa jene, die bei einem Bilderzeugungssystem eines Fahrzeugsicherheitssystems verwendet werden, können eine oder mehrere Anordnungen von Bildpixeln umfassen. Die Pixel in der Anordnung können lichtempfindliche Elemente, wie etwa Fotodioden umfassen, die einfallendes Licht in elektrische Ladung umwandeln. Pixelanordnungen können eine grolle Zahl von Pixeln (wie etwa Hunderte oder Tausende oder mehr) umfassen. Ein typischer Bildsensor kann beispielsweise Hunderte, Tausende oder Millionen von Pixeln (z. B. Megapixel) umfassen. Sofern es erwünscht ist, kann jedes Pixel eine zugehörige Mikrolinse (und ein Farbfilterelement) haben, die über diesem Pixel ausgebildet ist. Die Pixelanordnung kann zusätzlich eine Abdeckung haben, die die Pixelanordnung vor externen Partikeln, die etwa Staub und Fingerabdrücken schützt. Wenn ein Bildsensor in einem Automobil oder anderem Fahrzeug enthalten ist, kann sich der Bildsensor hinter einer zusätzlichen Schutzschicht befinden, die den Bildsensor vor einer Beschädigung während des Betriebs des Fahrzeuges schützt (wie etwa ein Fenster oder eine Windschutzscheibe des Fahrzeuges oder andere Schutzabdeckung für den Bildsensor).
-
Bei Kraftfahrzeug-Bilderzeugungsanwendungen ist es allgemein üblich, dass für die Bildsensoren das Szenario verdeckt wird, dass sie erfassen sollen. Das Automobil kann beispielsweise, Schmutz, Matsch, Regen, Öl oder anderen Schmutz während des normalen Betriebs des Fahrzeuges anziehen, die das Sichtfeld eines Bildsensors verdecken können, der in einem Kraftfahrzeug-Bilderzeugungssystem an dem Automobil verwendet wird. Ein Bildsensor kann als Teil eines Kameramoduls ausgebildet sein, das ein Verifizierungssystem umfasst um sicherzustellen, dass das Sichtfeld des Bildsensors nicht verdeckt ist. Das Kameramodul kann beispielsweise einen Bildsensor und eine entsprechende Lichtquelle umfassen. Die Lichtquelle kann Licht einer speziellen Farbe oder mehrerer Farben in einem bekannten Muster emittieren. Die Lichtquelle kann Licht emittieren, das hell genug ist, um von Nahbereichshindernissen reflektiert zu werden, die das Sichtfeld des Bildsensors verdecken, so dass der Bildsensor das Licht erfassen kann, das von den Hindernis reflektiert wird. Wenn der Bildsensor Licht empfängt, das von einem Hindernis von der Lichtquelle reflektiert wird (z. B. wenn des empfangene Licht mit dem vorbestimmten Farbmuster übereinstimmt, mit dem das Licht von der Lichtquelle emittiert wurde), kann ein Verarbeitungsschaltkreis, der mit dem Bildsensor gekoppelt ist, bestimmen, dass ein Nahbereichshindernis vorhanden ist, und eine geeignete Aktion ausführen. In bestimmten Fällen kann der Verarbeitungsschaltkreis die Fahrerassistenzfunktion außer Kraft setzen, die mit dem verdeckten Bildsensor in Verbindung steht, und/oder Eingangs-Ausgangsvorrichtungen verwenden, um den Fahrer des Fahrzeuges zu warnen, dass es ein Hindernis gibt. In anderen Fällen kann der Verarbeitungsschaltkreis bestimmen, dass das verdeckte Sichtfeld immer noch ausreichend ist, damit der Bildsensor bei einer Fahrerassistenzfunktion verwendet werden kann.
-
1 ist ein Diagramm eines beispielhaften Systems, das über ein Bilderzeugungssystem verfügt, das einen Bildsensor für die Erfassung von Bildern und ein entsprechendes Host-Teilsystem verwendet. Das System 100 aus 1 kann beispielsweise ein Fahrzeugsicherheitssystem (z. B. ein aktives Bremssystem oder ein anderes Fahrzeugsicherheitssystem), ein Überwachungssystem, eine elektronische Vorrichtung, wie etwa eine Kamera, ein Mobiltelefon, eine Videokamera oder eine andere elektrische Vorrichtung sein, die digitale Bilddaten erfasst.
-
Wie in 1 gezeigt, kann das System 100 ein Bilderzeugungssystem, wie etwa das Bilderzeugungssystem 10, und Host-Teilsysteme, wie etwa das Host-Teilsystem 20 umfassen. Das Bilderzeugungssystem 10 kann ein Kameramodul 12 umfassen. Das Kameramodul 12 kann einen oder mehrere Bildsensoren 14 und eine oder mehrere entsprechende Linsen umfassen. Die Linsen in dem Kameramodul 12 können beispielsweise M·N einzelne Linsen umfassen, die in einer Anordnung M × N angeordnet sind. Einzelne Bildsensoren 14 können in einer entsprechenden M × N Sensoranordnung (als Beispiel) angeordnet sein. Die Werte von M und N können jeweils größer oder gleich eins sein, können jeweils größer oder gleich zwei sein, 10 überschreiten oder beliebige andere geeignete Werte haben.
-
Jeder Bildsensor in dem Kameramodul 12 kann identisch sein, oder sie können unterschiedliche Typen von Bildsensoren in einem integrierten Schaltkreis einer Bildsensoranordnung sein. Jeder Bildsensor kann ein Video-Graphics-Array-(VGA-)Sensor mit einer Auflösung von 480×640 Bildsensorpixeln (als ein Beispiel) sein. Andere Anordnungen von Bildsensorpixeln können ebenfalls für die Bildsensoren verwendet werden, sofern dies gewünscht ist. Es können beispielsweise Bildsensoren mit einer höheren als der VGA-Auflösung (z. B. High-Definition-Bildsensoren), mit einer geringeren als der VGA-Auflösung und/oder Bildsensoranordnungen verwendet werden, bei denen die Bildsensoren nicht allesamt identisch sind.
-
Während der Bilderfassungsvorgänge kann jede Linse Licht auf einen zugehörigen Bildsensor 14 fokussieren. Der Bildsensor 14 kann lichtempfindliche Elemente (d. h. Pixel) umfassen, die Licht in digitale Daten umwandeln. Die Bildsensoren können eine beliebige Anzahl von Pixeln (z. B. Hunderte, Tausende, Millionen oder mehr) umfassen. Ein typischer Bildsensor kann beispielsweise Millionen von Pixeln (z. B. Megapixeln) haben. Als Beispiele, kann der Bildsensor 14 eine Vorspannungsschaltung (Sourcefolger-Ladungsschaltkreise), eine Abtast- und Halteschaltung, eine korrelierte Doppelabtast-(CDS-)Schaltung, eine Verstärkerschaltung, eine Analog-(Digital-(ADC-)Wandlerschaltung, eine Datenausgangsschaltung, einen Speicher (z. B. eine Pufferschaltung), eine Adressschaltung und dergleichen umfassen.
-
Stand- und Videobilddaten aus dem Bildsensor 14 können der Steuer- und Verarbeitungsschaltung 16 über den Weg 26 zugeführt werden. Die Steuer- und Verarbeitungsschaltung 16 kann verwendet werden, um Bildverarbeitungsfunktionen, wie etwa Datenformatieren, das Einstellen des Weißabgleichs und der Belichtung, das Ausführen der Videobildstabilisierung und der Gesichtserfassung auszuführen. Die Steuer- und Verarbeitungsschaltung 16 kann zudem dazu verwendet werden, Raw-Kamera-Bilddateien, sofern dies gewünscht ist, (z. B. in das Joint Photographic Experts Group oder JPEG-Format) zu komprimieren. Bei einer typischen Anwendung, die bisweilen als eine System-auf-Chip-(SOC-)Anordnung bezeichnet wird, sind der Kamerasensor 14 und die Steuer- und Verarbeitungsschaltung 16 auf einem gemeinsamen Halbleitersubstrat (z. B. einem gemeinsamen integrierten Siliziumschaltkreis-Bildsensor) ausgeführt. Sofern gewünscht, können der Kamerasensor 14 und die Verarbeitungsschaltung 16 auf getrennten Halbleitersubstraten ausgebildet sein.
-
Der Kamerasensor 14 und die Verarbeitungsschaltung 16 können auf separaten Substraten ausgebildet sein, die gestapelt wurden.
-
Das Bilderzeugungssystem 10 kann bezogene Bilddaten einem Host-Teilsystem 20 über den Weg 18 zuführen. Bei Szenarien, bei denen das System 100 ein Kraftfahrzeug-Bilderzeugungssystem ist, können Host-Teilsysteme 20 an aktives Steuersystem umfassen, das Steuersignale zum Steuern von Fahrzeugfunktionen, wie etwa Bremsen oder Lenken, externen Vorrichtungen zuführt (um beispielsweise Fahrzeugsicherheitssystemvorgänge auszuführen). Host-Teilsysteme 20 können Verarbeitungssoftware zum Erfassen von Objekten in Bildern, zum Erfassen der Bewegung von Objekten zwischen Bild-Frames, zum Bestimmen von Abständen zu Objekten in Bildern, zum Filtern oder anderweitigen Verarbeiten von Bildern umfassen, die von dem Bilderzeugungssystem 10 bereitgestellt werden. Das Host-Teilsystem 20 kann ein Warnsystem umfassen, das dazu eingerichtet ist, das Bilderzeugungssystem 10 außer Kraft zu setzen und/oder eine Warnung (z. B. ein Warnlicht auf einem Kraftfahrzeug-Armaturenbrett, eine hörbare Warnung oder eine andere Warnung) für den Fall zu erzeugen, dass Verifizierungsdaten, die mit einem Bildsensor assoziiert sind, kennzeichnen, dass der Bildsensor nicht ordnungsgemäß funktioniert.
-
Sofern gewünscht, kann das System 100 den Benutzer mit zahlreichen Funktionen höherer Ebene versorgen. In einem Computer oder einem fortschrittlichen Mobiltelefon kann einem Benutzer beispielsweise die Möglichkeit bereitgestellt werden, Benutzerapplikationen laufen zu lassen. Um diese Funktionen auszuführen, kann das Host-Teilsystem 20 des Systems 100 Eingangs-Ausgangsvorrichtungen, wie etwa Tastenfelder, Eingangs-Ausgangsanschlüsse, Joysticks und Anzeigen sowie eine Speicher- und Verarbeitungsschaltung 24 umfassen. Die Speicher- und Verarbeitungsschaltung 24 kann einen flüchtigen und einen nicht flüchtigen Speicher (z. B. einen ROM-Speicher, einen Flash-Speicher, Festplatten, Solid-State-Laufwerke, etc.) umfassen. Die Speicher- und Verarbeitungsschaltung 24 kann zudem Mikroprozessoren, Mikrocontroller, digitale Signalprozessoren, applikationsspezifische integrierte Schaltkreise und dergleichen umfassen.
-
Während des Betriebs des Bilderzeugungssystems 10 kann das Kameramodul 12 fortwährend Bild-Frames für das Host-Teilsystem 20 erfassen und bereitstellen. Während der Bilderfassungsvorgänge, kann die Verifizierungsschaltung, die mit dem Bildsensor 14 assoziiert ist, gelegentlich betätigt werden (beispielsweise nach jeder Bild-Frame-Erfassung, nach jeder anderen Bild-Frame-Erfassung, nach jeder fünften Bild-Frame-Erfassung, während eines Teils einer Bild-Frame-Erfassung und dergleichen). Bilder, die erfasst werden, wenn die Verifizierungsschaltung betätigt wird, können Verifizierungsdaten umfassen, die Verifizierungsinformationen umfassen. Die Verifizierungsdaten können der Bildverarbeitungsschaltung 16 und/oder der Speicher- und Verarbeitungsschaltung 24 bereitgestellt werden. Die Bildverarbeitungsschaltung 16 kann derart konfiguriert sein, dass sie Verifizierungsdaten mit einem vorbestimmten Datensatz vergleicht, der in der Bildverarbeitungsschaltung 16 gespeichert ist. Nach dem Vergleich kann die Bildverarbeitungsschaltung 16 Statusinformationen oder andere Verifizierungsinformationen zu dem Host-Teilsystem 20 senden (z. B. Informationen, die ein geeignetes/erwartetes Leistungsverhalten des Bildsensors 14 verifizieren, oder Informationen, die ein ungeeignetes Leistungsverhalten des Bildsensors 14 feststellen).
-
Ein Beispiel einer Anordnung für ein Bilderzeugungssystem 10 ist in 2 gezeigt. Wie in 2 gezeigt, umfasst ein Bilderzeugungssystem 10 einen Bildsensor 14, eine Steuer- und Verarbeitungsschaltung 16 und eine Lichtquelle 36. Der Bildsensor 14 kann eine Pixelanordnung mit Hunderten, Tausenden oder Millionen von Pixeln umfassen, die in Reihen und Spalten angeordnet sind. Der Bildsensor 14 kann eine Abdeckung 28 haben, die die Pixelanordnung bedeckt. Die Abdeckung 28 kann ein beliebiges gewünschtes transparentes Material umfassen, durch das der Bildsensor 14 Bilderzeugungslicht empfängt. Die Abdeckung 28 kann beispielsweise aus Glas, Kunststoff, Plexiglas, einem Polymer oder einem anderen gewünschten Material bestehen. Die Abdeckung 28 kann verhindern, dass Schmutz und Partikel die Pixelanordnung 28 erreichen und die Qualität des Bildens, das man durch den Bildsensor 14 erhält, negativ beeinflussen.
-
Bei Szenarien, bei denen der Bildsensor 14 im Inneren eines Fahrzeuges Angebracht ist, kann eine Schutzschicht 32 in einem Fahrzeug verwendet werden, um den Bildsensor von dem Äußeren des Fahrzeuges zu schützen. Die Schutzschicht 32 kann aus einem transparenten Material bestehen, um es dem Bildsensor 14 zu gestatten, präzise Umgebungen des Fahrzeugs zu erfassen. Die Schutzschicht 32 kann beispielsweise aus Glas, Kunststoff, Plexiglas oder einem beliebigen anderen gewünschten Material bestehen. Die Schutzschicht 32 kann verhindern, dass externe Partikel, wie etwa Schmutz und Staub, das Innere des Fahrzeuges erreichen. Da jedoch die Schutzschicht 32 für das Äußere des Fahrzeuges freiliegt, ist sie anfällig dafür, durch externe Elemente, wie etwa Schmutz, Staub, Matsch, Öl, Regen, Schnee oder Insekten verdeckt zu werden. Dieses Beispiel dient lediglich Darstellungszwecken. Sofern gewünscht, kann auf die Abdeckung 26 und/oder die Schutzschicht 32 verzichtet werden. Die Lichtquelle 36 kann hinter der Abdeckung ausgebildet sein (um beispielsweise Hindernisse im Nahsichtfeld auf der Abdeckung 28) zu erfassen.
-
Der Bildsensor 14 kann ein Sichtfeld 30 haben. Der Bildsensor 14 kann Bilddaten in Erwiderung auf Licht erzeugen, das aus dem Sichtfeld 30 empfangen wird. Das Sichtfeld 30 kann eine beliebige gewünschte Größe und Form haben und kann von der speziellen Ausführung des Bildsensors 14 abhängen. Während des Betriebs des Systems 10 (z. B. während des Betriebs eines Automobils, in dem das System 10 ausgebildet ist) kann das Sichtfeld 30 des Bildsensors 14 durch ein Nahbereichshindernis 34 verdeckt werden. Die Verdeckung kann beispielsweise ein Fleck, eine Ölablagerung, ein Fingerabdruck, Schmutz, Staub, Matsch, Wasser oder eine andere Verschmutzung in dem Sichtfeld 30 sein. Dieses Nahbereichshindernis kann verhindern, dass der Bildsensor 14 präzise Bilddaten bezieht, indem die Szene hinter dem Hindernis verdeckt wird. Wie es in 2 gezeigt ist, befindet sich ein Nahbereichshindernis 34 auf einer Außenfläche der Schutzschicht 32. Diese Beispiel dient jedoch lediglich Darstellungszwecken. Im allgemeinen kann sich das Hindernis 34 auf der Abdeckung 28 auf einer Innenoberfläche der Schicht 32 oder an anderen Orten innerhalb des Sichtfeldes 30 befinden.
-
Bei Szenarien, bei denen das Bilderzeugungssystem 10 in einem Fahrzeugsicherheitssystem verwendet wird, kann es erforderlich sein zu verifizieren, dass das Bilderzeugungssystem (das beispielsweise den Bildsensor 14 umfasst) ordnungsgemäß funktioniert (um beispielsweise die Industrieregelstandards für automatische Bilderzeugung zu erfüllen). Befindet sich beispielsweise ein Nahbereichshindernis 34 innerhalb des Sichtfeldes 30, kann der Bildsensor 14 nicht in der Lage sein, präzise Bilddaten der Fahrzeugumgebung zu beziehen, wodurch verhindert wird, dass der Bildsensor 14 ordnungsgemäß funktioniert. Dadurch kann die Effektivität des Fahrzeugsicherheitssystems verringert werden, bei dem der Bildsensor 14 verwendet wird. Es kann daher wünschenswert sein, verbesserte Systeme und Verfahren anzugeben, um ein ordnungsgemäßes Leistungsverhalten von Kraftfahrzeug-Bilderzeugungssystemen zu verifizieren.
-
Bei dem Beispiel in 2 kann das System 10 eine Lichtquelle 36 umfassen um zu bestimmen, ob es ein Nahbereichshindernis, wie etwa das Nahbereichshindernis 34 gibt, das innerhalb des Sichtfeldes 30 vorhanden ist. Wie in 2 gezeigt, kann die Lichtquelle Licht, wie etwa Licht 38 emittieren. In Abwesenheit des Nahbereichshindernisses 34 kann das Licht 38 die Schutzschicht 32 zu dem Äußeren des Fahrzeuges durchlaufen, ohne von dem Bildsensor 14 erfasst zu werden. Der Bildsensor 14 kann dadurch Bildlicht der Umgebung des Fahrzeuges 100 erfassen, ohne Licht 38 zu erfassen, wenn das Nahbereichshindernis 4 nicht vorhanden ist. Wenn jedoch ein Hindernis, wie etwa das Nahbereichshindernis 34 vorhanden ist, kann das emittierte Licht 38 von dem Nahbereichshindernis 34 reflektiert werden, wie es mit dem reflektierten Licht 40 gezeigt ist. Der Bildsensor 14 kann das reflektierte Licht 40 innerhalb eines Abschnittes des Sichtfeldes 30 erfassen. Der Bildsensor 14 und die Schaltung 16 können das reflektierte Licht verarbeiten um zu bestimmen, dass das Hindernis in dem Sichtfeld 30 vorhanden ist.
-
Die Steuer- und Verarbeitungsschaltung 16 kann dazu eingerichtet sein, die Lichtquelle 36 und den Bildsensor (beispielsweise mit Hilfe entsprechender Steuersignale) zu steuern. Sofern gewünscht, kann die Verarbeitungsschaltung 16 die Lichtquelle 36 steuern, um Licht in einer oder mehreren vorbestimmten Farben (Wellenlängen) zu emittieren. Die Verarbeitungsschaltung 16 kann Bilddaten empfangen, die von dem Bildsensor 14 erzeugt werden, und die Bilddaten verarbeiten um zu bestimmen, ob sich das Hindernis 34 in dem Sichtfeld 30 befindet. Die Verarbeitungsschaltung 16 kann beispielsweise das Licht der vorbestimmten Farbe(n) in den empfangenen Bilddaten erfassen und bestimmen, dass das Licht von der Lichtquelle 36 emittiert wurden (wodurch angezeigt wird, dass das Hindernis 34 vorhanden ist).
-
Sofern gewünscht, kann die Verarbeitungsschaltung 16 die Lichtquelle 36 derart steuern, dass sie Licht in einem vorbestimmten zeitlichen und/oder chromatischen Muster (wie etwa einer vorbestimmten Intensität und einem vorbestimmten Farbmuster in Bezug auf die Zeit) emittiert. Das vorbestimmte zeitliche/chromatische Muster kann derart gewählt werden, dass die Erfassung sogenannter ”Falschmeldungen” in den Bilddaten vermieden wird, die von dem Bildsensor 14 erfasst werden. Eine Falschmeldung tritt auf, wenn die Schaltung 16 fälschlicherweise bestimmt, dass es ein Nahbereichshindernis gibt, das das Sichtfeld des Bildsensors 14 verdeckt, wenn tatsächlich kein derartiges Hindernis vorhanden ist. Durch Wählen eines geeigneten Musters für das Licht 38 kann die Verarbeitungsschaltung 16 beliebige derartige Falschmeldungen abschwächen, die in den empfangenen Bilddaten erfasst werden.
-
Es wird ein Beispiel betrachtet, bei dem die Lichtquelle 36 fortwährend Licht einer einzigen Farbe (z. B. rotes Licht) emittiert. Bei diesem Beispiel erfasst, jedes mal, wenn der Lichtsensor 14 rotes Licht innerhalb seines Sichtfeldes erfasst, wie etwa, wenn das Fahrzeug 100 bei einer roten Ampel anhält, oder wenn der Bildsensor 14 ein Stoppschild erfasst, die Schaltung 16 das rote Licht in den erfassten Bilddaten und bestimmt, dass ein Nahbereichshindernis vorhanden ist, unabhängig davon, ob das Hindernis 34 tatsächlich vorhanden ist. Dies würde zu der Erfassung einer Falschmeldung führen, wenn das Hindernis 34 nicht vorhanden ist, da der Bildsensor 14 fälschlicherweise rotes Umgebungslicht (z. B. rotes Licht, das an einem Ort empfangen wird) als rotes Licht charakterisieren würde, das von einem Nahbereichshindernis von der Lichtquelle 36 reflektiert wird.
-
Um derartige Falschmeldungen zu vermeiden, kann die Steuer- und Verarbeitungsschaltung 16 eine Lichtquelle verwenden, um Licht in einem vorbestimmten zeitlichen und/oder chromatischen Muster zu emittieren. Das vorbestimmte Muster kann Änderungen der Zeit der Farbe des emittierten Lichtes 38, der Intensität des emittierten Lichtes 38, der Dauer, während der das Licht 38 emittiert wird, oder einer beliebigen anderen gewünschten Eigenschaft des emittierten Lichtes 38 umfassen. Als ein Beispiel eines derartigen vorbestimmten Musters kann die Lichtquelle 36 rotes und blaues Licht in einem ersten Zeitintervall, kein Licht für ein zweites Zeitintervall, das auf das erste Zeitintervall folgt, grünes Licht in einem dritten Zeitintervall, das auf das zweite Zeitintervall folgt, und kein Licht für ein viertes Zeitintervall emittieren, das auf das dritte Zeitintervall folgt. Dieses Muster kann für unbestimmte Zeit während des Betriebs des Bildsensors 14 wiederholt werden. Die Steuer- und Verarbeitungsschaltung 16 kann dann Bilddaten, die von dem Bildsensor 14 empfangen werden, verarbeiten, und die Bilddaten im Laufe der Zeit mit dem vorbestimmten Muster des Lichtes vergleichen, das von der Lichtquelle 36 emittiert wird. Sofern es gewünscht ist, kann die Schaltung 16 bestimmen, dass das Hindernis 34 vorhanden ist, wenn derselbe Teil der erfassten Bilddaten Licht des vorbestimmten Musters aufweist (wenn beispielsweise reflektiertes Licht 40, das von dem Teil des Sichtfeldes 30, in dem sich das Hindernis 4 befindet, dem vorbestimmten zeitlichen/chromatischen Muster folgt, mit dem das Licht 38 emittiert wurde, kann die Schaltung 16, dass ein Hindernis vorhanden ist, und den Teil des Sichtfeldes identifizieren, der mit dem Hindernis in Verbindung steht).
-
Das Muster des Lichtes, das in dem obigen Beispiel beschrieben ist, ist lediglich veranschaulichend. Im allgemeinen kann ein beliebiges gewünschtes Muster von Licht von der Lichtquelle 36 emittiert werden, um Bildsensor-Verifizierungsvorgänge (z. B. für die Erfassung von Hindernissen in dem Sichtfeld des Bildsensors) auszuführen. Das vorbestimmte Muster kann Farben von Licht umfassen, die sich zu einem beliebigen geeigneten Intervall (wie etwa weniger als eine Hundertstelsekunde, weniger als eine Zehntelsekunde, weniger als eine Sekunde oder mehr als eine Sekunde, etc.) ändern. Eine beliebige geeignete Farbe oder eine Kombination von Farben kann/können variabel von der Lichtquelle 36 in einer beliebigen gewünschten Reihefolge emittiert werden. Licht mit einer beliebigen geeigneten Intensität kann variabel von einer Lichtquelle 36 in einer beliebigen gewünschten Reihenfolge emittiert werden. Im allgemeinen ist, je komplexer das vorbestimmte Muster ist, desto höher der Grad der Gewissheit, den die Steuer- und Verarbeitungsschaltung bei der Bestimmung der Gegenwart eines Nahbereichshindernisses haben wird (ist es beispielsweise weniger wahrscheinlich, dass Bilddaten, die das vorbestimmte Muster zeigen, mit dem Licht 38 emittiert wird, Umgebungslicht ist, das von den Umgebungen des Fahrzeugs empfangen wird.). In ähnlicher Weise ist, je länger das emittierte Muster von dem Bildsensor beobachtet wird, desto höher der Grad der Gewissheit, den die Steuer- und Verarbeitungsschaltung bei der Bestimmung der Gegenwart eines Nahbereichshindernisses (wie etwa im Gegensatz zu einer Falschmeldung) haben kann.
-
Die Lichtquelle 36 kann eine beliebige gewünschte Lichtquelle, wie etwa eine oder mehrere Leuchtdioden (LEDs), einen oder mehrere Laser, Lichtquellen mit einstellbaren Farbfilterelementen oder eine beliebige andere Vorrichtung umfassen, die in der Lage ist, Licht zu emittieren. Darüber hinaus soll die Verwendung des Begriffes Lichtquelle in keiner Weise als einschränkend in Bezug auf die Zahl von vorhandenen Lichtquellen verstanden werden. Die Lichtquelle 36 kann beispielsweise eine beliebige Zahl von Lichtquellen (wie etwa zwei Lichtquellen, drei Lichtquellen, vier Lichtquellen, mehr als vier Lichtquellen, zehn Lichtquellen und dergleichen) umfassen. Bei den Ausführungsformen, bei denen es mehrere Lichtquelle gibt, kann jede Lichtquelle in der Lage sein, einfarbiges Licht zu emittieren oder Licht mehrerer Farben zu emittieren.
-
In Szenarien, bei denen sich der Bildsensor 14 hinter der Schutzschicht 32 befindet, kann der Lichtsensor 14 in einem gewünschten Abstand 42 hinter der Schutzschicht angeordnet sein. Der Abstand kann beispielsweise weniger als 2 cm, zwischen 2 und 10 cm oder mehr als 10 cm betragen. Nahbereichshindernisse 34 können hier als Hindernisse definiert sein, die sich weniger als etwa 50 cm entfernt von dem Bildsensor befinden (das Hindernis 34 kann sich beispielsweise 2 cm von dem Bildsensor, weniger als 10 cm von dem Bildsensor, zwischen 2 und 10 cm von dem Bildsensor, weniger als 50 cm von dem Bildsensor, etc. entfernt befinden). Durch Modulieren der Lichtquelle 36 derart, dass sie ein gewünschtes zeitliches/chromatisches Muster von Licht 38 emittiert, kann die Verarbeitungsschaltung 16 genauer zwischen reflektiertem Licht 40, das für die Gegenwart einer Nahbereichshindernisses 34 kennzeichnend ist, und Umgebungslicht unterscheiden, das aus den Umgebungen des Systems 10 empfangen wird (beispielsweise für die Abschwächung von Falschmeldungen.
-
3 ist ein Flussdiagramm beispielhafter Schritte, die von einem Bilderzeugungssystem mit Verifizierungseigenschaften, wie etwa einem Bilderzeugungssystem 10 aus 2 (beispielsweise einem Kraftfahrzeug-Bilderzeugungssystem, das Bilddaten für die Verwendung in einem Fahrzeugsicherheitssystem erfasst) ausgeführt werden können.
-
Bei Schritt 44 kann ein Bildsensor, wie etwa der Bildsensor 14 beginnen, Bilddaten zu erfassen. Der Bildsensor kann beispielsweise eine kontinuierliche Sequenz von Frames von Bilddaten in Erwiderung auf Licht erfassen, das in dem Sichtfeld 30 empfangen wird. Die erfassten Bilddaten können von der Steuer- und Verarbeitungsschaltung, wie etwa der Steuer- und Verarbeitungsschaltung 16 verarbeitet werden. Die erfassten Bilddaten können in einem Fahrzeugsicherheitssystem von einem Host-Teilsystem, wie etwa dem Host-Teilsystem 20 verwendet werden.
-
Bei Schritt 46 kann eine Lichtquelle, wie etwa die Lichtquelle 36 beginnen, Licht 38 zu emittieren. Die Steuer- und Verarbeitungsschaltung 16 kann die Lichtquelle 36 derart steuern, dass die Lichtquelle 36 Licht in einem vorbestimmten Muster (wie etwa mit einer vorbestimmten Sequenz von unterschiedlichen Lichtfarben) emittiert. Die Steuer- und Verarbeitungsschaltung 16 kann aktiv das Muster des Lichtes 38 einstellen, das von der Lichtquelle 36 emittiert wird, oder die Lichtquelle 36 kann immer dasselbe Lichtmuster emittieren. Das Muster kann Zeitintervalle ohne emittiertes Licht und Zeitintervalle mit Licht einer bestimmten emittierten Farbe oder unterschiedlichen emittierten Farben umfassen.
-
Bei Schritt 48 kann die Steuer- und Verarbeitungsschaltung 16 Bilddaten überwachen, die von dem Bildsensor 14 erfasst werden. Die Schaltung 16 kann beispielsweise Frames aus Bilddaten empfangen, die von dem Sensor 14 in Erwiderung auf Licht erfasst werden, das über das Sichtfeld 30 empfangen wird. Die Bilddaten können Bilddaten (z. B. Abschnitte einer Sequenz von Bild-Frames) umfassen, die in Erwiderung auf Licht erzeugt werden, das aus der Umgebung des Systems 10 (z. B. von der Straße, auf der das Fahrzeug 100 fährt) empfangen werden, und können, sofern ein Nahbereichshindernis 34 in dem Sichtfeld 30 vorhanden ist, Bilddaten umfassen, die in Erwiderung auf reflektiertes Licht 40 erzeugt werden. Die Schaltung 16 kann die empfangenen Bilddaten verarbeiten (analysieren) um zu bestimmen, ob die empfangenen Bilddaten Bilddaten umfassen, die in Erwiderung auf reflektiertes Licht (z. B. eine reflektierte Version des Lichtes 38, das von der Lichtquelle 36 emittiert wird) erzeugt werden. Die Steuer- und Verarbeitungsschaltung 16 kann beispielsweise bestimmen, ob die erfassten Bilddaten Teile umfassen, die mit dem Lichtmuster übereinstimmen, das von der Lichtquelle 36 über einen vorbestimmten Zeitraum (z. B. Millisekunden, Sekunden, oder mehr als Sekunden) emittiert wird. Bestimmt die Schaltung 16, dass die Bilddaten keine Teile umfassen, die in Erwiderung auf reflektiertes Licht 40 erzeugt werden (z. B. Teile, die das vorbestimmte Muster haben, mit der die Quelle 36 das Licht 38 emittiert hat), kann die Schaltung 16 bestimmen, dass keine Hindernisse vorhanden sind, und damit fortfahren, die erfassten Bilddaten auf Hindernisse zu überwachen. Sofern die Schaltung 16 bestimmt, dass die Bilddaten Teile umfassen, die in Erwiderung auf reflektiertes Licht 40 erzeugt werden, dies jedoch nur für einen relativ kurzen Zeitraum (z. B. einen Zeitraum, der kürzer ist als eine vorbestimmte Schwellenzeit), kann die Schaltung 16 bestimmen, dass keine Hindernisse vorhanden sind (die Bilddaten, die beispielsweise in Erwiderung auf reflektiertes Licht 40 in diesem Szenario erzeugt werden, können beispielsweise von einem Gegenstand lediglich vorübergehend in dem Sichtfeld 30 reflektiert werden, wie etwa bei einem vorbeifliegenden Insekt oder Schmutzpartikel).
-
Wenn die Schaltung 16 bestimmt, dass die Bilddaten Teile umfassen, die in Erwiderung auf reflektiertes Licht 40 über den Zeitraum erzeugt werden (wenn die Schaltung 16 beispielsweise bestimmt, dass die Bilddaten Teile umfassen, die das vorbestimmte Muster haben, das von der Quelle 36 emittiert wird), kann die Schaltung 16 bestimmen, dass das Nahbereichshindernis 34 vorhanden ist, worauf die Verarbeitung zu Schritt 50 fortschreiten kann. Sofern gewünscht, kann die Steuer- und Verarbeitungsschaltung 16 einen Ort in dem Sichtfeld 30 des Bildsensors 14 bestimmen, an dem die erfassten Bilddaten mit dem Licht übereinstimmen, das von der Lichtquelle emittiert wird (z. B. einen Teil der erfassten Bilddaten, der das Hindernis beinhaltet).
-
Bei Schritt 50 kann die Steuer- und Verarbeitungsschaltung 16 eine geeignete Aktion auf der Basis der erfassten Bilddaten ausführen. Die Steuer- und Verarbeitungsschaltung 16 kann beispielsweise das Bilderzeugungssystem außer Kraft setzen, wenn bestimmt wird, dass das Hindernis den Bildsensor daran hindert, einen erforderlichen minimalen Umfang von Bilddaten aus der Umgebung des Fahrzeuges 100 zu beziehen. Bei einem weiteren geeigneten Beispiel kann die Steuer- und Verarbeitungsschaltung damit fortfahren, das Bilderzeugungssystem normal zu betreiben, wenn bestimmt wird, dass das Hindernis klein genug ist, um den Betrieb des Bildsensors nicht wesentlich zu beeinträchtigen. Die Verarbeitungsschaltung 16 kann beispielsweise Teile der erfassten Bilddaten verwerfen oder ignorieren, in denen sich die Hindernisse befinden, wenn die Bilddaten verwendet werden, um Fahrzeugassistenzfunktionen auszuführen (die Steuer- und Verarbeitungsschaltung kann beispielsweise damit fortfahren, das Bilderzeugungssystem normal zu betreiben, wenn bestimmt wird, dass sich das Hindernis im Randbereich des Sichtfeldes des Bildsensors befindet). Als weiteres Beispiel kann die Steuer- und Verarbeitungsschaltung 16 einen Benutzer darauf hinweisen, dass das Bilderzeugungssystem einer Inspektion und/oder einer Reparatur bedarf (kann beispielsweise einen sichtbaren Warnhinweis oder einen hörbaren Warnhinweis, etc. ausgeben). Sofern gewünscht, kann das Bilderzeugungssystem weiterhin für Fahrzeugassistenzfunktionen verwendet werden, während der Warnhinweis ausgegeben wird.
-
4 ist ein Diagramm eines beispielhaften Lichtmodulationsschemas, das von der Lichtquelle 36 zum Emittieren von Licht 38 verwendet werden kann. Die Lichtquelle 36 kann für eine bestimmte Dauer (Zeitrahmen) 52A abgeschaltet werden. Rotes und blaues Licht kann anschließend für einen gegebenen Zeitrahmen 52B emittiert werden, worauf die Lichtquelle 36 für einen gegebenen Zeitrahmen 52C abgeschaltet wird. Anschließend kann grünes Licht für einen gegebenen Zeitrahmen 52D emittiert werden. Dieses Muster kann kontinuierlich wiederholt werden, während das Bilderzeugungssystem 10 durch das Fahrzeug in Verwendung ist. Die Verarbeitungsschaltung 16 kann die erfassten Bilddaten analysieren um zu bestimmen, ob Bilddaten, die ein sich wiederholendes Lichtmuster haben, wie es durch die Zeitrahmen 52A–D gegeben ist, erfasst wurden, und kann in Erwiderung auf die Bestimmung, dass Bilddaten erfasst worden sind, die mit dem Lichtmuster übereinstimmen, das durch die Zeitrahmen 52A–D beschrieben ist, eine geeignete Aktion ausführen. Alternativ kann dieses Muster lediglich intermittierend wiederholt werden, um Strom zu sparen (z. B. einmal in der Minute, einmal alle 30 Sekunden, einmal alle zwei Minuten, etc.). Das rote und das blaue Licht, das in dem Zeitrahmen 52B emittiert wird, kann von derselben oder einer anderen Lichtquelle als das Grün emittiert werden, das in dem Zeitrahmen 52D emittiert wird.
-
Das Beispiel aus 4 ist lediglich veranschaulichend. Die Länge (Dauer) der Zeitrahmen 52A, 52B, 52C und 52D können gleich oder unterschiedlich sein. Beispielsweise können die Längen der Zeitrahmen 52A, 52B, 52C und 52D allesamt gleich 1 Sekunde sein. Alternativ können die Längen der Zeitrahmen 52A, 52B, 52C und 52D gleich 1 Sekunde, 0,5 Sekunden, 1,2 Sekunden bzw. 2 Sekunden sein. Die Längen der Zeitrahmen 52A, 52B, 52C und 52D können kürzer als eine Hundertstelsekunde, kürzer als eine Zehntelsekunde, kürzer als eine Sekunde, kürzer als eine Minute oder länger als eine Minute sein. Die einzelne(n) Farbe(n) des Lichtes, das (die) in den Zeitrahmen 52A, 52B, 52C und 52D gezeigt ist (sind), ist (sind) lediglich beispielhaft. Im allgemeinen kann eine beliebige Lichtfarbe während jedes verfügbaren Zeitrahmens emittiert werden (z. B. eine beliebige gewünschte Kombination aus rotem Licht, grünem Licht, blauem Licht, orangefarbenem Licht, gelbem Licht, weißem Licht, ultraviolettem Licht, violettem Licht, infrarotem Licht, rotem und blauem Licht, grünem und blauem Licht, rotem und grünem Licht, etc.). Das Attribut wird in dem emittierten Licht in den Zeitrahmen 52A, 52B, 52C und 52D geändert und muss nicht Farbe sein. Beispielsweise kann die Intensität des Lichtes in jedem Zeitrahmen geändert werden. Sofern gewünscht, können die Intensität und die Farbe in einem beliebigen oder sämtlichen der Zeitrahmen geändert werden.
-
5 zeigt in vereinfachter Form ein typisches Prozessorsystem 54, wie etwa eine Digitalkamera, die eine Bilderzeugungsvorrichtung 70 umfasst. Die Bilderzeugungsvorrichtung 70 kann eine Pixelanordnung 72 umfassen, die auf einem Bildsensor SOC ausgebildet ist. Die Bilderzeugungsvorrichtung 70 kann eine Lichtquelle umfassen, die Licht moduliert. Die Pixelanordnung kann eine Reflexion des modulierten Lichtes erfassen. Die Bilderzeugungsvorrichtung kann anschließend bestimmen, dass ein Nahbereichshindernis vorhanden ist.
-
Das Prozessorsystem 54 ist für ein System beispielhaft, das digitale Schaltkreise umfasst, die die Bilderzeugungsvorrichtung 70 enthalten kann. Ohne Einschränkung kann ein derartiges System ein Computersystem, ein Standbild- oder Videokamerasystem, einen Scanner, maschinelles Sehen, eine Fahrzeugnavigation, ein Videotelefon, ein Überwachungssystem, ein Autofokussystem, ein Sternenverfolgungssystem, ein Bewegungserfassungssystem, ein Bildstabilisiersystem und andere Systeme umfassen, die eine Bilderzeugungsvorrichtung verwenden.
-
Das Prozessorsystem 54, das ein digitales Standbild- oder Videokamerasystem sein kann, kann eine Linse, wie etwa die Linse 64, zum Fokussieren eines Bildes auf eine Pixelanordnung, wie etwa die Pixelanordnung 72, umfassen, wenn der Verschlussauslöseknopf 56 gedrückt wird. Das Prozessorsystem 54 kann eine Zentralverarbeitungseinheit, wie etwa die Zentralverarbeitungseinheit (CPU) 58 umfassen. Die CPU 58 kann ein Mikroprozessor sein, der Kamerafunktionen und wenigstens eine Bildflussfunktion steuert und mit wenigstens einer Eingangs-/Ausgangs-(I/O-)Vorrichtung 68 über einen Bus, wie etwa den Bus 62 kommuniziert. Die Bilderzeugungsvorrichtung 70 kann zudem mit der CPU 58 über den Bus 62 kommunizieren. Das System 54 kann einen Direktzugriffspeicher (RAM) 60 und entnehmbaren Speicher 66 umfassen. Der entnehmbare Speicher 66 kann einen Flash-Speicher umfassen, der mit der CPU 58 über den Bus 62 kommuniziert. Die Bilderzeugungsvorrichtung 70 kann mit der CPU 58 mit oder ohne Memory-Speicher in einem einzigen integrierten Schaltkreis oder auf einem anderen Chip kombiniert sein. Wenngleich der Bus 62 als ein einzelner Bus dargestellt ist, können es ein oder mehrere Busse oder Brücken oder andere Kommunikationswege sein, die verwendet werden, um die Systembauteile miteinander zu verbinden.
-
Es wurden unterschiedliche Ausführungsformen beschrieben, die ein Bilderzeugungssystem und ein Verfahren zum Betreiben eines Bilderzeugungssystems darstellen. Ein Bilderzeugungssystem kann einen Bildsensor umfassen, der Bilddaten in Erwiderung auf Licht erfasst, das über ein Sichtfeld des Bildsensors empfangen wird. Das Bilderzeugungssystem kann eine transparente Schutzschicht umfassen, die innerhalb des Sichtfeldes des Bildsensors ausgebildet ist. Das Bilderzeugungssystem kann zudem eine Lichtquelle, die Licht in einem vorbestimmten Muster erfasst, und eine Verarbeitungsschaltung umfassen, die Teile der Bilddaten erfasst, die von dem Bildsensor in Erwiderung auf das Licht erfasst werden, das von der Lichtquelle in dem vorbestimmten Muster emittiert wird. Der Verarbeitungsschaltung kann ein Hindernis auf der transparenten Schutzschicht in Erwiderung auf die Erfassung von Teilen der Bilddaten identifizieren, die von dem Bildsensor erfasst werden und dem Licht entsprechen, das von der Lichtquelle in dem vorbestimmten Muster emittiert wird. Das Hindernis kann sich innerhalb 10 cm des Bildsensors befinden.
-
Die transparente Schutzschicht kann aus Glas bestehen und innerhalb 10 cm des Bildsensors ausgebildet sein. Die transparente Schutzschicht kann die Windschutzscheibe des Fahrzeugs sein. Das Bilderzeugungssystem kann ein Host-Teilsystem umfassen, das erfasste Bilddaten aus dem Bildsensor verwendet, um Fahrzeugassistenzfunktionen, wie etwa eine Einparkhilfefunktion, eine Tempomatfunktion, eine automatische Bremsfunktion, eine Kollisionsvermeidungsfunktion oder eine Spurhaltefunktion auszuführen. Das vorbestimmte Muster, das von der Lichtquelle emittiert wird, kann ein zeitliches und chromatisches Muster sein.
-
Ein Verfahren zum Betreiben eines Bilderzeugungssystems (z. B. des Bilderzeugungssystems 10) kann das Erfassen von Bilddaten in einem Sichtfeld eines Bildsensors, das Emittieren von Licht mit einer Lichtquelle, das Verwenden einer Schaltung für die Bestimmung, ob die erfassten Bilddaten einen Teil von Bilddaten umfassen, die in Erwiderung auf die reflektierte Version des emittierten Lichtes erzeugt werden, und das Identifizieren mit Hilfe der Verarbeitungsschaltung umfassen, dass sich ein Hindernis in dem Sichtfeld des Bildsensors befindet.
-
Bei unterschiedlichen Ausführungsformen kann das Bilderzeugungssystem ein Kraftfahrzeug-Bilderzeugungssystem sein, das auch Fahrzeugassistenzfunktionen ausführt. Die Verarbeitungsschaltung kann verwendet werden, um den Ort und die Größe eines Hindernisses mit Hilfe der erfassten Bilddaten zu bestimmen. Die Verarbeitungsschaltung kann verwendet werden, um wenigstens eine der Fahrzeugassistenzfunktionen in Erwiderung auf die Bestimmung des Ortes und der Größe des Hindernisses außer Kraft zu setzen. Alternativ kann die Verarbeitungsschaltung die bestimmte Größe mit einer vorbestimmten Schwellengröße vergleichen und damit fortfahren, die Fahrzeugassistenzfunktionen auszuführen, sofern die bestimmte Größe geringer ist als die vorbestimmte Schwellengröße. Die Verarbeitungsschaltung kann darüber hinaus bestimmen, dass sich das Hindernis am Rand des Sichtfeldes des Bildsensors befindet, und damit fortfahren, Fahrzeugsicherheitsfunktionen auszuführen. Die Verarbeitungsschaltung kann einen Benutzer des Fahrzeuges informieren, dass das Hindernis in dem Sichtfeld des Bildsensors vorhanden ist.
-
Das Emittieren des Lichtes kann das Emittieren des Lichtes in einem vorbestimmten Muster umfassen. Das vorbestimmte Muster kann das Ausschalten der Lichtquelle für einen ersten Zeitraum, das Emittieren einer ersten Lichtfarbe für einen zweiten Zeitraum, der dem ersten Zeitraum folgt, das Ausschalten der Lichtquelle für einen dritten Zeitraum, der dem zweiten Zeitraum folgt, und das Emittieren von Licht einer zweiten Farbe, die sich von der ersten Farbe unterscheidet, für einen vierten Zeitraum umfassen, der dem dritten Zeitraum folgt.
-
Bei unterschiedlichen Ausführungsformen kann das System ein Fahrzeug mit einem Inneren und einem Äußeren, eine Zentralverarbeitungseinheit, einen Speicher, eine Eingangs-/Ausgangsschaltung, eine Bilderzeugungsvorrichtung, die im Inneren des Fahrzeuges angebracht ist und Bilddaten erfasst, eine transparente Schutzschicht, die die Bilderzeugungsvorrichtung von dem Äußeren des Fahrzeugs trennt, und eine Lichtquelle umfassen, die im Inneren des Fahrzeuges angebracht ist. Die Bilderzeugungsvorrichtung kann dem Äußeren des Fahrzeuges zugewandt sein. Die Lichtquelle kann ein vorbestimmtes Lichtmuster emittieren. Die Zentralverarbeitungseinheit kann in der Lage sein, ein Nahbereichshindernis des Bildsensors durch Identifizierung von Reflexionen des vorbestimmten Lichtmusters in den erfassten Bilddaten zu erfassen.
-
Das Vorgenannte ist lediglich beispielhaft für die Prinzipien dieser Erfindung, die in anderen Ausführungsformen in die Praxis umgesetzt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
