-
QUERVERWEIS AUF VERWANDTE ANMELDUNG
-
Diese Anmeldung beansprucht die Priorität der
japanischen Patentanmeldung Nr. 2018-040311 , die am 7. März 2018 eingereicht wurde, wobei deren gesamte Offenbarung hierin durch Bezugnahme aufgenommen ist.
-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft eine Bildgebungsvorrichtung, wie beispielsweise ein bordeigenes Fahrerüberwachungsgerät, und insbesondere eine Technik zum Ermitteln eines Hindernisses, das das Aufnehmen eines Objektbildes beeinträchtigt.
-
ALLGEMEINER STAND DER TECHNIK
-
Ein bordeigenes Fahrerüberwachungsgerät analysiert ein Bild vom Gesicht eines Fahrers, das von einer Kamera aufgenommen wird, und überwacht, basierend auf dem Ausmaß der Öffnung der Augenlider oder der Blickrichtung, ob der Fahrer beim Fahren einschläft oder ob der Fahrer abgelenkt fährt. Die Kamera für das Fahrerüberwachungsgerät ist typischerweise zusammen mit dem Anzeigepanel und den Instrumenten vor dem Fahrersitz auf dem Armaturenbrett installiert.
-
Die Kamera ist jedoch eine kleine Komponente und kann durch einen über der Kamera hängenden Gegenstand auf dem Armaturenbrett (z. B. ein Handtuch) blockiert werden, der vom Fahrer möglicherweise übersehen wird. Die Kamera kann auch durch einen Gegenstand, der über dem Fahrersitz hängt (z. B. ein Insekt), oder durch einen Aufkleber, der von einem Dritten an der Kamera angebracht wurde, blockiert werden. Die blockierte Kamera kann kein Bild vom Gesicht des Fahrers aufnehmen und dadurch den Zustand des Fahrers nicht korrekt überwachen.
-
Patentliteratur 1 und 2 beschreiben jeweils eine Bildgebungsvorrichtung, die sich mit einem Hindernis zwischen der Kamera und dem Objekt befasst. Die Technik in Patentliteratur 1 definiert in einem Abbildungsbereich einen ersten Bereich zum Aufnehmen des Objekts und einen zweiten Bereich, der den ersten Bereich enthält. Wenn der zweite Bereich ein Hindernis enthält, das das Objekt verbirgt, wird der Bildaufnahmevorgang angehalten, um zu verhindern, dass das Hindernis in einem aufgenommenen Bild erscheint. Die Technik in Patentliteratur 2 meldet dem Benutzer, wenn ein Hindernis zwischen der Kamera und dem Gesicht die Ermittlung von Gesichtsmerkmalen in einem aufgenommenen Bild behindert, die nicht ermittelbaren Merkmale sowie die Ursache einer solchen erfolglosen Ermittlung und zu ergreifende Gegenmaßnahmen.
-
Hindernisse können auf unterschiedliche Weise verhindern, dass die Kamera Bilder aufnimmt. Das Sichtfeld (Abbildungsbereich) der Kamera kann ganz oder teilweise verdeckt sein. Ein Hindernis, das das Sichtfeld vollständig blockiert, verhindert zwar, dass die Kamera ein Gesichtsbild aufnimmt; ein Hindernis, das das Sichtfeld teilweise blockiert, verhindert aber nicht zwangsläufig, dass die Kamera ein Gesichtsbild aufnimmt.
-
Beispielsweise nimmt eine Kamera, die das Gesicht in einem zentralen Bereich ihres Sichtfelds aufnimmt, das gesamte Gesicht eventuell nicht auf, wenn der zentrale Bereich ganz oder teilweise durch ein Hindernis blockiert wird. Die Kamera kann jedoch immer noch das gesamte Gesicht aufnehmen, wenn ein Hindernis lediglich einen Randbereich um den zentralen Bereich herum blockiert. In diesem Fall beeinträchtigt das zwischen Kamera und Gesicht ermittelte Hindernis das Aufnehmen des Gesichts nicht. In diesem Zustand wird die als Reaktion auf eine Hindernisermittlung ausgeführte Verarbeitung (z. B. eine Alarmausgabe) die Vorrichtung zusätzlich belasten und dem Benutzer falsche Informationen liefern.
-
LISTE DER LITERATURSTELLEN
-
PATENTLITERATUR
-
- Patentliteratur 1: Japanische nicht geprüfte Patentanmeldung mit der Veröffentlichungs-Nr. 2013-205675
- Patentliteratur 2: Japanische nicht geprüfte Patentanmeldung mit der Veröffentlichungs-Nr. 2009-296355
-
KURZDARSTELLUNG
-
TECHNISCHE AUFGABE
-
Ein oder mehrere Aspekte der vorliegenden Erfindung sind auf eine Bildgebungsvorrichtung gerichtet, die ein Hindernis, das die Bildaufnahme beeinträchtigt, genau als von einem Hindernis unterscheidbar ermittelt, das nicht die Bildaufnahme beeinträchtigt.
-
LÖSUNG DER AUFGABE
-
Eine Bildgebungsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung beinhaltet eine Bildgebungseinheit, die ein Bild eines Objekts aufnimmt, einen Bildprozessor, der das durch die Bildgebungseinheit aufgenommene Bild verarbeitet, und einen Hindernisdetektor, der ein Hindernis zwischen der Bildgebungseinheit und dem Objekt basierend auf dem aufgenommenen Bild, das durch den Bildprozessor verarbeitet wird, ermittelt. Der Bildprozessor unterteilt das von der Bildgebungseinheit aufgenommene Bild in eine Vielzahl von Abschnitten und unterteilt das aufgenommene Bild in eine Vielzahl von Blöcken, die jeweils eine vorgegebene Anzahl von Abschnitten enthalten. Der Hindernisdetektor prüft einen verdeckten Zustand jedes Abschnitts in jedem der Blöcke, und der Hindernisdetektor ermittelt das Hindernis, wenn der verdeckte Zustand jedes Abschnitts in mindestens einem Block die Bildaufnahme des Objekts beeinträchtigt.
-
Bei diesem Aspekt der vorliegenden Erfindung wird der verdeckte Zustand jedes Blocks geprüft, um ein Hindernis zu ermitteln, das die Bildaufnahme zwischen der Bildgebungseinheit und dem Objekt beeinträchtigt. Eine derartige Überprüfung ermittelt kein Hindernis, wenn ein Hindernis zwischen der Bildgebungseinheit und dem Objekt die Bildaufnahme nicht beeinträchtigt. Dies macht es möglich, dass ein Hindernis, das die Bildaufnahme beeinträchtigt, genau als unterscheidbar von einem Hindernis ermittelt wird, das die Bildaufnahme nicht beeinträchtigt.
-
In dem vorstehenden Aspekt der vorliegenden Erfindung kann der Hindernisdetektor das Hindernis ermitteln, wenn alle Abschnitte in mindestens einem Block verdeckt sind.
-
In dem vorstehenden Aspekt der vorliegenden Erfindung kann jeder der Blöcke einen Teil eines spezifischen Bereichs enthalten, der einen spezifischen Teil des Objekts in dem aufgenommenen Bild enthält.
-
In diesem Fall kann der Hindernisdetektor das Hindernis ermitteln, wenn mindestens ein Abschnitt in dem spezifischen Bereich verdeckt ist.
-
Der Hindernisdetektor ermittelt eventuell kein Hindernis, wenn alle Abschnitte in dem spezifischen Bereich nicht verdeckt sind.
-
In dem vorstehenden Aspekt der vorliegenden Erfindung kann der spezifische Teil ein Gesicht des Objekts sein, und der spezifische Bereich kann ein zentraler Bereich des aufgenommenen Bildes sein.
-
In dem vorstehenden Aspekt der vorliegenden Erfindung kann der Hindernisdetektor das Hindernis ermitteln, wenn alle Abschnitte in mindestens einem Block verdeckt sind, und ermittelt eventuell kein Hindernis, wenn ein vorgegebener Abschnitt in jedem der Blöcke nicht verdeckt ist.
-
In dem vorstehenden Aspekt der vorliegenden Erfindung kann der Hindernisdetektor die Luminanz einer Vielzahl von Pixeln, die in einem Abschnitt enthalten sind, Pixel für Pixel mit einem Schwellenwert vergleichen, und der Hindernisdetektor kann bestimmen, dass ein Abschnitt, der mindestens eine vorgegebene Anzahl von Pixeln enthält, wobei das Vergleichsergebnis eine vorgegebene Bedingung erfüllt, ein verdeckter Abschnitt ist.
-
In dem vorstehenden Aspekt der vorliegenden Erfindung kann der Bildprozessor einen Bereich, der Seitenbereiche des aufgenommenen Bildes ausschließt, als einen gültigen Bereich definieren, und der Bildprozessor kann das aufgenommene Bild innerhalb des gültigen Bereichs in eine Vielzahl von Abschnitten unterteilen.
-
In dem vorstehenden Aspekt der vorliegenden Erfindung kann der Hindernisdetektor beim Ermitteln des Hindernisses ein Benachrichtigungssignal zum Entfernen des Hindernisses ausgeben.
-
In dem vorstehenden Aspekt der vorliegenden Erfindung kann die Bildgebungseinheit in einem Fahrzeug installiert sein, um ein Gesichtsbild eines Insassen des Fahrzeugs aufzunehmen, und der Hindernisdetektor kann ein Hindernis zwischen der Bildgebungseinheit und dem Gesicht des Insassen ermitteln.
-
VORTEILHAFTE AUSWIRKUNGEN
-
Die Bildgebungsvorrichtung gemäß den vorstehenden Aspekten der vorliegenden Erfindung ermittelt genau ein Hindernis, das die Bildaufnahme beeinträchtigt, als unterscheidbar von einem Hindernis, das die Bildaufnahme nicht beeinträchtigt.
-
Figurenliste
-
- 1 ist ein elektrisches Blockschaltbild eines Fahrerüberwachungsgeräts gemäß einer Ausführungsform der vorliegenden Erfindung.
- 2 ist ein Diagramm, das ein Fahrerüberwachungsgerät beim Aufnehmen eines Gesichtsbildes beschreibt.
- 3 ist ein Diagramm, das die Abschnittsunterteilung und die Blockunterteilung in dem aufgenommenen Bild beschreibt.
- 4 ist ein Diagramm, das Bildbereiche nach der Unterteilung beschreibt.
- 5A bis 5C sind Diagramme, die verdeckte Zustände beschreiben, in denen kein Hindernis ermittelt wird.
- 6A bis 6C sind Diagramme, die verdeckte Zustände beschreiben, in denen ein Hindernis ermittelt wird.
- 7 ist ein beispielhaftes aufgenommenes Bild, das ein Hindernis enthält.
- 8 ist Flussdiagramm eines Hindernisermittlungsablaufs.
- 9 ist ein Flussdiagramm eines anderen Beispiels des Hindernisermittlungsablaufs.
- Fig. 10AA bis 10AC sind Diagramme, die andere Beispiele beschreiben, bei denen Hindernisse ermittelt werden.
- Fig. 10BA bis 10BC sind Diagramme, die noch andere Beispiele beschreiben, bei denen Hindernisse ermittelt werden.
- 11 ist ein Diagramm, das ein anderes Beispiel der Abschnittsunterteilung beschreibt.
- 12 ist ein Diagramm, das ein anderes Beispiel der Blockunterteilung beschreibt.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Ausführungsformen der vorliegenden Erfindung werden unter Bezugnahme auf die Zeichnungen beschrieben. Gleiche oder entsprechende Komponenten sind in den Figuren mit den gleichen Bezugszeichen versehen. In dem nachstehenden Beispiel wird die vorliegende Erfindung auf ein bordeigenes Fahrerüberwachungsgerät angewendet.
-
Die Konfiguration des Fahrerüberwachungsgeräts wird nun unter Bezugnahme auf 1 und 2 beschrieben. 1 zeigt ein Fahrerüberwachungsgerät 100, das in einem in 2 dargestellten Fahrzeug 50 installiert ist. Das Fahrerüberwachungsgerät 100 beinhaltet eine Bildgebungseinheit 1, einen Bildprozessor 2, eine Fahrerzustandsbestimmungseinrichtung 3, einen Hindernisdetektor 4 und eine Signalausgabeeinheit 5.
-
Die Bildgebungseinheit 1 ist eine Kamera und umfasst eine Bildgebungsvorrichtung 11 und eine Licht emittierende Vorrichtung 12. Die Bildgebungsvorrichtung 11 ist zum Beispiel ein komplementärer Metalloxidhalbleiter-(CMOS) -Bildsensor und nimmt ein Bild des Gesichts eines Fahrers 53 auf, der ein Objekt in einem Sitz 52 darstellt. Die Licht emittierende Vorrichtung 12 ist beispielsweise eine Leuchtdiode (LED), die Nahinfrarotlicht emittiert und das Gesicht des Fahrers 53 mit Nahinfrarotlicht beleuchtet. Wie in 2 dargestellt, ist die Bildgebungseinheit 1 auf einem Armaturenbrett 51 neben dem Fahrersitz des Fahrzeugs 50 installiert, um auf das Gesicht des Fahrers 53 ausgerichtet zu sein.
-
Der Bildprozessor 2 verarbeitet ein von der Bildgebungseinheit 1 aufgenommenes Bild. Die Verarbeitung wird nachfolgend ausführlich beschrieben. Die Fahrerzustandsbestimmungseinrichtung 3 bestimmt den Zustand des Fahrers 53 (z. B. dabei, einzuschlafen oder sich ablenken zu lassen), basierend auf dem von dem Bildprozessor 2 verarbeiteten Bild. Der Hindernisdetektor 4 ermittelt ein Hindernis zwischen der Bildgebungseinheit 1 und dem Fahrer 53 basierend auf dem von dem Bildprozessor 2 verarbeiteten Bild mit einem nachfolgend beschriebenen Verfahren. 2 zeigt ein Hindernis Z, das auf dem Armaturenbrett 51 angeordnet ist, wie z. B. ein Handtuch oder ein gedrucktes Material.
-
Die Signalausgabeeinheit 5 gibt ein Signal basierend auf den Bestimmungsergebnissen von der Fahrerzustandsbestimmungseinrichtung 3 und ein Signal basierend auf den Ermittlungsergebnissen von dem Hindernisdetektor 4 aus. Die Ausgangssignale werden über ein Controller Area Network (CAN) an eine im Fahrzeug 50 installierte elektronische Steuereinheit (ECU) (nicht dargestellt) übertragen.
-
Obwohl die Funktionen des Bildprozessors 2, der Fahrerzustandsbestimmungseinrichtung 3 und des Hindernisdetektors 4 in 1 tatsächlich durch Software implementiert sind, stellt 1 diese Einheiten der Einfachheit halber als Funktionsblöcke dar.
-
Nun wird ein Verfahren beschrieben, das vom Hindernisdetektor 4 zum Ermitteln des Hindernisses Z verwendet wird.
-
3 zeigt schematisch ein von der Bildgebungseinheit 1 aufgenommenes Bild P. Das aufgenommene Bild P in diesem Beispiel enthält 640 x 480 Pixel. Das aufgenommene Bild P wird zuerst in 16 Abschnitte Y unterteilt. In diesem Fall wird der Bereich mit Ausnahme der Seitenbereiche (vollflächig gefüllte Teile) des aufgenommenen Bildes P als ein gültiger Bereich definiert, der dann in 16 Abschnitte Y unterteilt wird. Die Seitenbereiche werden ausgeschlossen, da Hindernisse, die in diesen Bereichen ermittelt werden, die Aufnahme eines Gesichtsbildes nicht beeinträchtigen. Ein einzelner Abschnitt Y beinhaltet mehrere Pixel m.
-
Das aufgenommene Bild P wird dann in vier Blöcke A, B, C und D unterteilt, von denen jeder vier der 16 unterteilten Abschnitte Y enthält. Der Einfachheit halber sind den 16 Abschnitten Y einzeln die Zahlen 1 bis 16 zugewiesen, wie in 4 dargestellt. In dem unten beschriebenen Beispiel wird der Abschnitt mit der Nummer 1 als Abschnitt #1 geschrieben, der Abschnitt mit der Nummer 2 wird als Abschnitt #2 geschrieben, und andere Abschnitte werden gleichermaßen ausgedrückt.
-
Block A enthält vier Abschnitte #1, #2, #5 und #6. Block B enthält vier Abschnitte #9, #10, #13 und #14. Block C enthält vier Abschnitte #3, #4, #7 und #8. Block D enthält vier Abschnitte #11, #12, #15 und #16.
-
4 zeigt eine quadratische Fläche K, die durch die gestrichelten Linien angegeben ist, und die quadratische Fläche K ist eine spezifische Fläche, die einen spezifischen Teil des Objekts enthält. In der vorliegenden Ausführungsform ist das Objekt der Fahrer 53, der spezifische Teil ist das Gesicht des Fahrers 53, und der spezifische Bereich ist der zentrale Bereich K in dem aufgenommenen Bild P. Insbesondere umfasst der zentrale Bereich K das Gesicht des Fahrers 53, und das Gesichtsbild des Fahrers 53 wird innerhalb des zentralen Bereichs K aufgenommen. Der zentrale Bereich K umfasst vier Abschnitte #6, #7, #10 und #11. Somit enthalten vier Blöcke A bis D jeweils einen Teil des zentralen Bereichs K.
-
In 4 enthalten die Abschnitte #1 bis #4 hauptsächlich das Innere des Fahrzeugs und die Abschnitte #14 und #15 enthalten hauptsächlich die Kleidung am Oberkörper des Fahrers 53. Vier Blöcke A bis D enthalten jeweils mindestens einen dieser Abschnitte.
-
Um ein Hindernis zu ermitteln, wird zuerst der verdeckte Zustand jedes der vier Abschnitte, die in einem Block enthalten sind, überprüft. Genauer gesagt, vergleicht der Hindernisdetektor 4 die Luminanz jedes Pixels m, das in jedem Abschnitt enthalten ist, Pixel für Pixel mit einem Schwellenwert und extrahiert ein Pixel mit einem Vergleichsergebnis, das eine vorgegebene Bedingung erfüllt, oder spezifischer ein Pixel mit einem Luminanzwert, der höher ist als der Schwellenwert. In Bezug auf ein in 7 dargestelltes aufgenommenes Bild Q erscheint ein Hindernis Z innerhalb eines Abbildungsbereichs weiß unter Nahinfrarotlicht, das von der Licht emittierenden Vorrichtung 12 zugeführt wird, und der Bereich, der dem Hindernis Z entspricht, weist eine hohe Luminanz auf. In diesem Zustand wird ein Abschnitt mit mindestens der Hälfte aller Pixel m, deren Luminanzwerte höher als der Schwellenwert sind, als verdeckter Abschnitt bestimmt. Die Bestimmung wird für alle Blöcke A bis D durchgeführt.
-
Dann bestimmt der Hindernisdetektor 4, ob die verdeckten Zustände der Abschnitte in jedem Block A bis D die Bildaufnahme des Objekts beeinträchtigen. In der vorliegenden Ausführungsform bestimmt der Hindernisdetektor 4, ob alle vier Abschnitte in jedem Block verdeckt sind. 5A bis 5C und 6A bis 6C zeigen beispielhaft verdeckte Zustände jedes Blocks. In diesen Figuren stellen schraffierte Abschnitte verdeckte Abschnitte dar.
-
5A bis 5C zeigen beispielhaft verdeckte Zustände, die die Bildaufnahme des Objekts nicht beeinträchtigen. In jedem Block ist nur ein Teil der vier Abschnitte verdeckt.
-
In 5A sind die Abschnitte #1, #2 und #5 in Block A verdeckt, während der Abschnitt #6 nicht verdeckt ist. In 5B sind die Abschnitte #1 und #2 in Block A verdeckt, während die Abschnitte #5 und #6 nicht verdeckt sind. Außerdem sind die Abschnitte #3 und #4 in Block C verdeckt, während die Abschnitte #7 und #8 nicht verdeckt sind. In 5C sind die Abschnitte #4 und #8 in Block C verdeckt, während die Abschnitte #3 und #7 nicht verdeckt sind. Außerdem ist Abschnitt #12 in Block D verdeckt, während die Abschnitte #11, #15 und #16 nicht verdeckt sind.
-
5A zeigt ein Beispiel, bei dem ein Hindernis von schräg oben in den Abbildungsbereich eintritt und bewirkt, dass die Abschnitte #1, #2 und #5 in einem verdeckten Zustand sind. 5B zeigt ein Beispiel, bei dem ein Hindernis von oben in den Abbildungsbereich eintritt und bewirkt, dass die Abschnitte #1 bis #4 in einem verdeckten Zustand sind. 5C zeigt ein Beispiel, bei dem ein Hindernis von der Seite in den Abbildungsbereich eintritt und bewirkt, dass die Abschnitte #4, #8 und #12 in einem verdeckten Zustand sind.
-
In jedem der Beispiele, die in 5A bis 5C dargestellt sind, muss ein Hindernis, das in dem Abbildungsbereich enthalten ist, noch in den zentralen Bereich K eintreten, und keiner der im zentralen Bereich K enthaltenen Abschnitte #6, #7, #10 und #11 ist verdeckt. In diesem Zustand kann der zentrale Bereich K das Gesicht aufnehmen, und somit beeinträchtigt das Hindernis in diesem Fall die Bildaufnahme des Objekts nicht. Für alle Blöcke A bis D gilt: Wenn die Abschnitte #6, #7, #10 und #11 in den jeweiligen Blöcken, die dem zentralen Bereich K entsprechen, nicht verdeckt sind, oder wenn der gesamte zentrale Bereich K nicht verdeckt ist, ermittelt der Hindernisdetektor 4 kein Hindernis.
-
6A bis 6C zeigen beispielhaft verdeckte Zustände, die die Bildaufnahme des Objekts beeinträchtigen. In diesen Beispielen sind alle vier Abschnitte jedes Blocks verdeckt.
-
In 6A sind die Abschnitte #9, #10, #13 und #14 in Block B alle verdeckt. In 6B sind die Abschnitte #1, #2, #5 und #6 in Block A alle verdeckt. Darüber hinaus sind die Abschnitte #3, #4, #7 und #8 in Block C alle verdeckt. In 6C sind die Abschnitte #1, #2, #5 und #6 in Block A alle verdeckt, und die Abschnitte #9, #10, #13 und #14 in Block B sind ebenfalls alle verdeckt.
-
6A zeigt ein Beispiel, bei dem ein Hindernis von schräg unten in den Abbildungsbereich eintritt und bewirkt, dass die Abschnitte #9, #10, #13 und #14 in einem verdeckten Zustand sind. 6B zeigt ein Beispiel, bei dem ein Hindernis von oben in den Abbildungsbereich eintritt und bewirkt, dass die Abschnitte #1 bis #8 in einem verdeckten Zustand sind. 6C zeigt ein Beispiel, bei dem ein Hindernis von der Seite in den Abbildungsbereich eintritt und bewirkt, dass die Abschnitte #1 bis #3, #5 bis #7, #9 bis #11 und #13 bis #15 in einem verdeckten Zustand sind.
-
In 6A sind alle Abschnitte in Block B verdeckt, und somit ist ein Teil des zentralen Bereichs K (Abschnitt #10) ebenfalls verdeckt. In 6B sind alle Abschnitte in den Blöcken A und C verdeckt, und somit ist auch ein Teil des zentralen Bereichs K (Abschnitte #6 und #7) verdeckt. In 6C sind alle Abschnitte in den Blöcken A und B verdeckt, und somit ist auch ein Teil des zentralen Bereichs K (Abschnitte #6 und #10) verdeckt. Außerdem sind die Abschnitte #7 und #11 in den Blöcken C und D verdeckt, und somit ist der gesamte zentrale Bereich K verdeckt.
-
In jedem der Beispiele, die in den 6A bis 6C dargestellt sind, ist ein Hindernis in den zentralen Bereich K eingetreten. In diesem Zustand kann der zentrale Bereich K das Gesicht nicht genau aufnehmen, und daher beeinträchtigt das Hindernis in diesem Fall die Bildaufnahme. Wenn alle Abschnitte in mindestens einem der Blöcke A bis D verdeckt sind, um mindestens einen Teil des zentralen Bereichs K zu verdecken, ermittelt der Hindernisdetektor 4 ein Hindernis. In 6C werden die Blöcke C und D, von denen jeder nicht verdeckte Abschnitte enthält, nicht zur Hindernisermittlung verwendet.
-
8 ist ein Flussdiagramm eines Hindernisermittlungsablaufs im Fahrerüberwachungsgerät 100.
-
In Schritt S1 in 8 nimmt die Bildgebungseinheit 1 ein Bild des Gesichts des Fahrers 53 auf, der ein Objekt ist. In Schritt S2 beschafft der Bildprozessor 2 Luminanzinformationen über die Pixel m in dem von der Bildgebungseinheit 1 aufgenommenen Bild P. In Schritt S3 unterteilt der Bildprozessor 2 das aufgenommene Bild P in mehrere Abschnitte Y und gruppiert eine vorgegebene Anzahl von Abschnitten in jeden einzelnen Block (Blöcke A bis D), wie in 3 dargestellt. Anschließend führt der Hindernisdetektor 4 die Verarbeitung in den Schritten S4 bis S11 durch.
-
In Schritt S4 überprüft der Hindernisdetektor 4 den verdeckten Zustand jedes Abschnitts (#1 bis #16) basierend auf den in Schritt S2 beschafften Luminanzinformationen und des vorstehenden Schwellenwerts. In Schritt S5 prüft der Hindernisdetektor 4 den verdeckten Zustand jedes Blocks (A bis D) basierend auf den Prüfergebnissen jedes Abschnitts.
-
In Schritt S6 bestimmt der Hindernisdetektor 4, ob alle in jedem Block enthaltenen Abschnitte verdeckt sind. Wenn alle Abschnitte verdeckt sind (Ja in Schritt S6), fährt die Verarbeitung mit Schritt S7 fort, um ein Hindernisflag zu setzen. Wenn ein oder mehrere Abschnitte nicht verdeckt sind (Nein in Schritt S6), fährt die Verarbeitung mit Schritt S8 fort, ohne die Verarbeitung in Schritt S7 durchzuführen.
-
In Schritt S8 bestimmt der Hindernisdetektor 4, ob der verdeckte Zustand jedes Blocks geprüft wurde. Wenn ein Block nicht geprüft wurde (Nein in Schritt S8), kehrt die Verarbeitung zu Schritt S5 zurück, um den verdeckten Zustand des nächsten Blocks zu prüfen. Wenn der verdeckte Zustand jedes Blocks geprüft worden ist (Ja in Schritt S8), fährt die Verarbeitung mit Schritt S9 fort.
-
In Schritt S9 bestimmt der Hindernisdetektor 4, ob ein Hindernisflag gesetzt ist. Wenn in Schritt S7 ein Hindernisflag gesetzt ist (Ja in Schritt S9), fährt die Verarbeitung mit Schritt S10 fort, um ein Hindernis zu ermitteln. In einem nachfolgenden Schritt S11 gibt der Hindernisdetektor 4 ein Benachrichtigungssignal zum Entfernen des Hindernisses aus. Das Benachrichtigungssignal wird von der Signalausgabeeinheit 5 (1) an die obengenannte ECU übertragen. In Reaktion auf das empfangene Benachrichtigungssignal benachrichtigt die ECU den Fahrer 53 über das Hindernis durch Anzeigen einer Nachricht zum Entfernen des Hindernisses auf dem Bildschirm oder durch Ausgeben einer Sprachnachricht.
-
Wenn in Schritt S9 nicht bestimmt wird, dass ein Hindernisflag gesetzt ist (Nein in Schritt S9), fährt die Verarbeitung mit Schritt S12 fort, um kein Hindernis zu ermitteln. Der Vorgang überspringt dann Schritt S11 und endet.
-
In der vorliegenden Ausführungsform ist, wie oben beschrieben, das von der Bildgebungseinheit 1 aufgenommene Bild P in die Abschnitte #1 bis #16 unterteilt, und das aufgenommene Bild P ist auch in Blöcke A bis D unterteilt, die jeweils eine vorgegebene Anzahl von (in diesem Beispiel vier) Abschnitten enthalten. Dann wird der verdeckte Zustand jedes Abschnitts in den einzelnen Blöcken A bis D geprüft. Wie in den 6A bis 6C dargestellt, wenn Abschnitte in mindestens einem Block einen verdeckten Zustand aufweisen, der die Bildaufnahme des Objekts beeinträchtigt (oder mindestens ein Teil des zentralen Bereichs K verdeckt ist), wird ein Hindernis zwischen der Bildgebungseinheit 1 und dem Objekt ermittelt. Im Gegensatz dazu wird, wie in 5A bis 5C dargestellt, wenn die Abschnitte in allen Blöcken A bis D verdeckte Zustände aufweisen, die die Bildaufnahme des Objekts nicht beeinträchtigen (oder der gesamte zentrale Bereich K nicht verdeckt ist), kein Hindernis zwischen der Bildgebungseinheit 1 und dem Objekt ermittelt.
-
Der verdeckte Zustand jedes Blocks A bis D wird geprüft, um ein Hindernis zu ermitteln, wenn sich ein Hindernis Z, das die Bildaufnahme beeinträchtigt, zwischen der Bildgebungseinheit 1 und dem Gesicht des Fahrers 53 befindet. Eine derartige Überprüfung ermittelt kein Hindernis, wenn ein Hindernis Z zwischen der Bildgebungseinheit 1 und dem Gesicht des Fahrers 53 die Aufnahme eines Gesichtsbildes nicht beeinträchtigt. Somit kann ein Hindernis Z, das die Bildaufnahme beeinträchtigt, genau als unterscheidbar von einem Hindernis Z ermittelt werden, das die Bildaufnahme nicht beeinträchtigt.
-
In der vorliegenden Ausführungsform umfassen die Blöcke A bis D jeweils einen Teil des zentralen Bereichs K. Daher bewirkt mindestens ein Block, bei dem alle Abschnitte verdeckt sind, dass der zentrale Bereich K teilweise (oder ganz) in einem verdeckten Zustand ist, der ein einfaches und zuverlässiges Ermitteln eines Hindernisses ermöglicht, das die Bildaufnahme beeinträchtigt.
-
In der vorliegenden Ausführungsform wird, wie in Bezug auf 3 beschrieben, das aufgenommene Bild P in mehrere Abschnitte innerhalb des gültigen Bereichs mit Ausnahme der Seitenbereiche des aufgenommenen Bildes P unterteilt. Die in diesem Fall zu verarbeitende Datenmenge ist kleiner, als wenn das gesamte aufgenommene Bild einschließlich der Seitenbereiche verarbeitet werden soll. Die kleinere Datenmenge reduziert den Verarbeitungsaufwand der Vorrichtung.
-
Wenn in der vorliegenden Ausführungsform das Vorhandensein eines Hindernisses ermittelt wird oder sich ein die Bildaufnahme beeinträchtigendes Hindernis Z zwischen der Bildgebungseinheit 1 und dem Gesicht befindet, wird ein Benachrichtigungssignal zum Entfernen des Hindernisses Z ausgegeben. Als Reaktion auf das Signal kann der Fahrer 53 das Hindernis Z schnell finden und entfernen.
-
9 ist ein Flussdiagramm eines anderen Beispiels des Hindernisermittlungsablaufs. In 9 sind die gleichen Verarbeitungsschritte wie in 8 mit den gleichen Bezugszeichen versehen. Wenn in dem vorstehenden Flussdiagramm von 8 bestimmt wird, dass ein Block in Schritt S6 verdeckt ist, wird in Schritt S7 ein Hindernisflag gesetzt. Nachdem der verdeckte Zustand jedes Blocks geprüft wurde, wird in Schritt S9 eine Flag-Erkennung durchgeführt. Wenn ein gesetztes Hindernisflag gefunden wird, wird in Schritt S10 ein Hindernis ermittelt.
-
Im Gegensatz dazu entfallen im Flussdiagramm von 9 die in 8 dargestellten Schritte S7 und S9. Wenn in Schritt S6 bestimmt wird, dass ein Block verdeckt ist, fährt die Verarbeitung direkt mit Schritt S10 fort, um ein Hindernis zu ermitteln. Genauer gesagt: Sobald festgestellt wird, dass alle Abschnitte in einem Block verdeckt sind, wird ein Hindernis ermittelt, und der Fahrer wird in Schritt S11 benachrichtigt, um das Hindernis zu entfernen. Dieser Vorgang verkürzt die Zeit für die Benachrichtigung, um das Hindernis zu entfernen.
-
Die vorliegende Erfindung ist eventuell nicht auf die vorstehende Ausführungsform beschränkt, sondern kann in verschiedenen anderen nachstehend beschriebenen Ausführungsformen implementiert werden.
-
In der vorstehenden Ausführungsform zeigen 6A bis 6C beispielhafte verdeckte Zustände der Blöcke A bis D, in denen ein Hindernis ermittelt wird. Ein Hindernis kann jedoch beispielsweise auch in verdeckten Zuständen ermittelt werden, die in Fig. 10AA bis 10AC und Fig. 10BA bis 10BC dargestellt sind. In 6A bis 6C wird ein Hindernis ermittelt, wenn alle vier Abschnitte in mindestens einem Block verdeckt sind. In Fig. 10AA bis 10AC und 10BA bis 10BC wird jedoch ein Hindernis ermittelt, wenn ein in mindestens einem Block im zentralen Bereich K enthaltener Abschnitt verdeckt ist. Darüber hinaus können Beispiele für verdeckte Zustände verschiedene andere Muster enthalten.
-
In der vorstehenden Ausführungsform ist das aufgenommene Bild P in 16 Abschnitte unterteilt (4). Das aufgenommene Bild P kann jedoch in eine beliebige Anzahl von Abschnitten unterteilt sein. Wie in 11 gezeigt, kann das aufgenommene Bild P beispielsweise in 64 kleinere Abschnitte unterteilt sein. In 11 umfassen die Blöcke A bis D jeweils 16 Abschnitte, von denen vier im zentralen Bereich K enthalten sind. In diesem Beispiel kann ein Hindernis ermittelt werden, wenn alle vier Abschnitte in einem Block, die im zentralen Bereich K enthalten ist, verdeckt sind oder wenn einer oder mehrere der im zentralen Bereich K enthaltenen Abschnitte verdeckt sind.
-
In der vorstehenden Ausführungsform ist das aufgenommene Bild P in vier Blöcke A bis D (3) unterteilt. Das aufgenommene Bild P kann jedoch in eine beliebige Anzahl von Blöcken unterteilt sein. Wie in 12 dargestellt, kann das aufgenommene Bild P beispielsweise in neun Blöcke A bis I unterteilt sein. Mindestens ein Abschnitt, der in jedem Block enthalten ist, ist in dem zentralen Bereich K enthalten.
-
In der vorstehenden Ausführungsform ist der zentrale Bereich K als quadratischer Bereich definiert (4). Der zentrale Bereich K kann jedoch beispielsweise rechteckig, rautenförmig, oval oder kreisförmig sein.
-
In der vorstehenden Ausführungsform ist der spezifische Bereich, der den spezifischen Teil des Objekts enthält, der zentrale Bereich K in der Mitte des aufgenommenen Bildes P. Der spezifische Bereich kann jedoch von der Mitte des aufgenommenen Bildes P je nach Objekt in eine beliebige vorgegebene Position verschoben werden.
-
Obwohl die Bildgebungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung das in ein Fahrzeug eingebaute Fahrerüberwachungsgerät 100 ist, kann die vorliegende Erfindung auch für eine Bildgebungsvorrichtung zum Einsatz kommen, die für andere Anwendungen als ein Fahrzeug angewandt wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
