-
Technisches Gebiet
-
Die
vorliegende Erfindung bezieht sich auf eine fahrzeuginterne Bildverarbeitungsvorrichtung, die
mit einer Kamera verbunden ist, die Bilder eines Gesichts eines
Fahrers in einem Fahrzeug aufnimmt, ein Bildverarbeitungsverfahren
und ein Programm.
-
Stand der Technik
-
Es
werden Verarbeitungen zum Lesen der Richtung eines Gesichts und
des Zustandes der Augen von einem Gesichtsbild eines Fahrers, um
zu bestimmen, ob der Fahrer während der Fahrt seinen Blick
von der Straße weg richtet oder einschläft, und des
Warnens des Fahrers, wenn dies nötig ist, ausgeführt.
-
Zum
Beispiel offenbart Patentliteratur 1 eine Technologie zum Bestimmen
einer Gesichtsrichtung und des Grads an Sicherheit von einem Gesichtsbild, um
eine unaufmerksame Fahrweise eines Fahrers oder Ähnliches
zu bestimmen. Ein Einsatz solch einer Technologie ermöglicht
es, eine unaufmerksame Fahrweise eines Fahrers mit einem hohen Grad
an Sicherheit zu bestimmen und angemessenem Warnen durchzuführen.
- Patentliteratur 1: Japanische
Patentanmeldung KOKAI, Veröffentlichungs-Nr.: 2007-072628 .
-
Offenbarung der Erfindung
-
Aufgabe der Erfindung
-
Eine
Helligkeit einer Umgebung oder Ähnliches zum Aufnehmen
eines Bildes eines Fahrers verändert sich kontinuierlich,
während sich ein Fahrzeug bewegt. Dementsprechend kann
ein Gesichtsbild zu dunkel werden oder ein Haloeffekt kann auftreten, sodass
eine Analyse von diesem schwierig wird, was ein ungenaues Lesen
von Gesichtszuständen (zum Beispiel einer Gesichtsrichtung,
der Richtung von Augen, dem Öffnungs-/Schließzustand
von Augen) ergibt. Wenn solche Bedingungen anhalten, kann ein angemessenes
Warnen schwierig werden.
-
Die
vorliegende Erfindung wurde angesichts der vorstehenden Umstände
vorgenommen und es ist eine Aufgabe der vorliegenden Erfindung,
einen Gesichtszustand unabhängig von einer Änderung der
Helligkeit der Umgebung angemessen zu bestimmen.
-
Es
ist eine weitere Aufgabe der vorliegenden Erfindung eine fahrzeuginterne
Bildverarbeitungsvorrichtung und Ähnliches bereitzustellen,
die ein Bild eines Gesichts aufnehmen kann, von dem ein Gesichtszustand
korrekt gelesen werden kann, auch wenn sich die Helligkeit der Umgebung ändert.
-
Des
Weiteren ist es eine weitere Aufgabe der vorliegenden Erfindung,
eine Beschaffung eines Bildes eines Gesichts zu ermöglichen,
das für eine Analyse geeignet ist, unabhängig
von einer Änderung der Helligkeit der Umgebung.
-
Zusammenfassung der Erfindung
-
Um
die vorstehenden Aufgaben zu erreichen, umfasst eine fahrzeuginterne
Bildverarbeitungsvorrichtung gemäß dem ersten
Aspekt der Erfindung:
eine Gesichtsbildempfangseinrichtung
zum Empfangen eines aufgenommenen Bildes mit einem Gesicht eines
Fahrers von einer Kamera;
eine Gesichtsbereichserkennungseinrichtung
zum Analysieren des Bildes, das durch die Gesichtsbildempfangseinrichtung
empfangen wird, und Erkennen eines Bereichs eines Gesichts, der
in dem Bild enthalten ist;
eine Helligkeitsbestimmungseinrichtung
zum Bestimmen einer Helligkeit des Gesichtsbereichs, der durch die
Gesichtsbereichserkennungseinrichtung erkannt wird;
eine Kamerasteuerungseinrichtung
zum Steuern der Kamera, um eine Helligkeit eines Gesichtsbereichs auf
einen vorbestimmten Grad einzustellen, basierend auf der Helligkeit
des Gesichtsbereichs, die durch die Helligkeitsbestimmungseinrichtung
beschafft wird; und
eine Zustandsbestimmungseinrichtung zum
Bestimmen eines Zustands eines Fahrers unter Verwendung eines Bildes
eines Gesichtsbereichs, wobei die Helligkeit des Gesichtsbereichs,
der durch die Gesichtsbereichserkennungseinrichtung erkannt wird,
einen vorbestimmten Grad aufweist.
-
Vorzugsweise
umfasst die fahrzeuginterne Bildverarbeitungsvorrichtung eine Warneinrichtung zum
Ausgeben einer Warnung basierend auf einem Zustand, der durch die
Zustandsbestimmungseinrichtung bestimmt wird.
-
Die
Helligkeitsbestimmungseinrichtung kann eine Einrichtung aufweisen,
um zu einem Gesichtsbereich, der durch die Gesichtsbereicherkennungseinrichtung
erkannt wird, eine größere Gewichtung hinzuzufügen
als zu anderen Bereichen, und um einen gewichteten Mittelwert der
Helligkeit eines Bildes zu beschaffen.
-
Die
Kamera kann periodisch ein Bild eines Fahrers aufnehmen und das
aufgenommene Bild der Gesichtsbildempfangseinrichtung bereitstellen,
und die Kamerasteuerungseinrichtung kann eine Belichtungsmenge der
Kamera gemäß der durch die Helligkeitsbestimmungseinrichtung
bestimmten Helligkeit steuern.
-
Die
Kamerasteuerungseinrichtung kann eine Belichtungszeit der Kamera
verkürzen oder einen Durchmesser einer Fotoblende der Kamera
verringern, wenn die durch die Helligkeitsbestimmungseinrichtung
bestimmte Helligkeit größer als ein erster Referenzwert
ist, und kann die Belichtungszeit der Kamera verlängern
oder den Durchmesser der Fotoblende der Kamera vergrößern,
wenn die durch die Helligkeitsbestimmungseinrichtung bestimmte Helligkeit
kleiner als ein zweiter Referenzwert ist, welcher kleiner als der
erste Referenzwert ist.
-
Die
Warneinrichtung kann zumindest eine Gesichtsrichtung, die Richtung
von Augen, oder den Öffnungs-/Schließzustand von
Augen eines Fahrers unter Verwendung eines Bildes eines Gesichtsbereichs,
der durch die Gesichtsbereichserkennungseinrichtung erkannt wird,
bestimmen und kann basierend auf einem Bestimmungsergebnis eine
Warnung erzeugen.
-
Um
die vorstehenden Aufgaben zu erreichen, umfasst ein Bildverarbeitungsverfahren
gemäß dem zweiten Aspekt der Erfindung:
einen
Gesichtsbildempfangsschritt zum Empfangen eines aufgenommenen Bildes
mit einem Gesicht eines Fahrers von einer Kamera;
einen Gesichtsbereicherkennungsschritt
zum Analysieren des empfangenen Bildes, und zum Erfassen eines Bereichs
eines Gesichts, der in dem Bild enthalten ist;
einen Helligkeitsbestimmungsschritt
zum Bestimmen einer Helligkeit des Bereichs des erkannten Gesichts;
einen
Kamerasteuerungsschritt zum Steuern der Kamera, um die Helligkeit
eines Gesichtsbereichs eines Bildes basierend auf der bestimmten
Helligkeit auf einen vorbestimmten Grad einzustellen; und
einen
Zustandsbestimmungsschritt zum Bestimmen eines Zustands eines Fahrers
unter Verwendung eines Bereichs eines Gesichts, wobei die erkannte
Helligkeit des Gesichtsbereichs einen vorbestimmten Grad aufweist.
-
Der
Helligkeitsbestimmungsschritt kann durch Hinzufügen einer
größeren Gewichtung zu einem Gesichtsbereich,
der in dem Gesichtsbereicherkennungsschritt erkannt wird, als zu
anderen Bereichen und durch Beschaffen eines gewichteten Mittelwerts
der Helligkeit eines Bildes ausgeführt werden.
-
Der
Gesichtsbildempfangsschritt kann ein aufgenommenes Bild empfangen,
das periodisch von der Kamera aufgenommen wird, und der Kamerasteuerungsschritt
kann eine Belichtungsmenge der Kamera gemäß der
in dem Helligkeitsbestimmungsschritt bestimmten Helligkeit steuern.
-
Der
Kamerasteuerungsschritt kann eine Belichtungszeit der Kamera verkürzen
oder einen Durchmesser der Fotoblende der Kamera verringern, wenn
die in dem Helligkeitsbestimmungsschritt bestimmte Helligkeit größer
als ein erster Referenzwert ist, oder kann die Belichtungszeit der
Kamera verlängern oder den Durchmesser der Fotoblende der
Kamera vergrößern, wenn die bestimmte Helligkeit
kleiner als ein zweiter Referenzwert ist, der kleiner als der erste
Referenzwert ist.
-
Um
die vorstehenden Aufgaben zu erreichen, steuert ein Programm gemäß dem
dritten Aspekt der vorliegenden Erfindung einen Computer, um zu
arbeiten als:
eine Gesichtsbildempfangseinrichtung zum Empfangen
eines aufgenommenen Bildes mit einem Gesicht eines Fahrers von einer
Kamera;
eine Gesichtsbereichserkennungseinrichtung zum Analysieren
des Bildes, das durch die Gesichtsbildempfangseinrichtung empfangen
wird, und zum Erkennen eines Bereichs eines Gesichts, der in dem Bild
enthalten ist:
eine Helligkeitsbestimmungseinrichtung zum Bestimmen
einer Helligkeit des Gesichtsbereichs, der durch die Gesichtsbereichserkennungseinrichtung
erkannt wird;
eine Kamerasteuerungseinrichtung zum Steuern
der Kamera, um eine Helligkeit eines Gesichtsbereichs auf einen
vorbestimmten Grad einzustellen, basierend auf der Helligkeit des
Gesichtsbereichs, der durch die Helligkeitsbestimmungseinrichtung
beschafft wird; und
eine Zustandbestimmungseinrichtung zum
Bestimmen eines Zustands eines Fahrers unter Verwendung eines Bildes
eines Gesichtsbereiches, wobei die Helligkeit des Gesichtsbereichs,
der durch die Gesichtsbereichserkennungseinrichtung erkannt wird,
einen vorbestimmten Grad aufweist.
-
Die
Helligkeitsbestimmungseinrichtung des Programms kann eine Einrichtung
aufweisen, um zu einem Gesichtsbereich, der durch die Gesichtsbereichserkennungseinrichtung
erkannt wird, eine größere Gewichtung hinzuzufügen
als zu anderen Bereichen und um einen gewichteten Mittelwert der
Helligkeit eines Bildes zu beschaffen.
-
Die
Gesichtsbildempfangseinrichtung des Programms kann ein aufgenommenes
Bild empfangen, das periodisch durch die Kamera aufgenommen wird,
und die Kamerasteuerungseinrichtung des Programms kann eine Belichtungsmenge
der Kamera gemäß der durch die Helligkeitsbestimmungseinrichtung
bestimmten Helligkeit steuern.
-
Die
Kamerasteuerungseinrichtung des Programms kann eine Belichtungszeit
der Kamera verkürzen oder einen Durchmesser einer Fotoblende der
Kamera verringern, wenn die durch die Helligkeitsbestimmungseinrichtung
bestimmte Helligkeit größer als ein erster Referenzwert
ist, und die Belichtungszeit der Kamera verlängern oder
den Durchmesser der Fotoblende der Kamera vergrößern, wenn
die durch die Helligkeitsbestimmungseinrichtung bestimmte Helligkeit
kleiner als ein zweiter Referenzwert ist, der kleiner als der erste
Referenzwert ist.
-
Effekt der Erfindung
-
Gemäß der
vorliegenden Erfindung ist es möglich, die Helligkeit eines
Gesichtsbereichs eines Gesichtsbildes unabhängig von einer Änderung
der Umgebung bei einem geeigneten Wert beizubehalten. Folglich wird
es möglich, einen Gesichtszustand eines Fahrers durch Analysieren
des Gesichtsbereichs des Bildes unabhängig von der Änderung
der Umgebung zu bestimmen.
-
Kurze Beschreibung der Zeichnungen
-
1 ist
ein Blockdiagramm eines fahrzeuginternen Bildverarbeitungssystems
gemäß einem Ausführungsbeispiel der vorliegenden
Erfindung;
-
2 ist
ein Blockdiagramm, das eine Struktur einer Kamera und die einer
ECU zeigt, die in 1 gezeigt sind;
-
3A ist
eine Ansicht, die den Operator eines Sobel-Filters zum Erkennen
einer vertikalen Kante zeigt;
-
3B ist
eine Ansicht, die den Operator eines Sobel-Filters zum Erkennen
einer horizontalen Kante zeigt;
-
3C ist
eine Ansicht von Daten, bei denen ein Schattierungsunterschied in
eine vertikale Richtung verstärkt wird;
-
3D ist
eine Ansicht von Daten, bei denen ein Schattierungsunterschied in
eine horizontale Richtung verstärkt wird;
-
3E ist
eine Ansicht, die Daten des Bereichs einer optimalen Helligkeit
und die eines Belichtungszustands zeigt;
-
4 ist
ein Ablaufdiagramm zum Erklären einer Belichtungssteuerungsverarbeitung;
-
5 ist
ein Ablaufdiagramm zum Erklären einer Gesichtspositionsbestimmungsverarbeitung
in dem Ablaufdiagramm von 4;
-
6 ist
ein Ablaufdiagramm zum Erklären einer Primärverarbeitung
in dem Ablaufdiagramm von 5;
-
7 ist
ein Ablaufdiagramm zum Erklären einer Verarbeitung zum
Erkennen beider Enden des Gesichts in dem Ablaufdiagramm von 5;
-
8 ist
ein Ablaufdiagramm zum Erklären einer Verarbeitung zum
Erkennen einer oberen und unteren Position des Gesichts in dem Ablaufdiagramm
von 5;
-
9 ist
ein Ablaufdiagramm zum Erklären einer Belichtungszeitkorrekturverarbeitung
in dem Ablaufdiagramm von 4; und
-
10 ist
ein Ablaufdiagramm zum Erklären einer Fahrerwarnverarbeitung.
-
- 10
- Kamera
- 11
- Bildaufnahmeeinheit
- 12
- CCD-Steuerung
- 13
- IF-Einheit
- 20
- ECU
- 21
- IF-Einheit
(Gesichtsbildempfangseinrichtung)
- 22
- Bildspeicher
- 23
- ROM
- 24
- RAM
- 25
- Anzeigesteuerungseinheit
- 26
- CPU
(Gesichtsbereichserkennungseinrichtung, Helligkeitsbestimmungseinrichtung, Kamerasteuerungseinrichtung
und Warneinrichtung)
- 27
- Lautsprecher
(Warneinrichtung)
- 30
- Anzeigevorrichtung
- 100
- fahrzeuginternes
Bildverarbeitungssystem
- 111
- CCD
- 112
- Fotoblende
-
Beschreibung von Ausführungsbeispielen
-
Eine
Erklärung eines fahrzeuginternen Bildverarbeitungssystems 100 gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung wird vorgenommen.
Das fahrzeuginterne Bildverarbeitungssystem 100 nimmt ein
Bild eines Fahrers auf, bestimmt einen Zustand des Fahrers von dem
aufgenommen Bild und warnt den Fahrer, wenn dies erforderlich ist.
-
Das
fahrzeuginterne Bildverarbeitungssystem 100 umfasst, wie
in 1 gezeigt, eine Kamera 10, die ein Bild
eines Fahrers aufnimmt und ein Bild erzeugt, eine ECU („engine
control unit”, Maschinensteuerungseinheit) 20,
die mit der Kamera 10 verbunden ist und eine Anzeigevorrichtung 30,
die mit der ECU 20 verbunden ist.
-
Die
Kamera 10 umfasst, wie in 2 gezeigt,
eine Bildaufnahmeeinheit 11, eine CCD-Steuerung 12 und
IF-Einheit 13.
-
Die
Bildaufnahmeeinheit 11 umfasst eine CCD („Charge
Coupled Device”, Ladungskoppelelement) 111 und
eine Fotoblende 112 und wird durch die CCD-Steuerung 12 gesteuert,
um periodisch ein Bild eines Gesichts eines Fahrers aufzunehmen.
-
Es
sei angemerkt, dass ein Bild eines Gesichts, das durch die Bildaufnahmeeinheit 11 aufgenommen
wird, nicht nur das Gesicht des Fahrers, sondern auch den Hintergrund
von diesem umfasst.
-
Die
CCD-Steuerung 12 umfasst eine CPU (”Central Processing
Unit”, zentrale Verarbeitungseinheit), einen ROM (”Read
Only Memory”, Festwertspeicher), einen RAM (”Random
Access Memory”, Schreib-Lese-Speicher) und Ähnliches,
verwendet den RAM als einen Arbeitsbereich und steuert die Operation
der Bildaufnahmeeinheit 11 durch den Ablauf eines Steuerungsprogramms,
das in dem ROM gespeichert ist. Zum Beispiel steuert die CCD-Steuerung 12 eine
Bildaufnahme durch die CCD 111 in der Bildaufnahmeeinheit 11,
ein Starten/Beenden einer Belichtung, ein Übertragen eines
aufgenommenen Bildes und Ähnliches. Außerdem steuert
die CCD-Steuerung 12 den Durchmesser der Blendenöffnung
der Fotoblende 112 (Öffnung: Blendenöffnungswert).
-
Die
IF-Einheit 13 ist eine Schnittstelle, die mit der ECU 20 kommuniziert.
-
Die
ECU 20 ist eine elektronische Steuerungseinheit, die, anders
als zum Steuern des ganzen Fahrzeugs, eine Funktion zum Erkennen
der Position eines Gesichts (Gesichtsbereichs) von einem Bild, das
von der Kamera 10 empfangen wird, zum Berechnen einer Belichtungszeit,
um zu bewirken, dass ein Bild eine optimale Helligkeit in dem erkannten
Gesichtsbereichs aufweist, und zum Anweisen der Belichtungszeit
an die CCD-Steuerung 12, und eine Funktion zum Erkennen
einer gefährlichen Fahrweise, wie etwa eine unaufmerksame
Fahrweise und eine schlaftrunkene Fahrweise des Fahrers durch Analysieren
des Gesichtsbilds und zum Warnens des Fahrers aufweist.
-
Die
ECU 20 umfasst eine IF-Einheit 21, einen Bildspeicher 22,
einen ROM 23, einen RAM 24, eine Anzeigesteuerungseinheit 25,
eine CPU 26 und einen Lautsprecher 27.
-
Die
IF-Einheit 21 ist eine Schnittstelle, die mit der Kamera 10 kommuniziert.
-
Der
ROM 23 speichert ein Steuerungsprogramm zum Steuern der
Operation der CPU 26, und festgelegte Daten.
-
Ein
Beispiel der festgelegten Daten, die in dem ROM 23 gespeichert
sind, werden mit Bezug auf 3A bis 3E beschrieben.
-
Der
ROM 23 speichert, wie in 3A und 3B gezeigt
ist, jeweils Operatoren von Sobel-Filtern zum Erkennen einer vertikalen
Kante und einer horizontalen Kante. Der Sobel-Filter zum Erkennen einer
vertikalen Kante und der Sobel-Filter zum Erkennen einer horizontalen
Kante, die in 3A und 3B gezeigt
sind, sind die Operatoren zum Verstärken eines Schattierungsunterschieds
in eine vertikale Richtung und eines Schattierungsunterschieds in
eine horizontale Richtung, wie in 3C und 3D gezeigt
ist.
-
Außerdem,
wie in 3E gezeigt, speichert der ROM 23 Informationen
(einen optimalen Helligkeitsbereich), die den Bereich einer Helligkeit
angeben, der zum Bestimmen einer Gesichtsrichtung und des Zustands
der Augen von einem Gesichtsbild am besten geeignet ist.
-
Des
Weiteren, wie in 3E gezeigt, speichert der ROM 23 eine
voreingestellte Belichtungszeit (eine Anfangsbelichtungszeit (TINI)) der Kamera 10 und einen Korrekturbetrag
der Belichtungszeit (Belichtungskorrekturbetrag (Δt)).
-
Der
RAM 24 dient als ein Arbeitsbereich für die CPU 26.
-
Außerdem
speichert der RAM 24 eine Bildaufnahmezeit (eine Belichtungszeit
Te) der Kamera 10. Die Belichtungszeit
Te wird der Kamera 10 durch die
CPU 26 mitgeteilt und die Kamera 10 nimmt ein Bild
bei der Belichtungszeit Te auf. Es sei angemerkt, dass
in einem Anfangszustand die anfängliche Belichtungszeit
TINI als die Belichtungszeit Te eingestellt ist.
-
Des
Weiteren zeichnet der RAM 24 Koordinaten (x-Koordinate,
y-Koordinate) von beiden Enden eines Gesichts und eine obere und
untere Position von diesem, die von dem Gesichtsbild erkannt werden,
auf. Es wird ermöglicht, den Gesichtsbereich aus dem Gesichtsbild
mit diesen Positionskoordinaten zu spezifizieren.
-
Die
Anzeigesteuerungseinheit 25 steuert die Anzeigevorrichtung 30 gemäß der
Steuerung CPU 26.
-
Die
CPU 26 steuert die Operation der ECU 20 durch
Auslesen und Ausführen des Steuerungsprogramms aus dem
ROM 23. Außerdem erkennt die CPU 26 einen
Gesichtsbereich durch Analysieren eines Gesichtsbildes, das durch
die Kamera 10 aufgenommen wird, und führt eine
Verarbeitung (Belichtungssteuerungsverarbeitung) zum Steuern der
Belichtungszeit der Kamera 10 aus, um zu bewirken, dass
ein Bild eine Helligkeit aufweist, die zum Bestimmen einer Gesichtsrichtung
und des Zustands der Augen in dem Gesichtsbereich am besten geeignet
ist.
-
Der
Lautsprecher 27 gibt eine Warnung an den Fahrer, der eine
gefährliche Fahrweise ausführt, gemäß der
Steuerung der CPU 26 aus.
-
Die
Anzeigevorrichtung 30 umfasst eine LCD (”Liquid
Crystal Display”, Flüssigkristallanzeige) eine CRT
(”Cathod Ray Tube”, Kathodenstrahlröhre)
oder Ähnliches und zeigt ein Navigationsbild, ein Bild
zur Warnung und Ähnliches an.
-
Als
Nächstes folgt eine Beschreibung der Operation des vorstehenden
fahrzeuginternen Bildverarbeitungssystems 100.
-
Wenn
die Operation des fahrzeuginternen Bildverarbeitungssystems 100 beginnt,
wenn der Benutzer das System bedient, startet die CCD-Steuerung 12 die
Steuerung der Bildaufnahmeeinheit 11.
-
Genauer
steuert die CCD-Steurung 12 den Beginn/das Ende einer Belichtung
der CCD 111 in der Bildaufnahmeeinheit 11 und
ein Übertragen eines aufgenommenen Bildes durch die CCD 111 in
der Bildaufnahmeeinheit 11, um die CCD 111 zu
veranlassen ein Bild zu jedem vorbestimmten Zeitpunkt (zum Beispiel,
1/30 Sekunden) bei einer Belichtungszeit Te,
die von der ECU 20 mitgeteilt wird, aufzunehmen.
-
Die
CCD 111 führt eine lithographische Belichtung
für eine angewiesene Belichtungszeit Te gemäß der
Steuerung der CCD-Steuerung 12 durch und nimmt ein Bild
mit einem Bereich des Gesichts eines Fahrers auf. Die CCD 111 überträgt
das aufgenommene Gesichtsbild an die ECU 20 durch die IF-Einheit 13.
-
Die
CPU 26 der ECU 20 startet die in 4 gezeigte
Belichtungssteuerungsverarbeitung jedes Mal, wenn ein Gesichtsbild,
das durch die Kamera 10 aufgenommen wird, durch die F-Einheit 21 empfangen
wird.
-
Als
erstes führt die CPU 26 eine Gesichtspositionsbestimmungsverarbeitung
zum Bestimmen einer Gesichtsposition von dem empfangenen Gesichtsbild
aus (Schritt S1).
-
Wie
in 5 gezeigt ist, umfasst die Gesichtspositionsbestimmungsverarbeitung
eine Primärverarbeitung (Schritt S11), eine Verarbeitung
zum Erkennen beider Enden des Gesichts (Schritt S12) und eine Verarbeitung
zum Erkennen einer oberen und unteren Position des Gesichts (Schritt
S13).
-
Die
Primärverarbeitung (Schritt S11) umfasst, wie in 6 gezeigt,
eine Erfassungsverarbeitung (Schritt S111), eine Koordinatenumwandlungsverarbeitung
(Schritt S112) und eine Sobel-Filter-Verarbeitung (Schritt S113).
-
Die
Erfassungsverarbeitung (Schritt S111) dient zum Speichern eines
Gesichtsbilds eines Rahmens, der durch die IF-Einheit 21 empfangen
wird, in dem Bildspeicher 22.
-
Die
Koordinatenumwandlungsverarbeitung (Schritt S112) dient zum Reduzieren
der Anzahl von Pixeln bzw. Bildelementen des Gesichtsbilds auf ein verarbeitbares
Niveau.
-
Die
Sobel-Filter-Verarbeitung (Schritt S113) dient zum Verarbeiten des
Gesichtsbildes, das einer Koordinatenumwandlung unterzogen wurde,
unter Verwendung des Sobel-Filters zum Erkennen einer vertikalen
Kante (3A), der in dem ROM 23 gespeichert
ist, um die vertikale Kante in dem Gesichtsbild zu verstärken,
und zum Verarbeiten des Gesichtsbildes, das der Koordinatenumwandlung
unterzogen wurde, unter Verwendung des Sobel-Filters zum Erkennen
einer horizontalen Kante (3B), um
die horizontale Kante in dem Gesichtsbild zu verstärken.
-
Wieder
Bezug nehmend auf 5 dient die Verarbeitung zum
Erkennen beider Enden Gesichts (Schritt S12) zum Spezifizieren von
Linien, die beide Ende des Gesichts bilden, für das verarbeitete
Gesichtsbild, das durch den Operator zum Erkennen der vertikalen
Kante verarbeitet wird, und eine beliebige herkömmliche
Technik kann für diese Verarbeitung angewendet werden.
-
Wie
in 7 gezeigt, führt die CPU 26 zum Beispiel
als Erstes eine Verarbeitung zum Erzeugen eines Histogramms zum
Erkennen beiden Enden des Gesichts aus (Schritt S121). Die Histogrammerzeugungsverarbeitung
dient zum Erzeugen eines Histogramms durch Projizieren von Werten
von einzelnen Bildelementen des verarbeiteten Gesichtsbilds in vertikaler
Richtung.
-
Als
Nächstes extrahiert die CPU 26 eine vorbestimmte
Anzahl von Histogrammen mit einem hohen Spitzenwert und sortiert
diese (Schritt S122) und extrahiert den linken und rechten Endpunkt
des Gesichts basierend auf den Werten des Histogramms (Schritt S123).
-
Als
Nächstes bestimmt die CPU 26, ob zwei Endpunkte
(linkes und rechtes Ende) extrahiert sind oder nicht (Schritt S124).
Wenn beide Endpunkte extrahiert sind (Schritt S124; JA), setzt die
CPU 26 die zwei extrahierten Punkte als linkes und rechtes
Ende (x-Koordinaten) und zeichnet diese Koordinaten in dem RAM 24 auf
(Schritt S126).
-
Im
Gegensatz dazu, wenn zwei Endpunkte nicht extrahiert sind (Schritt
S124; NEIN), extrahiert die CPU 26 eine Kombination von
zwei Punkten, wobei eine Distanz zwischen diesen eine wahrscheinliche
Entfernung entsprechend der Breite eines menschlichen Gesichts darstellt
(Schritt S125). Die CPU 26 setzt die extrahierte Kombination
von zwei Punkten als linkes und rechtes Ende (x-Koordinaten) des
Gesichts und zeichnet solche Koordinaten in dem RAM 24 auf
(Schritt S126).
-
Wider
Bezug nehmend auf 5 dient die Verarbeitung zum
Erkennen einer oberen und unteren Position des Gesichts im nächsten
Schritt S13 zum Ausführen der gleichen Verarbeitung wie
der vorhergehenden Verarbeitung bezüglich der horizontalen
Kante und zum Erkennen der ungefähren Position von Augenbrauen
(oberes Ende) und der eines Mundes (unteres Ende) in dem Gesicht.
Die Verarbeitung zum Erkennen einer oberen und unteren Position
des Gesichts (Schritt S13) umfasst zum Beispiel, wie in 8 gezeigt,
eine Histogrammerzeugungsverarbeitung (Schritt S131), eine Verarbeitung zum
Erkennen von Unter-Augen-Kandidaten (Schritt S132) und eine Verarbeitung
zum Berechnen/Aufzeichnen der oberen und unteren Position des Gesichts
(Schritt S131).
-
Die
Histogrammerzeugungsverarbeitung (Schritt S131) dient zum Erzeugen
eines Histogramms durch Projizieren von Werten von einzelnen Bildelementen
des Gesichtsbildes, das durch den Sobel-Filter verarbeitet wird,
zum Erfassen einer horizontalen Kante in der horizontalen Richtung.
-
Die
Verarbeitung zum Erkennen von Unter-Augen-Kandidaten (Schritt S132)
dient zum Auswählen von Kandidaten von Histogrammwerten
entsprechend Augen, Augenbrauen, einem Mund und Ähnlichem,
basierend auf den Histogrammwerten.
-
Die
Verarbeitung zum Berechnen/Aufzeichnen der oberen und unteren Position
des Gesichts (Schritt S133) dient zum Erkennen einer oberen und unteren
Endposition (y-Koordinaten) des Gesichts von den ausgewählten
Kandidaten und zum Aufzeichnen solcher Kandidaten in dem RAM 24.
Es sei angemerkt, dass die obere Endposition (y-Koordinate) des
Gesichts zum Beispiel als eine Position (y-Koordinate) erkannt werden
kann, die drei Bildelemente höher ist als die erfassten
Augenbrauen, und die untere Endposition als eine Position (y-Koordinate)
erfasst werden kann, die drei Bildelemente niedriger ist, als der
erkannte Mund.
-
Wider
Bezug nehmend auf 4, nach Vervollständigung
der Gesichtspositionsbestimmungsverarbeitung (Schritt S1), führt
die CPU 26 die Belichtungszeitkorrekturverarbeitung (Schritt
S2) aus.
-
9 zeigt
die Belichtungszeitkorrekturverarbeitung (Schritt S2) im Detail.
-
Als
Erstes liest die CPU 26 ein Bild eines Gesichts, das in
dem Bildspeicher 22 gespeichert ist, aus (Schritt S21).
-
Als
Nächstes berechnet die CPU 26 eine mittlere Helligkeit
des ausgelesenen Gesichtsbilds (Schritt S22).
-
Genauer
berechnet die CPU 26 den Mittelwert der Helligkeit von
Bildelementen eines Gesichtsbereichs, der durch die Koordinaten
beider Enden des Gesichts und die der oberen und unteren Positionen
von diesem (x-Koordinaten, y-Koordinaten), die in der Gesichtspositionsbestimmungsverarbeitung (Schritt
S1) aufgezeichnet werden, spezifiziert werden kann, aus den Bildelementen,
die das Gesichtsbild konfigurieren. Es sei angemerkt, dass die CPU 26 eine
Gewichtung W1 zu dem Bild des Gesichtsbereichs und eine Gewichtung
W2 (< W1) zu Bildelementen
anderer Bereiche hinzufügen kann, und die Helligkeit des
gesamten Gesichtsbilds berechnen kann. Außerdem kann der
Gesichtsbereich in eine Vielzahl von Abschnitten geteilt werden
und die Gewichtung W1 kann von aufgeteiltem Bereich zu aufgeteiltem
Bereich eingestellt werden.
-
Als
Nächstes vergleicht die CPU 26 eine berechnete
mittlere Helligkeit mit dem optimalen Helligkeitsbereich, der in
dem ROM 23 aufgezeichnet ist, und bestimmt, ob der Gesichtsbereich
(präziser gesagt, das Bild des Gesichtsbereichs) eine geeignete Helligkeit
aufweist, um eine Gesichtsrichtung und den Zustand von Augen zu
bestimmen (Schritt S23).
-
Wenn
bestimmt ist, dass die mittlere Helligkeit innerhalb des optimalen
Helligkeitsbereichs liegt (Schritt S23; optimal), ist die Helligkeit
des Gesichtsbildes am besten geeignet, um die Gesichtsrichtung und
den Zustand von Augen zu bestimmen und es ist nicht nötig,
die Belichtungszeit zu korrigieren, so dass die CPU 26 die
Verarbeitung bei Schritt S26 fortsetzt.
-
Wenn
bestimmt ist, dass die mittlere Helligkeit kleiner als der optimale
Helligkeitsbereich ist (Schritt S23; zu dunkel), ist das Gesichtsbild
zu dunkel, um eine Bestimmung der Gesichtsrichtung und des Zustands
der Augen vorzunehmen, so dass die Analyse schwierig werden kann.
Dementsprechend fügt die CPU 26 den Belichtungskorrekturbetrag Δt, der
in dem ROM 23 gespeichert ist, zu der Belichtungszeit Te der Kamera 10 hinzu, und speichert
eine solche Belichtungszeit in dem RAM 24 als neue Belichtungszeit
Te (Schritt S24). Als Nächstes
setzt die CPU 26 die Verarbeitung bei Schritt S26 fort.
-
Wenn
bestimmt ist, dass die mittlere Helligkeit größer
als der optimale Helligkeitsbereich ist (Schritt S23; zu hell) ist
das Gesichtsbild zu hell, um eine Bestimmung der Gesichtsrichtung
und des Zustands der Augen vorzunehmen, so dass die Analyse ebenfalls
schwierig werden kann. Dementsprechend subtrahiert die CPU 26 den
Belichtungskorrekturbetrag Δt, der in dem ROM 23 gespeichert
ist, von der Belichtungszeit Te der Kamera 10 und
speichert eine solche Belichtungszeit in dem RAM 24 als
neue Belichtungszeit Te (Schritt S25). Als
Nächstes setzt die CPU 24 die Verarbeitung bei
Schritt S26 fort.
-
In
dem Schritt S26 liest die CPU 26 Informationen, die die
Belichtungszeit Te angeben, aus dem RAM 24 aus,
und überträgt die ausgelesene Belichtungszeit über
die IF-Einheit 21 an die CCD-Steuerung 12 in der
Kamera 10 (Schritt S26). Dementsprechend ist die Belichtungszeitkorrekturverarbeitung (Schritt
S2) vollständig und die in 4 gezeigte
Belichtungssteuerungsverarbeitung ist ebenso vollständig.
-
Die
CCD-Steuerung 12 in der Kamera 10 empfängt
eine Belichtungszeit Te, die durch die Belichtungssteuerungsverarbeitung
angemessen korrigiert wurde, von der ECU 20 über
die IF-Einheit 13 und steuert die Bildaufnahmeeinheit 11,
um ein Bild bei der empfangenen Belichtungszeit Te aufzunehmen.
Ein Bild, das durch die Bildaufnahmeeinheit 11 aufgenommen
wird, wird an die ECU 20 übertragen und die Belichtungssteuerungsverarbeitung
wird wiederholt.
-
Die
ECU 20 bestimmt periodisch eine Gesichtsrichtung, die Richtung
von Augen eines Fahrers und den Öffnungs-/Schließzustands
von Augen aus einem Gesichtsbild des Fahrers, das in dem Bildspeicher 22 gespeichert
wird, führt eine Fahrerwarnverarbeitung aus, durch Bestimmen,
ob der Fahrer eine gefährliche Fahrweise ausführt,
wie etwa eine unaufmerksames Fahrweise oder eine schlaftrunkene
Fahrweise, und warnt den Fahrer.
-
Ein
Beispiel der Fahrerwarnverarbeitung ist in 10 gezeigt.
-
Als
Erstes liest die CPU 26 der ECU 20 ein Bild eines
Gesichtsbereichs aus, das durch beide Enden des Gesichts und eine
obere und untere Position von diesem definiert ist, die alle in
Schritten S126 und S133 aus Gesichtsbildern eines Fahrers, die in
dem Bildspeicher 22 gespeichert sind, spezifiziert werden (Schritt
S31). Das Bild des Gesichtsbereichs weist durch die vorstehende
Belichtungszeitkorrekturverarbeitung (Schritt S2) eine geeignete
Helligkeit für eine Analyse auf.
-
Als
Nächstes bestimmt die CPU 26 durch Analysieren
des Gesichtsbereichs, ob der Fahrer eine gefährliche Fahrweise,
wie etwa eine unaufmerksame Fahrweise oder eine schlaftrunkene Fahrweise
durchführt, (Schritt S32).
-
Das
Verfahren zum Bestimmen, ob eine gefährliche Fahrweise
ausgeführt wird oder nicht, ist frei wählbar,
und eine beliebige herkömmliche Technik kann für
diese Verarbeitung angewendet werden.
-
Zum
Beispiel wird eine Mittelposition eines Gesichts durch Analysieren
des Bildes des Gesichtsbereichs erhalten und aus der Position wird
eine Gesichtsrichtung bestimmt, und es ist möglich, zu
bestimmen, dass der Fahrer eine unaufmerksame Fahrweise durchführt,
wenn ein Unterschied zwischen der Gesichtsrichtung und der Frontrichtung
eines Fahrzeugs größer oder gleich einem vorbestimmten
Wert ist, und dieser Zustand für eine bestimmte Periode
oder länger anhält.
-
Außerdem
werden zum Beispiel Augen eines Fahrers durch Analysieren des Bildes
des Gesichtsbereichs überprüft und aus dem Bild
der Augen wird die Richtung der Augen erkannt, und es ist möglich,
zu bestimmen, dass der Fahrer eine unaufmerksame Fahrweise durchführt,
wenn ein Unterschied zwischen der Richtung der Augen und der Frontrichtung
des Fahrzeugs größer oder gleich einem vorbestimmten
Wert ist, und der Zustand für eine vorbestimmte Periode
oder länger anhält.
-
Des
Weiteren wird der Öffnungs-/Schließzustand der
Augen aus dem Bild der Augen eines Fahrers erkannt, und es ist möglich,
zu bestimmen, dass der Fahrer eine schlaftrunkene Fahrweise durchführt, wenn
der Schließzustand der Augen für eine vorbestimmte
Periode oder länger erfasst wird.
-
Wenn
bestimmt ist, dass ein Fahrer keine gefährliche Fahrweise
durchführt (Schritt S32; NEIN) ist es nicht notwendig,
den Fahrer zu warnen und die Fahrerwarnverarbeitung ist vollständig.
-
Wenn
bestimmt wird, dass der Fahrer eine gefährliche Fahrweise
durchführt (Schritt S32; JA) erzeugt die CPU 26 einen
Warnton aus dem Lautsprecher 27 (Schritt S33), um den Fahrer
zu warnen und die Fahrerwarnverarbeitung ist vollständig.
-
Wie
vorstehend beschrieben, gemäß dem Ausführungsbeispiel,
erkennt die ECU 20 jedes Mal, wenn die Kamera 10 ein
aufgenommenes Gesichtsbild an die ECU 20 überträgt,
einen Gesichtsbereich aus dem übertragenden Gesichtsbild,
korrigiert eine Belichtungszeit, um eine Helligkeit zu erhalten,
die zum Bestimmen einer Gesichtsrichtung und des Zustands von Augen
in dem erkannten Gesichtsbereich am besten geeignet ist, teilt die
korrigierte Belichtungszeit der Kamera 10 mit und die Kamera 10 nimmt
ein Bild des Gesicht eines Fahrers bei der mitgeteilten Belichtungszeit
auf.
-
Folglich
ist es möglich, ein Gesichtsbild mit einer geeigneten Helligkeit
zu erhalten, auch wenn sich die Helligkeit einer Umgebung ändert.
Außerdem ist es möglich, eine Gesichtsrichtung
und dem Zustand von Augen durch Analysieren des Gesichtsbildes mit
der geeinigten Helligkeit genau zu bestimmen, und genau zu bestimmen,
ob die Fahrweise des Fahrers gefährlich ist. Somit wird
eine geeignete Warnung gegen eine gefährliche Fahrweise
verwirklicht, auch wenn die Helligkeit der Umgebung sich ändert.
-
Es
sei angemerkt, dass die vorliegende Erfindung nicht auf das vorstehende
Ausführungsbeispiel beschränkt ist und auf verschiedene
Arten geändert und modifiziert werden kann.
-
Zum
Beispiel, obwohl die Belichtungszeit der Kamera 10 addiert/subtrahiert
wird, wenn die mittlere Helligkeit des Gesichtsbereichs des Gesichtsbildes nicht
innerhalb des optimalen Helligkeitsbereichs liegt (Schritte S24,
S25), ist es in dem vorstehenden Ausführungsbeispiel möglich,
den Durchmesser der Blendenöffnung (Öffnung) der
Fotoblende 112 der Kamera 10 zu ändern.
Das heißt es ist möglich, den Durchmesser der
Blendenöffnung (Öffnung) der Fotoblende 112 derart
zu steuern, dass diese um ΔΦ verringert wird,
wenn die mittlere Helligkeit des Gesichtsbereichs eines Gesichtsbildes
größer ist als der optimale Helligkeitsbereich,
und den Durchmesser der Blendenöffnung (Öffnung)
der Fotoblende 112 derart zu steuern, dass diese um ΔΦ vergrößert
wird, wenn die mittlere Helligkeit des Gesichtsbereichs kleiner
als der optimale Helligkeitsbereich ist. Ein Einsatz solcher Konfigurationen
ermöglicht eine Steuerung der lithographischen Belichtung
der Kamera 10, um eine geeignete Helligkeit zu erreichen,
wenn die mittlere Helligkeit des Gesichtsbildes außerhalb
des optimalen Helligkeitsbereichs liegt, und der gleiche Effekt
wie der des vorherstehenden Ausführungsbeispieles kann
erhalten werden.
-
Außerdem
ist es möglich, die Belichtungszeit der CCD 111 in
der Kamera 10 und den Durchmesser der Blendenöffnung
(Öffnung) der Fotoblende 112 in kombinierter Weise
zu korrigieren.
-
Des
weiteren, obwohl die Belichtungszeit oder die Öffnung der
Fotoblende 112 mit einer bestimmte Zeit (Δt) oder ΔΦ addiert/subtrahiert
wird, wenn die mittlere Helligkeit des Gesichtsbereichs außerhalb
des optimalen Helligkeitsbereichs liegt (Schritte S24, S25), ist
in dem vorherstehenden Ausführungsbeispiel ein Verfahren
zum korrigieren eines Betrags einer Belichtung der CCD 111 selbst
frei wählbar.
-
Zum
Beispiel, obwohl ein bestimmter Betrag Δt oder ΔΦ korrigiert
wird, wenn die mittlere Helligkeit des Gesichtsbilds außerhalb
des optimalen Helligkeitsbereichs liegt, ist es in dem vorhergehenden Ausführungsbeispiel
möglich, ein Verfahren zum Korrigieren eines variablen
Betrags anzuwenden. Zum Beispiel ist es möglich, eine Belichtungszeit
oder den Durchmesser der Blendenöffnung der Fotoblende durch
einen Wert zu korrigieren, der durch eine Formel a·b, a·e
+ b·∫edt, a·e + b·∫edt
+ c·de/dt (a, b, und c sind jeweils eine konstante Zahl)
und Ähnliches, basierend auf einer Abweichung e zwischen
einer mittleren Helligkeit und einer optimalen Helligkeit (einem Mittelwert,
einem oberen Grenzwert oder einem unteren Grenzwert von diesem)
gemäß einer PID-Steuerung zu erhalten.
-
Obwohl
ein Teil von Augenbrauen bis zum Mund und der von einem linken Ende
zu einem rechten Ende in dem Gesichtsbild als ein Gesichtsbereich genommen
werden und der Zustand des Fahrers unter Verwendung des Bildes des
Gesichtsbereichs bestimmt wird, ist es in dem vorstehend Ausführungsbeispiel
möglich, andere Bereiche des Gesichtsbildes zum Bestimmen
des Zustands des Fahrers zu verwenden. Zum Beispiel kann ein Bereich
einer Stirn bis zu einem Mund eines Gesichts als ein Gesichtsbereich
verwendet werden. In diesem Fall wird der Belichtungsbetrag der
Bildaufnahmeeinheit 11 korrigiert, um eine Helligkeit des
Bereichs von der Stirn bis zu dem Mund zu einer Helligkeit zu machen, die
für die Analyse des Bildes geeignet ist.
-
Außerdem
ist es möglich, nur das Bild der Augen zum Bestimmen des
Zustands des Fahrers zu verwenden. In diesem Fall wird der Belichtungsbetrag
der Bildaufnahmeeinheit 11 korrigiert, um eine Helligkeit
um die Augen in einem Gesichtsbild zu einer Helligkeit zu machen,
die für die Analyse geeignet ist.
-
Des
Weiteren ist es möglich, das gesamte Gesichtsbild als ein
Analyseobjekt zu setzen, um den Zustand des Fahrers zu bestimmen.
-
Außerdem,
obwohl die vorliegende Erfindung für einen Fall des Aufnehmens
eines Bildes eines Fahrers angewendet wird, ist die vorliegende
Erfindung in den vorstehenden Ausführungsbeispiel nicht
auf diesen Fall beschränkt, und ist weit anwendbar auf
eine Verarbeitung des Aufnehmens eins Bildes von Menschen, Tieren,
Spielzeugen, Robotern und Ähnlichem in einer beliebigen
Szene.
-
Des
Weiteren kann ein Programm, das einen Computer steuert, um die vorstehende
Verarbeitung auszuführen, auf einem beliebigen Aufzeichnungsmedium
oder einem ROM durch ein Netzwerk gespeichert werden.
-
Es
ist zu verstehen, dass das offenbarte Ausführungsbeispiel
lediglich zur Veranschaulichung dient und nicht zur Beschränkung.
Der Umfang der vorliegenden Erfindung ist nicht durch die vorstehende
Beschreibung sondern durch die beigefügten Ansprüche
angegeben und es ist beabsichtigt, dass Äquivalente und
alle Änderungen innerhalb des Umfangs der Erfindung enthalten
sind.
-
Diese
Anmeldung basiert auf der
japanischen
Patentanmeldung Nr. 2007-291069 , eingereicht am 8. November
2007. Die Beschreibung, Ansprüche und gesamten Zeichnungen
der
japanischen Patentanmeldung
Nr. 2007-291069 sind als Ganzes in diese Beschreibung durch
Bezugnahme aufgenommen.
-
Jedes
Mal, wenn eine Kamera ein aufgenommenes Gesichtsbild an eine ECU überträgt,
erkennt die ECU einen Gesichtsbereich aus dem übertragenen
Gesichtsbild und korrigiert eine Belichtungszeit, um eine Helligkeit
zu erhalten, die zum Bestimmen einer Gesichtsrichtung und des Zustandes von
Augen in dem erkannten Gesichtsbereich am besten geeignet ist. Die
korrigierte Belichtungszeit wird der Kamera mitgeteilt und die Kamera
nimmt ein Bild des Gesichts des Fahrers mit der mitgeteilten Belichtungszeit
auf. Dementsprechend analysiert die ECU ein Gesichtsbild, das periodisch
mit der am besten geeigneten Helligkeit aufgenommen wird, unbeachtet
einer Änderung einer Umgebung, und bestimmt, ob ein Fahrer
eine gefährliche Fahrweise durchführt oder nicht.
-
Gewerbliche Anwendbarkeit
-
Die
vorliegende Erfindung ist nützlich als eine fahrzeuginterne
Bildverarbeitungsvorrichtung, die mit einer Kamera verbunden ist,
die ein Bild des Gesichts eines Fahrers in einem Fahrzeug aufnimmt. Insbesondere
ist die vorliegende Erfindung nützlich als die fahrzeuginterne
Bildverarbeitungsvorrichtung, die mit der Kamera verbunden ist,
die in einem Zustand verwendet wird, in dem sich eine Bildaufnahmeumgebung ändert.
-
ZUSAMMENFASSUNG
-
Jedes
Mal, wenn eine Kamera ein aufgenommenes Gesichtsbild an eine ECU überträgt,
erkennt die ECU einen Gesichtsbereich aus dem übertragenen
Gesichtsbild und korrigiert eine Belichtungszeit, um eine Helligkeit
zu erhalten, die zum Bestimmen einer Gesichtsrichtung und des Zustandes von
Augen in dem erkannten Gesichtsbereich am besten geeignet ist. Die
korrigierte Belichtungszeit wird der Kamera mitgeteilt und die Kamera
nimmt ein Bild des Gesichts des Fahrers mit der mitgeteilten Belichtungszeit
auf. Dementsprechend analysiert die ECU ein Gesichtsbild, das periodisch
mit der am besten geeigneten Helligkeit aufgenommen wird, unbeachtet
einer Änderung einer Umgebung, und bestimmt, ob ein Fahrer
eine gefährliche Fahrweise durchführt oder nicht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - JP 2007-072628 [0003]
- - JP 2007-291069 [0113, 0113]