-
Die vorliegende Erfindung basiert auf der
japanischen Patentanmeldung Nummer 2012-131959 , eingereicht am 11. Juni 2012, deren Offenbarung hierin durch Bezugnahme aufgenommen ist.
-
Technisches Gebiet
-
Die vorliegende Erfindung bezieht sich auf eine Personenbestimmungsvorrichtung, welche eine Person aus einem Eingabebild durch die Verwendung von Mustererkennung erfasst.
-
Technischer Hintergrund
-
Herkömmlicherweise beinhaltet ein Verfahren zur Erfassung von Personen vor oder hinter bspw. einem Fahrzeug das Erkennen von Personen in einem von der Kamera aufgenommenen Bild (Eingabebild) unter Verwendung von Erkennungsmodellen.
-
Patentschrift 1 beschreibt ein Verfahren zur Erfassung eines Fußgängers durch Vergleichen eines durch ein Aufnahmemittel aufgenommenen Bildes mit Vorlagendaten für die Fußgängererkennung (Erkennungsmodelle), um ein Hindernis zwischen dem erfassten Fußgänger und einem Fahrzeug zu erkennen.
- Stand der Technik Patentschrift 1: JP 2010-079716A
-
Zusammenfassung der Erfindung
-
Die aus dem Stand der Technik bekannte Mustererkennung unter Verwendung von Personenerkennungsmodellen hat den Nachteil, dass die Verlässlichkeit bei der Erfassung von Personen, welche einen Witterungsschutz, wie bspw. Schirme (Regenschirme und Sonnenschirme) verwenden, reduziert ist. Dies rührt daher, dass, wenn ein Körperteil, wie bspw. der Kopf der Person, durch Verwendung bspw. eines Schirmes verborgen ist, das Profil um den Kopf der Person sich von dem einer Person ohne Schirm unterscheidet, was zu einer Abweichung des Abbilds der Person in dem Eingabebild von dem Erkennungsmodell führt.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, den Erkennungsanteil von Personen, deren Körper teilweise durch Schutzvorrichtungen wie bspw. Schirme, verborgen sind, dadurch zu verbessern, dass das Mustererkennungsverfahren die Witterungsbedingungen miteinbezieht.
-
Ein Aspekt der vorliegenden Erfindung betrifft eine Personenerfassungsvorrichtung, welche eine Person in einem durch einen Aufnahmeabschnitt aufgenommenen Eingabebild durch Mustererkennung unter Verwendung eines Erkennungsmodells zur Personenerkennung erkennt. Die Personenerfassungsvorrichtung gemäß diesem Aspekt zeichnet sich dadurch aus, dass sie einen Speicherabschnitt, einen Witterungsbestimmungsabschnitt und einen Personenerkennungsabschnitt aufweist.
-
Der Speicherabschnitt speichert ein Mit-Schirm-Erkennungsmodell, welches eine Person beschreibt, welche einen Schutz gegen ein spezifisches Wetter verwendet. Der Witterungsbestimmungsabschnitt bestimmt die Witterungsbedingungen, basierend auf einem Erfassungsergebnis eines Witterungserfassungsabschnitts. Der Personenerkennungsabschnitt führt eine Mustererkennung auf dem Eingabebild unter Verwendung des in dem Speicherabschnitt gespeicherten Mit-Schirm-Erkennungsmodells durch und gibt als Erkennungsergebnis der Mustererkennung einen durch Widerspiegeln eines Einflusses bzw. einer Gewichtung in Abhängigkeit von einer durch den Witterungsbestimmungsabschnitt bestimmten Witterungsbedingung bestimmten Witterungswiderspiegelungswert aus.
-
Die Kernidee dieses Aspektes liegt darin, in Betracht zu ziehen, dass die Anzahl an Personen, welche Schutzvorrichtungen gegen eine spezifische Witterung verwenden, von einer Witterungsbedingung abhängt, diese Information bzgl. der Witterungsbedingungen auf ein Mustererkennungsverfahren für Personen anzuwenden und dadurch die negative Wirkung auf die Erkennungsfähigkeit, wenn Personen solche Schutzvorrichtungen wie bspw. Schirme verwenden, zu reduzieren.
-
Beispielsweise kann der Einfluss bzw. die Gewichtung des Erkennungsergebnisses auf Grundlage eines Mit-Schirm-Erkennungsmodells erhöht werden, nimmt man an, dass, wenn eine spezifische Witterungsbedingung erfasst worden ist, die Anzahl von Personen, welche Schutzvorrichtungen gegen dieses Wetter verwenden, hoch ist. Dies führt dazu, dass der Erkennungsanteil von Personen, welche Schutzvorrichtungen verwenden, verbessert werden kann. Auf der anderen Seite kann der Einfluss bzw. die Gewichtung des Erkennungsergebnisses auf Grundlage des Mit-Schirm-Erkennungsmodells reduziert werden, nimmt man an, dass, wenn eine spezifische Witterungsbedingung nicht erfasst ist, die Anzahl von Personen, welche eine Schutzvorrichtung gegen diese Witterung verwenden, gering ist. Dies führt dazu, dass der Erkennungsanteil von Personen, welche keine Schutzvorrichtung verwenden, verbessert werden kann.
-
Kurzbeschreibung der Figuren
-
Die oben genannten und weiteren Ziele, Merkmale und Vorteile der vorliegenden Erfindung ergeben sich aus der folgenden detaillierten Beschreibung unter Bezugnahme auf die dazugehörigen Zeichnungen. In den Zeichnungen ist
-
1 ein Blockdiagramm, welches einen schematischen Aufbau eines Personenerfassungssystems zeigt;
-
2 eine erklärende Ansicht, welche schematisch einen Überblick über Erkennungsmodelle liefert;
-
3 ein Flussdiagramm, welches ein Verfahren zur Personenerfassung zeigt; und
-
4a und 4b sind erklärende Ansichten, welche schematisch eine Übersicht einer Personenerkennung unter Berücksichtigung der Witterungsbedingungen zeigen.
-
Ausführungsformen
-
Im Weiteren wird eine Ausführungsform der vorliegenden Erfindung mit Bezugnahme auf die Figuren beschrieben. Die vorliegende Erfindung ist nicht auf die folgenden Ausführungsformen beschränkt, sondern kann auf verschiedene Arten ausgestaltet werden.
-
In der vorliegenden Anmeldung wird der Begriff „Information” nicht nur als unzählbares Nomen, sondern auch als zählbares Nomen „Informationen” verwendet.
-
Erklärung des Aufbaus des Personenerfassungssystems
-
Ein Personenerfassungssystem gemäß der vorliegenden Ausführungsform ist auf einem Fahrzeug etc. montiert, und wird dazu verwendet, Personen vor dem Fahrzeug zu erfassen. Wie in 1 gezeigt, beinhaltet das Personenerfassungssystem eine Personenerfassungsvorrichtung 1 und andere Abschnitte, wie bspw. einen Bildeingabeabschnitt 2, einen Witterungsinformationseingabeabschnitt 3 und einen Erfassungsergebnisausgabeabschnitt 4, welche mit der Personenerfassungsvorrichtung 1 verbunden sind.
-
Die Personenerfassungsvorrichtung 1 ist eine Bildverarbeitungsvorrichtung, welche ein Bild einer Person aus einem Eingabebild unter Verwendung von Mustererkennung durch Erkennungsmodelle erfasst und einen Steuerungsschaltkreis 10 und einen Speicherabschnitt 11 beinhaltet.
-
Der Steuerungsschaltkreis 10 beinhaltet einen bekannten Informationsprozessor oder Computer, welcher eine CPU, einen ROM, einen RAM, eine Eingabe-Ausgabe-Schnittstelle etc. (welche hier nicht gezeigt sind) hat und Eingabebilder von dem Bildeingabeabschnitt 2 zu Ausgabeerfassungsergebnissen von Personen verarbeitet. Der Steuerungsschaltkreis 10 erfasst ein Bild einer Person in einem Eingabebild durch ein bekanntes Mustererkennungsverfahren unter Verwendung von Erkennungsmodellen von Personen. Diese Ausführungsform hat das Merkmal, dass der Steuerungsschaltkreis 10 als letztendliches Erfassungsergebnis einen Wert ausgibt, welcher berechnet worden ist durch Widerspiegeln des Einflusses, welcher basierend auf einer Witterungsbedingung in einem Erkennungsergebnis unter Verwendung eines Erkennungsmodells einer Person ohne Schirm und einem Erkennungsergebnis unter Verwendung eines Erkennungsmodells einer Person mit einem Schirm bestimmt worden ist. Das detaillierte Verfahren wird später dargelegt.
-
Der Speicherabschnitt 11 speichert bspw. Daten von Personenerkennungsmodellen zur Verwendung in der Mustererkennung. In dieser Ausführungsform wird, zusätzlich zu einem typischen Erkennungsmodell, welches eine Person ohne Schirm beschreibt (weiterhin auch Kein-Schirm-Erkennungsmodell genannt) ein Erkennungsmodell, welches eine Person mit einem Schirm, wie bspw. einem Sonnenschirm oder einem Regenschirm beschreibt (weiterhin auch als Mit-Schirm-Erkennungsmodell bezeichnet) in dem Speicherabschnitt 11 gespeichert.
-
Eine Übersicht des Kein-Schirm-Erkennungsmodells, welches eine Person ohne Schirm beschreibt, und des Mit-Schirm-Erkennungsmodells, welches eine Person mit einem Schirm beschreibt, ist in 2 gezeigt. Das Mit-Schirm-Erkennungsmodell unterscheidet sich von dem typischen Kein-Schirm-Erkennungsmodell darin, dass der Kopfbereich mit dem Profil eines geöffneten Schirms bedeckt ist. Die Anwendung eines solchen Mit-Schirm-Erkennungsmodells auf die Mustererkennung beinhaltet zwei Hauptverfahren, wie im Folgenden dargelegt. Eine ist die Erzeugung eines Mit-Schirm-Modells in Modellen, welche die allgemeine Körperform von Personen zur Verwendung in der Mustererkennung beschreiben: Das Mit-Schirm-Modell beschreibt einen allgemeinen Körper mit einem Schirm. Das andere ist die Erzeugung eines Kein-Schirm-Erkennungsmodells bei Erkennungsmodellen, welche spezielle Körperteile eines menschlichen Körpers zur Verwendung bei der Mustererkennung wiedergeben: Das Kein-Schirm-Erkennungsmodell wird dadurch erzeugt, dass ein Erkennungsmodell, welches einen Kopfbereich einer Person ohne Schirm beschreibt, mit einem Erkennungsmodell, welches einen Schirm beschreibt, ersetzt wird.
-
Hierbei wird das Mit-Schirm-Erkennungsmodell durch das Lernen mit Eingabebildern erzeugt. Das Erlernen des Mit-Schirm-Erkennungsmodells wird durch Extrahieren der Merkmale der Profile von Personen mit Schirmen aus den Informationen aus Bildern von Personen, deren Köpfe von Schirmen verdeckt sind, und aus Bildern anderer Personen, durchgeführt.
-
1 wird erneut erklärt. Der Bildeingabeabschnitt 2 beinhaltet bspw. eine Bordkamera, um Bilder vor dem Fahrzeug aufzunehmen. Der Bildeingabeabschnitt 2 wird auch als Aufnahmeabschnitt bezeichnet. Von dem Aufnahmeabschnitt 2 aufgenommene Bilder werden in den Steuerungsschaltkreis 10 der Personenerfassungsvorrichtung 1 als Eingabebilder eingegeben.
-
Der Witterungsinformationseingabeabschnitt 3 beinhaltet Bordvorrichtungen, welche verschiedene Informationen in die Personenerfassungsvorrichtung 1 eingeben, um die Witterungsbedingungen in einer momentanen Position des Fahrzeugs zu bestimmen. Im Speziellen beinhalten solche Bordvorrichtungen einen Scheibenwischerschalter zum Betrieb eines Scheibenwischers eines Fahrzeugfensters, einen Regensensor und einen Leuchtstärkensensor. In dieser Ausführungsform bestimmt der Steuerungsschaltkreis 10 das Vorhandensein oder Nichtvorhandensein von Regen, oder die Regenintensität, basierend auf der Grundlage eines Betriebszustands des Scheibenwischers und einem Messergebnis des Regens durch den Regensensor. Auf Grundlage des Messergebnisses des Leuchtstärkensensors bestimmt der Steuerungskreislauf 10 die Sonnenintensität bei gutem Wetter. Der Erfassungsergebnisausgabeabschnitt 4 ist eine Bordvorrichtung, welche bspw. einen Fahrer vor einer Person vorwarnt und das Fahrzeug in Antwort auf ein Erfassungsergebnis der Person durch die Personenerfassungsvorrichtung 1 steuert. Diese Art der Bordvorrichtung beinhaltet eine Steuerungsvorrichtung für ein Fahrzeugantriebssicherheitssystem oder ein Fahrassistenzsystem.
-
Erklärung des Personenerfassungsverfahrens
-
Im Folgenden wird ein Personenerfassungsverfahren, welches durch den Steuerungsschaltkreis 10 der Personenerfassungsvorrichtung 1 durchgeführt wird, unter Bezugnahme auf das Flussdiagramm der Figuren 3 und 4 erklärt.
-
In diesem Flussdiagramm der vorliegenden Anmeldung sind mehrere Abschnitte (auch als Schritte bezeichnet) aufgeführt, welche jeweils bspw. als S100 bezeichnet sind. Weiterhin kann jeder Abschnitt in mehrere Unterabschnitte aufgeteilt werden, und mehrere Abschnitte können in einem einzelnen Abschnitt kombiniert werden. Weiterhin kann jeder der so aufgebauten Abschnitte als Vorrichtung, Modul oder Mittel bezeichnet werden.
-
Bei S100 bestimmt der Steuerungsschaltkreis 10 eine gegenwärtige Witterungsbedingung auf der Grundlage von verschiedenen Informationen, welche durch den Witterungsinformationseingabeabschnitt 3 erfasst worden sind. In dieser Ausführungsform beinhaltet eine zu erfassende Witterungsbedingung, wie in 4a gezeigt, das Vorhandensein oder Nichtvorhandensein von Regen oder die Regenintensität basierend auf dem Scheibenwischerschalter oder einem Regensensor und die Sonnenintensität basierend auf dem Leuchtstärkensensor. In S102 wird der Schirmanteil berechnet auf Grundlage der Witterungsbedingungen, welche in S100 erfasst worden sind. Der Schirmanteil ist ein Wert, welcher den Anteil an Personen anzeigt, welche Schirme gegen Regen oder Sonne bei der gegenwärtigen Witterungsbedingung verwenden. In der vorliegenden Ausführungsform werden die folgenden Formeln 1 bis 4 als Beispiele eines Berechnungsverfahrens des Schirmanteils vorgestellt. Schirmanteil = Ausgabe bzgl. des Regens
(Typ 1 oder Typ 2) + Ausgabe bzgl. der Sonne (1) Ausgabe bzgl. des Regens (Typ 1) = 0 (kein Regen) oder
a (Regen, 0 bis 1,0) (2) Ausgabe bzgl. des Regens (Typ 2) =
(Regenintensität) Regenkoeffizient (3) Ausgabe bzgl. der Sonne =
(Leuchtstärke – Schwellenwert)·Sonnenkoeffizient (4)
-
Die Ausgabe bzgl. des Regens verwendet eines der Berechnungsverfahren der Typen 1 und 2 in Übereinstimmung mit dem Erfassungsverfahren einer Regenbedingung. Die Ausgabe bzgl. des Regens des Typs 1 wird verwendet, wenn nur das Vorhandensein bzw. Nichtvorhandensein von Regen erfasst wird. Die Ausgabe bzgl. des Regens des Typs 2 wird verwendet, wenn die Regenintensität erfasst wird. Der Regenkoeffizient, Schwellenwert und Sonnenkoeffizient sind vorherbestimmte Design-Werte.
-
In S104 wird ein Eingabebild von dem Bildeingabeabschnitt 2 unter Verwendung des Kein-Schirm-Erkennungsmodells und des Mit-Schirm-Erkennungsmodells zur Durchführung der Mustererkennung gescannt. Hierbei wird der Übereinstimmungsgrad (Erkennungswert, der die Wahrscheinlichkeit eines Fußgängers widerspiegelt) in jeder Position des Eingabebildes berechnet: Der Übereinstimmungsgrad bewegt sich zwischen dem Eingabebild und einem jeden des Kein-Schirm-Erkennungsmodells und dem Mit-Schirm-Erkennungsmodells.
-
Dann wird in S106, wie in 4b gezeigt, der Schirmanteil, welcher in S102 berechnet worden ist, auf den Erkennungswert des Kein-Schirm-Erkennungsmodells und den Erkennungswert des Mit-Schirm-Erkennungsmodells angewandt, um einen korrigierten Witterungswiderspiegelwert zu berechnen. Dann wird der berechnete Witterungswiderspiegelwert als ein letztendliches Erfassungsergebnis der Person ausgegeben. Das Verfahren der Widerspiegelung des Schirmanteils in den Erkennungswerten kann das Folgende beinhalten. Beispielsweise kann eine Korrektur durchgeführt werden, um den Erkennungswert unter Verwendung des Mit-Schirm-Modells relativ zu erhöhen, wenn der Schirmanteil steigt, in anderen Worten, wenn der Anteil von Personen mit Schirmen steigt. Eine solche Vorgehensweise verbessert den Erkennungsanteil von Personen mit Schirm. Auf der anderen Seite kann eine Korrektur durchgeführt werden, um den Erkennungswert unter Verwendung des Mit-Schirm-Modells relativ kleiner zu machen, wenn der Schirmanteil kleiner wird. In anderen Worten, wenn der Anteil von Personen mit Schirmen kleiner wird. In dieser Ausführungsform werden die folgenden Formeln 5 und 6 als Verfahren zur Berechnung der Witterungswiderspiegelungswerte, welche dem Kein-Schirm-Erkennungsmodell und dem Mit-Schirm-Erkennungsmodell entsprechen, beispielhaft vorgestellt. Witterungswiderspiegelungswert (ohne Schirm)
= Erkennungswert ohne Schirm·(1 – Schirmanteil) (5) Witterungswiderspiegelungswert (mit Schirm)
= Erkennungswert mit Schirm·Schirmanteil (6)
-
Unabhängig von den Witterungsbedingungen kann nur der Erkennungsanteil basierend auf dem Mit-Schirm-Erkennungsmodell verändert werden ohne ein Verändern des Erkennungsanteils auf Grundlage des typischen Kein-Schirm-Erkennungsmodells. In diesem Falle ist der Schirmanteil nicht in dem auf dem Kein-Schirm-Erkennungsmodell basierenden Erkennungswert widergespiegelt, sondern wird nur in dem auf dem Mit-Schirm-Erkennungsmodell basierenden Erkennungswert widergespiegelt.
-
Vorteile
-
Die Personenerfassungsvorrichtung 1 der Ausführungsform bietet die folgenden Vorteile.
-
Die Information bzgl. einer Witterungsbedingung wird auf das Mustererkennungsverfahren für Personen angewandt, da der Personenanteil, welcher Schirme gegen Sonne oder gegen Regen verwendet, von der Witterungsbedingung abhängt. Dies kann den negativen Einfluss auf die Erkennungsfähigkeit von Personen mit Schirmen reduzieren.
-
In dieser Ausführungsform bestimmt der Steuerungsschaltkreis 10 den Schirmanteil, welcher den Anteil von Personen mit Schirmen in Übereinstimmung mit dem Vorhandensein oder Nichtvorhandensein von Regen, der Regenintensität oder der Sonnenintensität wiedergibt. Dann korrigiert der Steuerungskreislauf 10 die jeweiligen Erkennungswerte auf der Grundlage der Mustererkennung unter Verwendung des Kein-Schirm- und Mit-Schirm-Erkennungsmodells unter Verwendung des Schirmanteils in Abhängigkeit einer Witterungsbedingung und gibt diese als letztendliches Erfassungsergebnis aus.
-
Im Speziellen kann der Einfluss des Erkennungsergebnisses unter Verwendung des Mit-Schirm-Erkennungsmodells relativ groß sein, nimmt man an, dass der Personenanteil, welcher Schirme gegen Regen oder Sonne verwendet, hoch ist, wenn Regen oder eine starke Sonneneinstrahlung erfasst wird. Dies kann den Erkennungsanteil von Personen mit Schirmen erhöhen. Auf der anderen Seite kann der Einfluss des Erkennungsergebnisses unter Verwendung des Mit-Schirm-Erkennungsmodells reduziert werden, nimmt man an, dass der Anteil von Personen mit Schirmen gegen Regen oder Sonne gering ist, wenn kein Regen oder keine starke Sonnenstrahlung erfasst wird. Dies kann den Erkennungsanteil von Personen ohne Schirme verbessern und zu angemessenen Erfassungsergebnissen von Personen führen.
-
Obwohl die vorliegende Erfindung mit Bezugnahme auf die speziellen Ausführungsformen dargestellt worden ist, beschränkt sich die Erfindung nicht auf diese Ausführungsformen und Konstruktionen. Die vorliegende Erfindung umfasst verschiedene Abwandlungen und äquivalente Ausgestaltungen. Zusätzlich sind auch weitere Kombinationen und Ausgestaltungen, welche weniger oder nur ein einziges Element aufweisen, auch innerhalb des Umfangs der vorliegenden Erfindung.
