-
Die Erfindung betrifft ein Bildverarbeitungsverfahren, bei dem ein eine Person darstellender Bildbereich eines Bilds erkannt wird.
-
Moderne Kraftfahrzeuge weisen zumeist eine oder mehrere Kameras für die Erfassung der Umgebung des Kraftfahrzeugs auf. Dabei werden durch die Kamera erzeugte Bilddaten typischerweise mittels eines Bildverarbeitungsverfahrens analysiert, wobei ein Bildbereich innerhalb eines von der Kamera erzeugten Bildes erkannt wird, der eine Person – beispielsweise einen Passanten in der Umgebung des Kraftfahrzeugs – darstellt. Typischerweise erfolgt dies durch eine Mustererkennung, wobei es zudem bekannt ist, über mehrere Bilder eines Bildstroms die zeitlich veränderliche Position einer Person anhand von Bewegungsmustern nachzuverfolgen (sog. Videos Tracking).
-
Die
DE 10 2011 011 870 A1 offenbart ein Verfahren zur Detektion, Klassifikation, Verfolgung und Prädikation von Objekten im Umfeld eines Kraftfahrzeugs, zur Durchführung wenigstens einer Assistenzfunktion. Dabei erfolgt die Detektion, Klassifikation, Verfolgung und Prädikation eines Objektes auf Basis von Komponenten und/oder auf Basis von Zusatzobjekten des jeweiligen Objekts, wobei die Komponenten und/oder die Zusatzobjekte mittels einer Umfeldsensorik erfasst werden.
-
Derartige Bildverarbeitungsverfahren können zwar eine erkannte Person über mehrere Bilder entlang einer zusammenhängenden Bewegung nachverfolgen. Verlässt die Person jedoch zeitweise das durch die Kamera erfasste Umfeld und tritt danach wieder in den Erfassungsbereich ein, so ist mit herkömmlichen Bildverarbeitungsverfahren zumindest keine verlässliche Aussage darüber möglich, ob die im nunmehr erkannten Bildbereich dargestellte Person dieselbe, bereits erkannte Person oder eine andere Person ist. Nachteilig ist dies insbesondere bei der Verwendung mehrerer Kameras, wenn einem bereits von einer ersten Kamera erfasste Person in den Erfassungsbereich einer zweiten Kamera wechselt, da insbesondere Assistenzfunktionen eines Kraftfahrzeugs für den Fußgängerschutz eine verlässliche Zuordnung von abgebildeten zu realen Personen erfordern.
-
Der Erfindung liegt mithin die Aufgabe zugrunde, die Nachverfolgbarkeit von Personen in von einer Kamera aufgenommenen Bilddaten zu verbessern.
-
Diese Aufgabe wird bei einem Bildverarbeitungsverfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, dass für Bildbereichsausschnitte des Bildbereichs jeweils eine von Bildwerten des Bildbereichsausschnitts abgeleitete Bildwertinformation ermittelt wird, wobei aus den Bildwertinformationen zumindest eines Teils der Bildbereichsausschnitte eine Signatur zur Identifikation der Person ermittelt wird.
-
Die Erfindung beruht auf der Überlegung, für wenigstens eine Person, die in einem Bildbereich eines Bilds dargestellt wird, anhand von Bildwerten des Bildbereichs eine individuelle Signatur zu ermitteln, anhand welcher eine Darstellung der Person in anderen Bildern der Person zugeordnet werden kann. Dazu können das Bild beschreibende Bilddaten von wenigstens einer Kamera bereitgestellt werden, wobei erfindungsgemäß mittels an sich bekannter Verfahren, beispielsweise durch Mustererkennung, ein Bildbereich erkannt wird, in dem die Person dargestellt wird. Mit anderen Worten wird die Darstellung eines von der Kamera erfassten Teils der Umgebung als Person klassifiziert.
-
Innerhalb des Bildbereichs können sodann Bildbereichsausschnitte bestimmt werden, die die Person jeweils teilweise darstellen. Bevorzugt wird jeder Bildbereichsausschnitt disjunkt bezüglich der übrigen Bildbereichsausschnitte des die Person darstellenden Bildbereichs bestimmt. Insbesondere kann der gesamte Bildbereich in Bildbereichsausschnitte unterteilt werden. Ein Bild kann mithin als Menge von Bildelementen, insbesondere Pixeln oder Pixelclustern aufgefasst werden, wobei eine Teilmenge von Bildelementen den die Person darstellenden Bildbereich bildet, in dem wiederum mehrere Unterteilmengen von Bildelementen als Bildbereichsausschnitte bestimmt werden.
-
Für mehrere Bildbereichsausschnitte, bevorzugt alle bestimmten Bildbereichsausschnitte, wird erfindungsgemäß jeweils eine von Bildwerten des Bildbereichsausschnitts abgeleitete Bildwertinformation ermittelt. Ein Bildwert beschreibt wenigstens eine einem Bildelement zugeordnete Ausprägung, welche wenigstens einen Farbwert und/oder wenigstens einen Grauwert und/oder wenigstens einen Helligkeitswert und/oder wenigstens einen Farbigkeitswert umfassen können. Die Bildwertinformation kann mithin in Abhängigkeit von Bildwerten zumindest eines Teils der, bevorzugt aller, Bildelemente eines Bildbereichsausschnitts ermittelt werden.
-
Aus den Bildwertinformationen zumindest eines Teils der, bevorzugt aller, Bildbereichsausschnitte wird anschließend die Signatur zur Identifikation der Person ermittelt. Die Bildwertinformationen können mithin als Signaturinformationen aufgefasst werden, die gegebenenfalls zusammen mit weiteren Signaturinformationen die Signatur bilden. Die Signatur oder die Signaturinformation kann beispielsweise als mehrere Bildwertinformationen umfassender Array gespeichert und/oder verarbeitet werden. Insbesondere kann die ermittelte Signatur mit bereits gespeicherten Signaturen abgeglichen werden, wobei bei Erfüllung eines auf die ermittelte und die gespeicherte Signatur angewendeten Ähnlichkeitskriteriums, die dargestellte Person als die der gespeicherten Signatur zugeordnete Person identifiziert wird.
-
Das erfindungsgemäße Bildverarbeitungsverfahren ermöglicht so die Identifizierung von Personen, die in einem Bildbereich eines Bilds dargestellt werden als eine bereits zuvor erkannte Person. So können Personen auch in mit unterschiedliche Erfassungsbereiche aufweisenden Kameras aufgenommenen Bildern sowie nach Verlassen und Wiedereintreten in den Erfassungsbereich einer Kamera als dieselbe Person erkannt werden, wodurch die Nachverfolgbarkeit von erkannten Personen erheblich verbessert wird.
-
Wie bereits erwähnt, wird es bei dem erfindungsgemäßen Verfahren bevorzugt, dass als Bildwerte Farbwerte und/oder Grauwerte von Bildelementen des Bildbereichsausschnitts verwendet werden. Je nach Format der Bilddaten können Farbwerte für verschiedene Farben, die einen Farbraum aufspannen, beispielsweise einen RGB-Farbraum oder einen CYMK-Farbraum, verwendet werden. Liegen die Bilddaten in einem Graustufenformat vor, kann dementsprechend als Bildwerte ein Grauwert verwendet werden. Als Grauwert kann auch ein Anteil und/oder eine Verteilung einer Ausprägung binärer Pixel eines mehrere Pixel umfassenden Bildelements aufgefasst werden, welches beispielsweise durch Dithering entstanden ist.
-
Es ist im Rahmen des erfindungsgemäßen Verfahrens besonders vorteilhaft, wenn zumindest solche Bildbereichsausschnitte zum Ableiten der Signatur verwendet werden, die Haare und/oder Haut und/oder wenigstens ein Kleidungsstück der Person darstellen. Es wurde erkannt, dass einerseits die Haar-, Haut- und Kleidungsfarbe typischerweise über einen für die Nachverfolgung einer Person im Rahmen einer Verkehrssituation relevanten Zeitraum, also einen Zeitraum in der Größenordnung von Sekunden bis zu wenigen Minuten, konstant sind und andererseits diese Farben eine große Variation über eine Vielzahl von Personen aufweisen. Daher eignen sich solche Personenmerkmale besonders gut zur Identifikation. Ebenso kann vorgesehen sein, die Bildbereichsausschnitte derart zu bestimmen, dass sie ausschließlich oder zumindest überwiegend die Haare, Haut oder wenigstens ein Kleidungsstück der Person darstellen.
-
Bei dem erfindungsgemäßen Verfahren wird zweckmäßigerweise die Bildwertinformation eines Bildbereichsausschnitts durch Mittelung zumindest eines Teils von Bildwerten des Bildbereichsausschnitts abgeleitet. Insbesondere können die Bildwerte aller Bildelemente des Bildbereichsausschnitts gemittelt werden. Die Mittelung kann beispielsweise durch Bildung eines arithmetischen Mittelwertes, eines gewichteten Mittelwertes oder eines Medians erfolgen. Bei Farbwerten kann für die Dimensionen ihres Farbraums jeweils eine Mittelung erfolgen, wobei die Bildwertinformation aus den Ergebnissen der Mittelung für die einzelnen Dimensionen abgeleitet wird. Es ergibt sich so eine den Bildbereichsausschnitt hinsichtlich seiner Bildwerte charakterisierende Bildwertinformation, die nur geringen Speicherbedarf aufweist und aufwandsarm verarbeitet werden kann.
-
Zudem wird es bei dem erfindungsgemäßen Verfahren bevorzugt, wenn eine Höhe und/oder Breite der Person erkannt wird, wobei die Bestimmung der Bildbereichsausschnitte in Abhängigkeit der Höhe und/oder Breite der Person erfolgt. Nachdem es im Stand der Technik grundsätzlich bekannt ist, bei eine die Höhe und/oder die Breite einer Person beschreibende Größeninformation aus den Bilddaten abzuleiten, ist es von Vorteil, wenn die Bildbereichsausschnitte abhängig von dieser Information bestimmt werden. So können beispielsweise bei einer großen Person mehr Bildbereichsausschnitte bestimmt werden als bei einer kleinen Person, insbesondere einem Kind. Mit anderen Worten können die Bildbereichsausschnitte bezüglich einer Referenzhöhe und/oder -breite normiert bestimmt, insbesondere unterteilt, werden. Alternativ oder zusätzlich zur Bestimmung der Bildbereichsausschnitte in Abhängigkeit der Höhe und oder Breite der Person kann die Höhe und/oder Breite als zusätzliche Signaturinformation der Signatur verwendet werden.
-
Bei dem erfindungsgemäßen Verfahren ist vorzugsweise vorgesehen, dass ein mehrere Bilder umfassender Bildstrom verwendet wird, wobei die Signatur anhand wenigstens eines Bilds des Bildstroms ermittelt und die Person anhand der Signatur über zumindest einen Teil der Bilder des Bildstroms nachverfolgt wird. Die Kamera kann eine Videokamera sein, die Bilddaten in Form von Videodaten bereitstellt. Dabei kann für jedes Bild des Bildstroms die Signatur ermittelt werden, wobei zumindest für einen Teil der Bilder ein Abgleich mit einer gespeicherten Signatur erfolgt. Bevorzugt wird jedoch eine Signatur zumindest dann ermittelt, wenn in einem Bild eine Person erkannt wird, die in wenigstens einem zeitlich vorangehenden Bild des Bildstroms noch nicht erkannt wurde. Es kann dann festgestellt werden, ob die dargestellte Person zuvor noch nie oder nicht innerhalb eines vorgegebenen Zeitraums erfasst wurde oder ob eine bereits erfasste Person wieder in den Erfassungsbereich der Kamera eintritt. Dies ist besonders vorteilhaft bei der Verwendung des Bildverarbeitungsverfahrens im Rahmen eines Assistenzsystems eines Kraftfahrzeugs, welches eine Information über die Anzahl von Personen in der Umgebung des Kraftfahrzeugs benötigt. Es kann durch die Verwendung der Signatur so sichergestellt werden, dass eine bereits im Rahmen des Assistenzsystems berücksichtigte Person nicht mehrfach gezählt und/oder berücksichtigt wird.
-
Des Weiteren ist es bei dem erfindungsgemäßen Verfahren von besonderem Vorteil, wenn mehrere Kameras zur Erzeugung jeweils eines Bildes verwendet werden, wobei die Person in den Bildern von wenigstens zwei Kameras identifiziert wird. Die Kameras können sich überlappende oder disjunkte Erfassungsbereiche aufweisen. Durch den Abgleich der Signatur einer Person kann so beispielsweise festgestellt werden, ob sich eine Person vom Erfassungsbereich einer Kamera in den Erfassungsbereich einer anderen Kamera bewegt hat. Ebenso kann festgestellt werden, ob es sich bei einer in gleichzeitig oder zeitnah zueinander erfassten Bildern zweier Kameras dargestellten Person um dieselbe Person handelt. Besonders bevorzugt erzeugen die mehreren Kameras zusätzlich wie zuvor beschrieben jeweils einen Bildstrom, so dass auch die Verwendung mehrerer Videokameras mit unterschiedlichen Erfassungsbereichen möglich ist.
-
Es kann bei dem erfindungsgemäßen Verfahren zusätzlich vorgesehen sein, dass die Signatur mit die Person, insbesondere ihre Position und/oder Orientierung, beschreibenden Personeninformationen fusioniert wird. Insbesondere können die Signaturinformationen mit den Personeninformationen fusioniert werden. Die Orientierung der Person beschreibt dabei bevorzugt ihre Ausrichtung bezüglich ihrer Longitudinalachse. Die so fusionierten Personeninformationen können dann einem weiteren Fahrzeugsystem, insbesondere dem Assistenzsystem, bereitgestellt werden.
-
Daneben betrifft die Erfindung eine Bildverarbeitungseinrichtung für ein Kraftfahrzeug, welche zur Durchführung des erfindungsgemäßen Bildverarbeitungsverfahrens ausgebildet ist.
-
Schließlich betrifft die Erfindung auch ein Kraftfahrzeug, umfassend eine erfindungsgemäße Bildverarbeitungseinrichtung und wenigstens eine Kamera, die dazu eingerichtet ist, der Bildverarbeitungseinrichtung wenigstens ein Bild beschreibende Bilddaten bereitzustellen.
-
Sämtliche Ausführungen zum erfindungsgemäßen Verfahren lassen sich analog auf die erfindungsgemäße Bildverarbeitungseinrichtung und das erfindungsgemäße Kraftfahrzeug übertragen, so dass auch mit diesen die zuvor genannten Vorteile erzielt werden können.
-
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:
-
1 eine Prinzipskizze eines Ausführungsbeispiels eines erfindungsgemäßes Kraftfahrzeugs, umfassend eine erfindungsgemäße Bildverarbeitungseinrichtung;
-
2 ein exemplarisches, von einer Kamera des in 1 gezeigten Kraftfahrzeugs erfasstes Bild; und
-
3 die Ermittlung von Signaturen anhand mehrerer Personen.
-
1 ist eine Prinzipskizze eines Ausführungsbeispiels eines Kraftfahrzeugs 1, umfassend zwei seine Umgebung erfassende Kameras 2, 3, eine Bildverarbeitungseinrichtung 4 und ein dem Fußgängerschutz dienendes Assistenzsystem 5. Die Kameras 2, 3 weisen jeweils einen Erfassungsbereich 6, 7 auf und sind dazu eingerichtet, Bilddaten für die Bildverarbeitungseinrichtung 4 bereitzustellen. Diese ist dazu ausgebildet, die Bilddaten zu Personen in der Umgebung des Kraftfahrzeugs 1 beschreibenden Personeninformationen für das Assistenzsystem 5 zu verarbeiten. Die Bildverarbeitungseinrichtung 4 umfasst eine Personenerkennungseinheit 8, eine Identifizierungseinheit 9 und einer Speichereinheit 10.
-
2 zeigt ein exemplarisches, von der Kamera 6 des in Kraftfahrzeugs 1 erfasstes Bild 11, welches eine Person 12, einen Straßenabschnitt 13 und Bäume 14 darstellt. Das Bild 11 ist Teil eines von der Kamera 6 erzeugten Bildstroms einer Vielzahl von in zeitlicher Abfolge aufgenommenen Bildern. Anhand des Bilds 11 wird im Folgenden ein Bildverarbeitungsverfahren erläutert, zu dessen Durchführung die Bildverarbeitungseinrichtung 4 ausgebildet ist:
In einem ersten Schritt erkennt die Personenerkennungseinheit 8 mittels Mustererkennungsalgorithmen, die dem Fachmann bekannt sind und daher hier im Einzelnen nicht erläutert werden, einen Bildbereich 15 des Bilds 11, welcher die Person 12 darstellt. Die Personenerkennungseinheit 8 unterscheidet dazu die Darstellung der Person 12 von jener des Straßenabschnitts 13 und der Bäume 14. Der Bildbereich 15 umfasst eine Vielzahl von Bildelementen in Form von Pixeln des Bilds 11, welches in den Bilddaten in einem Farbraum, beispielsweise im RGB-, CYMK-, HSV- oder YCbCr-Farbraum, repräsentiert wird. Jedes Bildelement weist dementsprechend einen Farbwert auf, der Ausprägungen des Bildelements in den Dimensionen des Farbraums, beispielsweise einen Rotwert, einen Grünwert und ein Blauwert, beschreibt. Zudem ermittelt die Personenerkennungseinheit 8 eine die Breite und die Höhe der Person 12 beschreibende Größeninformation.
-
In einem anschließenden Schritt wird der Bildbereich 15 durch die Verarbeitungseinheit 9 in neun Bildbereichsausschnitte 16 unterteilt, wie in 3 gezeigt ist, wobei die Größeninformation derart berücksichtigt wird, dass die Höhe eines jeweiligen Bildbereichsausschnitts 16 einem beispielsweise 25 cm hohen Anteil der Person 12 entlang ihrer Longitudinalachse entspricht. Die Bildbereichsausschnitte 16 entsprechen mithin horizontal verlaufenden, streifenartigen Ausschnitten des Bildbereichs 15. Die Bildbereichsausschnitte 16 sind disjunkt gebildet und stellen ersichtlich jeweils überwiegend die Haut, die Haare oder ein Kleidungsstück der Person 12 dar.
-
Die Verarbeitungseinheit 9 errechnet sodann eine Bildwertinformation in Form eines Medians der Farbwerte der Bildelemente eines jeweiligen Bildbereichsausschnitts 16. Beispielsweise werden bei einem Bild 11 im RGB-Farbraum jeweils ein gemittelter Rotwert, ein gemittelter Grünwert, und ein gemittelter Blauwert der Bildelemente eines Bildbereichsausschnitts 16 errechnet. In anderen Ausführungsbeispielen können auch andere Mittelwerte, wie ein arithmetischer oder ein gewichteter Mittelwert, errechnet werden.
-
Aus den Bildwertinformationen aller Bildbereichsausschnitte 16 wird dann eine Signaturinformation 17 zur Identifikation der Person 12 gebildet. Die Signaturinformation 17 wird als ein Array der Bildwertinformationen repräsentiert. Anschließend wird eine die Signaturinformation 17 und die Größeninformation als weitere Signaturinformation umfassende Signatur zur Identifikation der Person 12 erzeugt. Die Verarbeitungseinheit 9 fusioniert die Signatur mit die Position und die Orientierung, also die Ausrichtung der Person 12 bezüglich ihrer Longitudinalachse, beschreibenden Personeninformationen und speichert sie in der Speichereinheit 10.
-
In der Speichereinheit 10 sind vorliegend bereits Signaturen mit Signaturinformationen 18 19, 20 zu weiteren Personen 21, 22, 23 abgespeichert. Bei diesen handelt es sich, wie in 3 gezeigt ist, ersichtlich um Kinder, wobei insbesondere bei der Signaturinformation 20 für die Person 23 erkennbar ist, dass die Haarfarbe und der Rock, der länger ist als die kurze Hose der Person 12, zur Identifizierbarkeit wesentlich beitragen. Bezüglich der Personen 12 und 21 ist zudem erkennbar, dass durch die Berücksichtigung der Größeninformation und der Farbe der Haut auch eine Unterscheidung zwischen einer großen und einer kleinen Person, die ähnlich gefärbte Kleidung tragen möglich ist. Die die Verarbeitungseinheit 19 gleicht daraufhin die Signaturinformation 17 mit den Signaturinformation 18, 19, 20 ab, welche sich ersichtlich unterscheiden und stellt so fest, dass die Person 12 nicht den Personen 21, 22, 23 entspricht.
-
Für mit der Kamera 3 aufgenommene Bilder kann die Erzeugung der Signatur in analoger Weise erfolgen. Dies ermöglicht insbesondere eine Feststellung, ob es sich bei einer in Bildern beider Kameras 2, 3 dargestellten Person um dieselbe Person handelt. Die Person 12 kann so in dem Bildströmen mehrerer Kameras 2, 3 nachverfolgt werden. Auch wenn sie den Erfassungsbereich 6 der Kamera 2 verlässt und wieder in diesen oder in den Erfassungsbereich 7 der Kamera 3 eintritt, wird eine Wiedererkennung ermöglicht.
-
Die fusionierte Signatur der identifizierten Person 12 wird dann dem Assistenzsystem 5 bereitgestellt, welches so die Anzahl, die Position und die Bewegungsrichtung der Personen im Umfeld des Kraftfahrzeugs 1 verlässlich berücksichtigen kann.
-
Gemäß einem weiteren Ausführungsbeispiel des Kraftfahrzeugs 1 liefern die Kameras 2, 3 Bilddaten, die Graustufen einzelner Bildelemente beschreiben, wobei die Bildwertinformationen als Mittelwerte der Grauwerte eines jeweiligen Bildbereichsausschnitts 16 berechnet werden. Gemäß einem weiteren Ausführungsbeispiel des Kraftfahrzeugs 1 sind die Empfangsbereiche 6, 7 der Kameras 2, 3 disjunkt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011011870 A1 [0003]
