-
Die vorliegende Erfindung betrifft ein Verfahren zur selbsttätigen Kalibrierung eines Netzwerks von bildgebenden Tiefensensoren, wobei zur Erstellung einer Topologie Erfassungsbereiche mehrerer Tiefensensoren des Netzwerks auf unterschiedliche Bereiche eines gemeinsam zu überwachenden Raums ausgerichtet sind, in dem zu überwachenden Raum wenigstens eine Markierung gesetzt wird und die Tiefensensoren jeweils feststellen, ob sich die Markierung in ihrem Erfassungsbereich befindet.
-
Derartige Verfahren werden bereits im Stand der Technik eingesetzt. Diese nutzen als Markierungen innerhalb des zu überwachenden Raums eine Kombination aus natürlichen zweidimensionalen und dreidimensionalen Merkmalen, bewegten Objekten, manuell in dem zu überwachenden Raum ausgelegten Marken oder verzichten zugunsten einer vollständig manuell ausgewählten Punktkorrespondenzen ganz auf solche Markierungen. Derartige Markierungen sind dazu geeignet, von den Tiefensensoren erfasst zu werden. Mit ihrer Hilfe können Überlappungen von Tiefensensoren ermittelt werden und es ist möglich eine Topologie der Tiefensensoren über eine Ermittlung von Transformationen zwischen den einzelnen Sensoren zu erstellen.
-
Diese bekannten Verfahren hängen damit allerdings sehr stark von der spezifischen Szene ab. Hierbei kann es auf die vorhandenen zweidimensionalen oder dreidimensionalen Merkmale ankommen, aber auch auf die Laufwege von Personen oder im Falle der manuell ausgewählten Markierungspunkte, die etwa markante Raumpositionen wie Möbel- oder Wandecken, Muster am Boden und dergleichen mehr darstellen können, auf das manuelle Eingreifen eines Nutzers. Maßgeblich für die manuelle Auswahl ist lediglich, dass ein solcher Markierungspunkt auf allen beteiligten Sensorbildern erkannt und identifiziert werden kann.
-
Allgemein dient ein solches Sensornetzwerk der nahtlosen Erfassung von Situationen in einem größeren, gegebenenfalls auch verzweigten Raumbereich. Das sensorübergreifende Tracken von Personen ist die Grundlage vieler Anwendungen, wie etwa der Personenzählung in öffentlichen Gebäuden, der digitalen Kundenstromanalyse in Supermärkten, auf Messen und dergleichen, oder der öffentlichen Sicherheit.
-
Vor dem Einsatz eines solchen Sensornetzwerks muss jedoch eine Kalibrierung der Sensoren erfolgen, was bislang mit viel Handarbeit und zahlreichen Iterationen von Bewegungsabläufen gelöst ist. Am meisten vielversprechend sind hierbei Ansätze, die sich im zu überwachenden Raum bewegende Personen für die Ermittlung von Punktkorrespondenzen nutzen. Werden genügend Laufwege über einen längeren Zeitraum erfasst, was je nach Frequentierung der Szene mehrere Stunden dauern kann, und ist es möglich, die einzelnen Laufwege disjunkter Sensoren einander zuzuordnen, so kann eine automatische Kalibrierung auch auf diesem Weg erfolgen.
-
Die vorbeschriebenen Verfahren haben jedoch einige Einschränkungen. Zunächst hängt das Resultat von der Anzahl der Personen und der Laufwege in dem zu überwachenden Raum ab. Dann kann es bei stark frequentierten Bereichen sehr anspruchsvoll werden, die einzelnen Laufwege von unterschiedlichen Sensoren einander zuzuordnen. Dieses Problem ist von kombinatorisch exponentieller Komplexität und kann in der Praxis nur mithilfe von robusten Modellschätzungen approximiert werden. Hierbei basiert die Kalibrierung auf Korrespondenzen von Personendetektionen. Diese unterliegen jedoch einer Messungenauigkeit und eignen sich daher nur bedingt als alleinige Punktkorrespondenzen.
-
Hiervon ausgehend liegt der vorliegenden Erfindung die Aufgabe zu Grunde, eine Kalibrierung eines Netzwerks von bildgebenden Tiefensensoren selbsttätig durchzuführen, insbesondere unter Verzicht sowohl auf das Verteilen von Marken und zwei- oder dreidimensionalen Markierungen im Raum, als auch auf das manuelle Eingreifen bei der Auswertung der Sensorbilder zum Auffinden geeigneter natürlicher Markierungen im Raum.
-
Gelöst wird diese Aufgabe durch ein Verfahren gemäß den Merkmalen des unabhängigen Anspruchs 1. Sinnvolle Ausgestaltungen eines solchen Verfahrens können den sich anschließenden abhängigen Ansprüchen entnommen werden.
-
Vorgesehen ist hierfür ein Verfahren zur selbsttätigen Kalibrierung eines Netzwerks von bildgebenden Tiefensensoren, wobei zur Erstellung einer Topologie Erfassungsbereiche mehrerer Tiefensensoren des Netzwerks auf unterschiedliche Bereiche eines gemeinsam zu überwachenden Raums ausgerichtet sind, in dem zu überwachenden Raum wenigstens eine Markierung gesetzt wird und die Tiefensensoren jeweils feststellen, ob sich die Markierung in ihrem Erfassungsbereich befindet. Ein solches Verfahren ist erfindungsgemäß dadurch gekennzeichnet, dass wenigstens ein Tiefensensor mittels eines Projektors ein Referenzbild als Markierung in den zu überwachenden Raum projiziert und die Überlappung eines Erfassungsbereichs eines Tiefensensors in die Erfassungsbereiche der anderen Tiefensensoren erfasst wird.
-
Wesentlich ist hierbei, dass die Erfindung einen in den Tiefensensoren, im Allgemeinen Stereosensoren, RGBd- oder auch Time-of-Flight-Sensoren mit zusätzlicher Bildgebung, zugeordneten und gegebenenfalls darin integrierten Projektor nutzt. Anstatt in dem zu überwachenden Raum manuell Markierungen auszubringen, sind die Stereosensoren in der Lage, jeweils ein Referenzbild in den Raum und dessen Raumbegrenzungen zu projizieren. Benachbarte Tiefensensoren, deren Erfassungsbereiche Überlappungen mit dem das Referenzbild aussendenden Tiefensensor haben, werden das Referenzbild zumindest abschnittsweise erfassen. Durch das Beobachten von Mustern, welche von anderen Sensoren im Netzwerk emittiert werden, kann auf die Lage der Sensoren zueinander rückgeschlossen werden. Die Sensoren werden als benachbart behandelt, wenn ein Referenzbild eines anderen Tiefensensors in ihren Erfassungsbereich einragt.
-
Aufgrund eines solchen Einsatzes von künstlich projizierten Referenzbildern ist das vorgeschlagene Verfahren im Gegensatz zu den bekannten Verfahren aus dem Stand der Technik unabhängig von der konkreten Beschaffenheit des zu überwachenden Raums, manuelle Eingriffe seitens hierfür extra vorzuhaltenden Personals können im Wesentlichen entfallen.
-
In konkreter Ausgestaltung des vorstehend beschriebenen Verfahrens kann es vorgesehen sein , das der Projektor bezüglich eines dem Projektor zugeordneten Tiefensensors eine definierte Position und Lage besitzt. Dadurch, dass bereits eine bekannte Relation zwischen dem Projektor und dem zugehörigen Tiefensensor besteht, welche etwa aufgrund einer zuvor erfolgen Vermessung oder einer bauartbedingten Abhängigkeit aufgrund einer gemeinsamen Anordnung in einem Gehäuse gegeben ist, ist eine Verortung des eigenen Referenzbilds eines Tiefensensors in dem inneren Koordinatensystem nicht erforderlich. Die zusätzliche Erfassung des Referenzbilds durch den emittierenden Sensor selbst kann es aber auch ermöglichen, eine solche Korrespondenz herzustellen.
-
Weiter kann es vorgesehen sein, dass das Referenzbild den Erfassungsbereich des zugeordneten Tiefensensors zumindest näherungsweise vollständig ausfüllt und/oder das Referenzbild vollständig in dem Erfassungsbereich des zugeordneten Tiefensensors liegt. Insbesondere wenn beide Bedingungen erfüllt sind, entspricht das Referenzbild dem Erfassungsbereich des Tiefensensors, so dass mit den anderen Tiefensensoren ein möglichst großer Überlappungsbereich geteilt wird. Je größer der Überlappungsbereich ist, desto mehr Fläche steht in dem Referenzbild zur Bestimmung der Transformation zur Verfügung und desto besser ist die gegenseitige Ausrichtung bestimmbar.
-
Zunächst ist es natürlich möglich, dass ein Netzwerk nur aus wenigen Tiefensensoren besteht. Dann reicht es womöglich aus, wenn es nur einen, gegebenenfalls zentral angeordneten Tiefensensor gibt, welcher einen Projektor aufweist. Grundsätzlich könnte bei randständigen Tiefensensoren auf den Projektor verzichtet werden. Bevorzugtermaßen kann jedoch mehreren oder allen Tiefensensoren des Netzwerks ein Projektor zugeordnet sein, wobei die Erstellung einer Topologie für jeden Tiefensensor wiederholt wird. Zum Einen kann auf diese Weise weiter von einer Individualisierung des Problems Abstand genommen werden und die Tiefensensoren können für einen allgemeinen Betrieb hergerichtet werden. Zum Anderen verbessert sich die Messgenauigkeit, wenn die Messung in beiden Richtungen erfolgt, also die Tiefensensoren erlauben, sich jeweils paarweise zu erfassen. Allgemein kann in einem Netzwerk während der Kalibrierung immer genau ein Tiefensensor aktiv sein, also ein Referenzbild emittieren, alle anderen können dann das Referenzbild in einem Überlappungsbereich zu dem aktiven Tiefensensor erfassen. Die Rolle des aktiven Tiefensensors wird dabei nach einer Erfassung weitergegeben, so dass jeder Tiefensensor einmal ein Referenzbild emittiert und die anderen dieses eingelesen haben, soweit der aktive Tiefensensor eine Überlappung mit deren Erfassungsbereich besitzt.
-
Insbesondere kann das Referenzbild ein pseudozufälliges Muster aus einzelnen Punkten sein. Eine solche Verteilung, die sich auch immer wieder wiederholen kann, erlaubt eine besonders gute Bestimmung der Ausrichtung des Referenzbilds gegenüber dem inneren Koordinatensystem des aufzeichnenden, also passiven Tiefensensors.
-
Weiter kann es vorgesehen sein, dass es sich bei dem Projektor um einen Infrarotprojektor zur Projektion eines Referenzbildes im Infrarotbereich handelt. Zum Einen wirken solche Projektionen für in dem Bereich befindliche Personen nicht störend, zum anderen gibt es in diesem Bereich weniger Störlicht, welches die Messungen beeinflussen könnte, so dass die Erfassung des Referenzbildes durch die Tiefensensoren auch verbessert ist.
-
In vorteilhafter Weiterbildung kann es weiter vorgesehen sein, dass die Tiefensensoren eine Position und Lage der Markierung in einem eigenen, inneren Koordinatensystem erfassen und mithilfe einer zentralen Auswerteeinheit anhand der Position und Lage der wenigstens einen Markierung in den inneren Koordinatensystemen der Tiefensensoren diese durch Ermittlung oder Abschätzung einer Transformation untereinander und/oder mit einem gemeinsamen äußeren Koordinatensystem in Relation gesetzt wird. In diesem weiteren Schritt erfolgt die fortgesetzte Kalibrierung des Sensornetzwerks, indem neben der topologischen Anordnung auch die Ausrichtung der einzelnen Tiefensensoren zueinander festgestellt und berücksichtigt wird.
-
Schließlich kann vorgesehen sein, dass zur Ermittlung oder Abschätzung der Transformation zwischen den inneren Koordinatensystemen jeweils zweier Tiefensensoren wenigstens ein Modell durch den zu überwachenden Raum bewegt wird und jeder Tiefensensor dessen Trajektorien ermittelt. Dies ergänzt das erfindungsgemäße Verfahren mit dem bereits aus dem Stand der Technik bekannten Verfahren, um auf diese Weise die besten Messergebnisse zu erhalten.
-
Die vorstehend beschriebene Erfindung wird im Folgenden anhand eines Ausführungsbeispiels näher erläutert.
-
Es zeigt
- 1 eine schematische Darstellung einer Emission eines Referenzbilds durch einen Tiefensensor und Erfassung durch einen benachbarten Tiefensensor.
-
1 zeigt zwei oberhalb eines zu überwachenden Raums angeordnete Tiefensensoren 1 und 4, welche gemeinsam in einem Netzwerk 5 mit einer Auswerteeinheit 6 verbunden sind. Hierbei kann die Art des Netzwerks 5 weitgehend frei gewählt werden und kann an die jeweils vor Ort vorliegenden Gegebenheiten angepasst werden. Das Netzwerk 5 kann hierbei insbesondere sowohl kabelgebunden als auch drahtlos sein. Messungen, welche mithilfe der Tiefensensoren 1 und 4 ausgeführt werden und Bilder, welche diese aufzeichnen, werden von der Auswerteeinheit 6 entgegengenommen und verarbeitet. Die Auswerteeinheit 6 ermittelt insbesondere aus den erfassten Bilddaten der Tiefensensoren 1 und 4 eine Transformation zwischen den beiden Tiefensensoren 1 und 4, welche die von diesen abgedeckten Erfassungsbereiche 7 und 8 in Relation zueinander setzt.
-
In einem Ersten Schritt der Konfiguration wird die gegenseitige Ausrichtung der Tiefensensoren 1 und 4 zueinander ermittelt. Dazu ist es erforderlich, die Überlappung 9 zwischen einem ersten Erfassungsbereich 7 des ersten Tiefensensors 1 und einem zweiten Erfassungsbereich 8 des zweiten Tiefensensors 4 zu ermitteln. In diesem Zusammenhang wird der erste Tiefensensor 1, welcher mithilfe eines integrierten Projektors 2 ein Referenzbild 3 auf den Boden des zu überwachenden Raums projiziert, als aktiver Sensor bezeichnet, der zweite Tiefensensor 4, welcher lediglich das Referenzbild 3 des ersten Tiefensensors 1 erfasst, wird als passiver Sensor bezeichnet. Wenngleich mit dem Tiefensensor 4 nur ein passiver Sensor gezeichnet ist, kann davon ausgegangen werden, dass in einem möglichen größeren Netzwerk 5 mehr passive Sensoren, aber stets nur ein aktiver Sensor vorhanden ist.
-
Ein erster Teilschritt bei dem passiven zweiten Tiefensensor 4 sieht vor, dass zunächst bei allen vorhandenen passiven Sensoren die Ausleuchtung geprüft wird. Nur sofern eine später folgende Projektion des Referenzbilds 3 auch einen ausreichenden Kontrast ergibt, kann der nächste Teilschritt erfolgen. Dieser sieht vor, dass für jeden passiven Sensor, wie hier für den zweiten Tiefensensor 4, ein Hintergrundbild als Vergleichsmuster für die nachfolgende Beleuchtung mit dem Referenzbild 3 erstellt wird, mit dem ein Bild mit dem Referenzbild 3 verglichen werden kann.
-
Der aktive Sensor, hier Tiefensensor 1, projiziert nun in einem weiteren Teilschritt mithilfe eines Projektors 2 ein Referenzbild 3 in den zu überwachenden Raum. Soweit das Referenzbild 3 eines aktiven, hier des ersten Tiefensensors 1 in dem zweiten Erfassungsbereich 8 eines passiven, zweiten Tiefensensors 4 erkennbar wird, kann auf eine topologische Nachbarschaft geschlossen werden. Wird dieser Vorgang wiederholt, bis jeder Tiefensensor 1 oder 4 als aktiver Sensor ein Referenzbild 3 ausgesandt und jeder passive Sensor geprüft hat von welchem anderen Tiefensensor 4 oder 1 das Referenzbild 3 in dem eigenen Erfassungsbereich 7 oder 8 liegt, kann eine Topologie erstellt und damit der erste Schritt der Kalibrierung abgeschlossen werden.
-
In einem zweiten Schritt der Kalibrierung wird sodann eine Ausrichtung der Tiefensensoren 1 und 4 überprüft. Bei dem Referenzbild 3 handelt es sich um ein pseudozufälliges Muster, bei dem sich ungleichmäßig verteilte Punkte in größeren Abständen gruppenweise wiederholen. Dies erlaubt es, bereits anhand eines vergleichsweise kleinen Bereichs der Überlappung 9 zutreffend die Ausrichtung des Referenzbilds 3 zu einem inneren Koordinatensystem des Tiefensensors 4 festzustellen. Das Referenzbild 3 entspricht im Wesentlichen dem ersten Erfassungsbereich 7 des Tiefensensors 1, so dass der Abgleich der Überlappung 9 mit dem Tiefensensor 4 mit der größtmöglichen Information erfolgen kann und diese auch dann noch möglich ist, wenn die beiden Tiefensensoren 1 und 4 noch weiter entfernt voneinander liegen.
-
Sobald der passive zweite Tiefensensor 4, und eventuelle weitere passive Tiefensensoren, einen Bereich der Überlappung 9 festgestellt hat, wird das entsprechende Bild an die Auswerteeinheit 6 übermittelt, welche dann anhand des Musters des Referenzbilds 3 Lage und Position, sowie die Ausrichtung des Tiefensensors 4 bezüglich des Tiefensensors 1 ermittelt, eine Transformation zwischen den beiden Tiefensensoren 1 und 4 abschätzt oder bestimmt und damit eine Topologie anlegt.
-
Die Qualität dieser Abschätzung kann in einem weiteren Schritt verbessert werden, indem zusätzlich mit bewegten Modellen gearbeitet wird, welche sich durch den zu überwachenden Raum bewegen.
-
Vorstehend beschrieben ist somit ein Verfahren, welches in der Lage ist, eine Kalibrierung eines Netzwerks von bildgebenden Tiefensensoren selbsttätig durchzuführen, insbesondere unter Verzicht sowohl auf das Verteilen von Marken und zwei- oder dreidimensionalen Markierungen im Raum, als auch auf das manuelle Eingreifen bei der Auswertung der Sensorbilder zum Auffinden geeigneter natürlicher Markierungen im Raum.
-
BEZUGSZEICHENLISTE
-
- 1
- erster Tiefensensor
- 2
- Projektor
- 3
- Referenzbild
- 4
- zweiter Tiefensensor
- 5
- Netzwerk
- 6
- Auswerteeinheit
- 7
- erster Erfassungsbereich
- 8
- zweiter Erfassungsbereich
- 9
- Überlappung
