-
Die Erfindung betrifft ein System zur visuellen dreidimensionalen Überwachung von Räumen, wobei das auf dem Prinzip der Stereo Vision basierende System unter Verwendung von Kameratechnik und Sensorik aus mehreren 2D-Ansichten einer Szene unter Anwendung von Algorithmen der Bildauswertung eine Extraktion von 3D-Informationen realisiert.
-
Für die Überwachung von definierten Raumsegmenten, insbesondere von Innenräumen, sind zahlreiche technische Lösungen verfügbar, mit denen eine visuelle dreidimensionale Erfassung vom Umfeld des jeweils zu überwachenden Raumes möglich ist.
-
Nach dem Wirkprinzip lassen sich derartige Sensoren zwei grundsätzlichen Verfahrensvarianten zuordnen, nämlich aktiven Verfahren und passiven Verfahren. Als aktive Verfahren sind beispielsweise Muster-Projektionen (Structured Light, Projected Texture Stereo), Laufzeitmessungen (Time-of-Flight, ToF) und Laser-Scanner (LIDAR) bekannt. Als passive Verfahren sind beispielsweise Stereo Vision, Structure From Motion und Lichtfeld-Messung bekannt.
-
Von diesen Verfahren ist für eine Überwachung von Innenräumen insbesondere das Prinzip „Passive Stereo Vision“ bzw. „Stereo Vision mit aktiver IR-Beleuchtung“ geeignet, da sich bei diesem Prinzip kaum funktionelle Probleme für die Sensorik durch das Tageslicht oder eine künstliche Beleuchtung ergeben.
-
Der Begriff „Stereo Vision“ bezeichnet eine Extraktion von 3D-Informationen aus mehreren 2D-Ansichten einer Szene. Die hierfür bekannten konventionellen Stereo-Kameras bestehen üblicherweise aus zwei parallel zueinander ausgerichteten Kameras, so dass ein weitgehend ähnliches Prinzip realisiert wird wie beim menschlichen Stereo-Sehen. Eine angeschlossene Verarbeitungseinheit löst die Bilderfassung der Kameras synchron aus und verarbeitet die erfassten Bilddaten zu 3D-Informationen. Hierfür kommen Algorithmen der Bildauswertung zum Einsatz, welche den visuellen Versatz der Bilder ermitteln.
-
Aus
US 5,430,474 A ist ein System zum Erzeugen von stereoskopischen Bildern mit mehreren Kameras aus vorbestimmten seitlichen Richtungen bekannt.
-
EP 1 838 086 B1 beschreibt eine omnidirektionale Stereokamera und ein Verfahren zum Betrieb dieser Kamera. Die Stereokamera umfasst mindestens zwei Kameras und ein Stützelement zur Verbindung der Kameras miteinander.
-
Aus
DE 10 2005 060 054 B4 ist ein Stereo-Vision-System bekannt, das insbesondere für Insassenrückhaltesysteme mit einem Airbag in Fahrzeugen konzipiert ist. Für die Erfassung von Insassen und deren Sitzposition im Fahrzeug ist eine Vielzahl von Sensoren zur Erzeugung von Bildern vorgesehen. Mit einer Verarbeitungseinheit wird aus den erzeugten Bildern eine Stereoabbildung generiert, welche den räumlichen Abstand der Bildpunkt-Paare enthält. Diese Parameter werden zur Auslösung des Airbags berücksichtigt.
-
Ein großer Vorteil der Stereo Vision ist deren Unempfindlichkeit gegenüber Umgebungslicht. Deshalb kommen Stereo-Kameras neben der bereits oben erwähnten Überwachung von Innenräumen häufig im Freien zum Einsatz, wo aktive Verfahren nicht oder nur bedingt einsetzbar sind. Diesbezüglich bekannte Anwendungsbeispiele sind die Roboter-Navigation, Fahrerassistenzsysteme (ADAS) und das autonome Fahren.
-
Einschränkungen für den Einsatz der Stereo Vision ergeben Parallaxeffekte, strukturlose und reflektierende Oberflächen sowie unbeleuchtete Szenen. Nachteilig ist außerdem, dass für die Disparitätsberechnung ein relativ hoher Rechenaufwand notwendig ist, welcher von der anvisierten lateralen Auflösung, der möglichen Mindestdistanz zum Messobjekt und dem eingesetzten Verfahren abhängig ist. Weiterhin weisen binokulare Stereosensoren (Zwei-Kamera-Systeme) bzw. auf perspektivisch abbildenden Sensoren basierende Systeme ein stark eingeschränktes Sichtfeld auf. Somit müssen mehrere Sensoren eingesetzt werden, um einen einzigen Innenraum erfassen und überwachen zu können. Dadurch erhöht sich jedoch der gerätetechnische und kostenseitige Aufwand einer Überwachung von Räumen.
-
Die als Smart-Kameras bzw. intelligente Kameras bezeichneten Systeme sind im Vergleich zu den konventionellen Sensoren im eigentlichen Gerät mit einer Verarbeitungseinheit ausgestattet, welche die aufgenommenen 2D- und/oder 3D-Informationen direkt auf dem Gerät verarbeiten kann.
-
Der Einsatz derartiger Smart-Kameras für eine Innenraumüberwachung erfordert jedoch eine große Anzahl von Sensoren, um komplexe Innenräume abdecken zu können. Demzufolge erhöht sich auch hier zwangsläufig der gerätetechnische und kostenseitige Aufwand einer Überwachung von Räumen.
-
Deshalb wird zunehmend angestrebt, die Anzahl der benötigten Sensoren deutlich zu reduzieren. Allerdings sind bisher keine diesbezüglich akzeptablen Lösungen als Stand der Technik verfügbar.
-
Aufgabe der Erfindung ist es, eine technische Lösung für eine visuelle dreidimensionale Überwachung von Räumen zu schaffen, mit der ein Raum mit lediglich einem Sensor vollständig überwacht werden kann.
-
Diese Aufgabe wird gelöst, indem das System einen optischen 3D-Sensor aufweist, der aus drei separaten und miteinander in Wirkverbindung stehenden Kameras gebildet ist, die ein hemisphärisches Umfeld in Echtzeit erfassen und die in einer gemeinsamen Baugruppe baulich integriert sind. In dieser gemeinsamen Baugruppe ist weiterhin eine den drei Kameras angeschlossene Verarbeitungseinheit baulich integriert, welche die von den drei Kameras des 3D-Sensors erfassten Bilddaten und 3D-Daten auswertet. Damit wird es möglich, einen Raum mit einem einzigen Sensor komplett in drei Dimensionen zu erfassen und auf dem Sensor auszuwerten, d.h., Personen zu erkennen, Objekte zu erkennen und Algorithmen zur Szenenanalyse zu prozessieren.
-
Durch Anwendung der erfindungsgemäßen technischen Lösung wird eine Überwachung von Räumen mit Hilfe optischer 3D-Sensorik möglich, die folgende Unterschiede gegenüber den bisher am Markt verfügbaren Technologien aufweist: Ein auf einem Drei-Kamerasystem basierender optischer 3D-Sensor erfasst ein hemisphärisches Umfeld in Echtzeit und eine angeschlossene Verarbeitungseinheit wertet die Bild- und 3D-Daten aus. Dies wird mit lediglich einem Sensor erreicht, so dass sich wesentliche Vorteile beim gerätetechnischen und kostenseitigen Aufwand ergeben.
-
Eine bevorzugte Ausgestaltung sieht vor, dass die drei separaten und miteinander in Wirkverbindung stehenden Kameras jeweils in einem Eckpunkt einer gemeinsamen dreieckförmigen Anordnung derart angeordnet sind, dass die optischen Achsen der drei Kameras zumindest annähernd parallel zueinander ausgerichtet sind und dass die x- und y-Achsen der Koordinatensysteme aller drei Kameras zusammen eine einzige und zumindest annähernd gemeinsame Ebene aufspannen.
-
Eine weitere Ausgestaltung sieht vor, dass die drei Kameras jeweils mit hemisphärisch abbildenden (Fischaugen-) Objektiven ausgestattet sind.
-
Als weitere Ausgestaltung ist vorgesehen, dass die drei Kameras in Abhängigkeit ihrer konkreten Einsatzbedingungen mit einer hohen Lichtempfindlichkeit und/oder Empfindlichkeit im NIR-Lichtspektrum ausgestaltet sind, bei Bedarf in Kombination mit einer aktiven IR-Beleuchtung.
-
Eine weitere Ausgestaltung sieht vor, dass den drei Kameras ein Highspeed-Videointerface zugeordnet ist, welches parallel und/oder LVDS und/oder seriell ausgestaltet ist.
-
Das System weist vorzugsweise einen integrierten Prozessor (Embedded-Prozessor/System on Chip) mit CPU und/oder GPU und/oder ASIC und/oder FPGA und/oder ARM-Prozessor auf, der für Berechnungen unter Nutzung eines Stereokorrespondenzverfahrens, zur Berechnung von Tiefen- und 3D-Informationen (x-y-z) und für kundenspezifische Analysesoftware und/oder Applikationen mit Auswertung der Tiefen- und/oder 3D-Informationen, mit applikationsspezifischer Datenauswertung und mit Informationsgenerierung geeignet ist.
-
Eine Ausgestaltung sieht vor, dass das System Kommunikationsschnittstellen für eine Datenübertragung zum Nutzer und/oder zu einem Datenserver und/oder zur Kommunikation zwischen mehreren Kameras und/oder anderen Sensoren und/oder Aktoren aufweist. Diese Kommunikationsschnittstellen sind entweder kabelgebunden oder drahtlos implementiert. Für eine kabelgebundene Ausführung sind Ethernet (802.3) und/oder KNX und/oder CAN und/oder UART/RS232 und/oder USB vorgesehen. Für eine drahtlose Ausführung sind WLAN (802.11) und/oder Bluetooth und/oder Zigbee und/oder Z-WAVE vorgesehen.
-
In weiterer Ausgestaltung ist vorgesehen, dass das System eine Programmierschnittstelle zur Parametrisierung der Bildsensoren und 3D-Berechnung, zur Konfiguration des User-Programms, zum Webinterface und zur Anbindung eines Datenspeichers, Servers sowie zur Protokollierung erfasster Daten aufweist.
-
Mit dieser technischen Lösung ist eine intelligente hemisphärische Tiefenkamera verfügbar, die für verschiedenartige Anwendungen geeignet ist, bei denen vorzugsweise Innenräume hinsichtlich von Personen (z.B. Pflegeheime), Objekten (z.B. automatische Fabriken), Bewegungen (z.B. in Zugangsschleusen) und dergleichen überwacht werden müssen. Eine Anwendung außerhalb von Innenräumen ist ebenfalls möglich, beispielsweise in räumlich definierten Segmenten im Außenbereich.
-
Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand der Zeichnung erläutert. Es zeigen:
- 1 den grundsätzlichen Aufbau des Systems in stilisierter Darstellung
- 2 eine erste Anwendungsvariante des Systems
- 3 eine weitere Anwendungsvariante des Systems
-
Das in der Zeichnung dargestellte System einer intelligenten hemisphärischen Tiefenkamera ist zur visuellen dreidimensionalen Überwachung von Räumen nach dem Prinzip der Stereo Vision konzipiert. Hierbei wird unter Verwendung von Kameratechnik und Sensorik aus mehreren 2D-Ansichten einer Szene unter Anwendung von Algorithmen der Bildauswertung eine Extraktion von 3D-Informationen realisiert. Konkret umfasst das System einen optischen 3D-Sensor, der aus drei separaten und miteinander in Wirkverbindung stehenden Kameras gebildet ist. Diese Kameras sind in einer gemeinsamen Baugruppe baulich integriert und erfassen ein hemisphärisches Umfeld in Echtzeit. In der gemeinsamen Baugruppe ist auch eine Verarbeitungseinheit baulich integriert, die den drei Kameras angeschlossen ist. Die Verarbeitungseinheit wertet die von den drei Kameras des 3D-Sensors erfassten Bilddaten und 3D-Daten aus, so dass eine Erkennung von Personen und/oder eine Erkennung von Objekten und/oder eine Analyse der im Raum beobachteten Szene möglich ist.
-
Aus 1 ist ersichtlich, dass das System der intelligenten hemisphärischen Tiefenkamera aus den folgenden und jeweils mit einem Bezugszeichen markierten Baugruppen besteht:
-
1: Drei Bildsensoren bzw. konventionelle Kameras (2D), die mit hemisphärisch abbildenden (Fischaugen-) Objektiven ausgestattet und in Form eines beliebigen Dreiecks angeordnet sind mit folgenden Prämissen:
- - die optischen Achsen aller drei Kameras sind (zumindest annähernd) parallel ausgerichtet
- - die x- und y-Achsen der Kamerakoordinatensysteme aller drei Kameras spannen zusammen (zumindest annähernd) eine einzige gemeinsame Ebene auf
-
Je nach Einsatzfeld ist eine Verwendung von Bildsensoren mit hoher Lichtempfindlichkeit und/oder Empfindlichkeit im NIR-Lichtspektrum vorgesehen, wobei dann auch eine Kombination mit aktiver IR-Beleuchtung vorteilhaft ist
-
2: Ein Highspeed-Videointerface (Parallel und/oder LVDS und/oder seriell)
-
3: Ein integrierter Prozessor (Embedded-Prozessor/System on Chip) mit CPU und/oder GPU und/oder ASIC und/oder FPGA und/oder ARM-Prozessor zur Erfüllung folgender Berechnungsaufgaben:
- - Berechnung unter Nutzung eines trinokularen Stereokorrespondenzverfahrens
- - Berechnung von Tiefen- und 3D-Informationen (x-y-z)
- - Kundenspezifische Analysesoftware und/oder Applikationen (Auswertung der Tiefen- und/oder 3D-Informationen, applikationsspezifische Datenauswertung und Informationsgenerierung)
-
4: Kommunikationsschnittstelle zur Datenübertragung zum Nutzer und/oder Datenserver und/oder zur Kommunikation zwischen mehreren intelligenten hemisphärischen Tiefenkameras und/oder anderen Sensoren und/oder Aktoren
-
Die Implementierung erfolgt kabelgebunden mittels Ethernet (802.3) und/oder KNX und/oder CAN und/oder UART/RS232 und/oder USB bzw. drahtlos mittels WLAN (802.11) und/oder Bluetooth und/oder Zigbee und/oder Z-WAVE.
-
Die Baugruppen 1 bis 4 bilden somit eine intelligente hemisphärische Tiefenkamera, die in der Zeichnung als Baugruppe 6 dargestellt und von einem rechteckigen punktlinienförmig stilisierten Rahmen umschlossen ist.
-
5: Programmierschnittstelle zur Parametrisierung der Bildsensoren und 3D-Berechnung, zur Konfiguration des User-Programms, zum Webinterface und zur Anbindung Datenspeicher/ Server/ Protokollierung erfasster Daten
-
Aus 2 ist ein erstes Beispiel zu den Einsatzmöglichkeiten des Systems der intelligenten hemisphärischen Tiefenkamera 6 ersichtlich, hier für eine automatisierte Szenenanalyse, z.B. für Personenzählung oder Tracking.
-
Der zu überwachende Raumabschnitt ist in 2 von einer halbkreisförmigen punktierten Linie 7 umschlossen. Die intelligente hemisphärische Tiefenkamera 6 ist in Überkopfmontage angeordnet und vermisst die Szene als Video- und Tiefendaten mit hohem Blickwinkel (180° Azimut x 90° Elevation, hemisphärisch). In vorteilhafter Weise werden somit Verdeckungen (Okklusion) vermieden und die Anzahl der notwendigen Sensoren bzw. Tiefenkameras vermindert, bei gleichzeitiger Verbesserung der Abdeckung sowie der eigentlichen Datenqualität.
-
Aus 3 ist ein weiteres Beispiel der Einsatzmöglichkeiten des Systems der intelligenten hemisphärischen Tiefenkamera 6 ersichtlich, hier für eine Umfelderfassung in fliegenden und/oder fahrenden Robotersystemen.
-
Der zu überwachende Raumabschnitt ist in 3 ebenfalls mit einer halbkreisförmigen punktierten Linie 7 stilisiert. Die intelligente hemisphärische Tiefenkamera 6 ist in bodengerichteter Blickrichtung an der Unterseite eines Fluggerätes 8 oder an der Oberseite in deckengerichteter Blickrichtung an einem (hier nicht dargestellten) Fahrzeug angebracht. Somit wird eine gleichzeitige Erfassung von Objekten und Hindernissen in fünf Achsen realisiert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 5430474 A [0006]
- EP 1838086 B1 [0007]
- DE 102005060054 B4 [0008]
