DE102019202901A1 - Fußgängerverfolgung unter Verwendung eines Tiefensensornetzwerks - Google Patents

Fußgängerverfolgung unter Verwendung eines Tiefensensornetzwerks Download PDF

Info

Publication number
DE102019202901A1
DE102019202901A1 DE102019202901.9A DE102019202901A DE102019202901A1 DE 102019202901 A1 DE102019202901 A1 DE 102019202901A1 DE 102019202901 A DE102019202901 A DE 102019202901A DE 102019202901 A1 DE102019202901 A1 DE 102019202901A1
Authority
DE
Germany
Prior art keywords
depth
object tracking
points
fov
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019202901.9A
Other languages
English (en)
Inventor
Yanzhi Chen
Hui Fang
Zhen Jia
Alan Matthew Finn
Arthur Hsu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Otis Elevator Co
Original Assignee
Otis Elevator Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Otis Elevator Co filed Critical Otis Elevator Co
Publication of DE102019202901A1 publication Critical patent/DE102019202901A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/514Depth or shape recovery from specularities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Es wird ein Objektverfolgungssystem bereitgestellt und es beinhaltet einen Tiefensensor, der so eingesetzt ist, dass er mindestens ein nahezu kontinuierliches Sichtfeld (field of view - FOV) aufweist, und eine Steuerung, die an den Tiefensensor gekoppelt ist. Die Steuerung ist dazu konfiguriert, eine Ausgabe von dem Tiefensensor räumlich und zeitlich zu synchronisieren und jeweilige Bewegungen von jedem einzelnen Objekt innerhalb des nahezu kontinuierlichen FOV zu verfolgen, wenn sich jedes einzelne Objekt durch das nahezu kontinuierliche FOV bewegt.

Description

  • ALLGEMEINER STAND DER TECHNIK
  • Die folgende Beschreibung betrifft Fußgängerverfolgung und insbesondere ein Verfahren zur Fußgängerverfolgung unter Verwendung eines Netzwerks aus teilweise oder vollständig überlappten Tiefensensoren.
  • Fußgängerverfolgung spielt bei intelligenten Gebäudetechniken eine wichtige Rolle. Dazu gehören unter anderem Techniken für die Gebäudesicherheit und den Gebäudeschutz, Techniken zur Optimierung der zeitlichen Abstimmung von Aufzügen und Techniken zur Energiesteuerung in Gebäuden.
  • Die Leistung von Fußgängerverfolgungsverfahren wird üblicherweise durch zwei verwandte Probleme beeinflusst: eine Menge von Fußgängern führt typischerweise dazu, dass anvisierte Personen verdeckt werden, und die meisten Sensoren weisen ein begrenztes Sichtfeld (field of view - FOV) auf. Demnach können Systeme Schwierigkeiten dabei haben, mehrere sich bewegende Fußgänger genau über eine ausgedehnte Fläche zu verfolgen, wie zum Beispiel eine große Fläche eines Aufzugvorraums.
  • KURZE BESCHREIBUNG
  • Gemäß einem Aspekt der Offenbarung wird ein Objektverfolgungssystem bereitgestellt und es beinhaltet einen Tiefensensor, der so eingesetzt ist, dass er mindestens ein nahezu kontinuierliches Sichtfeld (FOV) aufweist, und eine Steuerung, die an den Tiefensensor gekoppelt ist. Die Steuerung ist dazu konfiguriert, eine Ausgabe von dem Tiefensensor räumlich und zeitlich zu synchronisieren und jeweilige Bewegungen von jedem einzelnen Objekt innerhalb des nahezu kontinuierlichen FOV zu verfolgen, wenn sich jedes einzelne Objekt durch das nahezu kontinuierliche FOV bewegt.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen ist der Tiefensensor so eingesetzt, dass er ein kontinuierliches FOV aufweist.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen wird die räumliche Synchronisierung anhand eines Vergleichs zwischen einer Ausgabe von dem Tiefensensor und einem Koordinatensystem, das für den Objektverfolgungsbereich und den Tiefensensor definiert ist, erlangt.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen wird die zeitliche Synchronisierung durch eines oder mehrere von Bezugnahme auf eine Netzwerkzeit und Zeitstempeln der Ausgabe des Tiefensensors erlangt.
  • Gemäß einem anderen Aspekt der Offenbarung wird ein Objektverfolgungssystem bereitgestellt und es beinhaltet eine Struktur, die dazu ausgebildet ist, einen Objektverfolgungsbereich zu definieren, ein Netzwerk aus Tiefensensoren, das so in der gesamten Struktur eingesetzt ist, dass es mindestens ein nahezu kontinuierliches Sichtfeld (FOV) aufweist, das durch mindestens einen Abschnitt des Objektverfolgungsbereichs überlappt wird, und eine Steuerung, die an die Tiefensensoren gekoppelt ist. Die Steuerung ist dazu konfiguriert, eine Ausgabe von jedem der Tiefensensoren räumlich und zeitlich zu synchronisieren und jeweilige Bewegungen von jedem einzelnen Objekt innerhalb des nahezu kontinuierlichen FOV zu verfolgen, wenn sich jedes einzelne Objekt durch das nahezu kontinuierliche FOV bewegt.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen beinhaltet der Objektverfolgungsbereich einen Aufzugvorraum.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen beinhaltet der Objektverfolgungsbereich einen Fußgängerweg in einer Wohn-, Industrie-, Militär-, Gewerbe- oder Gemeindeimmobilie.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen ist das Netzwerk aus Tiefensensoren so in der gesamten Struktur eingesetzt, dass es ein kontinuierliches überlapptes FOV aufweist.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen wird die räumliche Synchronisierung anhand eines Vergleichs zwischen einer Ausgabe von jedem der Tiefensensoren und einem Koordinatensystem, das für den Objektverfolgungsbereich und jeden der Tiefensensoren definiert ist, erlangt.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen wird die zeitliche Synchronisierung durch Bezugnahme auf eine Netzwerkzeit erlangt.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen wird die zeitliche Synchronisierung anhand von Zeitstempeln der Ausgabe jedes der Tiefensensoren erlangt.
  • Gemäß noch einem anderen Aspekt der Offenbarung wird ein Objektverfolgungsverfahren bereitgestellt und es beinhaltet Einsetzen von Tiefensensoren, sodass sie mindestens ein nahezu kontinuierliches Sichtfeld (FOV) aufweisen, räumliches und zeitliches Synchronisieren der Tiefensensoren mit Weltkoordinaten und einer Bezugszeit, Erheben von Tiefenpunkten von jedem Tiefensensor, Umwandeln der Tiefenpunkte in Tiefenpunkte der Weltkoordinaten, Projizieren der Tiefenpunkte der Weltkoordinaten auf eine Ebene; und Ausführen von Datenzuordnung in Bezug auf die Projektion der Tiefenpunkte der Weltkoordinaten auf sequentielle Karten der Ebene während des Verlaufs der Bezugszeit zum Entfernen von Ausreißertracklets, die durch projizierte Tiefenpunkte auf einer relativ kleinen Anzahl der Karten ausgebildet sind, und zum Gruppieren von verbleibenden Tracklets, die durch projizierte Tiefenpunkte auf einer relativ großen Anzahl der Karten ausgebildet sind.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen beinhaltet das Einsetzen, dass die Tiefensensoren in einem Netzwerk innerhalb einer Struktur eingesetzt werden, die dazu ausgebildet ist, einen Objektverfolgungsbereich zu definieren, sodass das nahezu kontinuierliche FOV mindestens einen Abschnitt des Objektverfolgungsbereichs überlappt.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen beinhaltet das Einsetzen, dass die Tiefensensoren so eingesetzt werden, dass sie ein kontinuierliches FOV aufweisen.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen beinhaltet das räumliche Synchronisieren der Tiefensensoren mit den Weltkoordinaten, dass jeder der Tiefensensoren auf die Weltkoordinaten kalibriert wird, und beinhaltet das zeitliche Synchronisieren der Tiefensensoren mit der Bezugszeit eines oder mehrere von Verknüpfen mit einer Netzwerkzeit und Zeitstempeln einer Ausgabe jedes der Tiefensensoren.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen sind die relativ kleine und große Anzahl der Karten aktualisierbar.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen beinhaltet das Verfahren ferner Ausführen einer Nächster-Nachbar-Suche zum Gruppieren der verbleibenden Tracklets.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen beinhaltet das Umwandeln der Tiefenpunkte in die Tiefenpunkte der Weltkoordinaten, dass jeder der Tiefenpunkte in die Tiefenpunkte der Weltkoordinaten umgewandelt wird.
  • Gemäß zusätzlichen oder alternativen Ausführungsformen beinhaltet das Verfahren ferner Ausführen eines Formmodells zum Aggregieren mehrerer Punkte mit einer räumlichen Verteilung zur anschließenden Projektion oder zum Aggregieren mehrerer projizierter Punkte in einen Punkt zum anschließenden Verfolgen.
  • Diese und andere Vorteile und Merkmale werden aus der folgenden Beschreibung in Verbindung mit den Zeichnungen ersichtlicher.
  • Figurenliste
  • Der als die Offenbarung angesehene Gegenstand wird insbesondere in den Ansprüchen im abschließenden Teil der Beschreibung aufgezeigt und eindeutig beansprucht. Die vorhergehenden und andere Merkmale und Vorteile der Offenbarung erschließen sich aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen, in denen Folgendes gilt:
    • 1 ist eine Veranschaulichung einer Sequenz eines Bilds, einer Tiefenkarte und Objektsegmentierung, die während Fußgängerdetektionsvorgängen auf Grundlage von Tiefeninformationen erzeugt werden;
    • 2 ist eine schematische Draufsicht auf ein System, das ein Netzwerk aus Tiefensensoren beinhaltet, die in einer Struktur gemäß Ausführungsformen eingesetzt sind; und
    • 3 ist ein schematisches Diagramm einer Steuerung des Systems aus 2 gemäß Ausführungsformen;
    • 4 ist ein schematisches Diagramm einer Network-Time-Protocol-(NTP-)Serverbeziehung von (einer) Steuerung(en) gemäß Ausführungsformen;
    • 5 ist ein Ablaufdiagramm, das ein Verfahren zur Fußgängerverfolgung gemäß Ausführungsformen veranschaulicht;
    • 6 ist ein Ablaufdiagramm, das ein Verfahren zur Fußgängerverfolgung gemäß Ausführungsformen veranschaulicht;
    • 7A ist eine graphische Darstellung einer Tiefensensorausgabe mit einer Draufsicht gemäß Ausführungsformen;
    • 7B ist eine graphische Darstellung von einzeln verfolgten Objekten anhand der Tiefensensorausgabe gemäß Ausführungsformen;
    • 7C ist eine graphische Darstellung von einzeln verfolgten Objekten anhand der Tiefensensorausgabe, wobei Ausreißertracklets entfernt sind, gemäß Ausführungsformen;
    • 7D ist eine graphische Darstellung von einzeln verfolgten Objekten anhand der Tiefensensorausgabe, wobei verbleibende Tracklets gruppiert sind, gemäß Ausführungsformen;
    • 8A ist eine graphische Darstellung eines Formmodells gemäß Ausführungsformen; und
    • 8B ist eine graphische Darstellung eines Formmodells gemäß Ausführungsformen.
  • Diese und andere Vorteile und Merkmale werden aus der folgenden Beschreibung in Verbindung mit den Zeichnungen ersichtlicher.
  • DETAILLIERTE BESCHREIBUNG
  • Wie es nachstehend beschrieben ist, wird ein Fußgängerverfolgungssystem bereitgestellt, um mehrere sich bewegende Fußgänger genau über eine ausgedehnte Fläche hinweg zu verfolgen. Das Fußgängerverfolgungssystem beinhaltet mehrere Sensoren (z. B. 2D-, 3D- oder Tiefensensoren) mit einem nahezu kontinuierlichen Sichtfeld (FOV) oder in einer Ausführungsform mehrere sich räumlich überlappende Sensoren mit einem kontinuierlichen FOV. In jedem Fall weist jeder der mehreren Sensoren die Fähigkeit auf, auch dann zwischen mehreren sich bewegenden Objekten zu unterscheiden, wenn eine Anzahl dieser sich bewegenden Objekte verdeckt ist.
  • Unter Bezugnahme auf 1 stellt ein Tiefensensor im Gegensatz zu 2D-Überwachungskameras mit Rot, Grün und Blau (RGB) dreidimensionale (3D-) Informationen bereit, die den Abstand zwischen dem Objekt und dem Tiefensensor beinhalten. Zu verschiedenen 3D-Tiefenerfassungstechniken und -vorrichtungen, die verwendet werden können, gehören unter anderem eine Streifenlichtmessung, eine Phasenverschiebungsmessung, eine Laufzeitmessung, eine Stereotriangulationsvorrichtung, eine Lichtscheibentriangulationsvorrichtung, Lichtfeldkameras, Kameras mit codierter Apertur, Techniken zur computergestützten Bildgebung, simultane Lokalisierung und Kartenerstellung (simultaneous localization and mapping - SLAM), abbildendes Radar, abbildendes Sonar, Echoortung, Laserradar, Scanning Light Detection and Ranging (LIDAR), Flash-LIDAR oder eine Kombination, die mindestens eines der Vorhergehenden beinhaltet. Andere Techniken können aktiv (Senden und Empfangen eines Signals) oder passiv (nur Empfangen eines Signals) beinhalten und können in einem Band des elektromagnetischen oder akustischen Spektrums wie etwa Infrarot, Ultraschall usw. arbeiten. In verschiedenen Ausführungsformen kann ein 3D-Tiefensensor dazu betriebsfähig sein, 3D-informationen anhand einer Defokussierung, eines fokalen Bildstapels oder einer Struktur aus Bewegung zu erzeugen. Gleichermaßen stellen 2D-Tiefensensoren zweidimensionale Informationen bereit, die den Abstand zwischen dem Objekt und dem Tiefensensor beinhalten.
  • Es gibt sowohl qualitative als auch quantitative Unterschiede zwischen herkömmlicher 2D-Bildgebung im sichtbaren Spektrum und Tiefenerfassung. Bei der 2D-Bildgebung (äquivalent dazu 2D-Video, da 2D-Video aufeinanderfolgende 2D-Bilder beinhaltet) wird die reflektierte Farbe (Gemisch aus Wellenlängen) von dem ersten Objekt in jeder radialen Richtung von der Kamera aufgenommen. Das Bild ist dann eine 2D-Projektion der 3D-Welt, wobei jeder Bildpunkt das kombinierte Spektrum der Beleuchtungsquelle und des spektralen Reflexionsvermögens eines Objekts in der Szene (und womöglich des eigenen Emissionsvermögens des Objekts) ist. Bei der Tiefenerfassung gibt es keine Farbinformationen (Spektralinformationen). Stattdessen ist jeder „Bildpunkt“ der Abstand (Tiefe, Reichweite) zum ersten Objekt in jeder radialen Richtung von dem Tiefensensor. Die Daten aus der Tiefenerfassung werden typischerweise als Tiefenkarte oder Punktwolke bezeichnet.
  • Mitunter wird eine Tiefenkarte oder Punktwolke verwirrenderweise als Tiefenbild oder 3D-Bild bezeichnet, doch es handelt sich nicht um ein Bild in einer herkömmlichen Bedeutung des Worts. Im Allgemeinen kann ein 2D-Bild nicht in eine Tiefenkarte umgewandelt werden und eine Tiefenkarte nicht in ein 2D-Bild umgewandelt werden (eine künstliche Zuweisung von zusammenhängenden Farben oder Graustufen zu zusammenhängenden Tiefen ermöglicht es einer Person, eine Tiefenkarte in etwa ähnlich dazu, wie eine Person ein 2D-Bild wie in 1 sieht, grob zu interpretieren).
  • Wie in 1 gezeigt, überlappen sich die Standorte von zwei Fußgängern 1 und 2 derart, dass ein zweidimensionaler (2D-) Objektdetektionsalgorithmus sie nicht voneinander trennen kann (wie im ersten Bild in der Sequenz gezeigt). Da ihre Tiefenwerte jedoch ungleich sind (siehe z. B. die zweite Tiefenkarte in der Sequenz), folgt daraus, dass die Verwendung von Tiefeninformationen Tiefensensoren die Fähigkeit bereitstellt, die Objekte voneinander zu trennen und dadurch die voneinander getrennten Objekte, wie etwa die Fußgänger 1 und 2, mit relativ hoher Genauigkeit und Verdeckungstoleranz zu detektieren (wie im dritten und vierten Segmentierungsverarbeitungsergebnis in der Sequenz gezeigt).
  • Unter Bezugnahme auf 2 wird ein Objektverfolgungssystem 10 bereitgestellt. Das Objektverfolgungssystem 10 kann eine Struktur 11 beinhalten oder in dieser eingesetzt sein, die dazu ausgebildet ist, einen Objektverfolgungsbereich 12 zu definieren. Der Objektverfolgungsbereich 12 kann als Aufzugvorraum oder Fußgängerweg von oder in einer Wohn-, Industrie-, Militär-, Gewerbe- oder Gemeindeimmobilie oder einem beliebigen anderen definierten Bereich oder Raum bereitgestellt sein. Das Objektverfolgungssystem 10 kann ferner ein Netzwerk aus 3D-Tiefensensoren 141-n und eine Steuerung 20 beinhalten. Das Netzwerk aus 3D-Tiefensensoren 141-n ist so in der gesamten Struktur 11 eingesetzt, dass es mindestens ein nahezu kontinuierliches kombiniertes Sichtfeld (FOV) 15 aufweist, das aus den jeweiligen FOVs 151-n jedes der 3D-Tiefensensoren 141-n besteht und das durch mindestens einen Abschnitt des Objektverfolgungsbereichs 12 überlappt wird. Die Steuerung 20 ist an jeden der 3D-Tiefensensoren 141-n gekoppelt oder anderweitig in Signalkommunikation damit angeordnet (siehe 3).
  • Im hier verwendeten Sinne kann ein nahezu kontinuierliches kombiniertes FOV 15 dadurch gekennzeichnet sein, dass die jeweiligen FOVs 151-n jedes der 3D-Tiefensensoren 141-n erhebliche Abschnitte von benachbarten FOVs 151-n überlappen oder, insoweit derartige Überlappung nicht bereitgestellt oder möglich ist, wie im Fall einer Ecke oder einer verborgenen Fläche innerhalb des Objektverfolgungsbereichs 12, Leerräume zwischen benachbarten FOVs 151-n dazu konfiguriert sind, im Vergleich zu den Gesamtgrößen der FOVs 151-n relativ klein zu sein.
  • Wenngleich sich die in dieser Schrift bereitgestellte Beschreibung auf 3D-Tiefensensoren bezieht, versteht es sich, dass ebenso Ausführungsformen existieren, bei denen die Sensoren eine Mischung aus 2D- und/oder 3D-Tiefensensoren sind. Insbesondere im Fall von 2D-Tiefensensoren würden derartige Sensoren Tiefeninformationen hinsichtlich Abständen zwischen Objekten und den 2D-Tiefensensoren bereitstellen, doch es kann sein, dass sie keine zusätzlichen Einzelheiten hinsichtlich einer Form und Größe der Objekte bereitstellen. Die Bezugnahme auf 3D-Tiefensensoren erfolgt deshalb in dieser Schrift der Eindeutigkeit und Kürze halber und sollte nicht so interpretiert werden, dass der Umfang der Ansprüche oder der Anmeldung im Ganzen anderweitig eingeschränkt wird.
  • Gemäß Ausführungsformen kann jeder der 3D-Tiefensensoren 141-n einen Tiefensensor beinhalten oder als solcher bereitgestellt sein oder insbesondere als Kinect™- oder Astra™-Sensor.
  • Unter Bezugnahme auf 3 kann die Steuerung 20 eine Verarbeitungseinheit 301, eine Speichereinheit 302 und eine Netzwerkeinheit 303 beinhalten, die in Signalkommunikation mit mindestens den 3D-Tiefensensoren 141-n angeordnet sind. Die Speichereinheit 302 weist darauf gespeicherte ausführbare Anweisungen auf, die durch die Verarbeitungseinheit 301 lesbar und ausführbar sind. Wenn die ausführbaren Anweisungen durch die Verarbeitungseinheit 301 gelesen und ausgeführt werden, bewirken die ausführbaren Anweisungen, dass die Verarbeitungseinheit eine Ausgabe von jedem der 3D-Tiefensensoren 141-n räumlich und zeitlich synchronisiert, um einzelne Objekte innerhalb des nahezu kontinuierlichen kombinierten FOV 15 zu erfassen, zu verfolgen, zu beobachten oder zu identifizieren und jeweilige Bewegungen jedes der einzelnen Objekte zu verfolgen, wenn sich jedes der einzelnen Objekte durch das nahezu kontinuierliche kombinierte FOV 15 bewegt.
  • Es sollte an dieser Stelle angemerkt werden, dass die Verfolgung beim Segmentieren jedes der einzelnen Objekte Schwierigkeiten haben könnte. Demnach kann ein Verfolgungsalgorithmus Fähigkeiten zum Aufspalten und Zusammenführen von Spuren beinhalten oder aufweisen. Im hier verwendeten Sinne beziehen sich Fähigkeiten zum Aufspalten und Zusammenführen auf die Trennung einer Spur in mehr als eine Spur und das Zusammenführen einer oder mehrerer Spuren zu einer Spur.
  • Gemäß Ausführungsformen kann die räumliche Synchronisierung durch die Verarbeitungseinheit 301 anhand eines Vergleichs zwischen einer Ausgabe von jedem der 3D-Tiefensensoren 141-n mit einem Koordinatensystem, das für den Objektverfolgungsbereich 12 und für jeden der 3D-Tiefensensoren 141-n definiert ist, erlangt werden. Die zeitliche Synchronisierung kann durch die Verarbeitungseinheit 301 durch eines oder mehrere von Bezugnahme auf eine Netzwerkzeit und anhand von Zeitstempeln der Ausgabe jedes der 3D-Tiefensensoren 141-n erlangt werden.
  • Gemäß Ausführungsformen kann das Koordinatensystem als kartesisches Koordinatensystem bereitgestellt sein. Es versteht sich jedoch, dass dies nicht erforderlich ist und jedes andere Koordinatensystem verwendet werden kann, solange es im gesamten Objektverfolgungsbereich 12 einheitlich festgelegt werden kann.
  • Unter Bezugnahme auf 4 kann die Netzwerkzeit durch einen Network-Time-Protocol-(NTP-)Server 401 gehalten werden, der in Signalkommunikation mit der Steuerung 20 angeordnet ist, wobei es sich um ein(en) Einzelmerkmal/-server oder ein(en) Merkmal/Server, das bzw. der für einen oder mehrere der 3D-Tiefensensoren 141-n effektiv über mehrere einzelne Steuerungen 402 hinweg verteilt ist, handeln kann. Im letzteren Fall können die mehreren einzelnen Steuerungen 402 über ein Netzwerk wie etwa das Internet, ein lokales Netz oder ein beliebiges anderes bekanntes Netzwerk verknüpft sein und die 3D-Tiefensensoren 141-n können über USB-Verbindungen oder eine beliebige andere bekannte Verbindung verknüpft sein.
  • Gemäß Ausführungsformen können die zeitliche Synchronisierung und/oder die Bezugszeit zudem ein Zeitintervall zwischen der Erhebung von Drei-Koordinaten-Tiefenpunkten von jedem der 3D-Tiefensensoren 141-n berücksichtigen.
  • Obwohl vorstehend beschrieben ist, dass das Netzwerk aus 3D-Tiefensensoren 141-n so in der gesamten Struktur 11 eingesetzt ist, dass es mindestens das nahezu kontinuierliche kombinierte Sichtfeld (FOV) 15 aufweist, das aus den jeweiligen FOVs 151-n jedes der 3D-Tiefensensoren 141-n besteht, versteht es sich, dass das Netzwerk aus 3D-Tiefensensoren 141-n so in der gesamten Struktur 11 eingesetzt sein kann, dass es ein kontinuierliches kombiniertes Sichtfeld (FOV) 15 aufweist, das aus den jeweiligen FOVs 151-n jedes der 3D-Tiefensensoren 141-n besteht. Zu Zwecken der Eindeutigkeit und Kürze betrifft die folgende Beschreibung den Fall, in dem das Netzwerk aus 3D-Tiefensensoren 141-n so in der gesamten Struktur 11 eingesetzt ist, dass es das kontinuierliche kombinierte Sichtfeld (FOV) 15 aufweist.
  • Unter Bezugnahme auf 5 wird ein Objektverfolgungsverfahren bereitgestellt.
  • Wie in 5 gezeigt, beinhaltet das Objektverfolgungsverfahren zunächst Einsetzen von 3D-Tiefensensoren, sodass sie mindestens ein nahezu kontinuierliches kombiniertes FOV oder ein kontinuierliches kombiniertes FOV aufweisen (Block 501). Gemäß Ausführungsformen kann das Einsetzen der 3D-Tiefensensoren beinhalten, dass die 3D-Tiefensensoren in einem Netzwerk innerhalb einer Struktur eingesetzt werden, die dazu ausgebildet ist, einen Objektverfolgungsbereich zu definieren, sodass das nahezu kontinuierliche oder kontinuierliche kombinierte FOV mindestens einen Abschnitt des Obj ektverfolgungsbereichs überlappt.
  • In jedem Fall beinhaltet das Objektverfolgungsverfahren ferner räumliches und zeitliches Synchronisieren der 3D-Tiefensensoren mit Weltkoordinaten (oder einem Koordinatensystem) bzw. einer Bezugszeit (Block 502 und 503). Wie vorstehend erläutert, kann die räumliche Synchronisierung aus Block 502 anhand eines Vergleichs zwischen einer 3D-Tiefensensorausgabe und einem Koordinatensystem, das für den Obj ektverfolgungsbereich und jeden der 3D-Tiefensensoren definiert ist, erlangt werden. Die zeitliche Synchronisierung aus Block 503 kann, wie vorstehend erläutert, durch eines von Bezugnahme auf eine Netzwerkzeit und anhand von Zeitstempeln der Ausgabe der 3D-Tiefensensoren erlangt werden.
  • Somit kann gemäß Ausführungsformen das räumliche Synchronisieren der 3D-Tiefensensoren mit den Weltkoordinaten aus Block 502 beinhalten, dass jeder der 3D-Tiefensensoren auf die Weltkoordinaten kalibriert wird (Block 5021). Gleichermaßen kann das zeitliche Synchronisieren der 3D-Tiefensensoren mit der Bezugszeit aus Block 503 eines von Verknüpfen mit einer Netzwerkzeit (Block 5031) und Zeitstempeln der Ausgabe jedes der 3D-Tiefensensoren (Block 5032) beinhalten.
  • Das Verfahren kann dann Erheben von Drei-Koordinaten-Tiefenpunkten von jedem 3D-Tiefensensor (Block 504), Umwandeln von mindestens zwei der Drei-Koordinaten-Tiefenpunkte in Tiefenpunkte der Weltkoordinaten (Block 505) und Projizieren der Tiefenpunkte der Weltkoordinaten auf eine 2D-Ebene (Block 506) beinhalten. Die Erhebung von Drei-Koordinaten-Tiefenpunkten aus Block 504 kann in Bezug auf die Ausgabe der 3D-Tiefensensoren vorgenommen werden und eine Anzahl der erhobenen Drei-Koordinaten-Tiefenpunkte kann im Voraus oder während des Erhebungsprozesses selbst gemäß einer Analyse der Streubreite der Drei-Koordinaten-Tiefenpunkte festgelegt werden (d. h. eine geringe Streubreite kann weniger Punkte erfordern, wohingegen eine größere Streubreite eine größere Anzahl von Punkten erfordern könnte).
  • Die Umwandlung und Projektion aus Block 505 und 506 können in jeder beliebigen Reihenfolge ausgeführt werden.
  • Das Verfahren kann zudem Ausführen von Datenzuordnung (Block 507) beinhalten. Das Ausführen der Datenzuordnung aus Block 507 wird in Bezug auf die Projektion der Tiefenpunkte der Weltkoordinaten auf sequentielle Karten oder Rahmen der 2D-Ebene während des Verlaufs der Bezugszeit vorgenommen. Die Ausführung der Datenzuordnung dient somit dazu, Ausreißertracklets, die durch projizierte Tiefenpunkte auf einer relativ kleinen und aktualisierbaren Anzahl der Karten oder Rahmen ausgebildet sind, zu entfernen oder deren Entfernung zu erleichtern, und verbleibende Tracklets, die durch projizierte Tiefenpunkte auf einer relativ großen und aktualisierbaren Anzahl der Karten oder Rahmen ausgebildet sind, zu gruppieren. Gemäß Ausführungsformen sind die relativ kleine und große Anzahl der Karten oder Rahmen gemäß einer gewünschten Genauigkeit des Objektverfolgungsverfahrens, der verfügbaren Berechnungszeit und den Ressourcen und historischen Aufzeichnungen aktualisierbar.
  • Das Objektverfolgungsverfahren kann ferner Ausführen einer Nächster-Nachbar-Suche zum Gruppieren der verbleibenden Tracklets (Block 508) beinhalten. Dies kann zum Beispiel durch einen automatischen Prozess zur Bilderkennung auf einer Rechenvorrichtung erfolgen.
  • Unter Bezugnahme auf 6 wird ein Objektverfolgungsverfahren bereitgestellt.
  • Wie in 6 gezeigt, beinhaltet das Objektverfolgungsverfahren Einsetzen von 3D-Tiefensensoren, sodass sie mindestens ein nahezu kontinuierliches kombiniertes FOV oder ein kontinuierliches kombiniertes FOV aufweisen (Block 601). Gemäß Ausführungsformen kann das Einsetzen der 3D-Tiefensensoren beinhalten, dass die 3D-Tiefensensoren in einem Netzwerk innerhalb einer Struktur eingesetzt werden, die dazu ausgebildet ist, einen Objektverfolgungsbereich zu definieren, sodass das nahezu kontinuierliche oder kontinuierliche kombinierte FOV mindestens einen Abschnitt des Objektverfolgungsbereichs überlappt.
  • In jedem Fall beinhaltet das Objektverfolgungsverfahren ferner räumliches und zeitliches Synchronisieren der 3D-Tiefensensoren mit Weltkoordinaten (oder einem Koordinatensystem) bzw. einer Bezugszeit (Block 602 und 603). Wie vorstehend erläutert, kann die räumliche Synchronisierung aus Block 602 anhand eines Vergleichs zwischen einer 3D-Tiefensensorausgabe und einem Koordinatensystem, das für den Obj ektverfolgungsbereich und jeden der 3D-Tiefensensoren definiert ist, erlangt werden. Die zeitliche Synchronisierung aus Block 603 kann, wie vorstehend erläutert, durch eines von Bezugnahme auf eine Netzwerkzeit und anhand von Zeitstempeln der Ausgabe der 3D-Tiefensensoren erlangt werden.
  • Somit kann gemäß Ausführungsformen das räumliche Synchronisieren der 3D-Tiefensensoren mit den Weltkoordinaten aus Block 602 beinhalten, dass jeder der 3D-Tiefensensoren auf die Weltkoordinaten kalibriert wird (Block 6021). Gleichermaßen kann das zeitliche Synchronisieren der 3D-Tiefensensoren mit der Bezugszeit aus Block 603 eines von Verknüpfen mit einer Netzwerkzeit (Block 6031) und Zeitstempeln der Ausgabe jedes der 3D-Tiefensensoren (Block 6032) beinhalten.
  • Das Verfahren kann dann Erheben von Drei-Koordinaten-Tiefenpunkten von jedem 3D-Tiefensensor (Block 604), Umwandeln jedes der Drei-Koordinaten-Tiefenpunkte in Tiefenpunkte der Weltkoordinaten (Block 605) und Projizieren der Tiefenpunkte der Weltkoordinaten auf eine 2D-Ebene (Block 606) beinhalten. Die Erhebung von Drei-Koordinaten-Tiefenpunkten aus Block 604 kann in Bezug auf die Ausgabe der 3D-Tiefensensoren vorgenommen werden und eine Anzahl der erhobenen Drei-Koordinaten-Tiefenpunkte kann im Voraus oder während des Erhebungsprozesses selbst gemäß einer Analyse der Streubreite der Drei-Koordinaten-Tiefenpunkte festgelegt werden (d. h. eine geringe Streubreite kann weniger Punkte erfordern, wohingegen eine größere Streubreite eine größere Anzahl von Punkten erfordern könnte).
  • Die Umwandlung und Projektion aus Block 605 und 606 können in jeder beliebigen Reihenfolge ausgeführt werden.
  • Das Verfahren kann zudem Ausführen von Datenzuordnung (Block 607) beinhalten. Das Ausführen der Datenzuordnung aus Block 607 wird in Bezug auf die Projektion der Tiefenpunkte der Weltkoordinaten auf sequentielle Karten oder Rahmen der 2D-Ebene während des Verlaufs der Bezugszeit vorgenommen. Die Ausführung der Datenzuordnung dient somit dazu, Ausreißertracklets, die durch projizierte Tiefenpunkte auf einer relativ kleinen und aktualisierbaren Anzahl der Karten oder Rahmen ausgebildet sind, zu entfernen oder deren Entfernung zu erleichtern, und verbleibende Tracklets, die durch projizierte Tiefenpunkte auf einer relativ großen und aktualisierbaren Anzahl der Karten oder Rahmen ausgebildet sind, zu gruppieren. Gemäß Ausführungsformen sind die relativ kleine und große Anzahl der Karten oder Rahmen gemäß einer gewünschten Genauigkeit des Objektverfolgungsverfahrens, der verfügbaren Berechnungszeit und den Ressourcen und historischen Aufzeichnungen aktualisierbar.
  • Das Objektverfolgungsverfahren kann ferner Ausführen eines Formmodells zum Aggregieren mehrerer Punkte mit einer konkreten räumlichen Verteilung (das Modell) zur anschließenden Projektion auf die Weltkoordinatenebene und Verfolgung oder zum Aggregieren mehrerer projizierter Punkte in einen Punkt zum anschließenden Verfolgen (Block 608) beinhalten. Dies kann zum Beispiel durch einen automatischen Prozess zur Bilderkennung auf einer Rechenvorrichtung erfolgen.
  • Gemäß Ausführungsformen kann eine Aggregation von Punkten in einen Punkt, der ein Objekt darstellt, durch Verwendung eines Formmodells wie in Block 608 dadurch erreicht werden, dass Punkte zu Clustern zusammengefasst werden und die Punkte jedes Clusters an das Formmodell angepasst werden, indem die Summe der absoluten Abstände der Punkte zu dem Formmodell minimiert wird. Das Zusammenfassen zu Clustern kann durch K-Means, Erwartungsmaximierung (EM), Fuzzy C-Means, hierarchische Clusterverfahren, Gaußsche Mischverteilung und dergleichen erfolgen. Die zugeordnete Abstandsmetrik kann die Minkowski-Metrik mit p=1, 2 oder ∞ und dergleichen sein. Das Formmodell kann ein niederwertiges kinematisches Modell eines Menschen (Skelett), ein x-y-Schwerpunktmodell (vertikale Linie) und dergleichen sein. Einige Modelle können zusätzliche Parameter bei der Optimierung beinhalten, z. B. für Pose und Maßstab.
  • Unter Bezugnahme auf 7A-7D wird eine graphische Darstellung des Verfahrens aus 5 bereitgestellt.
  • Wie in 7A gezeigt, werden Tiefenpunkte von zwei unterschiedlichen, aber ähnlich geformten und bemessenen Objekten 701 und 702, die von mehreren 3D-Tiefensensoren als die Objekte 701 und 702 hergenommen werden und sich auf unterschiedlichen Spuren durch einen definierten Raum von einem Ausgangspunkt P um einen Endpunkt EP und zu dem Ausgangspunkt P zurück bewegen, auf eine 2D-Ebene projiziert, wie vorstehend beschrieben.
  • Wie in 7B gezeigt, werden die Objekte 701 und 702 durch jeden 3D-Tiefensensor einzeln verfolgt. Die einzelne Verfolgung durch 3D-Tiefensensoren kann in Abhängigkeit von mathematischen Annahmen durch lineare oder nichtlineare Techniken zur bayesschen Schätzung durchgeführt werden, die sowohl Kalman-Filter als auch Partikel-Filter beinhalten. Diese Verfolgung kann zu einer großen Anzahl von ersten Tracklets 7011 für das Objekt 701 und einer großen Anzahl von zweiten Tracklets 7022 für das Objekt 702 führen.
  • Von den ersten Tracklets 7011 werden die Ausreißer der ersten Tracklets 7011 , die als diejenigen ersten Tracklets 7011 definiert sind, die durch Punkte erzeugt sind, die nur auf einer kleinen Anzahl von Karten oder Rahmen auftreten, wie in 7C (in Bezug auf 7B) gezeigt entfernt. Gleichermaßen werden von den zweiten Tracklets 7012 die Ausreißer der zweiten Tracklets 7012 , die als diejenigen zweiten Tracklets 7012 definiert sind, die durch Punkte erzeugt sind, die nur auf einer kleinen Anzahl von Karten oder Rahmen auftreten, ebenfalls wie in 7C (in Bezug auf 7B) gezeigt entfernt.
  • Schließlich wird, wie in 7D gezeigt, Datenzuordnung ausgeführt, um die verbleibenden ersten Tracklets 7011 durch eine Nächster-Nachbar-Suche zusammen zu gruppieren und die verbleibenden zweiten Tracklets 7022 durch eine Nächster-Nachbar-Suche zusammen zu gruppieren. Für die Nächster-Nachbar-Suche kann der Abstand zwischen zwei Tracklets als der Frechet-Abstand definiert sein. Die daraus resultierenden Trajektorien aus 7D geben somit an, dass sich die zwei Objekte 701 und 702 (d. h. Fußgänger) wie vorstehend beschrieben in dem Tiefensensornetzwerk (d. h. dem kontinuierlichen kombinierten FOV 15 aus 2) bewegten, als die Daten aufgezeichnet wurden.
  • Im Fall eines nahezu kontinuierlichen FOV können Lücken zwischen Tracklets eines Objekts vorhanden sein, die Zeitpunkten entsprechen, zu denen es sich nicht innerhalb eines Tiefensensor-FOV befand. Die Trackletzuordnung über Lücken hinweg kann durch Netzwerkflussoptimierung unter Verwendung von metrischem Lernen und kohärenter Dynamik auf Grundlage von Positions- und zusätzlichen Parametern wie etwa Geschwindigkeit und Beschleunigung erzielt werden.
  • Für 8A sind Tiefensensordaten für das Objekt 801 von einem Tiefensensor und Tiefensensordaten für das Objekt 802 von einem anderen Tiefensensor einander infolge der Verwendung eines Formmodells zugeordnet. In diesem Fall kann ein vollständiges 3D-Formmodell einer Person eingesetzt werden, um die Tiefensensordaten zu aggregieren, wie an anderer Stelle in dieser Schrift beschrieben. Der daraus resultierende aggregierte Datenpunkt für den einen Tiefensensor kann als Teil eines Tracklets für den einen Tiefensensor auf die 2D-Ebene projiziert werden. Für 8B sind Tiefensensordaten für das Objekt 801 von einem Tiefensensor und Tiefensensordaten für das Objekt 802 von einem anderen Tiefensensor einander infolge der Verwendung eines Formmodells zugeordnet. In diesem Fall wurde ebenfalls ein vollständiges 3D-Formmodell einer Person eingesetzt, um die Tiefensensordaten zu aggregieren. Der daraus resultierende aggregierte Datenpunkt für den anderen Tiefensensor kann als Teil eines Tracklets für den anderen Tiefensensor auf die 2D-Ebene projiziert werden. Die Tracklets können wie an anderer Stelle in dieser Schrift beschrieben zugeordnet werden. In einer alternativen Ausführungsform können die Tiefensensordaten zuerst auf die 2D-Ebene projiziert werden und ein 2D-Formmodell eingesetzt werden, um die projizierten Tiefensensordaten in einen aggregierten Datenpunkt zu aggregieren, der Teil eines Tracklets ist.
  • Vorteile der in dieser Schrift beschriebenen Merkmale sind die genaue, großflächige Verfolgung von Fußgängern unter Verwendung von mehrfacher, simultaner Obj ektverfolgung über mehrere Tiefensensoren hinweg unter Einsatz von räumlicher und zeitlicher Einheitlichkeit und Verwendung von mehrperspektivischen Formmodellen für eine verbesserte Verfolgungsgenauigkeit.
  • Wenngleich die Offenbarung in Verbindung mit lediglich einer begrenzten Anzahl von Ausführungsformen ausführlich bereitgestellt ist, versteht es sich ohne Weiteres, dass die Offenbarung nicht auf derartige offenbarte Ausführungsformen beschränkt ist. Vielmehr kann die Offenbarung modifiziert werden, um eine beliebige Anzahl von Variationen, Abänderungen und Ersetzungen oder äquivalente Anordnungen einzubeziehen, die vorangehend nicht beschrieben worden sind, jedoch mit dem Geist und Umfang der Offenbarung in Einklang stehen. Zusätzlich sind zwar verschiedene Ausführungsformen der Offenbarung beschrieben worden, doch es versteht sich, dass die beispielhafte(n) Ausführungsform(en) lediglich einige der beschriebenen beispielhaften Aspekte beinhalten kann bzw. können. Dementsprechend ist die Offenbarung nicht als durch die vorhergehende Beschreibung begrenzt anzusehen, sondern sie ist lediglich durch den Umfang der beigefügten Ansprüche begrenzt.

Claims (20)

  1. Objektverfolgungssystem, umfassend: einen Tiefensensor, der so eingesetzt ist, dass er mindestens ein nahezu kontinuierliches Sichtfeld (field of view - FOV) aufweist; und eine Steuerung, die an den Tiefensensor gekoppelt ist und zu Folgendem konfiguriert ist: räumliches und zeitliches Synchronisieren einer Ausgabe von dem Tiefensensor und Verfolgen jeweiliger Bewegungen von einzelnen Objekt innerhalb des nahezu kontinuierlichen FOV, wenn sich jedes einzelne Objekt durch das nahezu kontinuierliche FOV bewegt.
  2. Objektverfolgungssystem nach Anspruch 1, wobei der Tiefensensor so eingesetzt ist, dass er ein kontinuierliches FOV aufweist.
  3. Objektverfolgungssystem nach Anspruch 1 oder 2, wobei die räumliche Synchronisierung anhand eines Vergleichs zwischen einer Ausgabe von dem Tiefensensor und einem Koordinatensystem, das für den Objektverfolgungsbereich und den Tiefensensor definiert ist, erlangt wird.
  4. Objektverfolgungssystem nach Anspruch 1, 2 oder 3, wobei die zeitliche Synchronisierung durch eines oder mehrere von Bezugnahme auf eine Netzwerkzeit und Zeitstempeln der Ausgabe des Tiefensensors erlangt wird.
  5. Objektverfolgungssystem, umfassend: eine Struktur, die dazu ausgebildet ist, einen Objektverfolgungsbereich zu definieren; ein Netzwerk aus Tiefensensoren, das so in der gesamten Struktur eingesetzt ist, dass es mindestens ein nahezu kontinuierliches Sichtfeld (FOV) aufweist, das durch mindestens einen Abschnitt des Objektverfolgungsbereichs überlappt wird; und eine Steuerung, die an die Tiefensensoren gekoppelt ist, wobei die Steuerung zu Folgendem konfiguriert ist: räumliches und zeitliches Synchronisieren einer Ausgabe von jedem der Tiefensensoren und Verfolgen jeweiliger Bewegungen von jedem einzelnen Objekt innerhalb des nahezu kontinuierlichen FOV, wenn sich jedes einzelne Objekt durch das nahezu kontinuierliche FOV bewegt.
  6. Objektverfolgungssystem nach Anspruch 5, wobei der Objektverfolgungsbereich einen Aufzugvorraum umfasst.
  7. Objektverfolgungssystem nach Anspruch 5, wobei der Objektverfolgungsbereich einen Fußgängerweg in einer Wohn-, Industrie-, Militär-, Gewerbe- oder Gemeindeimmobilie umfasst.
  8. Objektverfolgungssystem nach Anspruch 5, 6 oder 7, wobei das Netzwerk aus Tiefensensoren so in der gesamten Struktur eingesetzt ist, dass es ein kontinuierliches FOV aufweist.
  9. Objektverfolgungssystem nach Anspruch 5 bis 8, wobei die räumliche Synchronisierung anhand eines Vergleichs zwischen einer Ausgabe von jedem der Tiefensensoren und einem Koordinatensystem, das für den Objektverfolgungsbereich und jeden der Tiefensensoren definiert ist, erlangt wird.
  10. Objektverfolgungssystem nach Anspruch 5 bis 9, wobei die zeitliche Synchronisierung durch Bezugnahme auf eine Netzwerkzeit erlangt wird.
  11. Objektverfolgungssystem nach Anspruch 5 bis 9, wobei die zeitliche Synchronisierung anhand von Zeitstempeln der Ausgabe jedes der Tiefensensoren erlangt wird.
  12. Objektverfolgungsverfahren, umfassend: Einsetzen von Tiefensensoren, sodass sie mindestens ein nahezu kontinuierliches Sichtfeld (FOV) aufweisen; räumliches und zeitliches Synchronisieren der Tiefensensoren mit Weltkoordinaten und einer Bezugszeit; Erheben von Tiefenpunkten von jedem Tiefensensor; Umwandeln der Tiefenpunkte in Tiefenpunkte der Weltkoordinaten; Projizieren der Tiefenpunkte der Weltkoordinaten auf eine Ebene; und Ausführen von Datenzuordnung in Bezug auf die Projektion der Tiefenpunkte der Weltkoordinaten auf sequentielle Karten der Ebene während des Verlaufs der Bezugszeit zum Entfernen von Ausreißertracklets, die durch projizierte Tiefenpunkte auf einer relativ kleinen Anzahl der Karten ausgebildet sind, und zum Gruppieren von verbleibenden Tracklets, die durch projizierte Tiefenpunkte auf einer relativ großen Anzahl der Karten ausgebildet sind.
  13. Objektverfolgungsverfahren nach Anspruch 12, wobei das Einsetzen umfasst, dass die Tiefensensoren in einem Netzwerk innerhalb einer Struktur eingesetzt werden, die dazu ausgebildet ist, einen Objektverfolgungsbereich zu definieren, sodass das nahezu kontinuierliche FOV mindestens einen Abschnitt des Objektverfolgungsbereichs überlappt.
  14. Objektverfolgungsverfahren nach Anspruch 12, wobei das Einsetzen umfasst, dass die Tiefensensoren so eingesetzt werden, dass sie ein kontinuierliches FOV aufweisen.
  15. Objektverfolgungsverfahren nach Anspruch 12, 13 oder 14, wobei das räumliche Synchronisieren der Tiefensensoren mit den Weltkoordinaten umfasst, dass jeder der Tiefensensoren auf die Weltkoordinaten kalibriert wird.
  16. Objektverfolgungsverfahren nach Anspruch 12, 13 oder 14, wobei das zeitliche Synchronisieren der Tiefensensoren mit der Bezugszeit eines oder mehrere von Verknüpfen mit einer Netzwerkzeit und Zeitstempeln einer Ausgabe jedes der Tiefensensoren umfasst.
  17. Objektverfolgungsverfahren nach Anspruch 12 bis 16, wobei die relativ kleine und große Anzahl der Karten aktualisierbar sind.
  18. Objektverfolgungsverfahren nach Anspruch 12 bis 17, ferner umfassend Ausführen einer Nächster-Nachbar-Suche zum Gruppieren der verbleibenden Tracklets.
  19. Objektverfolgungsverfahren nach Anspruch 12 bis 18, wobei das Umwandeln der Tiefenpunkte in die Tiefenpunkte der Weltkoordinaten umfasst, dass jeder der Tiefenpunkte in die Tiefenpunkte der Weltkoordinaten umgewandelt wird.
  20. Objektverfolgungsverfahren nach Anspruch 19, ferner umfassend Ausführen eines Formmodells zum Aggregieren mehrerer Punkte mit einer räumlichen Verteilung zur anschließenden Projektion oder zum Aggregieren mehrerer projizierter Punkte in einen Punkt zum anschließenden Verfolgen.
DE102019202901.9A 2018-03-05 2019-03-04 Fußgängerverfolgung unter Verwendung eines Tiefensensornetzwerks Pending DE102019202901A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810211942.2 2018-03-05
CN201810211942.2A CN110232701A (zh) 2018-03-05 2018-03-05 使用深度传感器网络的行人跟踪

Publications (1)

Publication Number Publication Date
DE102019202901A1 true DE102019202901A1 (de) 2019-09-05

Family

ID=67622663

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019202901.9A Pending DE102019202901A1 (de) 2018-03-05 2019-03-04 Fußgängerverfolgung unter Verwendung eines Tiefensensornetzwerks

Country Status (3)

Country Link
US (1) US20190273871A1 (de)
CN (1) CN110232701A (de)
DE (1) DE102019202901A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025842A1 (en) * 2019-08-05 2021-02-11 Tellus You Care, Inc. Non-contact identification of multi-person presence for elderly care
DE102019219750B4 (de) * 2019-12-16 2021-11-25 Zf Friedrichshafen Ag Fahrerassistenzsystem und Verfahren zum Detektieren von Objektbarrieren in 3D-Punktewolken

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2515926B (en) * 2010-07-19 2015-02-11 Ipsotek Ltd Apparatus, system and method
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US20140104394A1 (en) * 2012-10-15 2014-04-17 Intel Corporation System and method for combining data from multiple depth cameras
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
CN106144861B (zh) * 2015-04-03 2020-07-24 奥的斯电梯公司 用于乘客运输控制的基于深度传感器的乘客感测
CN112850406A (zh) * 2015-04-03 2021-05-28 奥的斯电梯公司 用于乘客运输的通行列表产生
US10088549B2 (en) * 2015-06-25 2018-10-02 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices

Also Published As

Publication number Publication date
US20190273871A1 (en) 2019-09-05
CN110232701A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
EP1589484B1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE10029423B4 (de) Objekterkennungssystem
DE69127968T2 (de) Dreidimensionales echtzeit-sensorsystem
WO2002103385A1 (de) Verfahren zur bereitstellung von bildinformationen
DE102015219544A1 (de) System und Verfahren zur Verfolgung optischer Codes
EP3782117A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
DE10258794A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102010020867A1 (de) Strassenform-Erkennungsvorrichtung
EP2005361A1 (de) Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE102015005267A1 (de) Informationsverarbeitungsvorrichtung, Verfahren dafür und Messvorrichtung
DE102009016819B4 (de) Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe, Computerprogramm, Computerprogammprodukt, Stereokameraeinrichtung, aktiv Strahlung aussendendes Bildsensorsystem und Überwachungsvorrichtung
DE102018108027A1 (de) Objekterfassungsvorrichtung
DE112017008101T5 (de) Autonome roboter und verfahren zum betreiben derselben
DE102016200828A1 (de) Objekterfassungsvorrichtung und Objekterfassungsverfahren
DE102014217361B4 (de) Bestimmen der quellspur eines sich bewegenden elements, das mit der zielspur zusammengeführt wird
WO2013078568A1 (de) Verfahren und vorrichtung zur überwachung eines überwachungsbereichs
WO2020244717A1 (de) Detektion, 3d-rekonstruktion und nachverfolgung von mehreren relativ zueinander bewegten starren objekten
DE10154861A1 (de) Verfahren zur Bereitstellung von Bildinformationen
DE102018123393A1 (de) Erkennung von Parkflächen
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE102019202901A1 (de) Fußgängerverfolgung unter Verwendung eines Tiefensensornetzwerks
DE102015115786A1 (de) Doppler-basierte Segmentierung und optischer Fluss in Radarbildern
DE112019007390T5 (de) Verfahren, Vorrichtung und Computerprogramm zur Verfolgung von sich bewegenden Objekten
DE102019117559A1 (de) Verfahren und System zum Fusionieren von zweidimensionalen semantischen Informationen aus Bildern mit einer dreidimensionalen Punktwolke

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000