DE102008057176B4 - Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung - Google Patents

Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung Download PDF

Info

Publication number
DE102008057176B4
DE102008057176B4 DE102008057176.8A DE102008057176A DE102008057176B4 DE 102008057176 B4 DE102008057176 B4 DE 102008057176B4 DE 102008057176 A DE102008057176 A DE 102008057176A DE 102008057176 B4 DE102008057176 B4 DE 102008057176B4
Authority
DE
Germany
Prior art keywords
camera
determining
objects
statistical distribution
spatial coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102008057176.8A
Other languages
English (en)
Other versions
DE102008057176A1 (de
Inventor
Dipl.-Phys. Dr. Schertler Klaus
Dipl.-Inform. Liebelt Jörg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
EADS Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Deutschland GmbH filed Critical EADS Deutschland GmbH
Priority to DE102008057176.8A priority Critical patent/DE102008057176B4/de
Publication of DE102008057176A1 publication Critical patent/DE102008057176A1/de
Application granted granted Critical
Publication of DE102008057176B4 publication Critical patent/DE102008057176B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Automatisierbares Rekonstruktionsverfahren zur Ermittlung räumlicher Koordinaten eines durch eine digitale Kamera überwachten Raums, der von einer Vielzahl von Objekten frequentiert wird, die Größen (H) aufweisen, welche durch eine Ausdehnung der Objekte entlang einer Dimension definiert sind und die einer vorgegebenen statistischen Verteilung (22) folgen, mit den folgenden Schritten: a) Bestimmung einer Kalibrierungsfunktion zur Umrechnung von Koordinaten eines von der Kamera aufgenommenen Bildes in räumliche Koordinaten des überwachten Raums, wobei die Kalibrierungsfunktion eine Projektionsmatrix (K) und eine Skalierungsmatrix (S) aufweist, die jeweils in einem eigenen Schritt bestimmt werden, b) Ermitteln der räumlichen Koordinaten aus von der digitalen Kamera erstellten Bilddaten mittels der Kalibrierungsfunktion, gekennzeichnet durch die Schritte: c) Zuweisen von Referenzpunkten an die Objekte d) Ermitteln der Größen (H) ausgehend von den Referenzpunkten e) Ermittlung einer statistischen Verteilung (20) von gemessenen Größen (H) anhand der von der digitalen Kamera erstellten Bilddaten, f) Ermittlung der Skalierungsmatrix (S) mittels einer Approximation, so dass die gemessene statistische Verteilung (20) mittels der Skalierungsmatrix (S) an die vorgegebene statistische Verteilung (22) der Größen (H) angeglichen wird, g) Durchführen der Schritte e) und f) für jeden möglichen Referenzpunkt in einem Koordinatensystem der Kamera.

Description

  • Die Erfindung betrifft ein automatisierbares Rekonstruktionsverfahren zur Ermittlung der räumlichen Koordinaten von Objekten eines durch eine digitale Kamera überwachten Raums, der von einer Vielzahl von Objekten frequentiert wird, die Größen aufweisen, welche durch eine Ausdehnung der Objekte entlang einer Dimension definiert sind und die einer vorgegebenen statistischen Verteilung folgen, mit den Schritten Bestimmung einer Kalibrierungsfunktion zur Umrechnung von Koordinaten eines von der Kamera aufgenommenen Bildes in räumliche Koordinaten des überwachten Raums, wobei die Kalibrierungsfunktion eine Projektionsmatrix und eine Skalierungsmatrix aufweist, die jeweils in einem eigenen Schritt bestimmt werden, und Ermitteln der räumlichen Koordinaten aus von der digitalen Kamera erstellten Bilddaten mittels der Kalibrierungsfunktion. Des Weiteren betrifft die Erfindung eine automatische Überwachungsvorrichtung mit einer Kamera und einer Auswerteeinrichtung, die zur Ermittlung der räumlichen Koordinaten eines durch die Kamera überwachten Raums, wobei Größen im Raum vorhandener Objekte einer vorgegebenen statistischen Verteilung folgen, wobei die Größen (H) durch eine Ausdehnung der Objekte entlang einer Dimension definiert sind und wobei der Raum von einer Vielzahl der Objekte frequentiert wird, ausgebildet ist, wobei die Auswerteeinrichtung eine Kalibrierungseinrichtung zur Bestimmung einer Kalibrierungsfunktion zur Umrechnung von Koordinaten eines von der Kamera aufgenommenen Bildes in räumliche Koordinaten des überwachten Raums, aufweisend eine Projektionsmatrix und eine Skalierungsmatrix, und eine Koordinatenermittlungseinrichtung zum Ermitteln der räumllichen Koordinaten aus von der Kamera erstellten Bilddaten mittels der Kalibrierungsfunktion aufweist.
  • Zur Überwachung von öffentlichen Plätzen, Gebäuden oder Infrastrukturen werden zunehmend Video-Überwachungskameras (CCTV-Kameras) eingesetzt. Diese erzeugen Bilder (und Bildsequenzen) der überwachten Szenerie. Aus den so erzeugten Bildern lassen sich im Allgemeinen keine Rückschlüsse über die räumliche Struktur (3D-Struktur) der Szenerie gewinnen.
  • Aus dem Stand der Technik sind verschiedene Verfahren zur räumlichen Rekonstruktion von Szenen bekannt. Da dazu gewöhnlich zusätzliche Sensoren, mit denen unmittelbar räumliche Informationen gewonnen werden, eingesetzt werden, sind Aufwand und Kosten dafür beträchtlich.
  • Ebenso sind Verfahren zur Erkennung von Objekten bekannt, die in Bildern Objekte eines bestimmten Typs erkennen und deren Größe ermitteln können. Dadurch ist es beispielsweise möglich, Menschen in einem Bild einer Überwachungskamera zu erkennen.
  • Für die folgende Darlegung der Erfindung wird insbesondere auf die folgenden Referenzen beziehungsweise Dokumente aus dem Stand der Technik Bezug genommen:
    • [1] Muliple View Geometry in Computer Vision. Richard Hartley, Andrew Zisserman, Cambridge University Press 2004
    • [2] Histograms of Oriented Gradients for Human Detection. Navneet Dalal, Bill Triggs, CVPR 2005
    • [3] Fast Human Detection Using a Cascade of Histograms of Oriented Gradients. Qiang Zhu, Shai Avidan, Mei-Chen Yeh, and Kwang-Ting Cheng. CVPR 2006
    • [4] Single View Metrology. A. Criminisi, I. Reid, A Zisserman. International Journal of Computer Vision 1999
  • In ROTHER, D. et al.: What Can Casual Walkers Tell Us About A 3D Scene? In: IEEE 11th International Conference an Computer Vision, 2007, S. 1–8 wird mithilfe der Erkennung von Fuß- und Kopfpunkten von Personen, die sich durch eine von einer digitalen Kamera aufgenommene Szene bewegen, eine Kamerakalibrierung durchgeführt werden kann. Aus der Ausrichtung der Menschen, die im Wesentlichen senkrecht zum Boden angenommen wird, werden ein Horizont sowie Fluchtpunkte berechnet. Die Skalierung der Szene beschränkt sich darauf, allgemein den Median der beobachteten Höhe und Breite der Personen mit einem bekannten Median zu vergleichen.
  • Aus BREITENSTEIN, M. D. et al.: Probabilistic Parameter Selection for Learning Scene Structure from Video. In: British Machine Vision Conference 2008, 1.–4. September 2008 offenbart ein Verfahren, um bei einer automatisierten Szenerieerkennung die Genauigkeit zu verbessern. Um fehlerhafte Messungen von der Auswertung auszuschließen, werden für Bereiche des Kamerabildes Größenkorridore vorgegeben. Fällt das Ergebnis einer Messung in einem der Bereiche nicht in den Größenkorridor, so wird es ignoriert, um fehlerhafte Messungen von der Auswertung auszuschließen.
  • Auch KRAHNSTOEVER, N. und MENDONCA, P.R.S.: Autocalibration from Tracks of Walking People. In: British Machine Vision Conference 2006 offenbart ein Modell für Störungen, welche die Messungen beeinflussen. Die Eigenschaften der Störungen werden anhand von realen Szenen abgeschätzt, so dass die Parameter des Störungsmodells angepasst werden können. Als Ergebnis wird ein Verfahren vorgestellt, mit dem Messwertsammlungen makroskopisch korrigiert werden können,
  • Die Erfindung geht auf die Aufgabe zurück, in Video-Überwachungsanlagen mit geringem Aufwand räumliche Koordinaten des beobachteten Raums zu ermitteln. Des Weiteren soll eine einfach und kostengünstig herzustellende automatische Überwachungsvorrichtung vorgeschlagen werden.
  • Zur Lösung dieser Aufgabe wird ein Verfahren gemäß Patentanspruch 1 vorgeschlagen.
  • Zur Ermittlung der räumlichen Koordinaten ist keine bauliche Veränderung der Überwachungsanlage notwendig. Somit ist das Verfahren auch in einer bereits bestehenden Anlage einsetzbar. Des Weiteren kann die Überwachungsanlage aus handelsüblichen Standardkomponenten aufgebaut sein. Kosten- und wartungsintensive Spezialsensoren sind nicht mehr notwendig. Dadurch, dass die Kalibrierungsfunktion eine Projektionsmatrix und eine Skalierungsmatrix aufweist, die jeweils in einem eigenen Schritt bestimmt werden, ist es möglich, die Ermittlung der Kalibrierungsfunktion in einfacher zu lösende Teilprobleme zu unterteilen. Den Objekten werden Referenzpunkte, beispielsweise Fußpunkte, zugewiesen und die Größe ausgehend von den Referenzpunkten bestimmt. Dadurch ist gewährleistet, dass für die Größenmessung ein einheitlicher Startpunkt verwendet wird und die Messungen vergleichbar sind. Als Referenzpunkte wären beispielsweise auch Kopfpunkte, Mittelpunkte, Eckpunkte oder sonstige einfach zu erkennende beziehungsweise jedem Objekt eindeutig zuordenbare Punkte denkbar. Für jeden möglichen Referenzpunkt wird eine eigene Kalibrierungsfunktion ermittelt. Dadurch wird der Einfluss perspektivischer Effekte auf die Messergebnisse verringert.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche 2 bis 4.
  • Für jeden Bildpunkt des von der digitalen Kamera aufgenommenen Bildes wird vorteilhaft eine eigene Kalibrierungsfunktion ermittelt. Dadurch wird die Genauigkeit der ermittelten Koordinaten erhöht.
  • Die Größen können vorteilhaft mittels Musterabgleichverfahren ermittelt werden. Solche Verfahren sind aus dem Stand der Technik vielfach bekannt und ermöglichen eine genaue Größenbestimmung der zu beobachtenden Objekte.
  • Die Projektionsmatrix kann mittels einer direkten Lineartransformation ermittelt werden.
  • Vorteilhaft wird die Skalierungsmatrix mittels einer Approximation nach der Methode der kleinsten Quadrate ermittelt, wobei eine gemessene statistische Verteilung von Größen an die vorgegebene statistische Verteilung angeglichen wird.
  • Des Weiteren werden zur Lösung der Aufgabe eine Vorrichtung gemäß Anspruch 5 vorgeschlagen.
  • Einzelheiten und weitere Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels. Die zur Verdeutlichung des Ausführungsbeispiels beigefügten schematischen Zeichnungen veranschaulichen im Einzelnen:
  • 1 ein von der digitalen Kamera aufgenommenes Bild des überwachten Raums mit mehreren darin befindlichen Objekten;
  • 2 eine gemessene Verteilung von Größen der Objekte und
  • 3 eine vorgegebene statistische Verteilung der Größen der Objekte.
  • Es gibt verschiedene Techniken zur räumlichen Rekonstruktion von Szenen (3D-Rekonstruktion) unter Verwendung von Sensorik. Diese erfordern allerdings einen in üblichen Video-Überwachungssystemen nicht realisierten erhöhten technischen oder methodischen Aufwand. Der erhöhte Aufwand besteht beispielsweise in der Notwendigkeit von Sensorik, deren Messprinzip unmittelbar räumliche Informationen gewinnen kann (z. B. Distanzkameras, LIDAR-Systeme) oder in der Verwendung von Multi-View Techniken. Zu den Multi-View Techniken gehört beispielsweise die Verwendung von Stereo-Kameras („Structure form Stereo”) oder die Realisierung von in der Szene translatorisch bewegten Kameras („Structure from Motion”). Aus einer nicht translatorischen Bewegung einer schwenk- und zoombaren Kamera (”Pan-Tilt-Zoom-Kamera”) lassen sich hingegen keine räumlichen Informationen gewinnen [1].
  • Somit ist mit einer einzelnen, üblicherweise fest installierten, Standard-Überwachungskamera gegenwärtig die Rekonstruktion der 3D-Strukturen der beobachteten Szene nicht möglich.
  • Für die Lösung des Problems macht man sich zunutze, dass Video-Überwachungssysteme bedarfsbedingt vorrangig in Bereichen eingesetzt werden, in denen sich viele Menschen aufhalten (z. B. öffentliche Plätze, Bahnhöfe oder Flughäfen). Dabei gibt es typischerweise keine begehbaren Bereiche der Szene, die nicht im Laufe der Zeit auch wirklich durch Personen begangen werden. In anderen Worten: die sich in der Szene bewegenden Personen „sondieren” die räumliche 3D-Struktur der Szene.
  • Es existieren Verfahren, um Position und Pixel-Abmessungen H von Personen 10 in einem Kamerabild 12 einer Szene zu bestimmen [2, 3]. Ein derartiges Kamerabild 10 ist in 1 gezeigt. Die folgenden Ausführungen beziehen sich beispielhaft auf Körpergröße H von Personen 10 und sind in gleicher Weise auf andere Messgrößen, wie beispielsweise Schulterbreiten, anzuwenden. Die Pixel-Größe H ist dabei die Anzahl von Bildpunkten (Pixel), welche die Person gemessen vom Kopf bis zu den Füßen im Bild darstellt. Dazu werden als Referenzpunkt ein Fußpunkt 14 und ein Kopfpunkt 16 ermittelt.
  • Zunächst wird jedem Punkt {X, Y} an dem sich der Fußpunkt 14 einer Person 10 befindet, deren Pixel-Größe H zugeordnet. Für jeden Punkt {X, Y} der Bildebene, auf dem der Fußpunkt 14 einer Person 10 detektiert wurde, kann während einer Beobachtungszeit eine Messreihe von Pixel-Größen H {H1 (X, Y), H2 (X, Y), ....} gewonnen werden. Hk(X, Y) ist dabei die Pixel-Größe H der k'ten an Position {X, Y} detektierten Person.
  • Eine mögliche Ausführung dieses Verfahrens ist durch einen Musterabgleich realisierbar („pattern matching”). Dazu werden Referenzmuster mit Personen 10 unterschiedlicher Größe über das Kamerabild bewegt. Wird an einer Pixel-Position {X, Y} eines Referenzmusters im Bild eine ausreichende Übereinstimmung zwischen dem Referenzmuster und dem Kamerabild 12 vorgefunden, so wird der Position {X, Y} die Pixelgröße H der Person 10 im Referenzmuster zugeordnet. Das Koordinatensystem wird dabei so gewählt, dass {X, Y} dem Fußpunkt 14 und {X, Y + H} dem Kopfpunkt 16 der Person 10 im Bild zugeordnet wird.
  • Dadurch ist nun jedem Pixel des Kamerabildes 12 eine Messreihe von detektierten Pixel-Größen H von Personen 10 zugeordnet. Daraus lässt sich eine Verteilungs-Statistik der Pixel-Größen in Form eines Histogramms 30 gewinnen, wie es in 2 gezeigt ist. Auf einer Rechtswertachse 32 des Histogramms 30 sind die Größen H der erkannten Personen 10 und auf einer Hochwertachse 34 die gemessene Häufigkeit von Personen 10 mit der jeweiligen Größe H aufgetragen. Ein solches Histogramm 30 wird für jeden Punkt {X, Y} des Kamerabildes erzeugt.
  • Um die den Kamerabildern zugrunde liegende 3D-Szene vollständig und eindeutig rekonstruieren zu können, wird die metrische Kamerakalibration bestimmt. Diese geht aus der Projektionsgleichung x2D = K·S·X3D hervor. Die Größen K und S, die in der Projektionsgleichung eine 3D-Raumkoordinate X3D (Weltkoordinate) in eine 2D-Bildkoordinate x2D = {X, Y} umrechnen, müssen zur Rekonstruktion bestimmt werden. K ist hierbei die Projektionsmatrix und S die metrische Skalierungsmatrix.
  • Aus den gemessenen Pixel-Größen H {H1(X, Y), H2(X, Y), ....} der Menschen in den Kamerabildern wird zuerst die Projektionsmatrix K bestimmt. Zur Bestimmung der Projektionsmatrix K wird angenommen, dass sich in der Szene wenigstens ein Teilbereich der Bildebene identifizierten lässt, dessen 3D-Rekonstruktion lokal planar und horizontal ist. Ein solcher Bereich muss im Kamerabild 12 erkannt werden. Zur Ausführung der Identifikation kann beispielsweise im Kamerabild 12 nach homogen texturierten, von Menschen begangenen Flächen gesucht werden. Als Beispiel kann ein Bereich 18 um den Bildmittelpunkt in 1 dienen.
  • Zur weiteren Ausführung der Bestimmung von K werden 3 Messungen der Pixel-Größen derart ausgewählt, dass das mittels einer direkten Lineartransformation (direct linear transform, DLT, [1]) bestimmte K ein Einheitskamerakoordinationssystem so definiert, dass die Koordinatensystemachsen durch orthogonale 3D-Rekonstruktionen der drei gemessenen Menschen aufgespannt werden.
  • Zur Bestimmung der Skalierungsmatrix S macht man sich zunutze, dass für unterschiedliche Menschengruppen bekannte statistische Verteilungen der Körpergrößen existieren. Durch Vergleich der als bekannt angenommenen realen, gemessenen Verteilung 20 der beobachteten Menschengruppen mit der vorgegebenen Verteilung 22 der Pixel-Größen H wird S bestimmt.
  • Für die Bestimmung der drei metrischen Skalierungsfaktoren in der Skalierungsmatrix S werden die Fußpunkte 14 mit den Koordinaten {X, Y}, die sich in dem Bereich 18 befinden, und die aus den Pixel-Größen H berechneten Kopfpunkte 16 mit den Koordinaten {X, Y + H} in das 3D-Kamerakoordinationssystem rückprojiziert. Zur Bestimmung dieser Rückprojektionen nutzt man die Ebenenannahme derart, dass die Projektionslinien von den Fußpunkten 14 die Grundebene des Kamerakoordinationssystems gerade in den 3D-Fußpunkten 14 der rekonstruierten 3D-Menschenmessungen schneiden. Entsprechend lassen sich die Kopfpunkte 16 als Schnittpunkte der Projektionslinien mit den zur Grundebene orthogonalen Geraden durch die rekonstruierten 3D-Fußpunkte 14 bestimmen [4]. In gleicher Weise lassen sich weitere gemessene Bildgrößen, wie beispielsweise Schulterbreiten, zur Bestimmung der metrischen Skalierung heranziehen.
  • Nun verwendet man die Tatsache, das die Messgrößen der rückprojizierten Personen 10 im 3D-Kamerakoordinatensystem dieselben statistischen Eigenschaften aufweisen müssen wie die als real angenommene vorgegebene Verteilung 22 der Größen H, die in 3 gezeigt ist. Damit lassen sich die Skalierungsfaktoren der Kamerakoordinationssystemachsen so bestimmen, dass eine rekonstruierte Größenverteilung mit der als real angenommenen vorgegebenen Verteilung 22 der Größen H bestmöglich übereinstimmt. Dazu können bekannte Optimierungsmethoden herangezogen werden, wie sie beispielsweise in [1] beschrieben sind.
  • Aus den nunmehr bekannten metrischen Kamerakalibration lassen sich sämtliche Menschenpositionen, unabhängig von ihrer Grundebene, vollständig dreidimensional rekonstruieren.
  • Hierzu verwendet man wiederum, dass die in 3D rückprojizierte Position jeder Menschenmessung eindeutig dadurch bestimmt wird, dass die Gesamtverteilung der rekonstruierten Menschengrößen mit der realen Größenverteilung bestmöglich übereinstimmen muss und dass die Hauptachsen der rekonstruierten Menschenmessungen orthogonal zur vertikalen Achse des Kamerakoordinationssystems liegen. Wiederum können bekannte Optimierungsmethoden herangezogen werden.
  • Im Laufe der Beobachtungszeit wird somit sukzessive sowohl die Kamera-Kalibrierung als auch die räumliche Struktur in partiellen, von Personen 10 begangenen, Bereichen der Szene rekonstruiert.
  • Der wesentliche Vorteil der Erfindung liegt darin, dass zur 3D-Rekonstruktion der Szene ausschließlich Bildmaterial einer einzelnen fest installierten Video-Überwachungskamera notwendig ist. Das Verfahren lässt sich somit direkt auf den schon existierenden Bestand von Überwachungssystemen anwenden, ohne die Installation neuer Sensorik zu erfordern. Zudem findet die 3D-Rekonstruktion selbstkalibrierend und vollautomatisch statt. Dies bedeutet, dass weder die Kalibrierung der Kamera noch deren Installationsort und Ausrichtung explizit bekannt sein muss. Ein manuelles Eingreifen durch einen Benutzer ist nicht notwendig.
  • Das Verfahren ist von Personen auf andere Objekte beispielsweise Fahrzeuge, übertragbar.
  • Das Verfahren lässt sich von CCTV-Kameras auf andere bildgebende Sensormodalitäten, beispielsweise Infrarot-Kameras, übertragen.
  • Das Verfahren lässt sich auf die Verwendung von schwenk- und zoombaren Kameras übertragen.
  • Durch eine erfolgreiche Rekonstruktion einer 3D-Szene lassen sich Geschwindigkeiten von Objekten in der Bildebene (Optischer Fluss) in reale Geschwindigkeiten der Objekte am Boden umrechnen. Dies erleichtert die Interpretation der Objektbewegung. So kann bei Personen 10 zwischen gehen und rennen unterschieden werden.
  • Durch die Rekonstruktion einer 3D-Szene lassen sich Distanzen von Objekten in der Bildebene in reale Distanzen zueinander umrechnen. Dies erleichtert beispielsweise die Abschätzung, wie weit sich in einem Flughafen Personen 10 von einem abgestellten Gepäckstück entfernt haben. Ebenso lässt sich die reale Körpergröße von Personen 10 genauer aus dem Bildmaterial bestimmen.
  • Die bekannten rekonstruierten 3D Szenen mehrerer einzelner Kameras (mit überlappenden Szenenbereichen) erleichtern durch „Aneinandersetzen” die Bestimmung der relativen Positionierungen der Kameras und die Konstruktion eines zusammenhängenden Überwachungsbereichs.
  • Die Verwendung analoger Kameras ist durch die Verwendung einer Digitalisierungsvorrichtung ebenfalls möglich. Derartige Digitalisierungsvorrichtungen, auch „frame grabber” genannt, wandeln die analogen Signale von Kameras in digitale Bilddaten um. Eine Kombination aus analoger Kamera und Digitalisierungsvorrichtung entspricht somit einer digitalen Kamera.
  • Die Erfindung ermöglicht eine vollautomatisierte partielle Rekonstruktion der räumlichen Struktur der beobachteten Szene unter Verwendung einer fest installierten einzelnen unkalibrierten Standard-Überwachungskamera.
  • Bezugszeichenliste
  • 10
    Person
    12
    Kamerabild
    14
    Fußpunkt
    16
    Kopfpunkt
    18
    Bereich
    20
    gemessene Verteilung
    22
    vorgegebene Verteilung
    30
    Histogramm
    32
    Rechtswertachse
    34
    Hochwertachse
    H
    Größe
    K
    Projektionsmatrix
    S
    Skalierungsmatrix
    x2D
    Bildkoordinate
    X3D
    Raumkoordinate

Claims (5)

  1. Automatisierbares Rekonstruktionsverfahren zur Ermittlung räumlicher Koordinaten eines durch eine digitale Kamera überwachten Raums, der von einer Vielzahl von Objekten frequentiert wird, die Größen (H) aufweisen, welche durch eine Ausdehnung der Objekte entlang einer Dimension definiert sind und die einer vorgegebenen statistischen Verteilung (22) folgen, mit den folgenden Schritten: a) Bestimmung einer Kalibrierungsfunktion zur Umrechnung von Koordinaten eines von der Kamera aufgenommenen Bildes in räumliche Koordinaten des überwachten Raums, wobei die Kalibrierungsfunktion eine Projektionsmatrix (K) und eine Skalierungsmatrix (S) aufweist, die jeweils in einem eigenen Schritt bestimmt werden, b) Ermitteln der räumlichen Koordinaten aus von der digitalen Kamera erstellten Bilddaten mittels der Kalibrierungsfunktion, gekennzeichnet durch die Schritte: c) Zuweisen von Referenzpunkten an die Objekte d) Ermitteln der Größen (H) ausgehend von den Referenzpunkten e) Ermittlung einer statistischen Verteilung (20) von gemessenen Größen (H) anhand der von der digitalen Kamera erstellten Bilddaten, f) Ermittlung der Skalierungsmatrix (S) mittels einer Approximation, so dass die gemessene statistische Verteilung (20) mittels der Skalierungsmatrix (S) an die vorgegebene statistische Verteilung (22) der Größen (H) angeglichen wird, g) Durchführen der Schritte e) und f) für jeden möglichen Referenzpunkt in einem Koordinatensystem der Kamera.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Größen (H) mittels Musterabgleichverfahren ermittelt werden.
  3. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Projektionsmatrix (K) mittels einer direkten Lineartransformation ermittelt wird.
  4. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Skalierungsmatrix (S) nach der Methode der kleinsten Quadrate ermittelt wird.
  5. Automatische Überwachungsvorrichtung mit einer Kamera und einer Auswerteeinrichtung, die zur Ermittlung der räumlichen Koordinaten eines durch die Kamera überwachten Raums, wobei Größen (H) im Raum vorhandener Objekte einer vorgegebenen statistischen Verteilung (22) folgen, wobei die Größen (H) durch eine Ausdehnung der Objekte entlang einer Dimension definiert sind und wobei der Raum von einer Vielzahl der Objekte frequentiert wird, ausgebildet ist, wobei die Auswerteeinrichtung eine Kalibrierungseinrichtung zur Bestimmung einer Kalibrierungsfunktion zur Umrechnung von Koordinaten eines von der Kamera aufgenommenen Bildes in räumliche Koordinaten des überwachten Raums, aufweisend eine Projektionsmatrix (K) und eine Skalierungsmatrix (S), und eine Koordinatenermittlungseinrichtung zum Ermitteln der räumllichen Koordinaten aus von der Kamera erstellten Bilddaten mittels der Kalibrierungsfunktion aufweist, dadurch gekennzeichnet, dass die Kalibrierungseinrichtung zur Zuweisung von Referenzpunkten an die Objekte, zur Ermittlung der Größen (H) ausgehend von den Referenzpunkten, zur Ermittlung einer statistischen Verteilung (20) von gemessenen Größen (H) anhand der von der digitalen Kamera erstellten Bilddaten, zur Ermittlung der Skalierungsmatrix (S) mittels einer Approximation, so dass die gemessene statistische Verteilung (20) mittels der Skalierungsmatrix (S) an die vorgegebene statistische Verteilung (22) der Größen (H) angleichbar ist, und zur Durchführung dieser Ermittlung für jeden möglichen Referenzpunkt in einem Koordinatensystem der Kamera ausgebildet ist.
DE102008057176.8A 2008-11-13 2008-11-13 Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung Expired - Fee Related DE102008057176B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008057176.8A DE102008057176B4 (de) 2008-11-13 2008-11-13 Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008057176.8A DE102008057176B4 (de) 2008-11-13 2008-11-13 Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung

Publications (2)

Publication Number Publication Date
DE102008057176A1 DE102008057176A1 (de) 2010-05-27
DE102008057176B4 true DE102008057176B4 (de) 2014-04-24

Family

ID=42114418

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008057176.8A Expired - Fee Related DE102008057176B4 (de) 2008-11-13 2008-11-13 Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung

Country Status (1)

Country Link
DE (1) DE102008057176B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109238225B (zh) * 2018-09-03 2021-02-05 浙江大丰实业股份有限公司 移动式车台实时高度监护平台

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BREITENSTEIN, M.D. et al.: Probabilistic Parameter Selection for Learning Scene Structure from Video. In: British Machine Vision Conference 2008. *
CRIMINISI, C. et al.: Single View Metrology. In: International Journal or Computer Vision, 1999. *
DALAL, N. und TRIGGS, B.: Histograms of Oriented Gradients for Human Detection. In: IEEE Conference on Computer Vision and Pattern Recognition 2005. *
KRAHNSTOEVER, N. und MENDONCA, P.R.S.: Autocalibration from Tracks of Walking People. In: British Machine Vision Conference 2006. *
ROTHER, D. et al.: What Can Casual Walkers Tell Us About A 3D Scene? In: IEEE 11th International Conference on Computer Vision, 2007, S. 1-8. *
ZHU, Q. et al.: Fast Human Detection Using a Cascade of Histograms of Oriented Gradients. In: IEEE Conference on Computer Vision and Pattern Recognition 2006. *

Also Published As

Publication number Publication date
DE102008057176A1 (de) 2010-05-27

Similar Documents

Publication Publication Date Title
DE112018005656T5 (de) Bordinterne Umgebungserkennungsvorrichtung
EP2584493B1 (de) Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
EP2870765B1 (de) Verfahren und anordnung zum prüfen eines fahrzeugunterbodens eines kraftfahrzeuges
DE112010004767T5 (de) Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
EP1574986A1 (de) Vorrichtung und Verfahren zum Erfassen von Personen in einem Untersuchungsabschnitt
DE10029866A1 (de) Objekterkennungssystem
DE102007001649A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
EP1531342B1 (de) Verfahren zur Erkennung von Fussgängern
EP2786564A1 (de) Verfahren und vorrichtung zur überwachung eines überwachungsbereichs
DE102011011929A1 (de) Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
DE102014217361A1 (de) Bestimmen der quellspur eines sich bewegenden elements, das mit der zielspur zusammengeführt wird
DE102018123393A1 (de) Erkennung von Parkflächen
EP3931798B1 (de) Schätzung der bewegung einer bildposition
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
WO2020201217A1 (de) Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
DE4113992A1 (de) Verfahren zur automatischen dreidimensionalen ueberwachung von gefahrenraeumen
EP3614299A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
DE102008057176B4 (de) Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung
EP3857304A2 (de) Verfahren zum fokussieren einer kamera
DE112022002520T5 (de) Verfahren zur automatischen Kalibrierung von Kameras und Erstellung von Karten
EP3214602B1 (de) Verfahren zur dreidimensionalen erfassung von objekten
DE102006060612B4 (de) Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu
EP3352111B1 (de) Verfahren zum erkennen von kritischen ereignissen
EP3663800B1 (de) Verfahren zur objekterfassung mit einer 3d-kamera

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R082 Change of representative

Representative=s name: FLUEGEL PREISSNER KASTEL SCHOBER, DE

R081 Change of applicant/patentee

Owner name: AIRBUS DEFENCE AND SPACE GMBH, DE

Free format text: FORMER OWNER: EADS DEUTSCHLAND GMBH, 85521 OTTOBRUNN, DE

Effective date: 20140819

R082 Change of representative

Representative=s name: KASTEL PATENTANWAELTE, DE

Effective date: 20140819

Representative=s name: KASTEL PATENTANWAELTE PARTG MBB, DE

Effective date: 20140819

Representative=s name: FLUEGEL PREISSNER KASTEL SCHOBER PATENTANWAELT, DE

Effective date: 20140819

R020 Patent grant now final
R020 Patent grant now final

Effective date: 20150127

R082 Change of representative

Representative=s name: KASTEL PATENTANWAELTE, DE

Representative=s name: KASTEL PATENTANWAELTE PARTG MBB, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee