DE102007056835A1 - Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm - Google Patents

Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm Download PDF

Info

Publication number
DE102007056835A1
DE102007056835A1 DE102007056835A DE102007056835A DE102007056835A1 DE 102007056835 A1 DE102007056835 A1 DE 102007056835A1 DE 102007056835 A DE102007056835 A DE 102007056835A DE 102007056835 A DE102007056835 A DE 102007056835A DE 102007056835 A1 DE102007056835 A1 DE 102007056835A1
Authority
DE
Germany
Prior art keywords
surveillance
model
camera
point
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102007056835A
Other languages
English (en)
Inventor
Stephan Heigl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102007056835A priority Critical patent/DE102007056835A1/de
Priority to PCT/EP2008/062883 priority patent/WO2009068336A2/de
Priority to EP08804765A priority patent/EP2215601A2/de
Publication of DE102007056835A1 publication Critical patent/DE102007056835A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

Videoüberwachungssysteme dienen dazu, mit Hilfe von Überwachungskameras oftmals weiträumige, verwinkelte oder komplexe Überwachungsbereiche zu beobachten. Die mit den Überwachungskameras aufgenommenen Bilddatenströme werden üblicherweise in einer Überwachungszentrale oder dergleichen zusammmengeführt und dort entweder automatisiert oder durch Überwachungspersonal kontrolliert. Es wird ein Bildverarbeitungsmodul 3 zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in einem Überwachungsbereich für ein Überwachungssystem 1 zur Überwachung von mindestens diesem Überwachungsbereich mit mindestens einer Überwachungskamera 2 vorgeschlagen, mit einer Modelleingangsschnittstelle 6 zur Übernahme eines Modells oder Teilmodells des Überwachungsbereichs - nachfolgend zusammenfassend als Modell bezeichnet -, mit einer Kameraeingangsschnittstelle 7 zur Übernahme eines Kameramodells der Überwachungskamera 2, mit einer Objekteingangsschnittstelle zur Übernahme eines Objektpunkts des Überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt ist, wobei das Bildverarbeitungsmodul 5 ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in dem Überwachungsbereich zu bestimmen, wobei das Modell als ein 3-D-Modell ausgebildet ist, ...

Description

  • Stand der Technik
  • Die Erfindung betrifft ein Bildverarbeitungsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in einem Überwachungsbereich für ein Überwachungssystem zur Überwachung von mindestens diesem Überwachungsbereich mit einer Überwachungskamera, mit einer Modelleingangsschnittstelle zur Übernahme eines Modells oder Teilmodells des Überwachungsbereichs, mit einer Kameraeingangsschnittstelle zur Übernahme eines Kameramodells der Überwachungskamera, mit einer Objekteingangsschnittstelle zur Übernahme eines Objektpunkts des Überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt ist, wobei das Bildverarbeitungsmodul ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in dem Überwachungsbereich zu bestimmen. Ferner betrifft die Erfindung ein entsprechendes Verfahren zur Bestimmung der Objektposition eines Überwachungsobjekts sowie ein Computerprogramm.
  • Videoüberwachungssysteme dienen dazu, mit Hilfe von Überwachungskameras oftmals weiträumige, verwinkelte oder komplexe Überwachungsbereiche zu beobachten. Die mit den Überwachungskameras aufgenommenen Bilddatenströme werden üblicherweise in eine Überwachungszentrale oder dergleichen zusammengeführt und dort entweder automatisiert oder durch Überwachungspersonal kontrolliert.
  • Mit der steigenden Größe bzw. Komplexität der Überwachungsbereiche und somit einer steigenden Anzahl von Überwachungskameras nimmt die Anzahl von den Bilddatenströmen, welche von dem Wachpersonal kontrolliert werden müssen, stetig zu. Ab einer gewissen Anzahl von Videomonitoren zur Darstellung der Bilddatenströme muss davon ausgegangen werden, dass die Aufmerksamkeit für jeden einzelnen Videomonitor des Wachpersonals sicher verringert ist. Wird die Anzahl der Videomonitore weiter erhöht, so kann dies zu einer unüberschaubaren Anzahl führen, so dass eine ausreichende Überwachungsqualität möglicherweise nicht mehr gesichert ist.
  • Eine Weiterentwicklung von Videoüberwachungssystemen ist beispielsweise durch die Druckschrift DE 698 125 18 T2 , die wohl den nächstkommenden Stand der Technik bildet, gegeben, in der eine Bildverarbeitungsvorrichtung zur Beobachtung von zum Beispiel einem Fußballplatz offenbart ist. In dieser Druckschrift wird vorgeschlagen, dem Beobachter das Fußballfeld nicht mehr real darzustellen, sondern ihm ein Modell des Fußballfelds zu zeigen und die Fußballspieler als virtuelle Objekte einzublenden. Hierzu wird in einem ersten Schritt in einem Videobild die Lage des Fußballfeldes kalibriert, indem vier Eckpunkte des Fußballfelds in dem Videobild manuell bestimmt werden. In weiteren Schritten werden durch Bildverarbeitungsalgorithmen die Bilder von detektierten Fußballspielern in der Bildebene der Überwachungskamera mit Rechtecken (bounding-box) zu umgeben. Diese Rechtecke werden nachfolgend datentechnisch von der 2-D-Bildebene der Überwachungskamera in das 2-D-Modell des Fußballfelds übertragen. In einem nächsten Schritt werden die Rechtecke "aufgestellt", indem diese in dem 2-D-Modell des Fußballfeldes um eine der Überwachungskamera zugewandte Seitenlinie des Rechtecks um 90° geschwenkt werden. Die Proportionen des Rechtecks werden nach perspektivischen Gesichtspunkten verzerrt, so dass in dem 2-D-Modell des Fußballfelds zunächst perspektivisch annähernd richtige Abbilder der Fußballspieler dargestellt sind. In weiteren Schritten wird diese Operation für weitere Fußballspieler durchgeführt und so Ansichten eines jeden Fußballspielspielers aus verschiedenen Perspektiven erhalten. Diese perspektivischen Ansichten werden zu einem Modell des Fußballspielers zusammengezogen, so dass eine 3-D-Darstellung der Fußballspieler gebildet wird.
  • Offenbarung der Erfindung
  • Im Rahmen der Erfindung wird ein Bildverarbeitungsmodul mit den Merkmalen des Anspruchs 1, ein Verfahren zur Bestimmung einer Objektposition mit den Merkmalen des Anspruchs 8 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 12 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.
  • Das vorgeschlagene Bildverarbeitungsmodul ist vorzugsweise ein Teil eines Überwachungssystems realisiert, wobei das Überwachungssystem zur Überwachung von mindestens einem Überwachungsbereich mit einer Überwachungskamera geeignet und/oder ausgebildet ist, wobei die Überwachungskameras auf relevante Bereiche in dem Überwachungsbereich gerichtet und/oder zu richten sind. Ein weiterer offenbarter Erfindungsgegenstand ist somit auch ein derartiges Überwachungssystem mit dem Bildverarbeitungsmodul. Der Überwachungsbereich kann beispielsweise als das Innere eines Gebäudekomplexes, öffentliche Plätze, Krankenhäuser, etc. ausgebildet sein.
  • Das Bildverarbeitungsmodul ist zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in dem Überwachungsbereich ausgebildet. Eine Schätzung bedeutet in diesem Zusammenhang eine Bestimmung der Objektposition, wobei eine beliebige Definition für die Objektposition des Überwachungsobjekts verwendbar ist Beispiele für Definitionen sind der Schwerpunkt des Überwachungsobjekts, ein Fußpunkt des Überwachungsobjekts oder dergleichen. Das Überwachungsobjekt kann als beliebiges, bewegtes, quasi-stationäres oder stationäres Überwachungsobjekt ausgebildet sein und ist vorzugsweise dadurch gekennzeichnet, dass es in dem nachfolgend beschriebenen Modell nicht abgebildet ist.
  • Das Bildverarbeitungsmodul weist eine Modelleingangsschnittstelle zur Übernahme eines Modells oder eines Teilmodells des Überwachungsbereichs auf, wobei Modell oder Teilmodell nachfolgend zusammenfassend als Modell bezeichnet werden. Das Modell bildet statische, quasi-statische und/oder nicht-statische Elemente des Überwachungsbereichs ab. Beispielsweise kann das Modell die Pläne eines Gebäudes, Möbel, Schreibtische oder dergleichen enthalten. Quasi-statische Elemente sind beispielsweise bei der Überwachung eines Parkplatzes durch parkende Autos gegeben, welche üblicherweise eine längere Verweildauer unbewegt bleiben. Weiterhin kann das Modell auch nicht-statische Elemente enthalten, wie zum Beispiel durchfahrende Züge, Rolltreppen, Aufzüge, Paternoster oder dergleichen enthalten.
  • Eine Objekteingangsschnittstelle dient zur Übernahme eines Objektpunkts des Überwachungsobjekts. Der Objektpunkt wird auf Basis von einem oder mehreren Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt. Bei einer möglichen Umsetzung erfolgt in dem Bildverarbeitungsmodul oder in einem vorgeschalteten Modul eine Detektion des Überwachungsobjekts in dem Überwachungsbild, wobei das detektierte Abbild des Überwachungsobjekts z. B. mit einem Rechteck oder Polygon umschlossen wird und wobei z. B. ein Fußpunkt des Rechtecks als Objektpunkt weitergegeben wird. Alternativ hierzu kann selbstverständlich auch ein Schwerpunkt des Überwachungsobjekts oder dergleichen als Objektpunkt weitergegeben werden.
  • Ferner umfasst das Bildverarbeitungsmodul eine Kameraeingangsschnittstelle zur Übernahme eines Kameramodells. Das Kameramodell umfasst insbesondere die Lage und/oder Ausrichtung sowie die Abbildungs- und/oder Projektionseigenschaften der Überwachungskamera in Weltkoordinaten und/oder Modellkoordinaten, so dass die Überwachungskamera und deren Erfassungsbereich in das Modell integriert werden kann. Beispielsweise ist das Kameramodell als eine Transformationsmatrix realisiert, welche eine Transformation von Bildpunkten in der Bildebene der Überwachungskamera in das Modell erlaubt.
  • Modelleingangsschnittstelle und Kameraeingangsschnittstelle können auch als eine gemeinsame Schnittstelle ausgebildet sein, wobei das Modell dann das Kameramodell umfasst.
  • Das Bildverarbeitungsmodul ist steuerungstechnisch und/oder schaltungstechnisch ausgebildet, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in dem Überwachungsbereich zu bestimmen. Hierzu wird vorzugsweise zunächst die Lage des Objektpunkts in dem Modell bestimmt – somit die Lage des Objektspunkts in Modellkoordinaten bestimmt – und in einem weiteren Schritt die Lage in Modellkoordinaten auf eine Lage in Weltkoordinaten in dem Überwachungsbereich übertragen.
  • Der Erfindung folgend wird vorgeschlagen, dass das Modell als ein 3-D-Modell ausgebildet ist, so dass die Objektposition als 3-D-Objektposition bestimmbar ist. Das 3-D-Modell wird gegenüber dem 2-D-Modell, insbesondere dadurch abgegrenzt, dass das 3-D-Modell wenigstens ein Element außerhalb einer Ebene enthält. Das 3-D-Modell weist somit räumliche Elemente auf, wie beispielsweise 3-D-Dreiecksnetze, Höhenkarten oder auch einfache Formen oder Körper wie Sphären, Quader oder dergleichen zur Modellierung von realen Elementen in dem Überwachungsbereich. Vorzugsweise sollte das Modell den räumlichen Gegebenheiten der realen Szene so nahe wie möglich kommen. Das Modell wird auch als Kollisionsmodell bezeichnet.
  • Ein Gedanke der Erfindung ist es, dass es oftmals notwendig ist, Überwachungsobjekte nicht nur in ebenen bzw. planen Überwachungsbereichen, sondern auch in Überwachungsbereichen mit wechselnden Höhen zu orten. Zum einen kann – um auf das Beispiel des Fußballfelds zurückzukommen – eine Tribüne oder dergleichen nicht mehr von dem bekannten System sinnvoll verarbeitet werden. Zum anderen ist die erfindungsgemäße Ausgestaltung vorteilhaft, wenn das 3-D-Modell beispielsweise ein komplettes Gebäude abbildet und Objektpositionen in verschiedene Etagen oder Zwischenetagen zu bestimmen sind. Dadurch, dass ein „echtes" 3-D-Modell verwendet wird und ein Objektpunkt des Überwachungsobjekts in das Modell abgebildet wird, können in einfacher Weise auch geometrisch komplexe Überwachungsbereiche in die Objektpositionsermittlung übernommen werden.
  • Bei einer Weiterbildung der Erfindung weist die mindestens eine Überwachungskamera einen bzw. den Erfassungsbereich auf, also einen räumlichen Bereich in dem Überwachungsbereich, der mit der Überwachungskamera beobachtet wird, wobei sich der Überwachungsbereich und/oder das Modell weiter oder weiträumiger als der Erfassungsbereich erstreckt. Der Erfassungsbereich der Kamera bildet somit einen Teilbereich des Überwachungsbereichs bzw. deckt nur einen Teilbereich des Modells ab.
  • Es ist auch möglich, dass das Überwachungssystem mindestens zwei Überwachungskameras mit überlappenden und/oder nicht-überlappenden Erfassungsbereichen aufweist, wobei sich der Überwachungsbereich und/oder das Modell genau über die Erfassungsbereiche oder weiter als die Erfassungsbereiche der mindestens zwei Überwachungskameras erstreckt. Beide Weiterbildungen zielen darauf ab, dass das Modell weiträumiger als der Erfassungsbereich einer einzigen Überwachungskamera ausgebildet ist, um – wie bereits erläutert – auch komplexe Überwachungsbereiche effektiv kontrollieren zu können.
  • Bei einer möglichen Konkretisierung der Erfindung ist das Bildverarbeitungsmodul schaltungstechnisch und/oder programmtechnisch so ausgebildet, dass der Objektpunkt, welcher in der Bildebene oder in einer dazu äquivalenten Ebene der Überwachungskamera liegt und in Bildkoordinaten angegeben ist, auf Basis des Kameramodells auf einen Abbildungspunkt des 3-D-Modells abgebildet wird. Vorzugsweise liegt der Abbildungspunkt in dem 3-D-Modell auf einer Randfläche eines in dem 3-D-Modell dargestellten Elements.
  • Der derart ermittelte Abbildungspunkt wird als 3-D-Objektposition interpretiert und beispielsweise über eine weitere Schnittstelle ausgegeben.
  • Bei einer möglichen Ausführungsform ist das Bildverarbeitungsmodul so ausgebildet, dass der Objektpunkt in der Bildebene auf einen Projektionspunkt in dem Modell abgebildet wird, wobei der Projektionspunkt auf einer lagerichtig in dem Modell angeordneten Projektionsebene der Überwachungskamera liegt. Die Projektionsebene ist als die Ebene definiert, durch die Strahlen, ausgehend von einem Projektionszentrum der Überwachungskamera durch einen oder mehrere Projektionspunkte verlaufen und in dem Modell auf den korrespondierenden Abbildungspunkt treffen. Die Abbildung des Objektpunkts auf den Projektionspunkt ist durch das Kameramodell vollständig bestimmt.
  • Durch Kenntnis der Lage des Projektionspunkts und der Lage des Projektionszentrums ist es möglich, z. B. auf Basis von geometrischen Optik, eine Halbgerade zu konstruieren, deren Ursprung in dem Projektionszentrum liegt und die durch den Projektionspunkt verläuft. Durch diese Operation ist sichergestellt, dass der gesuchte Abbildungspunkt auf der Halbgeraden liegt.
  • Bevorzugt ist das Bildverarbeitungsmodul derart weitergebildet, dass mindestens ein Schnittpunkt der Halbgeraden mit einem oder mehreren Elementen des 3-D-Modells gesucht werden. Vorzugsweise wird als Schnittpunkt ein Punkt auf der Randfläche, also z. B. ein Durchstoßpunkt gesucht.
  • Nachdem es möglich ist, dass die Halbgerade mehrere Elemente des 3-D-Modells durchstößt und/oder eine Vorder- und eine Rückseite eines Elements des 3-D-Modells durchstößt, ist es weiterhin bevorzugt, dass der Schnittpunkt als Abbildungspunkt gewählt wird, welche den kleinsten Abstand zu dem Projektionsursprung und/oder zu der Überwachungskamera aufweist. Hierdurch ist sichergestellt, dass der Schnittpunkt auf einer von der Überwachungskamera erfassbaren Fläche angeordnet wird.
  • Der derart ermittelte Schnittpunkt wird als Abbildungspunkt interpretiert und repräsentiert die 3D-Objektposition des Objektpunkts und damit auch des Objekts zunächst in Modellkoordinaten, die in einfacher Weise in Weltkoordinaten gewandelt werden können.
  • Insbesondere mit dem Ziel, im Überwachungsbetrieb die Anforderung an Prozessoren oder dergleichen zu verringern, wird ergänzend vorgeschlagen, dass eine Speichervorrichtung implementiert ist, in der die Menge aller Abbildungspunkte für eine Vielzahl und/oder alle Bildpunkte im Erfassungsbereich der Überwachungskamera gespeichert ist. In diesem Fall kann im Überwachungsbetrieb für einen Objektpunkt in datentechnisch einfacher Weise der korrespondierende Abbildungspunkt gefunden werden, ohne zum Beispiel die Prüfung auf mehrere Schnittpunkte durchführen zu müssen. Der Dateninhalt der Speichervorrichtung kann zum einen in einer Initialisierungsphase eingespeichert werden, alternativ ist es möglich, dass der Inhalt der Speichervorrichtung regelmäßig, unregelmäßig und/oder ereignisgesteuert aktualisiert wird.
  • Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Bestimmung einer 3-D-Objektposition eines von einer Überwachungskamera erfassten Überwachungsobjekts in einem Überwachungsbereich, welches vorzugsweise mit Hilfe des soeben beschriebenen Bildverarbeitungsmoduls bzw. nach einem der vorhergehenden Ansprüche durchgeführt wird.
  • Bei dem erfindungsgemäßen Verfahren wird zunächst ein Objektpunkt des Überwachungsobjekts in der Bildebene der Überwachungskamera bestimmt. Hierzu wird beispielsweise – wie bereits ausgeführt – ein Rechteck um das detektierte Überwachungsobjekt gelegt und der Fußpunkt des Rechtecks als Objektpunkt gewählt.
  • In einem nächsten Schritt wird der Objektpunkt auf Basis eines oder des Kameramodells der Überwachungskamera auf einen oder den Abbildungspunkt eines 3-D-Modells oder 3-D-Teilmodells, welche nachfolgend ebenfalls zusammenfassend als 3-D-Modell bezeichnet werden, abgebildet.
  • Die Abbildung kann beispielsweise dadurch erfolgen, dass auf Basis des Kameramodells eine Transformationsmatrix erstellt wird, welche das Videobild oder Abschnitte davon der Überwachungskamera von der Bildebene auf eine Projektionsfläche des 3-D-Modells transformiert, wobei Lage und Größe des transformierten Videobilds so gewählt ist, dass die Bildpunkte des Videobilds als lagerichtig Projektionspunkte in dem 3-D-Modell angeordnet sind.
  • In einem nachfolgenden Schritt wird der Objektpunkt mittels der Transformationsmatrix auf einen Projektionspunkt in der Projektionsebene abgebildet. Eine Halbgerade, welche in dem Projektionszentrum der Überwachungskamera ihren Anfang hat und den Projektionspunkt durchstößt wird dann mit dem Modell geschnitten, wobei ein Abbildungspunkt gefunden wird, welcher als ein Schnittpunkt der Halbgeraden mit dem 3-D-Modell ausgebildet ist. Die 3-D-Objektposition des Abbildungspunkts wird dann als 3-D-Objektposition des Objektpunkts und/oder des Überwachungsobjekts interpretiert.
  • Bei einer Weiterbildung der Erfindung können auch einige oder sämtliche Objektpunkte des Überwachungsobjekts in das 3-D-Modell projiziert werden, um eine komplexere 3-D-Positionsinformation des Überwachungsobjekts zu erhalten.
  • Auch bei dem Verfahren ist es möglich, dass bei mehreren Schnittpunkten einer einzigen der Halbgeraden mit dem 3-D-Modell der Schnittpunkt mit dem kleinsten Abstand zu dem Projektionszentrum als Abbildungspunkt gewählt wird.
  • Eine weitere mögliche Ausgestaltung ist darin zu sehen, dass einige, eine Mehrzahl und/oder alle Bildpunkte in der Bildebene der Überwachungskamera auf Abbildungspunkte des 3-D-Modells abgebildet werden, so dass diese im Sinne einer Tabelle oder einer Look-Up-Table vorliegen. Dieser Schritt kann regelmäßig, unregelmäßig und/oder ereignisgesteuert und/oder in Abhängigkeit der Aktualisierung des 3-D-Modells erfolgen.
  • Obwohl die Erfindung anhand einer Darstellung mit Halbgeraden vorgestellt wurde, kann die gleiche Abbildung auch in einer äquivalenten mathematischen Darstellung umgesetzt werden.
  • Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit den Merkmalen des Anspruchs 12.
  • Kurze Beschreibung der Zeichnungen
  • Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie den Figuren der Erfindung. Dabei zeigen:
  • 1 ein Blockdiagramm eines Überwachungssystems mit einem Bildverarbeitungsmodul als ein Ausführungsbeispiel der Erfindung;
  • 2 eine schematische Darstellung eines 3-D-Modells zur Illustration des Verfahrens gemäß der Erfindung.
  • Ausführungsform(en) der Erfindung
  • Die 1 zeigt in einer schematischen Blockdarstellung ein Überwachungssystem 1, welches mit einer Mehrzahl von Überwachungskameras 2 verbunden und/oder verbindbar ist. Die Überwachungskameras 2 sind in einem Überwachungsbereich (nicht dargestellt) verteilt angeordnet, wobei sich die Erfassungsbereiche der Überwachungskameras 2 teilweise überlappen, jedoch auch Erfassungsbereiche vorgesehen sind, welche keine Schnittmenge mit einem Erfassungsbereich einer anderen Überwachungskamera 2 bildet.
  • Das Überwachungssystem 1 weist unter anderem ein Bildverarbeitungsmodul 3 auf, welches ausgebildet ist, auf Basis von später näher definierten Eingangsdaten eine 3-D-Objektposition eines Überwachungsobjekts in dem Überwachungsbereich zu bestimmen. Dieses Bildverarbeitungsmodul 3 wird eingesetzt, wenn es interessant ist, zu einem durch das Überwachungssystem 1 erfassten Überwachungsobjekt eine Information über die 3-D-Objektposition in Weltkoordinaten zu erhalten.
  • Zur Ermittlung der 3-D-Objektposition wird in einem ersten Schritt das Überwachungsobjekt in einem Videobild einer der Überwachungskameras 2 detektiert und beispielsweise durch eine „Bounding-Box", also einem in das Videobild datentechnisch projiziertes Rechteck, erfasst.
  • Ein Fußpunkt der Bounding-Box, also ein Punkt, welcher in der Mitte der Seitenkante des Rechtecks liegt, die perspektivisch interpretiert die Unterseite des Überwachungsobjekts repräsentieren müsste, wird als ein Objektpunkt definiert. Die Operation der Objektpunktextraktion wird in einer Detektionseinrichtung 4 durchgeführt, welche Bestandteil des Bildverarbeitungsmoduls 3 sein, diesem jedoch auch vorgeschaltet sein kann.
  • Der Objektpunkt wird an eine Auswerteeinrichtung 5 übergeben, welche dazu ausgebildet ist, die 3-D-Objektposition dieses Objektpunktes zu bestimmen, wie nachfolgend dargelegt wird.
  • Als weitere Daten erhält die Auswerteeinrichtung 5 von einem ersten Datenspeicher 6 ein Modell des Überwachungsbereichs. Das Modell ist als ein 3-D-Modell ausgebildet, enthält somit Elemente, welche außerhalb einer gemeinsamen Ebene definiert sind. Die räumliche Erstreckung des Modells kann sich auf den Erfassungsbereich einer einzigen Überwachungskamera 2 beschränken, größer als dieser Erfassungsbereich sein, über mindestens die Erfassungsbereiche von zwei Überwachungskameras 2 gehen oder eine Vielzahl von Erfassungsbereichen von Überwachungskameras 2 erfassen. Das Modell soll der Realität so nahe wie möglich kommen und weist beispielsweise Raum-, Gebäude- und/oder Geländegrenzen, 3-D-Dreiecksnetze, Höhenkarten oder auch einfache geometrische Körper, wie zum Beispiel Sphären oder Quader zur Nachbildung der realen Welt dar. Die reale Welt wird datentechnisch in Weltkoordinaten dargestellt, das Modell liegt in Modellkoordinaten vor. Die Transformation von Welt- zu Modellkoordinaten oder in umgekehrter Richtung ist vollständig bestimmt.
  • Als weitere Eingangsdaten erhält die Auswerteeinrichtung 5 aus einem zweiten Datenspeicher 7 ein Kameramodell der Überwachungskamera 2, mit der das Überwachungsobjekt erfasst ist bzw. die den Objektpunkt bereitstellt. Das Kameramodell umfasst Daten über die Lage und die Ausrichtung der Überwachungskamera 2 in Modell- bzw. Weltkoordinaten sowie über die optischen Abbildungseigenschaften der Überwachungskamera, so dass beispielsweise der Erfassungsbereich der Überwachungskamera 2 in dem 3D-Modell modellierbar ist.
  • Unter Verwendung der Daten des Kameramodells, des Modells sowie des Objektpunkts kann nun die 3-D-Objektposition des Objektpunkts in Modell- bzw. Weltkoordinaten berechnet werden. Diese Berechnung wird anhand der schematischen Darstellung eines 3-D-Modells 8 in der nachfolgenden Figur erläutert.
  • Das 3-D-Modell ist in der 2 vereinfacht mit zwei Elementen dargestellt, nämlich einem Quader 9 und einer modellierten Überwachungskamera 10. Beispielsweise ist das 3-D-Modell als ein Drahtgittermodell ausgeführt. Der Quader 9 repräsentiert ein beliebiges reales Objekt in dem Überwachungsbereich, wie zum Beispiel einen Schreibtisch oder dergleichen. Eine Vielzahl derartiger Körper kann somit das 3-D-Modell bilden.
  • Die modellierte Überwachungskamera 10 umfasst ein Projektionszentrum 11 sowie eine Projektionsebene 12. Projektionszentrum 11 und -ebene 12 sind so angeordnet, dass ein Bildpunkt der zu der modellierten Kamera 10 korrespondierenden realen Überwachungskamera 2 auf einer Halbgeraden, welche im Projektionszentrum 11 beginnt und sich durch einen zu dem Bildpunkt korrespondierenden Abbildungspunkt erstreckt, lagerichtig als Projektionspunkt auf der Projektionsebene 12 abgebildet liegt.
  • Diese optisch geometrischen Zusammenhänge können auch von der schematischen Darstellung in der 2 entnommen werden, so verläuft eine Halbgerade 13 ausgehend von dem Projektionszentrum 11 durch einen Projektionspunkt 14 und durch einen Abbildungspunkt 15, welcher auf der Oberseite oder Oberfläche des Quaders 9 liegt. Die Ausrichtung sowie Lage des Projektionszentrums 11, der Projektionsebene 12 sowie der Projektionspunkte 14 sind durch das Kameramodell und das Modell 8 vorgegeben.
  • Wieder zurückkehrend zu der geschilderten Verfahrensweise des Bildverarbeitungsmoduls 3 in 1 wird der Objektpunkt als Projektionspunkt 14 lagerichtig in dem Modell 8 eingetragen. Nachfolgend wird die Halbgerade 13 durch das Projektionszentrum 11 und den Projektionspunkt 14 gebildet, so dass durch diese Eingangsdaten eine Richtung der Halbgeraden 13 definiert ist. In einem nächsten Schritt wird die Halbgerade 13 mit dem Modell 8 – in diesem Fall mit dem Quader 9 – geschnitten. Wie sich aus der Darstellung ergibt, liegen zwei Schnittpunkte vor, nämlich der Abbildungspunkt 15 und ein weiterer Schnittpunkt 16. Bei Vorliegen von mehreren Schnittpunkten 15, 16 prüft die Auswerteeinrichtung 5, welcher Schnittpunkt 15, 16 den kleinsten Abstand zu dem Projektionszentrum 11 aufweist, da dieser dann die der modellierten Überwachungskamera 10 zugewandte Oberseite oder Sichtseite des Quaders 9 bzw. des 3-D-Modells 8 repräsentieren muss.
  • Die 3-D-Lagedaten des Abbildungspunkts 15 werden nachfolgend als 3-D-Objektposition von der Auswerteeinrichtung 5 bzw. dem Bildverarbeitungsmodul 3 ausgegeben.
  • Das dargestellte Verfahren erlaubt die Positionsbestimmung in Räumen und auf verschiedenen Höhen. Besonders hervorzuheben ist, dass Wände oder ähnliche Sichtkollisionsobjekte berücksichtigt werden.
  • Bei einer Weiterbildung des Ausführungsbeispiels ist es auch möglich, dass mehrere Bildpunkte des Überwachungsobjekts als Objektpunkte an das Bildverarbeitungsmodul 3 übergeben werden, um eine komplexere Information über die 3-D-Objektposition des Überwachungsobjekts zu erhalten. Bei anderen Ausführungsformen weist das Bildverarbeitungsmodul eine weitere Eingangsschnittstelle zu einem dritten Datenspeicher 17 auf, wobei in dem dritten Datenspeicher 17 eine Zuordnungstabelle abgelegt ist, in der für jeden Bildpunkt einer der Überwachungskameras 2 eine entsprechende 3-D-Objektposition berechnet ist. Der dritte Datenspeicher 17 wird zum Beispiel in einer Initialisierungsphase, aber auch bei einer Aktualisierung des Modells, des Kameramodells, etc. aufgefrischt. Durch die Verwendung des dritten Datenspeichers 17 kann die Echtzeitfähigkeit des Bildverarbeitungsmoduls 3 und damit des Überwachungssystems 1 verbessert werden, da rechenzeitintensive Prozeduren vor dem Echtzeitbetrieb bereits abgearbeitet werden können.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - DE 69812518 T2 [0004]

Claims (12)

  1. Bildverarbeitungsmodul (3) zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in einem Überwachungsbereich für ein Überwachungssystem (1) zur Überwachung von mindestens diesem Überwachungsbereich mit mindestens einer Überwachungskamera (2), mit einer Modelleingangsschnittstelle (6) zur Übernahme eines Modells oder Teilmodells des Überwachungsbereichs – nachfolgend zusammenfassend als Modell bezeichnet –, mit einer Kameraeingangsschnittstelle (7) zur Übernahme eines Kameramodells der Überwachungskamera (2), mit einer Objekteingangsschnittstelle zur Übernahme eines Objektpunkts des Überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt ist, wobei das Bildverarbeitungsmodul (5) ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in dem Überwachungsbereich zu bestimmen, dadurch gekennzeichnet, dass das Modell als ein 3D-Modell ausgebildet ist, so dass die Objektposition als 3D-Objektposition bestimmbar ist.
  2. Bildverarbeitungsmodul (5) nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens eine Überwachungskamera (2) einen Erfassungsbereich aufweist und sich der Überwachungsbereich und/oder das Modell weiter als der Erfassungsbereich erstreckt.
  3. Bildverarbeitungsmodul (5) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Überwachungssystem (1) mindestens zwei Überwachungskameras (2) mit überlappenden und/oder nicht-überlappenden Erfassungsbereichen aufweist und sich der Überwachungsbereich und/oder das Modell mindestens über oder weiter als die Erfassungsbereiche der mindestens zwei Überwachungskameras (2) erstreckt.
  4. Bildverarbeitungsmodul (5) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Verrechnung der Objektpunkt in der Bildebene der Überwachungskamera oder in einer äquivalenten Ebene auf Basis des Kameramodells auf einen Abbildungspunkt (15) des 3D-Modells abgebildet wird, wobei der Abbildungspunkt (15) die 3D-Objektposition repräsentiert.
  5. Bildverarbeitungsmodul (5) nach Anspruch 4, dadurch gekennzeichnet, dass der Abbildungspunkt (145) als Schnittpunkt einer Halbgeraden (13) mit einem Element (9) des 3D-Modells definiert ist, wobei die Halbgerade durch einen Projektionsursprung (11) der modellierten Überwachungskamera (2) und durch einen auf dem Objektpunkt basierenden Projektionspunkt (14) verläuft.
  6. Bildverarbeitungsmodul (5) nach Anspruch 5, dadurch gekennzeichnet, dass bei mehreren Schnittpunkten (15, 16) der Schnittpunkt (15) mit dem kleinsten Abstand zu dem Projektionsursprung (11) als Abbildungspunkt (15) gewählt wird.
  7. Bildverarbeitungsmodul (5) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Speichervorrichtung (17), wobei in der Speichervorrichtung (17) die Menge aller Abbildungspunkte (15) für eine Vielzahl und/oder alle Bildpunkte im Erfassungsbereich der Überwachungskamera (2) gespeichert ist.
  8. Verfahren zur Bestimmung einer 3D-Objektposition eines von einer Überwachungskamera (2) erfassten Überwachungsobjekts in einem Überwachungsbereich vorzugsweise unter Verwendung des Bildverarbeitungsmoduls (5) nach einem der vorhergehenden Ansprüche, wobei ein Objektpunkt des Überwachungsobjekts in der Bildebene der Überwachungskamera (2) bestimmt wird, wobei der Objektpunkt auf der Basis eines Kameramodells der Überwachungskamera (2) auf einen Abbildungspunkt (15) eines 3D-Modells oder 3D-Teilmodells des Überwachungsbereichs – nachfolgend zusammenfassend als 3D-Modell bezeichnet – abgebildet wird, wobei die 3D-Objektposition des Abbildungspunkts (15) als 3D-Objektposition des Objektpunkts und/oder des Überwachungsobjekts interpretiert wird.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Abbildung durch Konstruktion einer Halbgeraden erfolgt, welche durch das Projektionszentrum (11) der Überwachungskamera (2) und einen auf dem Objektpunkt basierenden Projektionspunkt (14) definiert ist, wobei der Abbildungspunkt (15) als ein Schnittpunkt der Halbgeraden mit dem 3D-Modell (8) ausgebildet ist.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass bei mehreren Schnittpunkten (15, 16) der Halbgeraden mit dem 3D-Modell (8) der Schnittpunkt (15) mit dem kleinsten Abstand zu dem Projektionszentrum (11) als Abbildungspunkt (15) gewählt wird.
  11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass alle Bildpunkte in der Bildebene der Überwachungskamera (2) auf Abbildungspunkte (15) des 3D-Modells (8) abgebildet werden und die Abbildungspunkte gespeichert werden.
  12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 8 bis 11 durchzuführen, wenn das Programm auf einem Computer und/oder einem Bildverarbeitungsmodul (5) gemäß Anspruch der Ansprüche 1 bis 7 ausgeführt wird.
DE102007056835A 2007-11-26 2007-11-26 Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm Withdrawn DE102007056835A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102007056835A DE102007056835A1 (de) 2007-11-26 2007-11-26 Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm
PCT/EP2008/062883 WO2009068336A2 (de) 2007-11-26 2008-09-26 Bildverarbeitungsmodul zur schätzung einer objektposition eines überwachungsobjekts, verfahren zur bestimmung einer objektposition eines überwachungsobjekts sowie computerprogramm
EP08804765A EP2215601A2 (de) 2007-11-26 2008-09-26 Modell-basierte 3d positionsbestimmung eines objektes welches mit einer kalibrierten kamera zu überwachungszwecken aus einer einzigen perspektive aufgenommen wird wobei die 3d position des objektes als schnittpunkt der sichtgeraden mit dem szenenmodell bestimmt wird

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102007056835A DE102007056835A1 (de) 2007-11-26 2007-11-26 Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm

Publications (1)

Publication Number Publication Date
DE102007056835A1 true DE102007056835A1 (de) 2009-05-28

Family

ID=40577061

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007056835A Withdrawn DE102007056835A1 (de) 2007-11-26 2007-11-26 Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm

Country Status (3)

Country Link
EP (1) EP2215601A2 (de)
DE (1) DE102007056835A1 (de)
WO (1) WO2009068336A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804481A (zh) * 2020-12-29 2021-05-14 杭州海康威视系统技术有限公司 监控点位置的确定方法、装置及计算机存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003336A1 (de) 2010-03-26 2011-09-29 Robert Bosch Gmbh Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69812518T2 (de) 1997-09-16 2003-12-11 Canon Kk Bildverarbeitungsvorrichtung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69812518T2 (de) 1997-09-16 2003-12-11 Canon Kk Bildverarbeitungsvorrichtung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804481A (zh) * 2020-12-29 2021-05-14 杭州海康威视系统技术有限公司 监控点位置的确定方法、装置及计算机存储介质

Also Published As

Publication number Publication date
WO2009068336A3 (de) 2010-01-14
WO2009068336A2 (de) 2009-06-04
EP2215601A2 (de) 2010-08-11

Similar Documents

Publication Publication Date Title
DE60133386T2 (de) Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
DE102005021735B4 (de) Videoüberwachungssystem
DE112005000929T5 (de) Automatisches Abbildungsverfahren und Vorrichtung
DE102007053812A1 (de) Konfigurationsmodul für ein Videoüberwachungssystem, Überwachungssystem mit dem Konfigurationsmodul, Verfahren zur Konfiguration eines Videoüberwachungssystems sowie Computerprogramm
DE112017001545T5 (de) Virtuelles überlagerungssystem und verfahren für verdeckte objekte
DE102004016331B4 (de) Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE102005010250A1 (de) Verfahren und Einrichtung zum Nachführen von Sweet-Spots
DE112016006262T5 (de) Dreidimensionaler Scanner und Verarbeitungsverfahren zur Messunterstützung für diesen
EP2553660B1 (de) Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen
DE202016008004U1 (de) Automatische Verbindung von Bildern unter Verwendung visueller Eigenschaftsquerverweise auf zugehörige Anwendungen
EP2868098A1 (de) Anzeigevorrichtung für ein videoüberwachungssystem sowie videoüberwachungssystem mit der anzeigevorrichtung
DE102004061841B4 (de) Markerloses Tracking System für Augmented Reality Anwendungen
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
DE102007056835A1 (de) Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm
DE102018118422A1 (de) Verfahren und system zur darstellung von daten von einer videokamera
WO2006094637A1 (de) Verfahren zum vergleich eines realen gegenstandes mit einem digitalen modell
DE102012010799B4 (de) Verfahren zur räumlichen Visualisierung von virtuellen Objekten
EP2940624B1 (de) Dreidimensionales virtuelles Modell einer Umgebung für Anwendungen zur Positionsbestimmung
DE102006027120A1 (de) Bildverarbeitungsverfahren, Videoüberwachungssystem sowie Computerprogramm
DE102019201600A1 (de) Verfahren zum Erzeugen eines virtuellen, dreidimensionalen Modells eines realen Objekts, System zum Erzeugen eines virtuellen, dreidimensionalen Modells, Computerprogrammprodukt und Datenträger
DE112018003790T5 (de) Verfahren und System zur Einschätzung einer Kopfhaltung
DE102022201316B3 (de) Markierung und Verfahren zur Positionsbestimmung sowie zugehöriges Kamerasystem
EP3809094B1 (de) Verfahren und anordnung zum visualisieren von sensorsignalen eines optischen sensors eines koordinatenmessgeräts sowie verfahren und anordnung zum visualisieren eines sensors eines koordinatenmessgeräts
DE102015226749A1 (de) Überwachungsanlage

Legal Events

Date Code Title Description
R005 Application deemed withdrawn due to failure to request examination
R005 Application deemed withdrawn due to failure to request examination

Effective date: 20141127