EP2126840A1 - Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera - Google Patents
Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskameraInfo
- Publication number
- EP2126840A1 EP2126840A1 EP07822150A EP07822150A EP2126840A1 EP 2126840 A1 EP2126840 A1 EP 2126840A1 EP 07822150 A EP07822150 A EP 07822150A EP 07822150 A EP07822150 A EP 07822150A EP 2126840 A1 EP2126840 A1 EP 2126840A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- surveillance
- moving object
- scene
- surveillance camera
- position data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Definitions
- the invention is based on the consideration of not basing a semi or fully automatic calibration of the surveillance camera on the basis of the size change of the moving object in different image areas of the surveillance image due to perspective effects, but the movement of the moving object under the assumption of a To evaluate motion model.
- the inventive method opens up a new information source for an automatic camera calibration, which can be used instead of or in addition to the known information sources and consequently can improve the accuracy or quality of the calibration.
- the recording of the trajectories preferably takes place during a long-term observation of the surveillance scene whose minimum duration depends on the density of the moving objects and in particular lasts at least several days.
- the invention further relates to a device for calibrating a surveillance camera, in particular according to the method of claims 1 to 9 and / or as just described, which is preferably designed as part of a video surveillance system.
- the device according to the invention is thus connected and / or connectable to a plurality of surveillance cameras, which in particular are directed rigidly and / or immovably to various surveillance scenes.
- FIG. 5 shows the monitoring image in FIG. 4 with further trajectories shown
- FIG. 6 shows a functional block diagram of a device for calibrating a
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Videoüberwachungssysteme dienen beispielsweise zur Überwachung von öffentlichen Plätzen, wie Bahnhöfen, Kreuzungen, Flughäfen, oder von öffentlichen Gebäuden, wie Bibliotheken, Museen, jedoch auch von privaten Umgebungen, wie z.B. in Häusern als Alarmanlage. Hierzu weisen die Videoüberwachungssysteme oftmals eine Mehrzahl von Überwachungskameras auf, die relevante Überwachungsszenen beobachten. Die bei der Beobachtung erzeugten Videosequenzen werden meist zentral zusammengeführt und ausgewertet. Es wird ein Verfahren zur Kalibrierung einer Überwachungskamera (3) vorgeschlagen, wobei die Überwachungskamera (3) eine reale Überwachungsszene, die in Weltkoordinaten (4) beschreibbar ist, auf ein Überwachungsbild (7), welches in Bildkoordinaten (4) beschreibbar ist, abbildet, wobei mindestens eine Trajektorie (9) eines bewegten Objekts (2) in der Überwachungsszene bestimmt wird, die einen Satz von Positionsdaten (10) umfasst, der die Position des bewegten Objektes (2) in Bildkoordinaten (4) zeitabhängig beschreibt, und wobei die Trajektorie (9) zur Kalibrierung der Überwachungskamera (3) verwendet wird, indem unter Verwendung eines Bewegungsmodells des bewegten Objekts (2) die zeitabhängigen Positionsdaten (10) des bewegten Objekts in Distanzen in der realen Überwachungsszene umgerechnet werden.
Description
Beschreibung
Titel
Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
Stand der Technik
Die Erfindung betrifft ein Verfahren zur Selbstkalibrierung einer Überwachungskamera, die eine reale Überwachungsszene, die in Weltkoordinaten beschreibbar ist, auf ein Überwachungsbild, welches in Bildkoordinaten beschreibbar ist, abbildet, wobei mindestens eine Trajektorie eines bewegten Objekts in der Überwachungsszene bestimmt wird, die einen Satz von Positionsdaten umfasst, der die Position des bewegten Objektes in Bildkoordinaten zeitabhängig beschreibt, und wobei die Trajektorie zur Selbstkalibrierung der Überwachungskamera verwendet wird, sowie eine daran angepasste Vorrichtung und ein Computerprogramm.
Videoüberwachungssysteme dienen beispielsweise zur Überwachung von öffentlichen Plätzen, wie Bahnhöfen, Kreuzungen, Flughäfen, oder von öffentlichen Gebäuden, wie Bibliotheken, Museen, jedoch auch von privaten Umgebungen, wie z.B. in Häusern als Alarmanlage. Hierzu weisen die Videoüberwachungssysteme oftmals eine Mehrzahl von Überwachungskameras auf, die relevante Ü- berwachungsszenen beobachten. Die bei der Beobachtung erzeugten Videosequenzen werden meist zentral zusammengeführt und ausgewertet.
Die Auswertung der Videosequenzen kann manuell durch Überwachungspersonal durchgeführt werden. Dies ist jedoch zum einen personalintensiv und somit teuer und zum zweiten ist zu berücksichtigen, dass nur selten Alarmsituationen auftreten und daher die Gefahr besteht, dass das Überwachungspersonal durch die langwierige Wartezeiten zwischen den Alarmsituationen unaufmerksam wird. Alternativ kann die Auswertung automatisch über Bildverarbeitungsalgorithmen
erfolgen. Bei einem üblichen Ansatz werden bewegte Objekte von dem im wesentlichen statischen Hintergrund (Objektseparierung) getrennt, über die Zeit verfolgt (Objektverfolgung) und ein Alarm ausgelöst, wenn besondere Konditionen z.B. hinsichtlich des Bewegungsmusters oder der Aufenthaltsposition erfüllt sind.
Die Überwachungskameras werden meist und nicht zuletzt aus Kostengründen von Montagepersonal installiert, denen eine aufwendige Kalibrierung der Überwachungskameras nicht zuzumuten ist. Oftmals werden deshalb in Zusammenhang mit der automatischen Auswertung unkalibrierte Überwachungskameras eingesetzt.
Alternativ dazu werden Kalibrierungsverfahren für Überwachungskameras vorgeschlagen, die eine halb- oder sogar vollautomatische Selbstkalibrierung der Ü- berwachungskameras erlauben. So beschreibt die Druckschrift US 6,970,083 B2, die wohl den nächstkommenden Stand der Technik bildet, ein Videoüberwachungssystem, welches in einer möglichen Ausführungsform eine halbautomatische Kalibrierung der verwendeten Überwachungskameras ermöglicht. Hierbei läuft eine Person bekannter Größe durch das Sichtfeld der zu kalibrierenden Ü- berwachungskamera, so dass das Videoüberwachungssystem anhand der per- spektivischen Größenänderung der Person in den verschiedenen Bildbereichen
Skalierungsinformationen berechnen und auf diese Weise die Überwachungskamera kalibrieren kann. Bei einer automatischen Kalibrierung werden beliebige Objekte im Sichtfeld der zu kalibrierenden Überwachungskamera detektiert und hinsichtlich der Größe und des Auftreten in dem Bildbereich in Histogrammen geordnet. Die Kalibrierung der Überwachungskamera erfolgt durch Auswertung der Histogramme.
Offenbarung der Erfindung
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Überwachungskamera mit den Merkmalen des Anspruchs 1, eine Vorrichtung zur Kalibrierung einer o- der der Überwachungskamera mit den Merkmalen des Anspruchs 10 sowie ein Computerprogramm zur Durchführung des Verfahrens mit den Merkmalen des Anspruchs 11. Vorteilhafte und/oder bevorzugte Ausführungsformen der Erfin-
dung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung und den beigefügten Figuren.
Erfindungsgemäß wird ein Verfahren zur Kalibrierung einer Überwachungskame- ra vorgestellt. Die Überwachungskamera ist vorzugsweise als eine fest installierte und/oder unbewegbare Kamera ausgebildet, die eine brennweitenstarre Optik aufweist. Alternativ ist auch möglich, eine bewegbare und/oder zoomfähige Cl- berwachungskamera einzusetzen, wobei jedoch die Kalibrierung für alle oder eine Vielzahl von Positions- und/oder Zoomeinstellungen erfolgt. Die Überwa- chungskamera kann beliebiger Ausbildung sein, also als Schwarz/Weiß- oder
Färb- Kamera, mit beliebigem Objektiv, also insbesondere Weitwinkel-, Fischauge-, Tele- oder 360°- Objektiv, und für eine beliebige Wellenlänge, also z.B. UV, VIS, NIR oder FI R, ausgebildet sein.
Funktionell betrachtet bildet die Überwachungskamera eine reale, dreidimensionale Überwachungsszene, also z.B. eine Kreuzung, einen öffentlichen Platz o- der dergleichen, auf ein zweidimensionales Überwachungsbild ab, welches auch als Kamerabild bezeichnet werden könnte. In einer mathematischen Darstellung können Positionen und Bewegungen in dem Überwachungsbild in Bildkoordina- ten und in der Überwachungsszene in Weltkoordinaten beschrieben werden. Die
Wahl des Bild- und des Weltkoordinatensystems dient zur Beschreibung und es können auch andere, dazu gleichwertige und/oder mathematisch äquivalente Koordinatensysteme Verwendung finden.
Die Kalibrierung der Überwachungskamera umfasst in der allgemeinsten Definition die Ermittlung von Kameraparametern, wie z.B. dem Neigungswinkel, Rollwinkel, der Befestigungshöhe und/oder der Brennweite etc. der Überwachungskamera, und/oder von Transformationsvorschriften, die einem Winkel, eine Strecke, eine Bewegung oder dergleichen von dem Bildkoordinatensystem in das Weltkoordinatensystem beschreiben. Im einfachsten Fall beschreiben die Transformationsvorschriften die Umrechnung eines Abstandes von zwei Punkten in Bildkoordinaten in die dazu korrespondierende Distanz in Weltkoordinaten.
Zur Durchführung der Kalibrierung wird mindestens eine Trajektorie eines be- wegten Objektes in der Überwachungsszene bestimmt. Zur Verbesserung der
Kalibrierung ist es vorteilhaft, wenn eine Vielzahl von Trajektorien des bewegten Objekts und/oder eine Vielzahl von Trajektorien von verschiedenen bewegten Objekten erzeugt werden. Die Trajektorie umfasst dabei einen Satz von Positionsdaten, die die Position des bewegten Objektes in Bildkoordinaten zeitabhän- gig darstellen. Eine Trajektorie beschreibt insbesondere die Bewegung des bewegten Objekts über die Zeit. Bevorzugt wird der Schwerpunkt des bewegten Objekts und/oder eine das Objekt umschließende Box, eine sogenannte boun- ding box, als Trajektoriedaten verwendet oder mitverwendet. Insbesondere kann statt des Schwerpunkts ein Fußpunkt des bewegten Objekts verrechnet werden, da der Fußpunkt in oder nahezu in physischem Kontakt mit der Grundebene der
Überwachungsszene steht.
Erfindungsgemäß wird die Trajektorie zur Kalibrierung der Überwachungskamera verwendet und zwar indem unter Verwendung eines Bewegungsmodells des be- wegten Objekts die zeitabhängigen Positionsdaten des bewegten Objektes zur
Bestimmung von Distanzen in der realen Überwachungsszene benutzt werden. Über das Bewegungsmodell werden dabei Vorab- oder a priori-lnformationen über das bewegte Objekt in die Kalibrierung eingebracht, so dass diese verbessert wird.
Die Erfindung geht dabei von der Überlegung aus, eine halb- oder vollautomatische Kalibrierung der Überwachungskamera nicht oder nicht ausschließlich auf Basis der Größenänderung des bewegten Objekts in verschiedenen Bildbereichen des Überwachungsbilds aufgrund von perspektivischen Effekten zu stützen, sondern die Bewegung des bewegten Objekts unter der Annahme eines Bewegungsmodells auszuwerten. Damit eröffnet das erfindungsgemäße Verfahren eine neue Informationsquelle für eine automatische Kamerakalibrierung, die anstatt oder zusätzlich zu den bekannten Informationsquellen nutzbar ist und folglich die Genauigkeit oder Qualität der Kalibrierung verbessern kann.
Bei einer bevorzugten Ausführungsform wird das bewegte Objekt klassifiziert und aufgrund der Klassifizierung einer Objektklasse mit einem Bewegungsmodell für Objekte dieser Objektklasse zugeordnet bzw. verworfen.
In einer vorteilhaften Ausgestaltung wird das bewegte Objekt als Fußgänger klassifiziert und als Bewegungsmodell ein Fußgängerbewegungsmodell verwendet, welches die Bewegung des Fußgängers mit einer konstanten Geschwindigkeit wie z.B. 4 km/h modelliert. Alternativ oder ergänzend können Bewegungs- modelle anderer Objekte bzw. Objektklassen, wie z.B. Fahrzeuge, mit Transportbändern bewegte Objekte, etc. eingesetzt werden. Neben einem einfachen Bewegungsmodell, welches von einer durchgehend konstanten Geschwindigkeit ausgeht, können auch komplexere Bewegungsmodelle verwendet werden, die beispielsweise bei Richtungsänderungen eine Geschwindigkeitsänderung oder Wartepositionen vor einer Ampel oder dergleichen modellieren.
Bei einer optionalen Ausführungsform sind die zeitabhängigen Positionsdaten der Trajektorie zeitlich äquidistant ausgebildet. Dies ist insbesondere dann der Fall, wenn die Überwachungsszene mit einer konstanten Bilderfrequenz aufge- nommen wird, so dass die Überwachungsbilder in einer Videosequenz zeitlich äquidistant angeordnet sind und für jedes Überwachungsbild eine Objektposition des bewegten Objektes bestimmt wird. Bei diesen zeitlich äquidistanten, zeitabhängigen Positionsdaten der Trajektorie ist der Abstand zwischen zwei durch die Positionsdaten bestimmten Positionen in Bildkoordinaten unter der Annahme ei- ner konstanten Bewegungsgeschwindigkeit in einfacher Weise in eine Distanz in
Weltkoordinaten umzurechnen, die durch das Produkt aus Bewegungsgeschwindigkeit und dem reziproken Wert der Bilderfrequenz berechnet wird.
Bei einer weitergeführten Ausführungsform der Erfindung sind die Positionsdaten nicht zeitlich äquidistant angeordnet und/oder ausgebildet, was jedoch nur zu einer geringfügigen Erhöhung der Komplexität der Berechnung der zu dem Abstand zwischen zwei Positionsdaten in Bildkoordinaten korrespondierenden Distanz in Weltkoordinaten führt, da statt des reziproken Wertes der Bilderfrequenz der zeitliche Abstand zwischen den beiden Positionsdaten verwendet werden muss. Bevorzugt geht das Verfahren im Allgemeinen davon aus, dass die Trajektorie zwischen zwei Positionsdaten geradlinig oder nahezu geradlinig verläuft.
Allgemeiner formuliert sieht das erfindungsgemäße Verfahren bei einer vorteilhaften Ausgestaltung vor, dass auf Basis der zeitabhängigen Positionsdaten eine Transformations- oder Abbildungsvorschrift zwischen Bild- und Weltkoordinaten
bestimmt wird. Diese Abbildungsvorschrift ermöglicht es vorzugsweise, jeden beliebigen Abstand zwischen zwei Bildpunkten in Bildkoordinaten in eine reale Distanz in Weltkoordinaten zu transformieren oder umzurechnen.
Bei einer Weiterbildung des Verfahrens wird eine Mehrzahl von Trajektorien gegebenenfalls von einer Mehrzahl von bewegten Objekten verwendet, so dass die Abbildungsvorschriften statistisch abgesichert sind. Hierbei können zum einen eine Mehrzahl von Trajektorien zusammengefasst, z.B. statistisch gemittelt werden, und dann daraus Abbildungsvorschriften abgeleitet werden und/oder zu- nächst Abbildungsvorschriften abgeleitet werden, die dann zusammengefasst, z.B. statistisch gemittelt werden. Vorzugsweise wird das Wissen von mehreren Trajektorien über den RANSAC Algorithmus zusammengefasst, welcher dem Fachmann beispielsweise aus dem wissenschaftlichen Artikel von D. Greenhill, J. Renno, J. Orwell and G. A. Jones: Learning the semantic landscape: Embedding scene knowledge in object tracking. Real Time Imaging, Special Issue on Video
Object Processing 11, pp.186-203, 2005 bekannt ist, dessen Inhalt in Bezug auf den RANSAC Algorithmus hiermit über Referenzierung eingefügt wird. Die Aufnahme der Trajektorien erfolgt vorzugsweise während einer Langzeitbeobachtung der Überwachungsszene, deren minimale Dauer von der Dichte der beweg- ten Objekte abhängig ist und insbesondere mindestens mehrere Tage dauert.
Bei einer vorteilhaften Weiterbildung des Verfahrens werden weitere Vorabinformationen oder -kentnisse zur Kalibrierung verwendet, wie z.B. die bereits weiter vorne beschriebene Nutzung der bekannten Höhe des bewegten Objekts. Durch die gegenseitige Ergänzung von mehreren Informationsquellen, auf der einen Seite die Auswertung der Trajektorie über ein Bewegungsmodell und auf der anderen Seite zum Beispiel die bekannte Höhe des bewegten Objekts, kann die Kalibrierung der Überwachungskamera weiter verbessert werden.
Bei einer vorteilhaften Ausprägung der Erfindung werden die ermittelten oder berechneten Distanzen und/oder die Transformationsvorschrift zur Berechnung o- der zur Abschätzung von Kameraparametern verwendet. Hierbei werden die Kameraparameter zum Beispiel über eine Modellierung so abgeschätzt, dass sie den ermittelten Distanzen beziehungsweise der Transformationsvorschrift ent- sprechen. Die Kameraparameter beziehen sich insbesondere auf die Höhe der
Überwachungskamera über dem Boden, den Neigungswinkel sowie den Rollwinkel der Überwachungskamera. Optional beziehen sich die Kameraparameter auch auf die Brennweite oder weitere optische Kenngrößen der Überwachungskamera. Auch bei dieser Ausprägung ist es möglich, weiteres Vorab-Wissen bei der Abschätzung auszunutzen: So kann es sich beispielsweise als vorteilhaft erweisen, wenn bei der Modellierung die Brennweite der Überwachungskamera oder weitere optische Kenngrößen der Überwachungskamera bereits bekannt sind, so dass nur noch die Positions- und Orientierungsparameter abgeschätzt werden müssen.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung werden über die Kalibrierung der Überwachungskamera eine Grundebene und/oder ein Grundebenenkoordinatensystem abgeschätzt. Diese Grundebene beziehungsweise das entsprechende Koordinatensystem erlaubt beispielsweise einen Horizont in dem Überwachungsbild zu berechnen oder abzuschätzen, wobei Bildbereiche, die oberhalb von dem abgeschätzten oder berechneten Horizont liegen, bei der Bildverarbeitung vorzugsweise ausgespart werden. Dieser Ausbildung liegt die Überlegung zugrunde, dass oberhalb des Horizonts keine bewegten Objekte (Fußgänger, Autos etc) zu erwarten sind und dass deshalb eine Auswertung die- ser Bereiche überflüssig ist.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Kalibrierung einer Überwachungskamera, insbesondere nach dem Verfahren der Ansprüche 1 bis 9 und/oder wie es soeben beschrieben wurde, welche vorzugsweise als Teil eines Videoüberwachungssystems ausgebildet ist. Die erfindungsgemäße Vorrichtung ist somit mit einer Mehrzahl von Überwachungskameras, die insbesondere starr und/oder unbewegbar auf diverse Überwachungsszenen gerichtet sind verbunden und/oder verbindbar.
Die Vorrichtung weist ein Eingangsmodul zur Eingabe einer oder mehrerer Ü- berwachungsbilder einer realen Überwachungsszene, die in Weltkoordinaten beschreibbar ist, auf. Die Überwachungsbilder sind insbesondere Bestandteil einer oder mehrerer Videosequenzen, die durch die Überwachungskamera aufgenommen wurde.
Ein Objektverfolgungsmodul ist ausgebildet, um eine Trajektorie eines bewegten Objekts in der Überwachungsszene zu bestimmen. Die Objektverfolgung beruht vorzugsweise in bekannter Weise auf einer Objektsegmentierung des bewegten Objekts gegenüber einem statischen oder quasi-statischem Hintergrund und der Objektverfolgung über mehrere Überwachungsbilder einer Videosequenz. Die
Trajektorie umfasst einen Satz von Positionsdaten, der die Position des bewegten Objekts in Bildkoordinaten zeitabhängig beschreibt. Prinzipiell ist jede mathematisch dazu äquivalente Form der Darstellung der Trajektorie möglich.
Ein Kalibrierungsmodul ist ausgebildet, um eine Kalibrierung der Überwachungskamera durchzuführen, indem unter Verwendung eines Bewegungsmodells des bewegten Objekts die zeitabhängigen Positionsdaten des bewegten Objekts in Distanzen in der realen Überwachungsszene umgerechnet werden. Zu weiteren Details der Kalibrierung beziehungsweise der Umrechnung wird auf das zuvor beschriebene Verfahren verwiesen.
Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit Programmcodemitteln, um alle Schritte des oben beschriebenen Verfahrens beziehungsweise nach einem der Ansprüche 1 bis 9 durchzuführen, wenn das Pro- gramm auf einem Computer und/oder auf der Vorrichtung gemäß dem Anspruch
10 ausgeführt wird.
Kurze Beschreibung der Zeichnungen
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie der beigefügten Figuren. Dabei zeigen:
Figur 1-3 schematische Darstellungen von Koordinatensystemen zur Illust- rierung der verwendeten Begriffe;
Figur 4 ein Überwachungsbild mit einer eingezeichneten Trajektorie;
Figur 5 das Überwachungsbild in Figur 4 mit weiteren eingezeichneten Trajektorien;
Figur 6 ein Funktionsblockbild einer Vorrichtung zur Kalibrierung einer
Überwachungskamera als ein Ausführungsbeispiel der Erfindung.
Ausführungsform(en) der Erfindung
Figur 1 zeigt in einer schematischen Seitenansicht eine Grundebene 1, auf der sich ein bewegtes Objekt, in diesem Beispiel eine Person 2, mit einer Objekthöhe H bewegt. Die Person 2 wird zusammen mit ihrer Umgebung durch eine Überwachungskamera 3 aufgenommen.
Zur Beschreibung der Bewegung etc. der Person 2 in der Umgebung wird ein Weltkoordinatensystem verwendet, welches in der Figur 1 als lokales Grundebe- nenkoordinatensystem (GCS-local ground plane coordinate System) 4 ausgebildet ist. Dabei handelt es sich um ein kartesisches Koordinatensystem, wobei X- und Z-Achse koplanar mit der Grundebene 1 angeordnet sind und die Y- Koordinate rechtwinklig zu der Grundebene 1 ausgerichtet ist.
Die Überwachungskamera 3 wird dagegen mittels eines Kamerakoordinatensystems (CCS-camera coordinate System) 5 beschrieben. Das Kamerakoordinatensystem 5 hat seinen Ursprung in der Überwachungskamera 3, wobei die Z-Achse parallel zur optischen Achse der Überwachungskamera 3 und die X- beziehungsweise Y-Achse parallel zu den Seitenkanten eines bildaufnehmenden Sen- sorelements in der Überwachungskamera orientiert sind.
Aus dem Grundebenenkoordinatensystems 4 ergibt sich das Kamerakoordinatensystem 5 wie folgt: Zunächst erfolgt eine Verschiebung des Ursprungs um die Länge L, die der Befestigungshöhe der Überwachungskamera 3 oberhalb der Grundebene 1 entspricht. In einem weiteren Schritt wird das verschobene Koordinatensystem um einen Rollwinkel rho und um einen Neigungswinkel theta gedreht. Anzumerken ist noch, dass die Z-Achse des Grundebenenkoordinatensystems 4 als senkrechte Projektion der Z-Achse und somit der optischen Achse der Überwachungskamera 3 ausgebildet ist.
Die Figur 3 zeigt ein Bildkoordinatensystem 6 in einem Überwachungsbild 7, welches an der oberen linken Ecke des Überwachungsbilds 7 angeordnet ist. Zusätzlich ist in dem Überwachungsbild 7 der Horizont 8 eingezeichnet, wie er sich aufgrund der Befestigungshöhe L des Rollwinkels rho und des Neigungswinkels theta sowie der weiteren Kameraparametern der Überwachungskamera 3 ergibt.
Wie bereits weiter oben erläutert stellt sich bei der Kalibrierung der Überwachungskamera 3 die Schwierigkeit, Abstände in dem Überwachungsbild 7 in Bildkoordinaten 6 in reale Distanzen in der Überwachungsszene in Weltkoordina- ten beziehungsweise Grundebenenkoordinaten 4 umzurechnen beziehungsweise zu überführen. Zu diesem Zweck werden die zeitabhängigen Trajektorien des bewegten Objekts (Person 2) ausgewertet, wie nachfolgenden an den Figuren 4 und 5 erläutert wird.
Die Figur 4 zeigt ein Überwachungsbild 7, in dem eine Trajektorie 9 dargestellt ist. Die Trajektorie 9 besteht aus Einzelpunkten 10, welche die Position des bewegten Objekts (Person 2) jeweils in Intervallen von 2 Sekunden darstellen. Geht man nun davon aus, dass die Person 2 sich üblicherweise mit einer Geschwindigkeit von 4 km/h bewegt, so ergibt sich für die Distanz zwischen zwei Punkten 10 jeweils circa 2,2 m. Aufgrund der perspektivischen Eigenschaften bei der Ü- bertragung der realen Szene in Weltkoordinaten 4 in ein Überwachungsbild in Bildkoordinaten 6 werden die Abstände in Bildkoordinaten 6 zwischen den Punkten 10 in Richtung des Horizonts kleiner beziehungsweise größer in der Nähe der Überwachungskamera 3. Das Überwachungsbild 7 zeigt weiterhin, dass die Be- wegungsrichtung sich ebenfalls wesentlich auf den Abstand der Punkte 10 auswirkt. Solange die Person 2 sich von der Überwachungskamera entfernt, also entlang eines vertikalen oder quasi vertikalen Wegs läuft, wird der Abstand zwischen zwei Punkten 10 stetig kleiner. Wenn sich jedoch die Person horizontal zu der Überwachungskamera 3 bewegt, bleibt der Abstand zwischen zwei Punkten 10 auf der jeweilig gleichen horizontalen Höhe in etwa gleich. Die in der Figur 4 dargestellte Trajektorie 9 enthält somit unter der Annahme des Bewegungsmodells einer konstanten Bewegungsgeschwindigkeit von 4 km/h der Person 2 Informationen über die tatsächlichen Abstände zwischen zwei Punkten 10 in Weltkoordinaten 4.
Die Figur 5 zeigt das gleiche Überwachungsbild 7, jedoch mit weiteren Trajekto- rien 9, wobei die Trajektorien 9 jeweils horizontal verlaufende Streckenabschnitte aufweisen. Wie sich aus den horizontal verlaufenden, jedoch vertikal zueinander versetzten Trajektorienabschnitte ergibt, sind die Abstände zwischen den Punk- ten 10 kleiner je weiter entfernt die horizontalen Abschnitte von der Überwachungskamera 3 angeordnet sind. Durch die Ausnutzung dieses Wissens kann die Distanz zwischen den einzelnen Trajektorienpunkten 10 und der Überwachungskamera 3 in Weltkoordinaten 4 abgeschätzt werden. Sobald jedoch die Distanzen in Weltkoordinaten 4 bekannt sind - und somit eine Abbildungsvor- schritt zwischen Bildkoordinaten 6 und Weltkoordinaten 4 abgeschätzt oder berechnet ist - kann dieses Wissen genutzt werden, um Kameraparameter, wie zum Beispiel die Brennweite der Überwachungskamera 3 und somit die Beobachtungswinkel abzuschätzen.
Um die Kalibrierung möglichst genau auszugestalten, wird die Überwachungsszene über einen langen Zeitraum beobachtet, der mehrere Tage betragen kann. Die während dieser Zeit aufgenommenen Trajektorien 9 werden geclustert um Mittelwerte für die Bewegungszeiten der gemeinsamen Trajektorien zu erhalten. Es ist auch möglich einen sogenannten RANSAC Algorithmus zu benutzen, um das Wissen einer Vielzahl von Trajektorien zu kombinieren. Dieser Schritt ist sinnvoll, um mit statistischen Ausreißern, wie zum Beispiel rennenden oder sehr langsam laufenden Personen umzugehen.
Die Figur 6 zeigt als Funktionsschaltbild ein Videoüberwachungssystem 11, wel- ches über Schnittstellen 12 mit einer Mehrzahl von Überwachungskameras 3 verbunden ist. Die durch die Überwachungskameras 3 aufgenommen Videosequenzen werden in ein Eingangsmodul 13 geführt und von dort aus in ein Objektverfolgungsmodul 14 geleitet, welches die Trajektorien von bewegten Objekten, z.B. der Person 2, in den Videosequenzen berechnet. In einem Kalibrie- rungsmodul 15 werden die Trajektorien oder die kombinierten Trajektorien genutzt, um zunächst eine Abbildungsvorschrift zwischen Bildkoordinaten 6 und Weltkoordinaten 4 zu berechnen und daraus schließlich Kameraparameter zu bestimmen und diese zur Kalibrierung der Überwachungskamera 3 zu verwenden. Vorzugsweise ist das Videoüberwachungssystem 11 als Computer ausge-
bildet und das dargestellte Verfahren wird mittels eines Computerprogramms umgesetzt.
Claims
1. Verfahren zur Kalibrierung einer Überwachungskamera (3), die eine reale Überwachungsszene, die in Weltkoordinaten (4) beschreibbar ist, auf ein Überwachungsbild (7), welches in Bildkoordinaten (4) beschreibbar ist, ab- bildet,
wobei mindestens eine Trajektorie (9) eines bewegten Objekts (2) in der Ü- berwachungsszene bestimmt wird, die einen Satz von Positionsdaten (10) umfasst, der die Position des bewegten Objektes (2) in Bildkoordinaten (4) zeitabhängig beschreibt, und
wobei die Trajektorie (9) zur Kalibrierung der Überwachungskamera (3) verwendet wird, indem unter Verwendung eines Bewegungsmodells des bewegten Objekts (2) die zeitabhängigen Positionsdaten (10) des bewegten Objekts in Distanzen in der realen Überwachungsszene umgerechnet werden .
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das bewegte Objekt (2) klassifiziert wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bewegungsmodell als Fußgängerbewegungsmodell ausgebildet ist, welches von einer konstanten Bewegungsgeschwindigkeit eines Fußgängers ausgeht.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zeitabhängigen Positionsdaten (10) zeitlich äquidistant ausgebildet sind und dass der Abstand zwischen zwei Bildpunkten von zwei Positionsdaten in Bildkoordinaten (4) in eine Distanz in Weltkoordinaten (6) in der realen Überwachungsszene umgerechnet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Transformationsvorschrift zwischen Bild- (4) und Weltkoordinaten (6) bestimmt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Vielzahl von Trajektorien (8) ermittelt und verwendet werden, die statistisch miteinander kombiniert werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass weitere Vorab- Kenntnisse zur Kalibrierung verwendet werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die ermittelten Distanzen und/oder die Transformationsvorschrift zur Berechnung oder Abschätzung von Kameraparametern verwendet werden (L, rho, theta).
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass eine Grundebene (1) in der Überwachungsszene ermittelt wird.
10. Vorrichtung zur Kalibrierung einer Überwachungskamera, welche vorzugsweise für das Verfahren nach einem der vorhergehenden Ansprüche ausge- bildet ist,
mit einem Eingangsmodul (12) zur Eingabe einer oder mehrerer Überwachungsbilder einer realen Überwachungsszene, die in Weltkoordinaten (4) beschreibbar ist,
mit einem Objektverfolgungsmodul (13), welches ausgebildet ist, um eine Trajektorie (9) eines bewegten Objekts (2) in der Überwachungsszene zu bestimmen, wobei die Trajektorie (9) einen Satz von Positionsdaten (10) um- fasst, der die Position des bewegten Objekts (2) in Bildkoordinaten (6) zeit- abhängig beschreibt, und mit einem Kalibrierungsmodul (14), welches ausgebildet ist, eine Kalibrierung der Überwachungskamera (3) durchzuführen, indem unter Verwendung eines Bewegungsmodells des bewegten Objekts (2) die zeitabhängigen Po- sitionsdaten des bewegten Objekts (2) in Distanzen in der realen Überwachungsszene umgerechnet werden.
11. Computerprogramm mit Programmcode- Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 durchzuführen, wenn das Programm auf einem Computer und/oder auf der Vorrichtung gemäß Anspruch 10 ausgeführt wird.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102007001649A DE102007001649A1 (de) | 2007-01-11 | 2007-01-11 | Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera |
| PCT/EP2007/061808 WO2008083869A1 (de) | 2007-01-11 | 2007-11-02 | Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP2126840A1 true EP2126840A1 (de) | 2009-12-02 |
Family
ID=38917680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP07822150A Withdrawn EP2126840A1 (de) | 2007-01-11 | 2007-11-02 | Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20100103266A1 (de) |
| EP (1) | EP2126840A1 (de) |
| DE (1) | DE102007001649A1 (de) |
| WO (1) | WO2008083869A1 (de) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007096004A1 (en) * | 2006-02-27 | 2007-08-30 | Robert Bosch Gmbh | Video retrieval system, method and computer program for surveillance of moving objects |
| JP4933354B2 (ja) * | 2007-06-08 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、及び情報処理方法 |
| US8325976B1 (en) * | 2008-03-14 | 2012-12-04 | Verint Systems Ltd. | Systems and methods for adaptive bi-directional people counting |
| EP2164043A1 (de) | 2008-09-12 | 2010-03-17 | March Networks Corporation | Videokamera-Kalibrierung und Perspektivberechnung |
| US8612286B2 (en) | 2008-10-31 | 2013-12-17 | International Business Machines Corporation | Creating a training tool |
| US8345101B2 (en) | 2008-10-31 | 2013-01-01 | International Business Machines Corporation | Automatically calibrating regions of interest for video surveillance |
| US7962365B2 (en) | 2008-10-31 | 2011-06-14 | International Business Machines Corporation | Using detailed process information at a point of sale |
| US8429016B2 (en) | 2008-10-31 | 2013-04-23 | International Business Machines Corporation | Generating an alert based on absence of a given person in a transaction |
| WO2012021898A2 (en) | 2010-08-13 | 2012-02-16 | Certusview Technologies, Llc | Methods, apparatus and systems for surface type detection in connection with locate and marking operations |
| CA2811738A1 (en) * | 2010-08-13 | 2012-02-16 | Curtis Chambers | Methods, apparatus and systems for marking material color detection in connection with locate and marking operations |
| US9124780B2 (en) | 2010-09-17 | 2015-09-01 | Certusview Technologies, Llc | Methods and apparatus for tracking motion and/or orientation of a marking device |
| US8866889B2 (en) * | 2010-11-03 | 2014-10-21 | Microsoft Corporation | In-home depth camera calibration |
| US8675090B2 (en) * | 2010-12-15 | 2014-03-18 | Panasonic Corporation | Image generating apparatus, image generating method, and recording medium |
| DE102011100628B4 (de) | 2011-05-05 | 2013-04-25 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters |
| AU2011202555B2 (en) * | 2011-05-31 | 2013-07-18 | Canon Kabushiki Kaisha | Multi-view alignment based on fixed-scale ground plane rectification |
| US9625786B2 (en) | 2011-07-29 | 2017-04-18 | Robert Bosch Gmbh | Linear actuator and camera with a motorized back focus module with the linear actuator |
| EP2737366B1 (de) | 2011-07-29 | 2018-05-30 | Robert Bosch GmbH | KAMERA MIT EINEN INNEREN RAHMENANORDNUNG UND& xA;KAMERA BAUVERFAHREN |
| WO2013017151A1 (en) | 2011-07-29 | 2013-02-07 | Robert Bosch Gmbh | Back focus adjusting module and camera with the back focus adjusting module |
| DE102011088822A1 (de) | 2011-12-16 | 2013-06-20 | Robert Bosch Gmbh | Überwachungskamera, Überwachungssystem sowie Verfahren zur Konfiguration einer bzw. der Überwachungskamera |
| US9286678B2 (en) * | 2011-12-28 | 2016-03-15 | Pelco, Inc. | Camera calibration using feature identification |
| US8744125B2 (en) | 2011-12-28 | 2014-06-03 | Pelco, Inc. | Clustering-based object classification |
| FI20125281A7 (fi) * | 2012-03-14 | 2013-09-15 | Mirasys Business Analytics Oy | Menetelmä, laite ja tietokoneohjelma kuvaparametrin määrittämiseksi |
| JP6206405B2 (ja) * | 2012-06-08 | 2017-10-04 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム |
| EP2709064B1 (de) | 2012-07-18 | 2019-06-26 | AGT International GmbH | Bildverarbeitung zum Ableiten von Bewegungseigenschaften für eine Vielzahl von Objekten in einer Warteschlange |
| EP2709058B1 (de) | 2012-07-18 | 2015-09-02 | AGT International GmbH | Kalibrierung von kamerabasierten Überwachungssystemen |
| KR102003776B1 (ko) | 2013-08-13 | 2019-07-26 | 한화테크윈 주식회사 | 감시용 카메라의 자세 검출 방법 및 장치 |
| CN103856774B (zh) * | 2014-02-28 | 2016-03-23 | 北京航科威视光电信息技术有限公司 | 一种视频监控智能检测系统及方法 |
| US9942450B2 (en) | 2014-07-11 | 2018-04-10 | Agt International Gmbh | Automatic time signature-based video matching for a camera network |
| ES2759369T3 (es) | 2015-10-30 | 2020-05-08 | Signify Holding Bv | Puesta en servicio de un sistema de sensores |
| EP3264761A1 (de) * | 2016-06-23 | 2018-01-03 | Thomson Licensing | Verfahren und vorrichtung zur erzeugung eines paares stereoskopischer bilder mit mindestens einer lichtfeldkamera |
| CN106373125B (zh) * | 2016-09-30 | 2018-10-19 | 杭州电子科技大学 | 一种基于信息熵的雪花噪声检测方法 |
| DE102016222319A1 (de) | 2016-11-14 | 2018-05-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | 3d-referenzierung |
| DE102016224095A1 (de) * | 2016-12-05 | 2018-06-07 | Robert Bosch Gmbh | Verfahren zum Kalibrieren einer Kamera und Kalibriersystem |
| US10643078B2 (en) * | 2017-11-06 | 2020-05-05 | Sensormatic Electronics, LLC | Automatic camera ground plane calibration method and system |
| US11195324B1 (en) | 2018-08-14 | 2021-12-07 | Certainteed Llc | Systems and methods for visualization of building structures |
| CN111369622B (zh) * | 2018-12-25 | 2023-12-08 | 中国电子科技集团公司第十五研究所 | 虚实叠加应用的相机世界坐标位置获取方法、装置和系统 |
| CN111564015B (zh) * | 2020-05-20 | 2021-08-24 | 中铁二院工程集团有限责任公司 | 一种轨道交通周界入侵的监测方法及装置 |
| DE102021209698A1 (de) * | 2021-09-03 | 2023-03-09 | Continental Automotive Technologies GmbH | Verfahren zur Kalibrierung einer Straßenüberwachungseinrichtung und Straßenüberwachungssystem |
| CN116017299A (zh) * | 2022-12-08 | 2023-04-25 | 上海建工四建集团有限公司 | 基于bim和视频监控的室内人员定位方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8711217B2 (en) * | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US6970083B2 (en) | 2001-10-09 | 2005-11-29 | Objectvideo, Inc. | Video tripwire |
| US6998987B2 (en) * | 2003-02-26 | 2006-02-14 | Activseye, Inc. | Integrated RFID and video tracking system |
| US20070076977A1 (en) * | 2005-10-05 | 2007-04-05 | Kuan-Wen Chen | Method for calibrating camera parameters |
-
2007
- 2007-01-11 DE DE102007001649A patent/DE102007001649A1/de not_active Withdrawn
- 2007-11-02 US US12/522,571 patent/US20100103266A1/en not_active Abandoned
- 2007-11-02 EP EP07822150A patent/EP2126840A1/de not_active Withdrawn
- 2007-11-02 WO PCT/EP2007/061808 patent/WO2008083869A1/de not_active Ceased
Non-Patent Citations (1)
| Title |
|---|
| See references of WO2008083869A1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102007001649A1 (de) | 2008-07-17 |
| WO2008083869A1 (de) | 2008-07-17 |
| US20100103266A1 (en) | 2010-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2126840A1 (de) | Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera | |
| EP1589484B1 (de) | Verfahren zur Erkennung und/oder Verfolgung von Objekten | |
| EP2043045B1 (de) | Verfahren zur Objektverfolgung | |
| DE102014206704B4 (de) | Aktualisierung der kalibrierung einer verkehrskamera unter verwendung einer szenenanalyse | |
| EP2757346B1 (de) | Verfahren zum Messen eines Höhenprofils eines auf einer Straße passierenden Fahrzeugs | |
| EP2880853B1 (de) | Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera | |
| DE102018121019A1 (de) | Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten | |
| DE102016209625A1 (de) | Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera | |
| DE102016206493A1 (de) | Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug | |
| DE102015203016A1 (de) | Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld | |
| WO2009003793A2 (de) | Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm | |
| WO2015085338A1 (de) | Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs | |
| EP3104330B1 (de) | Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal | |
| DE102007054950B4 (de) | Verfahren zur Stützung der selbsttätigen Navigation eines niedrig fliegenden Flugkörpers | |
| DE102007013664A1 (de) | Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger | |
| EP3867796A1 (de) | Verfahren und vorrichtung zur bestimmung einer umgebungskarte | |
| DE102014208272A1 (de) | Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung | |
| WO2019162327A2 (de) | Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt | |
| WO2023083620A1 (de) | Prüfung der umfeldsensorik und/oder umfeldperzeption eines fahrzeugs | |
| DE10049366A1 (de) | Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System | |
| EP2467826A1 (de) | Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts | |
| WO2017186225A1 (de) | Bewegungsanalysesystem und ein dieses umfassendes bewegungsverfolgungssystem von bewegten oder sich bewegenden, sich thermisch von ihrer umgebung abhebenden objekten | |
| DE102006044615A1 (de) | Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen | |
| DE19517031A1 (de) | Verfahren zur Bestimmung der Länge eines Fahrzeuges mit Hilfe einer das Fahrzeug aufnehmenden Videokamera und Vorrichtung zur Durchführung des Verfahrens | |
| DE102015118941B4 (de) | Probabilistisches Verfolgungsverfahren für Partikel in einem Fluid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| 17P | Request for examination filed |
Effective date: 20090811 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR |
|
| 17Q | First examination report despatched |
Effective date: 20091209 |
|
| DAX | Request for extension of the european patent (deleted) | ||
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
| 18D | Application deemed to be withdrawn |
Effective date: 20100622 |