-
Die vorliegende Erfindung betrifft ein Verfahren zum Zuordnen eines Videobilds der realen Welt zu einem dreidimensionalen Computermodell der realen Welt.
-
Im Stand der Technik sind digitale Modelle der realen Welt bekannt. Beispiele hierfür sind das DTM (Digital Terrain Model = digitales Geländemodell) oder das DSM (Digital Surface Model = digitales Oberflächenmodell). Das digitale Geländemodell ist ein dreidimensionales Modell der realen Welt, und das digitale Oberflächenmodell ist ein zweidimensionales Modell der realen Welt. Beispielsweise wird ein digitales Geländemodell dadurch erzeugt, dass an einem Flugzeug angebrachte Kameras 3D-Sterometrie-Daten aufnehmen, welche dann die Grundlage für das digitale Geländemodell bilden. Gleichzeitig mit der Kameraaufnahme wird die Position der Kameras über UPS und/oder Gyroskope aufgezeichnet, so dass eine exakte Vermessung aus Flugaufnahmen erzeugt werden kann. Das digitale Geländemodell wird beispielsweise durch eine Vermessung mittels Laser oder Radar erzeugt. Die Radarmessung ist weniger genau, bietet aber den Vorteil, dass keine Vegetation mitvermessen wird.
-
Daneben ist es schon seit langem bekannt, mittels Kameras zweidimensionale Videoaufnahmen der realen Welt zu machen. Beispielhafte Anwendungsfälle sind Überwachungskameras, welche einen bestimmten Bereich überwachen. Eine Überwachung mittels herkömmlicher Kameras besitzt allerdings eine Vielzahl von Nachteilen. Beispielsweise ist das Blickfeld der Kameras begrenzt und die aus dem zweidimensionalen Abbild der Realität gewonnene Information ist ebenfalls limitiert.
-
Es besteht daher ein Bedarf dahingehend, die beiden bekannten Techniken derart zu kombinieren, dass der Informationsgehalt eines Videobildes stark vergrößert wird, indem die Informationen aus dem dreidimensionalen Computermodell der realen Welt darin eingebunden werden.
-
Die Aufgabe der vorliegenden Erfindung besteht daher darin, die Aussagekraft von Videobildern zu erhöhen und neue Anwendungsmöglichkeiten für die Videoüberwachung zu schaffen.
-
Diese Aufgabe wird durch ein Verfahren zum Zuordnen eines Videobilds der realen Welt zu einem dreidimensionalen Computermodell der realen Welt gelöst, wobei das Videobild eine Vielzahl von Pixeln aufweist, und wobei das Videobild mittels einer Kamera aufgenommen ist, und wobei das Verfahren folgende Schritte aufweist:
- (a) Erfassen einer Zuordnung von wenigstens einem Pixel des Videobilds zu einem Koordinatenpunkt in dem dreidimensionalen Computermodell, um wenigstens ein Pixel-Koordinatenpunkt-Paar zu erhalten; und
- (b1) Berechnen aus dem wenigstens einen Pixel-Koordinatenpunkt-Paar einer Zuordnung von wenigstens einem weiteren Pixel des Videobilds zu einem Koordinatenpunkt in dem dreidimensionalen Computermodell, wobei das wenigstens eine weitere Pixel nicht das wenigstens eine Pixel ist; und/oder
- (b2) Berechnen aus dem wenigstens einen Pixel-Koordinatenpunkt-Paar von Parametern der Kamera.
-
Ein Vorteil der vorliegenden Erfindung besteht darin, ein 3D-Visualisierungssystem in Echtzeit vorzusehen, das mehrfache Datenquellen in dem Weltkoordinatensystem integriert, was einen entfernten Zugriff auf Sensoren und virtuelle Durchflüge erlaubt.
-
Weitere bevorzugte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen offenbart.
-
Die Erfindung, sowie weitere Merkmale, Ziele, Vorteile und Anwendungsmöglichkeiten derselben, wird bzw. werden nachfolgend anhand einer Beschreibung von bevorzugten Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. In den Zeichnungen bezeichnen dieselben oder ähnliche Bezugszeichen dieselben bzw. entsprechende Elemente. Dabei bilden alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger sinnvoller Kombination den Gegenstand der vorliegenden Erfindung, und zwar unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. In den Zeichnungen zeigen in stark schematischer Darstellung:
-
1 eine Darstellung einer Arbeitsumgebung mit zwei Bildschirmen, um ein Videobild einem dreidimensionalen Computermodell zuzuordnen;
-
2a ein Videobild einer Szene mit Gebäuden, welches mittels der vorliegenden Erfindung einem dreidimensionalen Oberflächenmodell zugeordnet werden soll;
-
2b das Videobild einer Szene mit Gebäuden gemäß 2a mit noch nicht passend überlagerten Kanten der Gebäude, welche aus dem dreidimensionalen Oberflächenmodell erhalten wurden;
-
2c das Videobild einer Szene mit Gebäuden gemäß 2a mit passend überlagerten Kanten der Gebäude, welche aus dem dreidimensionalen Oberflächenmodell erhalten wurden;
-
3 eine stark schematische Darstellung einer Zuordnungshilfseinrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
4 ein Videobild einer Szene mit einem Pkw, wobei in dem Videobild die erfindungsgemäß bestimmte Länge des Pkw angezeigt wird;
-
5 die rechte Hälfte der 5 zeigt ein Live-Videobild einer Überwachungskamera, mit einem darin markierten Objekt, die linke Hälfte der 5 zeigt die Trajektorie des Objekts in einem dreidimensionalen Computermodell;
-
6 eine perspektivische Ansicht in einem dreidimensionalen Computermodell, in welchem in der Realität aufgestellte Videokameras angezeigt sind, wobei ferner, das durch die Videokameras aufgenommene Bild in dem Computermodell auf virtuellen Leinwänden mitangezeigt wird;
-
7 eine Nachtaufnahme einer Szene von zwei Personen, wobei um die Nachtaufnahme herum die Umgebung der Szene dargestellt ist, und wobei die Umgebung einer Aufnahme bei Tag entstammt;
-
8 eine mit einer Schwenkneigekopfkamera erhaltene 360° Ansicht einer Szene, wobei das aktuelle Blickfeld der Schwenkneigekopfkamera durch ein Rechteck markiert ist;
-
9 eine Ansicht eines Geländes in einem dreidimensionalen Computermodell der realen Welt, wobei sich in dem Gelände mehrere mobile Einsatzkräfte mit Überwachungskameras bewegen, und wobei die nicht durch die Kameras überwachten Bereiche in dem Modell markiert sind; und
-
10 eine schematische Darstellung einer Anzeigevorrichtung nach Art einer Radaranzeige für mobile Einsatzkräfte, in welcher Videobilder sowie die Position der diese aufnehmenden Kameras angezeigt wird.
-
In einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden Schwenkneigekopfkameras verwendet, welche sowohl geschwenkt als auch geneigt werden können. Ferner kann eine derartige Schwenkneigekopfkamera einen Bildausschnitt vergrößern, d. h. in eine Richtung zoomen. Derartige Schwenkneigekopfkameras sind im Stand der Technik bekannt und werden deshalb hier nicht weiter beschrieben.
-
Derartige Schwenkneigekopfkameras werden beispielsweise an einem Turm angebracht, und die Kamera überwacht dann die Umgebung. Dabei muss sichergestellt sein, dass, wenn die Kamera nicht angesteuert wird, d. h. nicht verschwenkt oder geneigt wird, die Kamera immer in dieselbe Richtung zeigt. Dies ist in der Praxis tatsächlich ein Problem, da sich beispielsweise der Turm bei starkem Wind bewegen kann, was das Bild der an dem Turm angebrachten Kamera verändert. Zu diesem Zweck werden gemäß einem Ausführungsbeispiel der Erfindung Kompensationseinrichtungen mit sichtbaren Markierungen im Blickfeld des Videobilds aufgestellt, welche beispielsweise als Lampen realisiert sind, welche vorzugsweise gemäß einer speziellen Kennung blinken. Durch die spezielle Kennung des Blinkens kann jede Kompensationseinrichtung identifiziert werden. Bei einer ungewünschten Bewegung der Kamera, wie sie beispielsweise durch eine Bewegung des Objekts, an dem sie angebracht ist, verursacht wird, kann dann dadurch erkannt werden, dass sich die Position der Kompensationseinrichtung in dem Videobild ändert. Durch rechnerische Kompensation kann die ungewünschte Bewegung ausgeglichen werden, so dass die Kamera ständig denselben Bildausschnitt der Umgebung liefert, wenn deren Kameraparameter (Schwenkung, Neigung, Zoom) nicht geändert werden. Eine beispielhafte Ausführungsform einer Kompensationseinrichtung entspricht im wesentlichen einer Zuordnungshilfseinrichtung wie sie weiter unten in Verbindung mit 3 näher erläutert wird.
-
Um nun ein von einer Schwenkneigekopfkamera aufgenommenes Videobild der realen Welt zu einem dreidimensionalen Computermodell der realen Welt zuzuordnen, wird wenigstens ein Pixel des Videobilds einem Koordinatenpunkt in dem dreidimensionalen Computermodell zugeordnet. Vorzugsweise werden mehrere Pixel des Videobilds mehreren Koordinatenpunkten des dreidimensionalen Computermodells zugeordnet, wobei vorzugsweise wenigstens vier Pixel verwendet werden, welche beispielsweise aus den vier unterschiedlichen Quadranten des Videobilds stammen.
-
Der 1 kann man ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung für die Zuordnung von Pixeln des Videobilds zu Koordinatenpunkten des dreidimensionalen Computermodells entnehmen. Im 1 sind zwei Computerbildschirme erkennbar. Der linke Computerbildschirm zeigt ein reales Videobild, welches von einer Überwachungskamera aufgenommen wird. Der rechte Bildschirm zeigt ein digitales Geländemodell, über das eine georeferenzierte Luftaufnahme überlagert wurde. Ein Anwender kann nun manuell Pixel des Videobildes des linken Monitors zu entsprechenden Koordinatenpunkten des rechten Monitors durch Mausklicks zuordnen. Beispielsweise kann ein Punkt des an dem linken Monitor gezeigten Hauses einem entsprechenden in der Luftaufnahme erkennbaren Punkt zugeordnet werden. Die Ansicht des digitalen Geländemodells des rechten Monitors kann vom Anwender verändert werden, so dass beispielsweise auch Höhenkoordinaten den Pixeln des Videobilds zugeordnet werden können. Als Ergebnis dieser Zuordnung erhält man für wenigstens eine und vorzugsweise für eine Vielzahl von Pixel des zweidimensionalen Videobilds 3D-Koordinaten aus dem dreidimensionalen Computermodell.
-
Ein alternatives Verfahren der „Kalibrierung”, d. h. der Zuordnung von Pixeln zu Koordinatenpunkten, ist in den 2a bis 2c veranschaulicht. In der 2a ist ein durch eine Kamera erzeugtes Videobild der realen Welt dargestellt. Man erkennt deutlich eine Ansicht von Gebäuden. Aus einem digitalen Geländemodell werden nun mittels bekannter Verfahren die Kanten der Gebäude ermittelt und mit dem Videobild überlagert. Man erkennt in 2b entsprechende Umrisse, welche aus einem digitalen Geländemodell erhalten wurden, wobei die Überlagerung noch nicht deckungsgleich ist. Die 2b zeigt daher einen Zwischenschritt der Kalibrierung, bei welchem die Kanten noch nicht kongruent sind. Durch genaue Anpassung der Kanten (vgl. 2c) kann dann eine genaue Zuordnung der Pixel zu Koordinatenpunkten in dem dreidimensionalen Computermodell erfolgen kann.
-
Schließlich verwendet die vorliegende Erfindung ein drittes Verfahren für die Zuordnung von Pixeln eines Videobilds zu dreidimensionalen Koordinatenpunkten, wobei in diesem Zusammenhang auf 3 hingewiesen wird. In 3 ist eine Zuordnungshilfseinrichtung 1 in Form eines Dreibeins schematisch dargestellt. Die Zuordnungshilfseinrichtung 1 weist eine sichtbare Markierung in Form eine Leuchte 2 auf. Ferner verfügt die Zuordnungshilfseinrichtung 1 über Mittel, um deren Koordinaten zu bestimmen, wie beispielsweise einen GPS-Empfänger 3. Über Funk, in 3 ist hierzu ein Mobiltelefon 4 gezeigt, kann die beispielsweise mittels GPS bestimmte Koordinatenposition der Zuordnungshilfseinrichtung 1 fernübertragen werden. Die Zuordnungshilfseinrichtung 1 wird in dem Blickfeld einer Kamera aufgestellt, und in dem von der Kamera erzeugten Videobild erkennt man deutlich die Leuchte 2. Den entsprechenden Pixeln der Leuchte 2 wird dann die per Funk übermittelte Koordinatenposition zugeordnet, so dass auf diese Weise Pixel-Koordinatenpunkt-Paare erhalten werden. Zu diesem Zweck können mehrere Zuordnungshilfseinrichtungen 1 vorgesehen sein, oder eine Zuordnungshilfseinrichtung kann an mehreren Stellen nacheinander aufgestellt werden. Dieses Verfahren der anfänglichen „Kalibration” ist besonders gut für Anwendungsfälle geeignet, bei denen das Videobild derart ist, dass es keine Objekte enthält, wie es z. B. der Fall ist, wenn eine „grüne Wiese” überwacht wird.
-
Während eingangs der Figurenbeschreibung erläutert wurde, wie ein stabiles Bild generiert wird, wurde vorstehend im Verbindung mit den 1 bis 3 die Zuordnung von Pixeln des Videobilds zu Koordinatenpunkten in einem dreidimensionalen Computermodell der Realität, wie z. B. einem digitalen Geländemodell, näher erläutert. Für einen Fachmann ist es jedoch offensichtlich, dass verschiedene weitere „Kalibrierungen” gemacht werden müssen, wie z. B. die Korrektur von Linsen- bzw. Abbildungsfehlern, um eine möglichst genaue Implementierung der Erfindung sicherzustellen.
-
Die aus der oben erläuterten Zuordnung gewonnenen Pixel-Koordinatenpunkt-Paare können nun grundsätzlich auf zwei Arten verwendet werden. Zum einen können für die verbleibenden, d. h. die nichtzugeordneten, Pixel des Videobilds Koordinatenpunkte in dem dreidimensionalen Computermodell der realen Welt berechnet werden. Hierzu werden an dem Fachmann geläufige mathematische Verfahren, wie z. B. nichtlineare Optimierung, Interpolation, Verfahren der kleinsten Quadrate etc. verwendet. Jedem Pixel des Videobilds ist eindeutig ein Koordinatenpunkt zugeordnet, so dass durch die Erfindung ein georeferenziertes Videobild erhalten wird. Eine andere Möglichkeit besteht darin, aus den erhaltenen Pixel-Koordinatenpunkt-Paaren die Kameraparameter, d. h. die Blickrichtung der Kamera, Schwenkwinkel, Neigungswinkel und Zoomfaktor zu berechnen. Für ein anfänglich gemäß dem oben beschriebenen Verfahren ausgewertetes Videobild, sind dann die Kameraparameter bekannt, und im Betrieb überträgt dann die Schwenkneigekopfkamera die Änderungen ihrer Kameraparameter laufend oder auf Anfrage an das dreidimensionale Computermodell, so dass sozusagen eine virtuelle Kamera in dem dreidimensionalen Computermodell existiert, welche der realen Kamera entspricht. Wie zuvor beschrieben, kann dann je nach Anwendungsfall für jedes im Videobild sichtbare Pixel dessen Koordinaten berechnet werden.
-
Vorzugsweise werden für mehrere anfängliche Kamerapositionen und Parameter ausreichend viele Pixel-Koordinatenpunkte erhalten, so dass für zukünftige Kamerabewegungen, deren Änderungen zu den anfänglichen Positionen bekannt sind, durch Interpolation die aktuellen Kameraparameter bestimmt werden können.
-
Durch die Erfindung wird eine Vielzahl von neuartigen Anwendungen möglich. Beispielsweise kann in einem Videobild ein vorderer Punkt und ein hinterer Punkt eines Objekts markiert werden, wobei dann die Länge des Objekts berechnet wird und im Videobild angezeigt werden kann. Dies entnimmt man der beispielhaften Darstellung der 4, in welcher die Länge eines parkenden Autos angezeigt wird. Anstelle von oder zusätzlich zu der Länge eines Objekts, in der Darstellung der 4 ist beispielhaft ein parkendes Auto gezeigt, können auch andere Parameter, wie z. B. Höhe oder Koordinaten, eines Objekts selbstverständlich angezeigt werden.
-
Es können aber nicht nur statische Parameter von Objekten erfasst werden, sondern auch dynamische Parameter, wie z. B. Trajektorie, Geschwindigkeiten, Beschleunigungen etc. Dies bietet einen enormen Vorteil gegenüber dem Stand der Technik wie anhand eines Beispiels im Folgenden erläutert wird. Bei einer herkömmlichen Überwachungssituation, wie z. B. in einem Flughafen, gibt es eine Vielzahl von Überwachungskameras, deren Bilder auf Monitoren vom Überwachungspersonal betrachtet werden. Wenn nun eine verdächtige Person in das Blickfeld einer Kamera tritt, und von dem Überwachungspersonal als verdächtig eingestuft wird, so muss das Personal sie bei allen Bewegungen durch den Flughafen verfolgt werden. Dabei tritt die Person beispielsweise aus dem Blickfeld einer Überwachungskamera aus, d. h. befindet sich für eine gewisse Zeit in einem toten Bereich, um dann wieder in dem Blickfeld einer anderen Kamera aufzutauchen. Da die Bewegung der verdächtigen Person nicht bekannt ist, erfordert es viel Routine und auch Glück, um die Person in dem Blickfeld einer neuen Kamera wieder zu lokalisieren. Dabei gibt es selbstverständlich auch eine Unsicherheit dahingehend, ob die Person wirklich noch dieselbe ist, oder ob es sich lediglich um eine ähnliche Person handelt. Mit der vorliegenden Erfindung wäre es beispielsweise möglich, die Größe der Person zu erfassen, und anhand der Größe zu bestimmen, ob es sich bei der Person im Blickfeld der anderen Kamera um eine gleich große Person handelt. Darüber hinaus kann in dem Blickfeld der anfänglichen Kamera eine Trajektorie bestimmt werden, so dass beispielsweise unter der Annahme einer konstanten Gehgeschwindigkeit, die Person wieder identifiziert werden kann. Auf dieser Weise können auch die Kameras automatisch gesteuert werden, um eine Übergabe von einer Kamera zu einer anderen Kamera automatisch zu veranlassen, wenn sich eine verdächtige Person aus dem Blickfeld einer Kamera begibt.
-
Beispielsweise kann, wie in 5 gezeigt ist, etwa neben dem realen Videobild einer Überwachungskamera (rechter Teil der 5) auf einem Bildschirm das dreidimensionale Computermodell der Realität (linker Teil der 5) angezeigt werden, welches nach Belieben in seiner Ansicht verändert werden kann. In dem rechten Teil der 5 ist ein Objekt, im Ausführungsbeispiel ein Auto, durch ein Rechteck markiert. In dem dreidimensionalen Computermodell kann dann die Trajektorie des Objekts visualisiert werden, was die Praxis einer Überwachung extrem komfortabel macht. In der linken Hälfte der 5 ist das Objekt schematisch durch ein Verkehrshütchen angezeigt. In dem dreidimensionalen Computermodell sind auch die Kameras mit ihren aktuellen Kameraparametern, wie z. B. Blickrichtung etc. dargestellt, so dass man auch sehr einfach die Übergabe der Überwachung von einer Kamera auf die anderen planen kann.
-
In 6 ist eine weitere Variante hierzu gezeigt, bei welcher in dem dreidimensionalen Computermodell virtuelle Leinwände aufgestellt sind, auf denen das reale Videobild angezeigt wird. Auf dieser Weise wird eine sehr komfortable, übersichtliche und effiziente Überwachung ermöglicht.
-
Die 7 zeigt eine weitere Einsatzmöglichkeit der vorliegenden Erfindung. In der Figur sieht man eine Nachtaufnahme, die mit Infrarotkameras aufgenommen wurde, von zwei Personen, die sich an einem Hauseingang treffen. Der Teil des Bildes um die Nachtaufnahme herum, ist jedoch ein bei Tag aufgenommen Bild der gleichen Szene, so dass der Informationsgehalt des Bildes wesentlich größer ist, da alle umgebenden Objekte sichtbar sind. Die Überlagerung des Infrarotbilds über das Tagesbild wird durch die Erfindung möglich, da die Koordinaten der Pixel bekannt sind, und somit die Überlagerung oder Einbettung präzise erfolgen kann. Durch die vorliegende Erfindung wird also nicht nur der Informationsgehalt der Überwachung verbessert, sondern auch die Überwachung wesentlich komfortabler und übersichtlicher realisiert. Anstelle einer Nachtaufnahme können selbstverständlich auch andere Arten von Aufnahmen, wie z. B. eine Aufnahme mit einer Wärmebildkamera, verwendet werden.
-
Ein Beispiel einer weiteren Anwendung der vorliegenden Erfindung ist schematisch in 8 gezeigt. Die 8 zeigt eine 360°-Ansicht für eine Schwenkneigekopfkamera, d. h. in einer einzigen Darstellung die Ansicht der Umgebung, wie sie sich durch vollständige Ausnutzung aller Bewegungsmöglichkeiten der Kamera ergibt. In dieser Darstellung ist nun schematisch als Rechteck das aktuelle Kamerablickfeld mit entsprechendem Zoom angezeigt, so dass der Anwender einen sehr guten Überblick darüber hat, welchen Ausschnitt aus dem Überwachungsspektrum ihn gerade zur Verfügung steht. Durch einfachen Mausklick kann auf eine sehr übersichtliche Weise dann die Schwenkneigekopfkamera gesteuert werden, indem beispielsweise die Blickrichtung verändert wird oder ein Zoomen veranlasst wird. Die wird dann in der Darstellung der 8 durch eine geänderte Position und Größe des Rechtecks sehr übersichtlich veranschaulicht.
-
In 9 ist ein digitales Geländemodell dargestellt, wobei sich in dem Gelände verschiedene Patrolien befinden, die jeweils mit einer Überwachungskamera ausgerüstet sind. Die Videobilder dieser Kameras werden nun mittels der vorliegenden Erfindung georeferenziert, so dass es wie in 9 gezeigt, möglich ist, in dem Gelände die überwachten Bereiche sowie die toten Bereiche, d. h. die Bereiche, in denen keine Überwachung stattfindet, anzuzeigen. Dieser Anwendungsfall ist besonders bei mobilen und mehreren Überwachungskameras vorteilhaft, da beispielsweise die Suche nach einer verdächtigten Person wesentlich erleichtert.
-
In 10 ist schematisch eine Anzeige nach Art eines Radars dargestellt, wie sie beispielsweise in einem mobilen Einsatzwagen verwendet wird. Die Anzeige besitzt eine Windrose die sich bei einer Richtungsänderung des Einsatzwagens derart dreht, dass oben immer Norden angezeigt wird. Ferner sind in der Anzeige die von den Überwachungskameras aufgenommen Videobilder angezeigt, wobei die Position der Videobilder je näher ins Zentrum rückt, je näher sich der Einsatzwagen dieser Kameraposition nähert. Die Richtung, in welcher sich die Kamera zu dem Einsatzwagen befindet, wird durch die Winkelposition des Videobilds veranschaulicht. Die Blickrichtung der Kamera ist ebenfalls durch einen Pfeil am Rand des Videobilds eingetragen. Beispielsweise bei einer Verfolgungsfahrt erkennt man sofort, ob sich in der Nähe Überwachungskameras befinden, bekommt deren Bilder angezeigt, und dies kann daher die mobile Einsatzeinheit beispielsweise bei der Verfolgung eines Autos sehr unterstützen.
-
Die Erfindung wurde vorstehend anhand von bevorzugten Ausführungsformen derselben näher erläutert. Für einen Fachmann ist es jedoch offensichtlich, dass unterschiedliche Abwandlungen und Modifikationen gemacht werden können, ohne von dem der Erfindung zugrundeliegenden Gedanken abzuweichen.
