-
Ausführungsbeispiele
gemäß der Erfindung beziehen
sich auf die Erzeugung von virtuellen Bildern und im Besonderen
auf eine Vorrichtung und ein Verfahren zum Bereitstellen eines Videosignals
eines virtuellen Bildes basierend auf einem realen Bild einer Kamera.
-
Videodaten
verfügen
im Allgemeinen nur über
implizite optische Ortsinformation, aus denen nur die Relation der
sichtbaren Objekte zueinander bestimmt werden können. Eine Bestimmung der wahren
Ortsinformation in Echtzeit ist nur über Referenzmodelle im Bild
oder aufwändige
Bildverarbeitung möglich.
Das Überblenden
von Objekten in Videosignalen in Echtzeit erfordert bisher eine
sehr rechenaufwendige Analyse und Verarbeitung des Videobildes,
ohne dass die Mehrdeutigkeit von Tiefe zu Größe objektunabhängig und
zweifelsfrei aufgelöst werden
kann.
-
Es
existieren Echtzeitortungssysteme, welche in der Lage sind auf wenige
cm die Position von Objekten innerhalb eines bestimmten Areals zu
vermessen. Beispiel dafür
sind Fraunhofer Witrack, Differenzielles GPS oder Ubisense. Die
Position der Objekte kann als virtuelle 3D Sicht im Benutzerinterface dargestellt
werden.
-
Des
Weiteren gibt es vollautomatisch steuerbare Kamerasysteme, deren
genaue Ausrichtung als auch der Position durch integrierte Sensorik
oder Odometrie bestimmbar ist. Nutzbar ist auch die zu erwartende
Position, auf welche die Kamera gesteuert wird, sofern man hochgenaue
Kameraköpfe
nutzt.
-
Kameras
können
auch beispielsweise aufgrund von Daten aus einem Ortungssystem gesteuert
werden.
-
Andererseits
gibt es verschiedene Systeme zur Überblendung von Videosignalen
in Echtzeit aus zwei oder mehr Quellen analoger oder digitaler Videosignale,
diese ermöglichen
bereits das Einblenden zusätzlicher
Information (z. B. Datum, Uhrzeit, Lauftext...) in laufende Videobilder
in Echtzeit. Ebenfalls ist das Überblenden
mit vordefinierten Grafiken und Animationen möglich. Videoverarbeitungssysteme, wie
die Gesichtserkennung erlauben bereits das Einblenden bilddatengestützter Informationen.
Allerdings ist der nötige
Bildverarbeitungsaufwand sehr hoch.
-
Die
Aufgabe der vorliegenden Erfindung ist es, einen Ansatz zu schaffen,
der ein Bereitstellen eines virtuellen Bildes basierend auf einem
realen Bild mit geringem Bildverarbeitungsaufwand ermöglicht.
-
Diese
Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren
gemäß Anspruch
12 gelöst.
-
Ein
Ausführungsbeispiel
gemäß der Erfindung
schafft eine Vorrichtung zum Bereitstellen eines Videosignals eines
virtuellen Bildes basierend auf einem realen Bild, wobei das reale
Bild ein Objekt aufweist. Der Kamera und dem Objekt ist je eine
Ortsinformation zugeordnet.
-
Die
Vorrichtung umfasst eine Verarbeitungsvorrichtung, die ausgebildet
ist, um basierend auf dem realen Bild, der Ortsinformation der Kamera
und der Ortsinformation des Objekts das Videosignal des virtuellen
Bildes zu erzeugen und bereitzustellen. Das virtuelle Bild weist
dabei eine Darstellung des Objekts oder eine Objektinformation bezüglich des Objekts
auf.
-
Ausführungsbeispiele
gemäß der Erfindung basieren
auf dem Kerngedanken, dass durch die Ortsinformation der Kamera
und die Ortsinformation des Objekts die relative Position des Objekts
zur Kamera durch geringen rechnerischen Aufwand bestimmt werden
kann und dadurch die Position des Objekts im Bild ermittelt werden
kann. Es ist daher nicht notwendig durch aufwendige Bildverarbeitungs-
oder Bilderkennungsverfahren das Objekt im realen Bild zu identifizieren,
um dessen Position festzustellen. Die Mehrdeutigkeiten von Tiefe
und Größe im realen Bild
ist durch die Verwendung der Ortsinformationen kein Problem mehr
und kann daher objektunabhängig
und zweifelsfrei aufgelöst
werden.
-
Einige
Ausführungsbeispiele
gemäß der Erfindung
umfassen eine Ortungsvorrichtung, um die Ortsinformation des Objekts
und/oder die Ortsinformation der Kamera zu bestimmen und der Verarbeitungsvorrichtung
bereitzustellen.
-
Einige
weitere Ausführungsbeispiele
gemäß der Erfindung
beziehen sich auf eine Vorrichtung zum Bereitstellen eines Videosignals
eines kombinierten Bildes. Die Vorrichtung umfasst eine Vorrichtung
zum Bereitstellen eines Videosignals eines virtuellen Bildes basierend
auf einem realen Bild einer Kamera und einen Kombinierer. Der Kombinierer
kombiniert das Videosignal des realen Bildes mit dem Videosignal
des virtuellen Bildes, um das Videosignal des kombinierten Bildes
zu erhalten und bereitzustellen.
-
Ausführungsbeispiele
gemäß der Erfindung werden
nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es
zeigen:
-
1 eine
schematische Darstellung einer Vorrichtung zum Bereitstellen eines
Videosignals eines virtuellen Bildes;
-
2 eine
schematische Darstellung einer Vorrichtung zum Bereitstellen eines
Videosignals eines virtuellen Bildes;
-
3 eine
schematische Darstellung einer Vorrichtung zum Bereitstellen eines
Videosignals eines kombinierten Bildes;
-
4 eine
schematische Darstellung des Konzepts zur Bereitstellung eines Videosignals
eines kombinierten Bildes;
-
5 eine
schematische Darstellung des Konzepts zur Bereitstellung eines Videosignals
eines kombinierten Bildes;
-
6 eine
schematische Darstellung des Konzepts zur Bereitstellung eines Videosignals
eines kombinierten Bildes;
-
7 eine
schematische Darstellung des Konzepts zur Bereitstellung eines Videosignals
eines kombinierten Bildes als Anwendung in der Sicherheitstechnik;
und
-
8 ein
Flussdiagramm eines Verfahrens zum Bereitstellen eines Videosignals
eines virtuellen Bildes.
-
1 zeigt
eine schematische Darstellung einer Vorrichtung 100 zum
Bereitstellen eines Videosignals 112 eines virtuellen Bildes
basierend auf einem realen Bild einer Kamera entsprechend einem Ausführungsbeispiel
gemäß der Erfindung.
Dabei weist das reale Bild ein Objekt auf und der Kamera und dem
Objekt sind je eine Ortsinformation zugeordnet.
-
Die
Vorrichtung 100 umfasst eine Verarbeitungsvorrichtung 110,
die das Videosignal 112 des virtuellen Bildes basierend
auf dem realen Bild 102, der Ortsinformation 104 der
Kamera und der Ortsinformation 106 des Objekts erzeugt
und bereitstellt. Dabei weist das virtuelle Bild eine Darstellung
des Objekts oder eine Objektinformation bezüglich des Objekts auf.
-
Durch
die Ortsinformation der Kamera und die Ortsinformation des Objekts
kann mit geringem Rechenaufwand die relative Position des Objekts
zur Kamera bestimmt werden. Dadurch kann beispielsweise die Position
des Objekts im realen Bild bestimmt werden und das Objekt auch im
virtuellen Bild dargestellt werden. Alternativ zur Darstellung des Objekts
kann auch eine Information, die dem Objekt zugeordnet ist, als Objektinformation
an der Position des Objekts oder in der Nähe der Position des Objekts
im virtuellen Bild eingefügt
werden.
-
Bei
der Darstellung des Objekts in dem virtuellen bild kann es sich
beispielsweise um eine abstrahierte Darstellung des Objekts, aber
auch um eine einfache geometrische Form, wie z. B. ein Rechteck oder
einen Kreis, handeln, die an der Position des Objekts in das virtuelle
Bild integriert wird.
-
Die
Objektinformation kann z. B. ein Name oder eine Nummer des Objekts,
eine dem Objekt zugeordnete Information oder aber auch eine einfache Markierung,
wie beispielsweise ein Pfeil, eine Umrahmung oder eine farbliche
Hervorhebung, sein.
-
Zusätzlich können beispielsweise
Informationen über
die Ausrichtung der Kamera und die Vergrößerung der Kamera verwendet
werden, um die genaue Position des Objekts in dem realen Bild zu
bestimmen. Die Ausrichtungsinformation kann dabei Auskunft geben,
in welche Richtung die Kamera bei der Aufnahme des realen Bildes
blickt und durch die Vergrößerungsinformation
kann beispielsweise der Blickwinkel der Kamera festgestellt werden.
Mit diesen Informationen kann durch einfache trigonometrische Berechnungen
die Position des Objekts im realen Bild bestimmt werden.
-
Ein
weiterer wichtiger Vorteil der Erzeugung des Videosignals des virtuellen
Bilds basierend auf den Ortsinformationen der Kamera und des Objekts ist,
dass auch bei einer optischen Verdeckung des Objekts in dem realen
Bild das vir tuelle Bild erzeugt werden kann. Dazu ist es nur notwendig,
dass die Ortsinformation des Objekts trotz der optischen Verdeckung
vorhanden ist.
-
Bei
einem Objekt kann es sich beispielsweise um eine Person, ein Tier,
einen beweglichen Gegenstand, wie z. B. ein Auto oder ein Motorrad,
oder einen von allein nicht beweglichen Gegenstand, wie z. B. ein
Container oder ein Fertigungsprodukt in einer Fabrik, handeln.
-
Die
Ortsinformation des Objekts kann beispielsweise von dem Objekt übertragen
werden oder das Objekts kann durch eine Ortungsvorrichtung lokalisiert
werden.
-
Das
virtuelle Bild kann z. B. einen Bildbereich darstellen, der dem
Bildbereich des realen Bildes entspricht. In anderen Worten, dass
virtuelle Bild kann den gleichen Bildausschnitt darstellen wie das
reale Bild.
-
2 zeigt
eine schematische Darstellung einer Vorrichtung 200 zum
Bereitstellen eines Videosignals 112 eines virtuellen Bildes
basierend auf einem realen Bild einer Kamera 202 entsprechend
einem Ausführungsbeispiel
gemäß der Erfindung.
Zusätzlich
zu der in 1 gezeigten Verarbeitungsvorrichtung 110 weist
die Vorrichtung 200 eine Ortungsvorrichtung 210 auf.
-
Die
Ortungsvorrichtung 210 kann die Ortsinformation des Objekts
bestimmen. Dazu kann beispielsweise ein Funkortungsverfahren verwendet werden.
Dabei wird das Objekt 204 beispielsweise mit einem Sender
versehen, der Ortungssignale an die Ortungsvorrichtung 210 schickt.
Die Ortungsvorrichtung 210 kann basierend auf den Ortungssignalen
eine relative oder absolute Position des Objekts 204 bestimmen
und der Verarbeitungsvorrichtung als Ortsinformation 104 des
Objekts bereitstellen. Alternativ kann der Sender beim Objekt seine
Position selber feststellen (z. B. per Satteli tennavigation) und
an die Ortungsvorrichtung 210 oder direkt an die Verarbeitungsvorrichtung 110 übertragen.
-
Optional
kann die Ortungsvorrichtung 210 auch die Position der Kamera 202 bestimmen
und als Ortsinformation 106 der Kamera 202 der
Verarbeitungsvorrichtung 110 bereitstellen. Dadurch kann beispielsweise
der Einsatz von mobilen oder tragbaren Kameras ermöglicht werden.
-
Die
Ortungsvorrichtung 210 kann das Objekt 204 und
die Kamera 202 beispielsweise basierend auf einer Identifikationsinformation
voneinander unterscheiden. Des Weiteren ist es auch möglich, eine Mehrzahl
von Objekten zu erfassen. Dabei ist jedem Objekt der Mehrzahl von
Objekten eine Ortsinformation zugeordnet, und jedes Objekt besitzt
eine unterschiedliche Identifikationsinformation. Dadurch kann von
jedem Objekt der Mehrzahl von Objekten die relative Position des
Objekts zur Kamera bestimmt werden, und somit die Position des jeweiligen
Objekts im realen Bild. Dadurch können beispielsweise alle oder ein
Teil der Objekte, die sich im Bildbereich der Kamera befinden im
virtuellen Bild dargestellt werden oder eine dem jeweiligen Objekt
zugeordnete Objektinformation im virtuellen Bild wiedergegeben werden.
-
Die
Kamera 202 kann das Videosignal des realen Bilds 102 durch
eine direkte Verbindung an die Verarbeitungsvorrichtung 110 weitergeben.
Alternativ kann das Videosignal 102 des realen Bilds auch
beispielsweise per Funk an die Verarbeitungsvorrichtung 110 übertragen
werden.
-
Die
Ortsinformation der Kamera 202 kann wie beschrieben durch
eine Ortungsvorrichtung 210 erfasst werden oder beispielsweise
in einem Speicher hinterlegt sein. Dies ist z. B. dann möglich, wenn es
sich bei der Kamera um eine fest installierte Kamera handelt, die
ihre Position nicht verändert.
-
Die
Ortsinformation 104 der Kamera und die Ortsinformation 106 des
Objekts können
wie in 2 angedeutet parallel zur Verfügung gestellt werden oder beispielsweise
seriell über
eine Verbindung bereitgestellt werden.
-
Ein
Kamerasystem kann auch mit entsprechender Sensorik für Lage und
Position in das Ortungssystem direkt eingebunden werden und steht dann
auch in Echtzeit zur Verfügung.
Dann können auch
manuell gesteuerte Kameras und tragbare Kameras genutzt werden.
Auch Internialsensorik (Magnetfeldsensorik, Drehratenmesser und
Beschleunigungsmesser) ist verfügbar
und kann genutzt werden.
-
3 zeigt
eine schematische Darstellung einer Vorrichtung 300 zum
Bereitstellen eines Videosignals 312 eines kombinierten
Bildes entsprechend einem Ausführungsbeispiel
gemäß der Erfindung. Die
Vorrichtung 300 umfasst eine Verarbeitungsvorrichtung 110 und
einen Kombinierer 310. Die Verarbeitungsvorrichtung 110 entspricht
dabei der in 1 gezeigten Verarbeitungsvorrichtung 110 und
stellt somit ein Videosignal eines virtuellen Bildes bereit.
-
Der
Kombinierer 310 kombiniert ein Videosignal 102 des
realen Bildes mit einem Videosignal 112 des virtuellen
Bildes, um das Videosignal 312 des kombinierten Bildes
zu erhalten und bereitzustellen.
-
Der
Kombinierer 310 kann dabei beispielsweise das Videosignal 102 des
realen Bildes und das Videosignal 112 des virtuellen Bildes
zeitlich synchronisieren. Dadurch kann eine Echtzeitüberlagerung des
realen Bildes mit dem virtuellen Bild ermöglicht werden.
-
Eine
Vielzahl von Anwendungen, beispielsweise die Überblendung von Objekten oder
das Einblenden von Informationen zu Objekten, kann dadurch ermöglicht werden.
Dabei ist keine aufwendige Bildverarbeitung notwendig, da die nötigen Informationen über die
Position eines Objekts im Bild nicht aus dem realen Bild gewonnen
werden muss, sondern durch die Ortsinformation der Kamera und die
Ortsinformation des Objekts berechnet werden kann.
-
Das
bereitgestellte Videosignal 312 des kombinierten Bildes
kann beispielsweise zur Speicherung oder Übertragung durch einen Datenreduzierer
komprimiert werden. Dadurch kann der notwendige Speicherplatz oder
die notwendige Übertragungsrate
zur Übertragung
des Videosignals reduziert werden. Der Datenreduzierer kann Teil
des Kombinierers 310 oder eine eigenständige Einheit sein.
-
4 zeigt
eine schematische Darstellung des Konzepts 400 zur Bereitstellung
eines Videosignals eines kombinierten Bildes entsprechend einem Ausführungsbeispiel
gemäß der Erfindung.
-
Die
zentrale Einheit ist dabei eine Verarbeitungsvorrichtung 110,
wie beispielsweise in 1 gezeigt, und kann auch als
Verarbeitungseinrichtung oder Virtuelle-Realität-Prozessor bezeichnet werden. Die Verarbeitungsvorrichtung 110 kann
beispielsweise als eine speziell für die Erzeugung des Videosignals
des virtuellen Bildes entworfene Hardware, ein Prozessor eines Computers
oder aber auch ein Computerprogramm, das auf einem Prozessor abläuft, implementiert
sein.
-
Der
Kombinierer 310, der das Videosignal des kombinierten Bildes
bereitstellt, ist Teil der Videobearbeitung 430 und kann
beispielsweise das reale Bild, das von der Kamera des Videosensorsystems 410 geliefert
wird, mit dem Videosignal des virtuellen Bildes, das von der Verarbeitungsvorrichtung 110 bereitgestellt
wird, zeitlich synchronisieren und das reale Bild mit dem virtuellen
Bild kombinieren. Zusätzlich kann
bei Bedarf eine Videofilterung des Videosignals erfolgen. Umfasst
das Videosensorsystem eine Mehrzahl von Kameras, kann beispielsweise
zwischen den Kameras umgeschaltet werden, wenn das Objekt den Bildbereich
einer Kamera ver lässt
und im Bildbereich einer anderen Kamera auftaucht. Dadurch kann
z. B. auch eine automatische Verfolgung eines Objekts realisiert
werden.
-
Der
Kombinierer 310 kann beispielsweise als eine speziell für die Erzeugung
des Videosignals des kombinierten Bildes entworfene Hardware, ein
Prozessor eines Computers oder aber auch ein Computerprogramm, das
auf einem Prozessor abläuft,
implementiert sein.
-
Das
Videosensorsystem 410 umfasst zumindest eine Kamera, die
das reale Bild zur Verfügung stellt.
Die Kamera kann eine analoge oder eine digitale Kamera sein. Des
Weiteren kann die Kamera tragbar, mobil oder fest installiert sein.
Die Kamera stellt ein Videosignal des realen Bilds der Videoverarbeitung 430 und
der Verarbeitungsvorrichtung 110 zur Verfügung. Über den
gleichen Datenkanal kann die Kamera beispielsweise die Ortsinformation,
eine Ausrichtungsinformation und/oder eine Vergrößerungsinformation der Verarbeitungsvorrichtung 110 bereitstellen.
Alternativ kann die Ortsinformation der Kamera durch eine Ortungsvorrichtung 210 ermittelt werden
und der Verarbeitungsvorrichtung 110 bereitgestellt werden.
Dazu befindet sich beispielsweise bei der Kamera ein Sender, der
ein Ortungssignal an die Ortungsvorrichtung 210 sendet,
wodurch die Ortungsvorrichtung 210 die Ortsinformation
der Kamera ermitteln kann. Dadurch kann beispielsweise in Echtzeit
die Position von mobilen und tragbaren Kameras ermittelt werden.
-
Das
Videosensorsystem 410 kann beispielsweise zur Videoüberwachung
verwendet werden. Umfasst das Videosensorsystem 410 eine
Mehrzahl von Kameras, kann jede Kamera mit Hilfe einer Ortungsvorrichtung 210 lokalisiert
werden. Alternativ kann die Ortsinformation von den Kameras selbst
an die Verarbeitungsvorrichtung 110 übertragen werden oder die Position
der Kameras kann in einem Speicher gespeichert und bereitgestellt
werden. Es ist auch möglich,
dass die Ortsinformation von einem Teil der Kameras durch eine Ortungsvor richtung 210 ermittelt
wird, ein anderer Teil die Ortsinformation überträgt und/oder von einem weiteren
Teil der Kameras die Ortsinformation aus einem Speicher erhalten
wird.
-
Zusätzlich kann
eine Kamera beispielsweise Umweltanpassungsparameter, wie z. B.
die Blendeneinstellung, den Focus oder die Vergrößerung übermitteln. Optional kann z.
B. ein Regensensor, der sich bei der Kamera befindet, Daten über die
Witterungsbedingungen an die Verarbeitungsvorrichtung 110 übermitteln.
Die Verarbeitungsvorrichtung 110 kann diese Daten bei der
Erstellung des virtuellen Bildes nutzen.
-
Des
Weiteren kann beispielsweise das Videosensorsystem 410 durch
eine Benutzerinteraktion gesteuert werden. Zum Beispiel kann die
Ausrichtung oder die Vergrößerung einer
Kamera durch einen Benutzer manuell verändert werden.
-
Durch
eine Ortungsvorrichtung 210, wie z. B. ein Echtzeitlokalisationssystem,
kann die Position eines oder mehrerer Objekte verfolgt werden. Wird dazu
beispielsweise ein Funkortungssystem verwendet, befindet sich bei
jedem Objekt, das erfasst werden soll, ein Sender, und die Ortungsvorrichtung 210 kann
die Position jedes Objekts bestimmen und als Ortsinformation der
Verarbeitungsvorrichtung 110 zur Verfügung stellen. Um die Objekte
voneinander unterscheiden zu können,
kann jeder Sender eine unterschiedliche Identifikation aufweisen.
Diese Identifikationsinformation kann beispielsweise mit der Ortsinformation
an die Verarbeitungsvorrichtung 110 übertragen werden. Die Identifikation
der Objekte kann beispielsweise durch einen Funkidentifikationscode
erfolgen. In diesem Zusammenhang wird auch von einem Objekt mit „Tag” gesprochen.
Durch die Nutzung eines Funkortungssystems kann beispielsweise gewährleistet
werden, dass auch bei optischer Verdeckung des Objekts im realen
Bild die Ortsinformation des Objekts bestimmt werden kann.
-
Durch
die Echtzeitlokalisation besteht ein direkter Zusammenhang zwischen
dem realen Bild der Kamera und der bestimmten Position des Objekts
in dem realen Bild. Das Echtzeitlokalisationssystem 210 kann
dabei eine Bewegung eines Objekts verfolgen. Dabei kann beispielsweise
auch eine Kamera auf das Objekt ausgerichtet werden, damit das Objekt
im Bild bleibt. Alternativ kann auch von einer Kamera zu einer anderen übergeben
werden, wenn ein Objekt den Bildbereich einer Kamera verlässt und
im Bildbereich einer anderen Kamera erscheint.
-
Zusätzlich kann
das Echtzeitlokalisationssystem 210 die Position eines
oder mehrerer Objekte auf einer Karte verfolgen. Die Karte kann
dabei beispielsweise eine Straßenkarte
oder Gebäudepläne sein.
In anderen Worten, es kann eine Kartenanpassung basierend auf einer
existierenden Umgebungsinformation erfolgen. Diese Umgebungsinformation kann
auch in das virtuelle Bild integriert werden.
-
Zusätzlich kann
beispielsweise ein Sensorsystem 420 integriert werden.
Dabei kann es sich z. B. um Vital- und Umgebungssensoren, wie beispielsweise
Herzfrequenzsensoren, Temperatursensoren, Lautstärkesensoren, Beschleunigungssensoren,
Gyrometer o. ä.
handeln. Die Sensorinformationen oder Sensorsignale können beispielsweise
an eine Ereignisverarbeitung 440 übertragen werden, die die Sensorinformation überwacht.
Dabei kann das Sensorsystem 420 bereits eine Grenzwertüberwachung und/oder
eine Selbstüberwachung
durchführen,
sowie die Datenkommunikation mit der Ereignisverarbeitung 440 regeln.
Die Sensorinformation kann vom Sensorsystem 420 z. B. ebenfalls
per Funk an die Ereignisverarbeitung 440 übertragen
werden.
-
Die
Ereignisverarbeitung 440 kann beispielsweise feststellen,
wenn ein Sensorwert, der durch das Sensorsystem 420 übermittelt
wurde, einen Grenzwert überschreitet.
Die so erfolgte Erkennung eines Ereignisses kann analysiert werden und
bei Bedarf z. B. mit einem anderen Ereignis kombiniert werden oder
verfolgt werden.
-
Zusätzlich zu
den Sensorinformationen, die durch das Sensorsystem 420 an
die Ereignisverarbeitung 440 geliefert werden, kann die
Ereignisverarbeitung 440 Ortsinformationen des Echtzeitlokalisationssystems 220 zur
Analyse, Erkennung, Verfolgung und Kombination von Ereignissen heranziehen.
-
Wird
ein kritisches Ereignis erkannt, kann diese Information beispielsweise
an die Verarbeitungsvorrichtung 110 übermittelt werden. Die Verarbeitungsvorrichtung 110 kann
daraufhin z. B. das eingetretene Ereignis markieren. Beispielsweise
kann ein Objekt, das in direktem Zusammenhang mit dem Ereignis steht
farbig markiert, eingekreist, durch einen Pfeil markiert, mit einer
Information (Objektinformation) versehen oder auf andere Art im
virtuellen Bild hervorgehoben werden.
-
Zusätzlich kann
die Verarbeitungsvorrichtung 110 Karteninformationen, die
durch das Echtzeitlokalisierungssystem 210 übertragen
wurden oder aus einer anderen Quelle stammen, in das virtuelle Bild
integrieren. Des Weiteren kann eine Darstellung von Objektinformationen
zu einem Objekt in dem virtuellen Bild integriert werden. Zum Beispiel können die
durch das Sensorsystem 420 ermittelten Sensorwerte, die
zu einem Objekt gehören, über, auf oder
in der Nähe
des Objekts in dem virtuellen Bild integriert werden.
-
Durch
die Datenindikation können
auch beispielsweise Abstände
zwischen Objekten, Sensorwerte oder andere Informationen, die z.
B. durch die Ortung, eine Bildbearbeitung des realen Bildes, das Sensorsystem 420 oder
die Ereignisverarbeitung 440 erhalten wurden, in das virtuelle
Bild integriert werden.
-
Durch
die Verarbeitungsvorrichtung 110 kann beispielsweise ein
virtuelles Echtzeit-3D-Bild passend zu dem realen 3D-Bild erzeugt werden,
das dann von dem Kombinierer der Videobearbeitung 430 mit
dem realen Bild überlagert
wird, um eine kombinierte 3D-Ansicht zu erhalten.
-
Das
Videosignal des kombinierten Bildes kann beispielsweise zur Situationsvideoüberwachung 450 genutzt
werden. Dazu kann das Videosignal des kombinierten Bildes einfach
an einem oder mehreren Bildschirmen ausgegeben werden, gespeichert
oder an einen anderen Ort übertragen
werden. Dabei kann es sich beispielsweise um eine Fernsehübertragung
oder um eine Übertragung
in eine Steuer-, Kontroll- oder Leitzentrale handeln.
-
Dazu
kann zusätzlich
eine Datenreduktion des Videosignals des kombinierten Bildes erfolgen, um
z. B. den Speicherbedarf und/oder die Übertragungsrate bei der Übertragung
des Videosignals zu reduzieren.
-
Durch
eine Bildkombination können
beispielsweise mehrere Bilder verschiedener Kameras verglichen werden
oder die Bilder der beispielsweise letzten fünf Minuten ausgewertet werden.
Dadurch können
z. B. Aussagen über
die Bewegung eines Objekts getroffen werden.
-
Die
Verarbeitungsvorrichtung 110 kann zusätzlich Informationen über die
Situation basierend auf dem erzeugten Videosignal des virtuellen
Bilds oder das Videosignal des virtuellen Bilds direkt an eine Leitungskontrolle 460 übertragen.
Die Leitungskontrolle kann die Situation, z. B. ausgelöst durch
ein Ereignis, analysieren und beispielsweise durch eine Ereignis-Regel-Anwendung
darauf reagieren. Mögliche
Reaktionen auf eine Situation können
auch beispielsweise aus einer Vorschlagsdatenbank gewonnen werden
oder durch eine Benutzerinteraktion, z. B. durch eine Nachfrage
bei den Personen vor Ort oder bei der Leitstelle, erhalten werden.
Es können dann
z. B. Empfehlungen basierend auf dem virtuellen Bild gegeben werden.
Des Weiteren kann die Leitungskontrolle 460 basierend auf
den Informationen der Verarbeitungsvorrichtung 110 eine
Optimierung z. B. der Verteilung von Objekten, wenn es sich beispielsweise
bei den Objekten um Wachpersonal handelt, durchführen.
-
Zusätzlich können die
Daten der Verarbeitungsvorrichtung 110 einem Steuerungskontroller 470 zugeführt werden,
durch den eine Kontrolle der Sensoren oder der Signalübertragung
durchgeführt werden
kann. Beispielsweise kann auch durch eine Benutzerinteraktion die
Ausrichtung der Kamera geändert
werden.
-
5 zeigt
eine schematische Darstellung des Konzepts 500 zur Bereitstellung
eines Videosignals eines kombinierten Bildes entsprechend einem Ausführungsbeispiel
gemäß der Erfindung.
Das gezeigte Konzept 500 entspricht dem in 4 gezeigten
Konzept, jedoch werden teilweise für die verschiedenen Elemente
konkrete Ausführungsmöglichkeiten
gezeigt.
-
Das
Videosensorsystem 410 kann beispielsweise einen interaktiven
Agrovision-Platon-Kamerakopf, ein CTTV-System von JVC und eine Videoaufnahmevorrichtung
umfassen.
-
Das
Echtzeitlokalisationssystem 210 kann z. B. durch ein Rundweg-Zeit-Verfahren
(round trip time) oder ein Winkel-der-Ankunft-Verfahren (angle of arrival)
realisiert werden. Zusätzlich
können
z. B. Trägheitssensoren
oder eine Kalmanfilterung verwendet werden.
-
Das
Sensorsystem 420 kann beispielsweise einen Herzfrequenzsensor,
einen Temperatursensor, einen Lautstärkesensor, einen Beschleunigungssensor
und/oder ein Gyrometer umfassen. Die von den Sensoren gewonnenen
Daten können
z. B. über
eine drahtlose Datenverbindung an die Ereignisverarbeitung 440 übertragen
werden.
-
Die
Videobearbeitungseinheit 430 kann durch die Zeitsynchronisation
des Videosignals des realen Bilds und des Videosignals des virtuellen
Bilds die beiden Bilder in Echtzeit überlagern und dadurch z. B.
eine Überblendung
von Teilen des realen Bilds durch das virtuelle Bild ermöglichen.
Zusätzlich
können
beispielsweise Bewegungsfilter eingesetzt werden, um nur sich ändernde
Bilder oder Bildteile zu überblenden.
Optional kann noch eine Modell-basierte Analyse, wie z. B. eine
Gesichtserkennung, durchgeführt
werden. Dadurch können
beispielsweise Gesichter überblendet
werden.
-
Das
Konzept 400 umfasst ein Videosensorsystem 410,
ein Echtzeitlokalisationssystem 210, ein Sensorsystem 420,
eine Videobearbeitung 430, einen Virtuelle-Realität-Prozessor 110,
eine Ereignisverarbeitung 440, eine Situationsvideoüberwachung 450,
eine Leitungskontrolle 460 und einen Steuerungskontroller 470.
Dabei ist das Videosensorsystem 410 direkt über Kabel
oder kabellos über
beispielsweise eine Funkverbindung mit der Videobearbeitung 430 und
dem Virtuelle-Realität-Prozessor 110 verbunden.
Das Echtzeitlokalisationssystem 210 ist mit dem Virtuelle-Realität-Prozessor 110 und
der Ereignisverarbeitung 440 verbunden. Des Weiteren ist
das Sensorsystem 420 mit der Ereignisverarbeitung 440 verbunden,
die Ereignisverarbeitung 440 mit dem Virtuelle-Realität-Prozessor 110 verbunden, der
Virtuelle-Realität-Prozessor 110 mit
der Videobearbeitung 430, die Leitungskontrolle 460 mit
dem Steuerungskontroller 470 verbunden, die Videobearbeitung 430 mit
der Situationsvideoüberwachung 450 verbunden
und die Leitungskontrolle 460 ebenfalls mit der Situationsvideoüberwachung 450 verbunden.
-
Die
Verarbeitungsvorrichtung 110 oder auch Virtuelle-Realität-Prozessorserver
genannt, kann beispielsweise auf einer OpenGL-Maschine (open graphics
library, offene Graphikbibliothek) und/oder einer SQL-Datenbank
(structured query language, plattform- und datenbankunabhängige Abfragesprache)
basieren. Die Verarbeitungsvorrichtung 110 kann, falls
notwendig, eine Koordinatentransformation zwischen dem Koordinatensystem,
auf dem die Ortsinformation der Kamera basiert, dem Koordinatensystem,
auf dem die Ortsinformation des Objekts basiert und dem (perspektivischen)
Koordinatensystem des realen Bildes durchführen.
-
Die
Ereignisverarbeitung 440 kann eine eigene Ereignisgrammatik
verwenden, um Ereignisse zu detektieren, zu verfolgen, zu analysieren
oder zu kombinieren. Des Weiteren kann die Ereignisverarbeitung 440 durch
ein Maschinenlern-Verfahren
zur richtigen Reaktion auf bekannte Ereignisse trainiert werden.
Zusätzlich
kann durch Datensuche eine mögliche
Verarbeitung von Ereignissen erfolgen.
-
Der
Steuerungskontroller 470 kann beispielsweise den Kamerakopf
steuern oder zwischen Videosignalen umschalten. Dies kann auch manuell von
einem Benutzer über
den Steuerungskontroller 470 durchgeführt werden.
-
Die
Situationsvideoüberwachung 450 und die
Leitungskontrolle 460 entsprechen dem bereits in 4 beschriebenen
Beispiel.
-
6 zeigt
eine schematische Darstellung des Konzepts 600 zur Bereitstellung
eines Videosignals eines kombinierten Bildes entsprechend einem Ausführungsbeispiel
gemäß der Erfindung.
Das Konzept 600 entspricht dabei dem in 4 gezeigten Konzept.
Es sind dazu passend konkrete Beispiele visualisiert.
-
7 zeigt
eine schematische Darstellung eines Konzepts 700 zur Bereitstellung
eines Videosignals eines kombinierten Bildes als Anwendung im Sicherheitsbereich
entsprechend einem Ausführungsbeispiel
gemäß der Erfindung.
Der Aufbau entspricht dabei dem bereits in 4 beschriebenen Konzept.
-
Das
Videosensorsystem 410 erzeugt das reale Bild 102,
auf dem z. B. vier Wachen zu sehen sind, die mit einem Sender zum
Orten durch das Echtzeitlokalisationssystem ausgestattet sind. Das Echtzeitortungssystem
erfasst die Positionen der vier Wachen und kann zusätzliche
Informationen über
die Umgebung an die Verarbeitungsvorrichtung übergeben. Im gezeigten Beispiel 710 sind
die Positionen der vier Wachen G1, G2, G3, G4 sowie der Weg und die
Absperrung aus dem realen Bild eingezeichnet. Basierend auf der
Ortsinformation der Kamera, der Ortsinformation der Objekte und
dem realen Bild kann die Verarbeitungsvorrichtung ein virtuelles
Bild 112 erzeugen. Das virtuelle Bild 112 zeigt
in diesem Beispiel in einer abstrahierten Form die vier Wachen, den
Weg und die Absperrung in einer dreidimensionalen Ansicht, die dem
realen Bild entspricht.
-
Die
Videobearbeitungsvorrichtung kann dann aus dem realen Bild 102 und
dem virtuellen Bild 112 das kombinierte Bild 312 erzeugen
und bereitstellen. Das kombinierte Bild zeigt beispielsweise die Wachen
als markierte Objekte und eine durch das virtuelle Bild hervorgehobene
Absperrung.
-
Zusätzlich können die
Wachen beispielsweise mit Herzfrequenzsensoren und Temperatursensoren
ausgerüstet
sein. Das Sensorsystem 720 kann dann für jede Wache eine Herzfrequenz
und eine Körpertemperatur
bestimmen und der Ereignisverarbeitung zur Verfügung stellen.
-
Die
Ereignisüberwachung 730 kann
dann z. B. Abweichungen der Herzfrequenz oder der Körpertemperatur
detektieren und Informationen zu einem kritischen Ereignis an die
Verarbeitungsvorrichtung weitergeben. Die Verarbeitungsvorrichtung
kann dann entsprechend dem kritischen Ereignis z. B. eine Wache
im virtuellen Bild 112 hervorheben oder farblich markieren.
Im vorliegenden Beispiel hat die Ereignisverarbeitung eine erhöhte Herzfrequenz
bei Wache 3 und eine abnormale Position bei Wache 4 festgestellt
und das kritische Ereignis an die Verarbeitungsvorrichtung weitergeleitet.
Die Verarbeitungsvorrichtung hat basierend auf den Daten zum kritischen
Ereignis die Wachen 3 und 4 farblich mar kiert. Durch die Kombination
des virtuellen Bilds mit dem realen Bild erscheint diese farbliche
Markierung auch im kombinierten Bild 312.
-
Die
Verarbeitungsvorrichtung kann das virtuelle Bild 112 auch
an die Leitungskontrolle 750 weiterleiten, um dieser eine
Möglichkeit
zu geben, auf das kritische Ereignis zu reagieren. Im gezeigten
Beispiel kann die Leitungskontrolle dadurch allgemein den Alarmstatus
und das Überwachungsniveau
erhöhen
und/oder konkret der Wache 1 mitteilen, das Alarmniveau zu erhöhen und
der Wache 2 mitteilen, sich 5 m nach Osten zu bewegen und Wache
3 und Wache 4 zu sichern.
-
Zusätzlich kann
die Verarbeitungsvorrichtung z. B. einen Ausschnitt aus dem virtuellen
Bild wählen,
der das kritische Ereignis enthält
und diese Informationen an den Steuerungskontroller weitergeben.
Der Steuerungskontroller kann dann beispielsweise die Kamera dazu
veranlassen, den gewünschten
Bildausschnitt 760 zu vergrößern.
-
Die
Situationsvideoüberwachung
zeigt in diesem Beispiel ein kombiniertes Bild 740, in
dem die Wachen markiert sind und eingezeichnet ist, dass sich Wache
2 um 5 m nach Osten bewegen soll.
-
In
dem in 7 gezeigten Beispiel wird gezeigt, wie das erfindungsgemäße Konzept
auf eine alltägliche
Situation im Sicherheitsbereich angewendet werden kann. Basierend
auf dem virtuellen Bild 112 und dem kombinierten Bild 312 ist
es möglich, eine
Situation besser einzuschätzen
zu können
und entsprechende Gegenmaßnahmen
zu ergreifen.
-
8 zeigt
ein Flussdiagramm eines Verfahrens 800 zum Bereitstellen
eines Videosignals eines virtuellen Bilds basierend auf einem realen
Bild einer Kamera, wobei das realen Bild ein Objekt aufweist, und
wobei der Kamera und dem Objekt je eine Ortsinformation zugeordnet
ist, mit folgenden Schritten:
Erzeugen 810 des Videosignals
des virtuellen Bildes basierend auf dem realen Bild, der Ortsinformation der
Kamera und der Ortsinformation des Objekts, wobei das virtuelle
Bild eine Darstellung des Objekts oder eine Objektinformation bezüglich des
Objekts aufweist; und
Bereitstellen 820 des Videosignals
des virtuellen Bildes.
-
Einige
Ausführungsbeispiele
gemäß der Erfindung
beziehen sich auf ein Verfahren zum Bereitstellen eines Videosignals
eines kombinierten Bildes. Das Verfahren umfasst ein Erzeugen eines
Videosignals eines virtuellen Bildes, ein Kombinieren eines Videosignals
eines realen Bildes mit dem Videosignal des virtuellen Bildes, um
das Videosignal des kombinierten Bildes zu erhalten, und ein Bereitstellen
des Videosignals des kombinierten Bildes.
-
Das
virtuelle Bild basiert dabei auf einem realen Bild einer Kamera,
wobei das reale Bild ein Objekt aufweist. Der Kamera und dem Objekt
sind je eine Ortsinformation zugeordnet.
-
Das
Erzeugen des Videosignals des virtuellen Bildes erfolgt basierend
auf dem realen Bild, der Ortsinformation der Kamera und der Ortsinformation des
Objekts. Das virtuelle Bild weist eine Darstellung des Objekts oder
eine Objektinformation bezüglich des
Objekts auf.
-
Einige
weitere Ausführungsbeispiele
gemäß der Erfindung
beziehen sich auf ein ortsbezogenes Informationssystem für Videobilder
auf Basis unabhängiger
Ortsdaten.
-
Aus
den vom Ortungssystem gewonnenen Objektinformationen (Ort, Objektidentität, Sensorinformationen)
und mit den Orts- und Steuerinformationen der Kamera (Ort, Lage,
Zoom) kann ein virtuelles vom Kamerabild unabhängiges dreidimen sionales Bild/bzw.
Videosignale erzeugt werden, mit den für die Anwendung relevanten
Informationen.
-
Dieses
Bild kann dann in Echtzeit und synchron mit dem realen Kamerabild
gemischt bzw. bereichsweise überblendet
werden. Es kann also eine Überlagerung
von Bildern unabhängiger
Datenquellen erfolgen, welche in ihrer Kombination neue Erkenntnisse über beobachtete
Situationen schneller, eindeutiger erkennen lassen oder erst gewinnen
lassen. Ebenso lassen sich dadurch Bereiche für eventuelle rechenaufwändige Videoverarbeitung
einschränken.
-
Ebenso
erlaubt das Verfahren ein sichtbares, wie auch unsichtbares Markieren
von Objekten mit Orts- und Sensorinformationen im Videosignal (Objekt
Watermarking, Objekt Wasser-markieren). Dies stellt beispielsweise
eine signifikante Erweiterung des bisher bekannten Geotagging gesamter
Bilder dar.
-
Das überlagerte
Bild kann dem Anwender, z. B. dem Kameramann direkt während der
Aufnahme zur Verfügung
stehen.
-
Einige
Ausführungsbeispiele
gemäß der Erfindung
beziehen sich auf eine Anwendung des beschriebenen Konzepts beispielsweise
für:
- 1. Sport-Fernsehbilder: Markierung von Ereignissen
in Echtzeit, mit möglicher
Interaktion durch Nutzer durch Zu- und Abschalten von Information
- 2. Überwachungstechnik:
Markierung kritischer Ereignisse, Einblenden von Hinweisen, Überblenden
von Merkmalen zum Schutz der Privatsphäre
- 3. Healthcare (Gesundheitswesen): Sicherung der Privatsphäre durch „Virtuelle
Kameras” und Einblenden
echter Bilder nur bei kritischen Ereignissen
- 4. Videonachbearbeitung, z. B. Überblenden von Personen durch
animierte Trickfiguren in Echtzeit, insbesondere in 3D-Produktionen.
-
In
der vorliegenden Anmeldung werden teilweise für Objekte und Funktionseinheiten,
die gleiche oder ähnliche
funktionelle Eigenschaften aufweisen, gleiche Bezugszeichen verwendet.
-
Insbesondere
wird darauf hingewiesen, dass abhängig von den Gegebenheiten,
das erfindungsgemäße Schema
auch in Software implementiert sein kann. Die Implementation kann
auf einem digitalen Speichermedium, insbesondere einer Diskette oder
einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die
so mit einem programmierbaren Computersystem zusammenwirken können, dass das
entsprechende Verfahren ausgeführt
wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt
mit auf einem maschinenlesbaren Träger gespeicherten Programmcode
zur Durchführung
des erfindungsgemäßen Verfahrens, wenn
das Computerprogrammprodukt auf einem Rechner abläuft. In
anderen Worten ausgedrückt, kann
die Erfindung somit als ein Computerprogramm mit einem Programmcode
zur Durchführung
des Verfahrens realisiert werden, wenn das Computerprogrammprodukt
auf einem Computer abläuft.