-
Die
vorliegende Erfindung betrifft das oberbegrifflich Beanspruchte
und bezieht sich somit auf die Verwendung von Kameras.
-
Videokameras
sind bekannt. Sie umfassen einen Sensor, der wiederholt Bilder aufnimmt,
um Bilddaten für
eine Anzeige oder zur Speicherung bereitstellen zu können. Es
sind auch hochauflösende Kameras,
beispielsweise mit Fischaugenobjektiven bekannt, bei denen zur Anzeige
die objektivbedingte optische Verzerrung durch Datenbearbeitung
kompensiert werden kann.
-
Videoströme stellen
an Übertragungsleitungen,
datenverarbeitende Prozessoren und Anzeigengeräte hohe Anforderungen. Häufig ist
es aufgrund von Bandbreiten oder Rechenkapazitäten nicht möglich, Bilder hochaufgelöst und/oder
gemeinsam darstellen zu können.
Mit der steigenden Verbreitung von Kameras wächst jedoch der Wunsch bei
Benutzern, auch dann Videoströme
von einer bestimmten Kamera erhalten zu können, wenn ein leistungsfähiges Rechnersystem
momentan nicht zur Verfügung steht.
Beispielhaft sei hier der Wunsch vieler Anmelder genannt, Bildtelefone
mit geringem Aufwand nutzen zu können
oder eine Überwachung über ein
Mobiltelefon unter Verwendung von web-basierten Kameras zu gewährleisten;
dies erlaubt es beispielweise Eltern, durch entsprechend in der
Wohnung angebrachte Kameras, ihre Kinder auch bei Abwesenheit zu
sehen und zu kontrollieren, ob diese nachts fest schlafen. Eine
solche Kontrolle kann innerhalb des Hauses oder nahe beim Haus sinnvoll
sein, vergleichbar den bislang nur akustisch wirkenden „Babyphonen”. Dass
daneben andere Überwachungsaufgaben
gleichfalls sinnvoll sein können,
etwa für die Überwachung
von Industrieanlagen, Außenanlagen
usw., sei nur der Vollständigkeit
halber erwähnt.
-
Problematisch
ist aber, dass häufig
die Anzeige eines einzelnen Videokanals nicht ausreicht, etwa weil
ein größerer Bereich
oder mehrere Kinder zu überwachen
sind. Zwar wäre
es prinzipiell möglich,
sukzessive mehrere Kameras abzufragen, von denen zyklisch Einzelbilder
erhalten werden; dies ist aber gerade im Gefahrenfall unzureichend
und entspricht nicht den Anforderungen vieler Benutzer. Zudem ist
die Netzwerklast hoch.
-
Es
ist daher wünschenswert,
auch auf weniger leistungsfähigen
Geräten
die Wiedergabe von Videoströmen
zu ermöglichen,
die viele unterschiedliche Einzelbilder zeigen können.
-
Die
Aufgabe der vorliegenden Erfindung besteht darin, Neues für die gewerbliche
Anwendung bereitzustellen.
-
Die
Lösung
dieser Aufgabe wird in unabhängiger
Form beansprucht. Bevorzugte Ausführungsformen finden sich in
den Unteransprüchen.
-
Die
vorliegende Erfindung schlägt
somit in einem ersten Grundgedanken ein Verfahren zur Erzeugung
von auf unterschiedliche Blickfelder bezogene Videostromdaten aus
einer Kamera mit einem hochaufgelöste Bilder entstellt aufnehmenden
Sensor vor, wobei vorgesehen ist, dass für separate Blickfelder eine
jeweilige Bildkorrektur vorgenommen und aus den unterschiedlich
korrigierten Bilddaten ein Gesamtvideostrom ausgegeben wird.
-
Ein
wesentlicher Aspekt der Erfindung beruht somit auf der Erkenntnis,
dass es möglich
ist, aus einer großen
Menge Bilddaten nicht nur separate Ausschnitte zu bestimmen und
gegebenenfalls für diese
Bildkorrekturen vorzunehmen, die eine Anpassung an ein einfaches
Anzeigegerät
ermöglichen, sondern
dass damit auch möglich
wird, einen einzigen Gesamtvideostrom vorzusehen, der unterschiedliche
Blickfelder vereint in sich trägt,
um so die Anzeige auf einem Anzeigegerät ohne große Rechenlast zu ermöglichen.
Es ist hierbei problemfrei möglich,
den Gesamtvideostrom als herkömmlichen Videostrom
wie beispielsweise mit MPEG-Codierung usw. vorzusehen, eine Kompression
zu ermöglichen etc.
-
Zudem
kann der Gesamtvideostrom aus bei oder in der Kamera gespeicherten
Ursprungsbildern erzeugt werden. Die Speicherung nur der Ursprungsbilder
bei der Kamera braucht weniger Speicherplatz im Vergleich zu einem
Fall, bei dem auch zusätzlich noch
entzerrte Ausschnitte gespeichert werden müssten. Bei der Kamera können Bilddaten
gespeichert werden, indem sie zum Beispiel über eine USB-Schnittstelle
auf eine nahe Festplatte abgelegt werden.
-
Es
reicht insbesondere, einen Raum mit nur einer erfindungsgemäßen Kamera
zu sichern; so können
zum Beispiel mehrere Kassen eines Supermarktes mit einer einzigen
Kamera überwacht
werden.
-
Es
ist bevorzugt, wenn die Kamera eine Weitwinkelkamera, insbesondere
Fischaugenkamera ist, die einen Halbraum oder nahezu einen Halbraum
erfasst, also einen Blickwinkel von 170° oder darüber aufweist. Hier ist eine
besonders starke Bildverzerrung, das heißt eine Entstellung der hochaufgelösten Bilder
insbesondere am Bildrand zu erwarten und im übrigen die separate Bildkorrektur
für unterschiedliche
Blickfelder besonders sinnvoll und erforderlich. So wird eine Bildentzerrung,
die für
ein am linken äußeren Bildrand
liegendes Blickfeld erforderlich ist, signifikant anders aussehen
müssen
als etwa für
ein nahe der zentralen Sichtachse liegendes Blickfeld. Es wird möglich, durch
separate Entzerrungen beispielsweise unter Verwendung von Algorithmen,
denen lediglich unterschiedliche Parameter vorgegeben werden müssen, für unterschiedliche Bildbereiche
eine natürlich
wirkende Geometrie zu erhalten, was eine Dauerbeobachtung angenehmer macht.
-
Die
hochaufgelösten
Bilder werden typisch als Einzelbilder vom Sensor aufgenommen und
erst in der Kamera zu. einem Videostrom zusammengefügt. Die
Bilder können
von einem Megapixelsensor stammen, mit zum Beispiel zwei bis zwölf Megapixeln Auflösung. Da
hierbei nicht, jedenfalls nicht zwingend, die gesamte Bildinformation
aus allen Pixeln des hochaufgelösten
Bildes zu einem Videostrom umgesetzt werden muss, steht auch mit
herkömmlichen
Kameras eine typisch hinreichende Rechenleistung zur Ausführung des
Verfahrens ohne besondere Maßnahmen
zur Verfügung.
-
In
einer besonders bevorzugten Variante wird die Korrektur der Bilder
und die Verknüpfung
der korrigierten Bilder zu einem Gesamtvideostrom daher innerhalb
der Kamera erfolgen. Dies ist auch deshalb vorteilhaft, weil damit
gewährleistet
werden kann, dass die einzelnen Teilbilder des Gesamtvideostroms
auf der bestmöglichen
Sensorinformation beruhen, ohne dass durch Kompression für eine Datenübertragung
vor der geometrischen Entzerrung Informationsverluste herbeigeführt wurden.
Damit ist trotz der Verwendung eines Gesamtvideostroms mit geringer
Datenrate eine gut aufgelöste
Detailwiedergabe gewährleistet.
-
Die
bevorzugte Kamera der Erfindung umfasst demnach einen Sensor, eine
Verarbeitungseinheit für
Korrektur und Verknüpfung
und eine Kommunikationseinheit. Es sind keine separaten Zusatzgeräte erforderlich,
obwohl einleuchtenderweise derartige Zusatzgeräte durchaus vorgesehen werden könnten, etwa
wenn ältere
Kameras mit geringer Rechenleistung, aber sehr hochwertiger Optik
eingesetzt werden sollten oder eine bereits installierte, noch rechenschwache
Kamera aufgrund eines besonders aufwändigen Vandalismus-Schutzes
gegen Zerstörung
nicht sofort ausgetauscht werden soll.
-
Das
Verfahren der vorliegenden Erfindung kann so ausgeführt werden,
dass virtuelle Kameras innerhalb des Gesamtblickfel des definiert
werden. Diese können
insbesondere wie reale Kameras geschwenkt, geneigt oder herangezoomt
werden, so dass eine intuitive Steuerung der Blickfelder möglich ist,
ohne dass Verschleißteile
bewegt werden müssen.
Zudem ist für
beobachtete Personen nicht ersichtlich, ob sie sich gerade im Fokus
der Aufmerksamkeit befinden. Dies erhöht die Abschreckung. Für die mit
den virtuellen Kameras erhaltenen virtuellen, separaten Blickfelder
können
dann die Korrekturen vorgenommen werden. Auf diese Weise müssen lediglich
jene Bildpixel einer Behandlung unterworfen werden, die im Blickfeld
einer virtuellen Kamera liegen. Typisch werden die Blickfelder unterschiedlicher virtueller
Kameras separat liegen, das heißt
nicht aneinander angrenzen. Dass allerdings in Ausnahmefällen auch Überlappungen
auftreten können,
sei erwähnt.
-
Die
virtuellen Kameras können
bevorzugt einzeln geschwenkt, geneigt und/oder gezoomt werden. Dies
kann bevorzugt durch Manipulation eines Zeigegerätes auf dem Teilbild geschehen,
das der virtuellen Kamera im Gesamtvideostrom entspricht. Eine typische
Zeigegerätmanipulation
ist zum Beispiel eine Mausbetätigung
oder eine Joystickbetätigung.
-
In
einer besonders bevorzugten Variante können einerseits ein Panoramabild
und andererseits mindestens ein Bildausschnitt bereitgestellt werden.
Das Panoramabild kann, insbesondere bei Verwendung einer Fischaugenkamera,
an den oberen und unteren Bereichen abgeschnitten sein und muss
sich nicht bis zu den extremen linken und rechten äußeren Bildgrenzen
erstrecken. Dies gewährleistet
eine hinreichend hohe Auflösung
in allen Bereichen. Dass dies bei per se niedrig auflösenden Anzeigegeräten wie
Mobiltelefonen nicht von essentieller Bedeutung ist, sei aber erwähnt.
-
In
typischen Anwendungen werden nichtüberlappende Blickfelder definiert
werden.
-
Die
Bildkorrektur kann einerseits durchgeführt werden, um eine geometrische
Entzerrung zu bewirken, wie diese im Fall von Fischaugenobjektiven
besonders notwendig ist. Zugleich können aber auch Bildhelligkeiten
korrigiert werden, Farbtönungen
usw. Es kann dazu berücksichtigt
werden, dass bestimmte Bereiche eines Bildes entweder aufgrund der
Gegebenheiten in den beobachteten Blickfeldern von vorneherein eine
unterschiedliche Helligkeit aufweisen und/oder in den Randbereichen
eine bestimmte Verdunkelung eintritt. Gleiches gilt für Farbkorrekturen,
die einerseits durch unterschiedlich getönte Beleuchtungen unterschiedlicher
Blickfeldbereiche und andererseits durch Linsenfehler erforderlich
sein können.
Die Bildkorrektur wird dabei typisch dergestalt vorgenommen, dass
sich bei Zusammenfügung
der einzelnen Blickfelder zu einem Gesamtvideostrom ein zumindest
näherungsweise
für alle Blickfelder
gleich heller Videostrom ergibt, der bevorzugt auch dieselbe Tönung aufweisen
wird. Dies erleichtert es, die Bilder auf einem preiswerten und
damit typisch einen nur geringen dynamischen und Farbumfang aufweisenden
Anzeigegerät
wie einem Mobiltelefon zu betrachten.
-
Der
gesamte Videostrom wird typisch an ein einkanalig empfangendes Anzeigegerät ausgegeben.
Dabei bezieht sich einkanalig nicht darauf, ob tatsächlich nur
auf einem einzigen Kanal Signale empfangen werden – es wird
darauf hingewiesen, dass etwa bei modernen Mobiltelefonen mehrere Frequenzen
simultan zur Datenübertragung
verwendet werden –,
sondern es wird darauf Bezug genommen, dass das Anzeigegerät typisch
nur zum Empfang eines einzigen Videostroms ausgebildet sein wird.
Ein solcher Videostrom wird typisch keine besonders hohe Belastung
für das
Anzeigegerät
darstellen. Da auch die Entzerrung nicht bei dem Anzeigegerät erfolgen
wird, ergeben sich insgesamt geringe Belastungen.
-
Der
Videostrom kann in einem Standardvideostromformat wie beispielsweise
16:9 oder 4:3 oder dergleichen übertragen
werden. Dass hier verschiedene Kompressionsverfahren wie MPEG, wie
sie per se im Stand der Technik möglich und bekannt sind, angewandt
werden können,
sei nicht nur erwähnt, sondern
im Hinblick darauf, dass die Anwendung besonders effizient sein
wird, sogar betont.
-
Es
wird typisch möglich
und bevorzugt sein, wenn von einer Kamera aus mehrere Anzeigegeräte angesprochen
werden können,
insbesondere durch Bereitstellung von Videoströmen, die jeweils entsprechend
der vorliegenden Erfindung aufbereitet sind; dass stattdessen einzelne
oder alle Anzeigegeräte den
Volldatenvideostrom erhalten können,
sei erwähnt.
Typisch wird eine Kamera m Blickfelder entzerren können und
an n Abnehmer Videoströme
ausgeben können,
wobei m ≥ 2
und n ≥ 1
sein wird.
-
Wenn
für unterschiedliche
Anzeigegeräte unterschiedliche
Gesamtvideoströme
bereitgestellt werden, kann es vorkommen, dass zumindest ein Blickfeld
in den unterschiedlichen Gesamtvideoströmen gleich ist oder eines der
Blickfelder in einem der Videoströme vollumfänglich in einem Blickfeld des anderen
Gesamtvideostroms umfasst ist. In einem solchen Fall ist es jeweils
bevorzugt, wenn für
dieses Blickfeld die Bildkorrektur nur einmal vorgenommen werden
muss. Dabei kann die Bild korrektur, die nur einmal vorgenommen wird,
gegebenenfalls eine geometrische Bildkorrektur sein, insbesondere
dann, wenn sich die Blickfelder weitgehend überlappen; andere erforderliche
Korrekturen wie eine Farbton- oder Helligkeitsanpassung kann hingegen
Bezug auf andere Bildbestandteile des jeweils einem Anzeigegerät bereitzustellend
Gesamtvideostroms Bezug nehmen. Selbst in einem solchen Fall ist
durch die gemeinsame Bezugnahme auf eine einzige (geometrische)
Bildkorrektur dann eine Rechenlastverringerung bei der Kamera gegeben.
-
Eine
besonders bevorzugte Anzeige wird erhalten, wenn wenigstens ein
Panoramabild mit zumindest zwei Detailbildern zu einem Gesamtvideostrom
verknüpft
wird und/oder vier Einzelbilder zu einem Gesamtvideostrom verknüpft werden.
Vorteilhaft ist, dass alle Teilbilder des Gesamtvideostroms das
gleiche Timing aufweisen, also synchron sind. Dies ist besonders
vorteilhaft, wenn simultan eine Tonwiedergabe erfolgen soll.
-
Die
Erfindung erlaubt es, eine Mehrzahl von Kameras, die bisher für bestimmte
Aufgaben wie die Tanksäulenüberwachung
an einer größeren Tankstelle
oder die Kassenüberwachung
mehrerer Kassen in einem Supermarkt verwendet werden mussten, durch
eine einzige hochauflösende
Kamera zu ersetzen. Dies verringert den Installationsaufwand und
die Wartungskosten, wobei die Netzwerkauslastung erfindungsgemäß gering
bleibt. Insbesondere hierbei ist es vorteilhaft, wenn die Kamera
Objekte identifizieren kann und eine automatische Verfolgung dieser
Objekte in den Teilbildern des Gesamtvideostroms ermöglicht,
wozu und wobei insbesondere die Einstellungen virtueller Kameras
verändert
werden können,
wie Entzerrung, Bildhelligkeit, Neigung, Schwenkrichtung und/oder
Zoomfaktor.
-
Die
Erfindung wird im Folgenden nur beispielsweise anhand der Figuren
erläutert.
In den Figuren ist dargestellt durch
-
1 ein
mit einer Fischaugenkamera hochaufgelöst aufgenommenes Bild, das
eine Szene darstellt,
-
2a ein
zur Darstellung eines Panoramas entzerrter Bildbereich, der einen
ersten Ausschnitt aus 1 darstellt,
-
2b der
Bildbereich von 2a in anderer Entzerrung,
-
3 einen
anderen Ausschnitt aus dem mit der Fischaugenkamera aufgenommenen
Szene,
-
4 einen
weiteren Ausschnitt der Szene,
-
5 noch
einen Ausschnitt der Szene,
-
6 einen
weiteren entsprechenden Ausschnitt der Szene und
-
7 ein
Bild eines zusammengesetzten Videostroms mit der Panoramaübersicht
von 2, dem Ausschnitt von 5 und
dem Ausschnitt von 6.
-
Die
vorliegende Erfindung betrifft ein Verfahren zur Wiedergabe von
auf unterschiedliche Blickfelder bezogene Videostromdaten aus einer
Kamera mit einem hochaufgelöst
Bilder entstellt aufnehmenden Sensor. Ein typisches solches Bild
ist in 1 dargestellt. Es sei im übrigen darauf hingewiesen, dass
dort, wo die Figurenbezeichnung wie „1” oder „5” in das
Bild hineinkopiert worden ist, dies einleuchtenderweise nicht Gegenstand
des ursprünglich
aufgenommenen Bildes ist, sondern aus Erläuterungsgründen erforderlich war.
-
Es
wird im vorliegenden Fall davon ausgegangen, dass die allgemeine
Technik von Megapixelkameras dem Durchschnittsfachmann ebenso bekannt
ist wie die Algorithmen zur Durchführung einer Bildentzerrung,
um etwa die Theke in 1 weniger stark gebogen erscheinen
zu lassen, vergleiche die insoweit partiell entzerrte 2. Diese werden daher per se nachfolgend
nicht erörtert.
Vorliegend ist die Kamera jedoch bevorzugt so ausgebildet, dass
ein gegebener Bildausschnitt, zum Beispiel jener von 2a,
auf unterschiedliche Weisen entzerrt werden kann. Dies wird für neu und
vorteilhaft gehalten. Dies veranschaulicht 2b, die
bei Dauerüberwachung eines
Raumes mittels eines Panoramabildes ein natürlicheres Raumgefühl vermittelt.
Die Möglichkeit der
Verwendung mehrerer Entzerrungen ist aber nicht zwingend, sondern
lediglich stark bevorzugt.
-
Es
wird weiter davon ausgegangen, dass auch die Technik zur Definition
von Ausschnitten und die Entzerrung einzelner Ausschnitte wie der
Ausschnitte von 3, 4, 5, 6 dem
Durchschnittsfachmann insoweit bekannt sind, als innerhalb eines
Bildes ein bestimmtes Blickfeld festgelegt werden muss. Dieses wird
dann dediziert in per se bekannter Weise entzerrt werden, wobei
wiederum bevorzugt unterschiedliche Entzerrungen zur Verfügung stehen
können.
-
Hingewiesen
sei dabei beispielhaft darauf, dass in 3 der Verkäufer am äußeren rechten Bildrand
stärker
verzerrt dargestellt ist als in 5, die den
gleichen Ausschnitt mit anderer Entzerrung zeigt.
-
Einleuchtenderweise
kann eine Entzerrung auf unterschiedliche Weise vorgenommen werden, etwa
so, dass Randbereiche weniger oder stattdessen besser entzerrt werden.
Bevorzugt ist es daher, verschiedene Entzerrungen anzubieten und
den Benutzer eine Entzerrung auswählen zu lassen, die für ihn wichtige
Bereiche besonders gut entzerrt und/oder ihm einen für ihn besonders
angenehmen, weil natürlich
wirkenden Eindruck vermittelt; dadurch können zum Beispiel bestimmte
Linien, die sonst fälschlich
im Bild gekrümmt
wären,
gerade dargestellt werden.
-
Um
nun ausgehend von einem Bild gemäß 1 zu
einem erfindungsgemäßen Videostrom
entsprechend 7 mit einem Panoramaabschnitt
und zwei Detailabschnitten zu gelangen, die zu einem gemeinsamen
Videostrom in einem Standardformat zusammengefasst sind, wobei die
jeweiligen Einzelausschnitte zeitgleich miteinander erneuert werden,
so dass ein hohes Maß an
Synchronität
der Beobachtung erhalten werden kann, wird vorgegangen wie folgt:
Zunächst wird
ein erster Ausschnitt, beispielsweise das Panorama von 2, definiert. Dies kann beim Anzeigegerät in einem
als Gesamtvideostrom übertragenen
Videostrom entsprechend der Bilder von 1 in einem
weitgehend unentzerrten, aber komprimierten Bild geschehen. Die
Anzeigemittel müssen
also zu keinem Zeitpunkt das Bild entzerren.
-
Die
Definition der Ausschnitte kann entsprechend einer Schwenk-Neige-Zoom-Bewegung
bei einer herkömmlichen
Schwenk-Neige-Zoom-Kamera erfolgen,
mit der Maßgabe,
dass zusätzlich
auch ein Bildhöhen-Seitenlängen-Verhältnis vorgebbar
ist.
-
Nach
Definition eines ersten Bildbereiches, den ein Benutzer auf einem
billigen Anzeigegerät
zu sehen wünscht,
kann zusätzlich
ein weiterer Ausschnitt, beispielsweise wie in 7 dargestellt,
definiert werden und danach ein dritter Ausschnitt wie beispielsweise
in 5 dargestellt. Es ist möglich, eine automatische Anordnung
und Vorgabe von Ausschnitten vorzusehen. In einem solchen Fall braucht sich
der Benutzer nicht um das Seitenlängen-Bildhöhen-Verhältnis zu kümmern, sondern muss nur jeweilige
Ausschnitte in das Bild von 1 entsprechend legen.
-
Nach
der erfolgten Definition der einzelnen Ausschnitte werden von den
nicht entzerrten Bilddaten entsprechend 1 jeweils
Ausschnitte herausgenommen, für
sich entzerrt und dann eine Helligkeitsanpassung der hier drei Bildausschnitte
aneinander vorgenommen, um eine gleichmäßige Ausleuchtung aller Anzeigenbereiche
eines den Videostrom empfangenden und darstellenden Anzeigegerätes zu erreichen.
Dass gegebenenfalls bei Vorsehen jeweils mehrerer unterschiedlicher
Entzerrungsmöglichkeiten
für die
unterschiedlichen Bildbereiche die Entzerrungen der Einzelbilder
aneinander angepasst werden, um eine bestmögliche, entspannte Betrachtung
zu gewährleisten,
sei als bevorzugt erwähnt.
Nach geometrischer Bildentzerrung, Kontrastanpassung, Farbabgleich
usw. werden die Einzelbilder dann miteinander zu einem Bild in einem Standardformat
wie 16:9 entsprechend 7 verknüpft. Die sukzessive aufeinanderfolgenden
Bildern entsprechenden Ausschnitte gemäß 7 stellen dann
einen Videostrom dar, wobei in jedem „Fenster” ein Videofilm abläuft, der
zudem hochsynchron zu den anderen Bildern ist, was für die Tonwiedergabe vorteilhaft
ist. Der Videostrom kann komprimiert und über einen einzigen Kanal an
ein Anzeigegerät
ausgegeben werden, wo er mit geringem Rechenaufwand dargestellt
werden kann. Die Netzwerklast durch die Übertragung des Bildes ist dabei
gering.