DE10326657B4

DE10326657B4 - Verfahren zum Betrieb eines Kamerasystems

Info

Publication number: DE10326657B4
Application number: DE2003126657
Authority: DE
Inventors: Dirk Ostermann; Jens Rohmann
Original assignee: VIN - VIDEOTRONIC INFOSYSTEMS GmbH; VIN VIDEOTRONIC INFOSYSTEMS GM
Current assignee: VIN - VIDEOTRONIC INFOSYSTEMS GMBH, 24539 NEUMüNST
Priority date: 2003-06-11
Filing date: 2003-06-11
Publication date: 2006-03-09
Anticipated expiration: 2023-06-12
Also published as: DE10326657A1

Abstract

Verfahren zum Betrieb eines Kamerasystem mit wenigstens einer Videokamera und einem Masken-Encoder-Programm zur Ausblendung von Bildbereichen aus Videodatenstömen, gekennzeichnet durch den Austausch von vordefinierten Makroblöcken innerhalb eines codierten Bildes durch Makroblöcke mit Bilddaten der Farbe Schwarz.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Kamerasystems. Bei Kamerasystemen, insbesondere Videoüberwachungssystemen, tritt das Problem auf, daß die Ausblendung von bestimmten Bereichen selektiv für das Livebild und/oder eine Aufzeichnung wünschenswert ist.
Dies kann aus technischen Gründen wünschenswert sein, wenn z.B. ein Baum mit bewegtem Blattwerk im Bild eine Vielzahl von Daten erzeugt, deren Speicherung keinen Sinn macht, deren Betrachtung aber im Livebild durchaus die Auswertung erleichtert, oder aus rechtlichen Gründen, wenn beispielsweise eine Überwachungskamerabild auch ein Fenster einer Privatwohnung umfaßt, und die Bildinformation dieses Fensters weder im Livebild noch in der Aufzeichnung präsent sein soll. Es ist aber auch denkbar, daß kein Livebild, aber eine Aufzeichnung in solchen Bereichen erfolgen soll.

Bisherige Ausblendverfahren werden erst bei der Wiedergabe von aufgezeichnetem Bildmaterial wirksam, nicht jedoch schon vor der ersten Speicherung. Dies jedoch ist wünschenswert, da so die Bilddatenmenge deutlich verringert werden kann, also Kamerasysteme mit kleineren Bilddatenspeichern realisiert werden können und/oder eine längere Aufzeichnungszeit möglich ist. Aus der DE 35 41 941 A1 ist bereits ein Kamerasystem mit einem Masken-Encoder-Programm zur Ausblendung von Bildbereichen aus Videodatenströmen bekannt.

Für den Fall einer Alarmauslösung oder einer Verdachtsmeldung soll die Ausblendung auch wieder aufhebbar sein, so daß in diesem Fall mit größeren Bildbereichen, vielleicht auch größerer Auflösung gearbeitet werden kann.

Weiter soll die Aufzeichnung auch durch Bildereignisse (Bewegungen) gesteuert werden können, was insbesondere im Fall unerwünschter Bewegung im Bild (Baum im Wind, Wolken am Himmel) die Ausblendung bestimmter Bildbereiche vor der Auswertung wünschenswert macht.

Erfindungsgemäß wird dies durch die Merkmale des Hauptanspruches gelöst. Die Unteransprüche geben vorteilhafte Ausführungsformen wieder.

Insbesondere ist durch das erfindungsgemäße Verfahren zum Betrieb eines Kamerasystems mit wenigstens einer Videokamera und einem Masken-Encoder-Programm zur Ausblendung von Bildbereichen aus Videodatenströmen ein Vorteil dahingehend erzielt worden, dass durch den Austausch von Makroblöcken innerhalb eines codierten Bildes durch schwarze Bilddaten für den entsprechenden Makroblock liefernde Daten nach wie vor ein gleich großes, einfach zu komprimierendes Format vorhanden ist, und gleichzeitig die aufeinanderfolgenden „Schwarz-Daten" minimalen Platz einnehmen.

Wenn zusätzlich während des Encodierens der Bilder anhand einer bekannten Maske zwingend alle später zu tauschenden Makroblöcke als non-skipped codiert werden, wobei das so mit non-skipped-gekennzeichneten Makroblöcken versehene Bild vor dem Speichern recodiert wird – z.B. indem ein Low-Level-Decoding nur ein MPEG- spezifisches Bitdecoding durchgeführt wird, und für alle nicht zu behandelnden Makroblöcke die Bit-Codes direkt an einen Ziel-Buffer weitergereicht werden, kann ohne besonderen apparativen Aufwand ein schnelles Verfahren realisiert werden.
Dabei sollten die der Maskierung entsprechend zu tauschenden Makroblöcke durch Makroblöcke mit schwarz codierten Bilddaten ersetzt werden, denn dies erhöht die Geschwindigkeit der Bearbeitung.
Weiter kann neben einem wie oben ausgeführten „Black-Mask-Mode" ein „Multi-Area-Betrieb" mit einer einstellbaren Maske (eine sog. Prioritätsmaskierung) durchgeführt werden, bei dem Bildbereiche mit geringer Priorität aufgezeichnet werden und nur in I-Frames erneuert werden.
Dabei werden diese Gebiete in P-Frames MPEG2-konform als „skipped" gekennzeichnet und es werden daher keine aktuellen Videodaten übertragen werden, wodurch die Größe des komprimierten Videomaterials nochmals verringert ist.
Dieses Verfahren ist insbesondere dann sinnvoll, wenn Video über lange Zeit von einer feststehenden Kamera aufgenommen wird und sich im aufzunehmenden Bereich Objekte von geringerem Interesse befinden.
Im Black-Mask-Mode wird über eine Maske festgelegt, welche Bildbereiche für eine spätere Schwarzmaskierung vorbereitet werden sollen. Die Bilder werden in diesem Modus komplett für eine Live-Darstellung übertragen, können jedoch auf der Client-Seite mit einer speziellen Routine recodiert werden, so daß ausgewählte Bereiche im gespeicherten Material ausgeblendet sind und schwarz erscheinen.
Hierbei ist es erforderlich, daß das sog. „Transcoding" effizient und verlustfrei erfolgt. Da ein Transcoding-Verfahren gewählt wurde, wird vermieden, daß im Encoder zwei Videostreams erzeugt werden müssen, was die Systemperformance erheblich beeinträchtigen würde.
Entsprechend dem MPEG2-Standard werden dabei im zugrundeliegenden Videoencoder I- und P-Frames benutzt. In I-Frames werden sämtliche Bilddaten in 16 × 16 Pixel-Blöcken (Makroblock) codiert und unabhängig gespeichert. In P-Frames werden Makroblöcke, wenn möglich, durch Motion-Vektoren in Bezug auf das vorangegangene Bild beschrieben. Dadurch werden zeitliche Redundanzen vermieden und die Größe komprimierter P-Frames ist wesentlich geringer als die von I-Frames. Ein Sonderfall der P-Frame Komprimierung sind „skipped"-Makroblöcke bei denen überhaupt keine Daten übertragen werden und lediglich durch einen „Makroblock-Adress-Inkrement Operator" des folgenden Blockes festgelegt wird, wie viele Makroblöcke unbehandelt aus dem vorherigen Bild übernommen werden.
Bei dieser Prioritätsmaskierung wird über eine Maske entschieden, welche Makroblöcke (16 × 16 Pixel) nur in I-Frames neu aufgenommen werden. Durch das Erzwingen von „skipped"-Blöcken in P-Frames für die zu maskierenden Gebiete kann entweder der Speicherverbrauch weiter gesenkt werden oder der relevante Bildinhalt mit höherer Qualität aufgezeichnet werden. Es ist hierbei unerheblich welche und wie viele Gebiete maskiert werden. Durch den hier benutzten Ansatz bleibt der erzeugte Stream MPEG2-konform und kann ohne weitere Nachbehandlung abgespeichert werden.
Die Schwarzmaskierung mittels MPEG2 basiert wie in allen DCT basierten Videokompressions-Algorithmen (JPEG, DV, ...) auf der bitkomprimierten Übertragung von quantisierten DCT-Koeffizienten. Ein Bilddatenblock wird zunächst mit Hilfe der diskreten Cosinus-Transformation in einen Block aus DCT-Koeffizienten gewandelt. Diese werden entsprechend der zu benutzenden Quantisierungstabelle quantisiert. Diese quantisierten Koeffizienten werden nach bekannten Tabelle B14 bzw. B15 [ISO/IEC 13818-2, Annex B] bitkomprimiert. Entsprechend erfolgt das Decodieren durch Bitdekompression, Dequantisierung der DCT Koeffizienten und anschliessender inverser diskreter Cosinustransformation.
Hierbei sind Quantisierung, DCT und IDCT verlustbehaftete Verfahren, deren Anwendung einen Qualitätsverlust im rekonstruierten Frame (d.h. dem später betrachten Bild) verursachen. Es ist daher bisher nur bedingt möglich, den Bildinhalt eines codierten Frames zu ändern, ohne sämtliche Decoding- und Encoding-Funktionen zu durchlaufen.
Um ein effizientes und verlustfreies Transcoding zu gewährleisten, werden nun in einem nach der Erfindung bevorzugten Verfahren entsprechend der verwendeten Maske Makroblöcke innerhalb des codierten Bildes getauscht und durch Daten ersetzt, die schwarze Bilddaten für den entsprechenden Makroblock liefern.
Während des Encodierens der Bilder wird in einem bevorzugten Ausführungsbeispiel anhand der bekannten Maske durch das erfindungsgemäße Masken-Encoder-Programm erzwungen, daß alle später zu tauschenden Makroblöcke als „non-skipped" codiert werden. Die für diese Blöcke zu erzeugenden internen Referenzdaten werden als schwarze Pixel gespeichert. Es entsteht so ein vollwertiger MPEG2-Stream, der alle aufgenommenen Daten sichtbar enthält. Dieser Datenstrom ist je nach Anzahl der zusätzlich erzwungenen non-skipped Blöcke etwas größer als ein „normal" codierter Stream.
Beim erfindungsgemäßen Transcoding wird das wie oben beschrieben vorbereitete Bild vor dem Speichern recodiert. Dazu wird ein Low-Level Decoding eingesetzt, welches nur ein MPEG spezifisches Bitdecoding durchführt. Für alle nicht zu behandelnden Makroblöcke werden die Bit-Codes direkt an den Ziel-Buffer weitergereicht. Die der Maskierung entsprechend zu tauschenden Makroblöcke werden nun durch schwarze Makroblöcke ersetzt.
Hierzu ist keine komplette Decodierung der Makroblock-Daten erforderlich, da nur quantisierte DCT-Koeffizienten ausgetauscht werden. Durch diesen Ansatz wird ein erheblicher Teil der sonst erforderlichen Transcoding-Routinen eingespart, was einerseits den Rechenaufwand erheblich verringert, andererseits aber sicherstellt, daß keine Verluste der Bildqualität durch das Transcoding entstehen.

Claims

Verfahren zum Betrieb eines Kamerasystem mit wenigstens einer Videokamera und einem Masken-Encoder-Programm zur Ausblendung von Bildbereichen aus Videodatenstömen, gekennzeichnet durch den Austausch von vordefinierten Makroblöcken innerhalb eines codierten Bildes durch Makroblöcke mit Bilddaten der Farbe Schwarz.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß während des Codierens der Bilder anhand einer bekannten Maske zwingend alle später zu tauschenden Makroblöcke als non-skipped codiert werden, wobei das so mit non-skipped Makroblöcken versehene Bild vor dem Speichern recodiert wird, indem im Rahmen eines Low-Level-Decoding nur ein MPEG-spezifisches Bitdecoding durchführt, wobei für alle nicht zu behandelnden Makroblöcke die Bit-Codes direkt an einen Ziel-Buffer weitergereicht werden, und die der Maskierung entsprechend zu tauschenden Makroblöcke durch Makroblöcke mit schwarz codierten Bilddaten ersetzt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß neben einem wie oben ausgeführten „Black-Mask-Mode" ein weiterer Verfahrensschritt, ein „Multi-Area-Betrieb" mit einer einstellbare Maske durchgeführt wird, bei dem Bildbereiche mit geringer Priorität aufgezeichnet werden und nur in I-Frames erneuert werden, wobei diese Gebiete in P-Frames MPEG2-konform als „skipped" gekennzeichnet werden und keine aktuellen Videodaten übertragen werden, wodurch die Größe des komprimierten Videomaterials nochmals verringert ist.