DE102005040893A1

DE102005040893A1 - System and method for video archiving surveillance videos

Info

Publication number: DE102005040893A1
Application number: DE200510040893
Authority: DE
Inventors: Gero BÄSE; Norbert Oertel
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-08-29
Filing date: 2005-08-29
Publication date: 2007-03-08
Also published as: WO2007025852A3; WO2007025852A2

Abstract

Die Erfindung betrifft ein System zur Videoarchivierung von Überwachungsvideos, bestehend aus Kamera, Speichereinheit sowie einem aus einem Referenzbild I-FRAME ein codiertes Einzelbild erzeugenden Encoder. Es wird genau ein Encoder derart ausgestaltet, dass zumindest ein zum Referenzbild korrelierendes Maß berechnet wird. Des Weiteren betrifft die Erfindung ein Verfahren zur Videoarchivierung von Überwachungsvideos insbesondere in einer Anordnung der oben genannten Art. Es wird eine Codierung von Stützbildern derart durchgeführt, dass zumindest ein erster Prädiktionspfad und ein zweiter Prädiktionspfad zwischen codierten Einzelbildern erzeugt werden.The invention relates to a system for video archiving of surveillance videos, comprising a camera, a storage unit and an encoder generating a coded single image from a reference image I-FRAME. Exactly one encoder is designed in such a way that at least one measure correlating to the reference image is calculated. The invention further relates to a method for video archiving of surveillance videos, in particular in an arrangement of the type mentioned above. Support images are encoded in such a way that at least a first prediction path and a second prediction path are generated between coded individual images.

Description

Die Erfindung betrifft ein System zur Videoarchivierung von Überwachungsvideos gemäß dem Oberbegriff des Anspruchs 1 sowie ein Verfahren zur Videoarchivierung von Überwachungsvideos gemäß dem Oberbegriff des Anspruchs 7.The The invention relates to a system for video archiving surveillance videos according to the generic term of claim 1 and a method for video archiving surveillance videos according to the generic term of claim 7.

Die Archivierung von Überwachungsvideos ist der Fachwelt bekannt. Gegenwärtig wird hierfür ein zweistufiges System mit zwei Videoencodern zum Encodieren der anfallenden Bilddaten verwendet.The Archiving of surveillance videos is known to the experts. Currently is this one Two-stage system with two video encoders to encode the resulting Image data used.

Derartig archivierte Überwachungsvideos werden häufig auch als Beweise in Verfahren, beispielsweise vor Gericht, verwendet. Es gibt Bestrebungen, dass für eine Verwertbarkeit als Beweis vor Gericht die Videobilder eine bestimmte Mindestbildqualität aufweisen müssen bzw. dass mit den Bildern ein Nachweis dieser Mindestbildqualität geführt werden muss. Es ist daher absehbar, dass neben der Tatsache, dass bei einem zweistufigen System für ein und dieselbe Bildsequenz zweimal mit je einem Videoencoder eine Codierung erfolgt, zudem noch ein erhöhter Aufwand für die Bereitstellung der Mindestbildqualität erforderlich wird.Such become archived surveillance videos often also used as evidence in trials, for example in court. There are aspirations for that a usability as evidence in court the video images one certain minimum picture quality must have or that with the images a proof of this minimum image quality are performed got to. It is therefore foreseeable that in addition to the fact that at one two-stage system for one and the same picture sequence twice with one video encoder each one Coding takes place, also an increased effort for the provision the minimum picture quality is required.

Die der Erfindung zugrunde liegende Aufgabe ist, ein System sowie ein Verfahren zur Archivierung von Überwachungsvideos anzugeben, welches bei geringem Aufwand einen Qualitätsnachweis von gespeicherten Überwachungsvideos realisiert.The The object underlying the invention is a system and a Method for archiving surveillance videos specify which, with little effort, a proof of quality from saved surveillance videos realized.

Diese Aufgabe wird ausgehend von dem System zur Videoarchivierung von Überwachungsvideos gemäß dem Oberbegriff des Anspruchs 1 durch dessen kennzeichnende Merkmale sowie ausgehend von dem Verfahren zur Videoarchivierung von Überwa chungsvideos gemäß dem Oberbegriff des Anspruchs 7 durch dessen kennzeichnende Merkmale gelöst.These Task is taken from the system for video-archiving surveillance videos according to the generic term of claim 1 by its characterizing features and starting from the method for video archiving of surveillance videos according to the preamble of claim 7 solved by its characterizing features.

Bei dem erfindungsgemäßen System zur Videoarchivierung von Überwachungsvideos, bestehend aus Kamera, Speichereinheit sowie einem aus einem Referenzbild "I-FRAME" ein codiertes Einzelbild erzeugenden Encoder wird genau ein Encoder derart ausgestaltet, dass – zusätzlich zum Codieren – zumindest ein zum Referenzbild korrelierendes Maß berechnet wird.at the system according to the invention for video archiving surveillance videos, consisting of camera, memory unit and one of a reference image "I-FRAME" a coded frame generating encoder is configured exactly one encoder such that - in addition to Coding - at least a measure correlating with the reference image is calculated.

Durch das erfindungsgemäße System wird daher die Ermittlung und Auswertung einer die Qualität des codierten Bildes wiedergebenden Größe möglich.By the system according to the invention Therefore, the determination and evaluation of the quality of the coded Image reproducing size possible.

Vorzugsweise weist das Archivierungssystem hierzu Vergleichsmittel auf, die derart ausgestaltet sind, dass das berechnete korrelierende Maß mit einem Referenzwert verglichen wird, wobei der Encoder und die Speichereinheit derart ausgestaltet sind, dass das Vergleichsergebnis gemeinsam mit dem codierten Einzelbild gespeichert wird.Preferably For this purpose, the archiving system has comparison means which are such are designed that the calculated correlative measure with a Reference value is compared, the encoder and the memory unit are configured such that the comparison result in common is stored with the coded frame.

Hierdurch ist der Nachweis von Eigenschaften des codierten Einzelbildes zu einem beliebigen späteren Zeitpunkt möglich.hereby is the proof of properties of the coded frame too any later Time possible.

Vorteilhaft ist es auch, wenn der Encoder und die Speichereinheit derart ausgestaltet sind, dass das korrelierende Maß gemeinsam mit dem codierten Einzelbild gespeichert wird. Hierdurch ergibt sich eine Zuordnung von Maß und Einzelbild, so dass eine schnelle Auswertung möglich wird.Advantageous It is also when the encoder and the memory unit designed in such a way are that the correlative measure in common is stored with the coded frame. This results an assignment of measure and Single image, so that a quick evaluation is possible.

Wird der Encoder derart ausgestaltet, dass als korrelierendes Maß ein Abstandsmaß mit Bezug zum Referenzbild errechnet wird, ergibt sich eine einfache Implementierung dadurch, dass das Abstandsmaß mit vergleichsweise wenig komplexen Methoden ermittelt werden kann.Becomes the encoder designed such that as a correlative measure a distance with respect to the Reference image is calculated, results in a simple implementation in that the distance measure with comparatively less complex methods can be determined.

Alternativ hierzu ist der Encoder derart ausgestaltet, dass als korrelierendes Maß ein Qualitätsmaß mit Bezug zumindest eines Teils des Referenzbildes errechnet wird. Hierdurch wird eine präzisere Ermittlung des die Qualität des codierten Einzelbildes wiedergebenden Größe gewährleistet, wobei zudem noch dem Faktor Rechnung getragen wird, dass bestimmte Regionen des Referenzbildes für eine Beweisführung von besonderem Interesse sind.alternative For this purpose, the encoder is designed such that as correlating Measure Quality measure with reference at least part of the reference image is calculated. hereby becomes a more precise determination of the quality the coded frame reproducing size guaranteed, and also still the factor is taken into account that certain regions of the reference image for one evidence are of particular interest.

Vorzugsweise wird der Encoder dabei derart ausgestaltet, dass er Mittel zum Errechnen einer Peak Signal to Noise Ratio "PSNR" als Qualitätsnachweis aufweist, wobei sich dies durch einfache Implementierung auszeichnet, da Verfahren zur Ermittlung des PSNR in der Fachwelt bekannt sind.Preferably In this case, the encoder is designed such that it has means for calculating a Peak Signal to Noise Ratio "PSNR" as proof of quality which is characterized by simple implementation, since methods for determining the PSNR are known in the art.

Bei dem erfindungsgemäßen Verfahren zur Videoarchivierung von Überwachungsvideos insbesondere in einer Anordnung der oben genannten Art wird eine Codierung von Stützbildern derart durchgeführt, dass zumindest ein erster Prädiktionspfad und ein zweiter Prädiktionspfad zwischen codierten Einzelbildern erzeugt werden.at the method according to the invention for video archiving surveillance video In particular, in an arrangement of the type mentioned above is a Encoding of support pictures performed in such a way that at least a first prediction path and a second prediction path be generated between coded frames.

Hierdurch ist ein Codierverfahren unter Nutzung nur eines Encoders möglich, wobei vorzugsweise der erste Pfad durch zumindest eine erste Sequenz, bestehend aus dem Referenzbild, sowie zumindest zwei prädizierten Einzelbildern, der zweite Pfad durch zumindest eine zweite Sequenz, bestehend aus zumindest drei prädizierten Einzelbildern, gebildet werden und zudem der ersten Sequenz eine erste Rate von Einzelbildern zugeordnet wird, während der erste Pfad und der zweite Pfad derart gebildet werden, dass die zweite Sequenz jeweils Stützstellen mit Bezug auf ein Einzelbild des ersten Pfades enthält sowie die erste Rate um ein Vielfaches auf eine zweite Rate erhöht wird.As a result, a coding method using only one encoder is possible, wherein preferably the first path is formed by at least one first sequence consisting of the reference picture and at least two predicted individual pictures, the second path by at least one second sequence consisting of at least three predicted individual pictures and, in addition, assigning a first rate of frames to the first sequence the first path and the second path are formed in such a way that the second sequence contains respective support points with respect to a single image of the first path and the first rate is increased by a multiple to a second rate.

Des Weiteren werden bevorzugt der erste Pfad und der zweite Pfad derart getrennt voneinander gespeichert, dass jedem Bild des ersten Pfades eine erste Referenz auf eine erste Sequenz zugeordnet wird, sowie jeder zweiten Sequenz des zweiten Pfades eine zweite Referenz auf das Bild des ersten Pfades zugeordnet wird. Hierdurch ergibt sich die Möglichkeit, die Pfade getrennt voneinander zu speichern.Of Further, the first path and the second path are preferably so stored separately from each other, that each picture of the first path has a first reference to a first sequence is assigned, as well as each second sequence of the second path a second reference to the Image of the first path is assigned. This gives the possibility to save the paths separately from each other.

Eine weitere vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens ergibt sich, wenn eine Speicherung des ersten und/oder zweiten Pfades derart erfolgt, dass neue Bilder des ersten Pfades in ersten Zeitabständen bereits gespeicherte Bilder des ersten Pfades ersetzen und neue Bilder des zweiten Pfades in zweiten Abständen bereits gespeicherte Bilder des zweiten Pfades ersetzen, wobei die zweiten Zeitabstände um ein Vielfaches größer als die ersten Zeitabstände gewählt werden.A further advantageous embodiment of the method according to the invention results if a storage of the first and / or second path such that new images of the first path at first intervals already replace saved images of the first path and new images of the second Path at second intervals replace already stored images of the second path, the second intervals many times larger than that first time intervals chosen become.

Vorzugsweise wird das Löschen eines Stützbildes des ersten Pfades ein Löschen der auf das Stützbild referenzierenden zweiten Sequenz bewirken. Hierdurch ist eine stets aktuelle Referenzierung gewährleistet. Vorzugsweise beträgt der erste Zeitabstand 24 Stunden, während die zweiten Abstände 30 Tage betragen. Des Weiteren ist bevorzugt, dass die erste Rate zu zwei Bildern pro Sekunde und die zweite Rate zu 25 Bildern pro Sekunde gewählt wird.Preferably will delete a support picture the first path a delete the on the support picture referencing second sequence effect. This is always one current referencing guaranteed. Preferably the first interval is 24 hours, while the second intervals are 30 days be. Furthermore, it is preferred that the first rate be two Frames per second and the second rate at 25 frames per second chosen becomes.

Weitere Einzelheiten und Vorteile der Erfindung werden anhand der 1a bis 1b erläutert. Davon zeigtFurther details and advantages of the invention will be apparent from the 1a to 1b explained. It shows

1a ein Zustandsübergangsdiagramm des erfindungsgemäßen Verfahrens, 1a a state transition diagram of the method according to the invention,

1b ein Ablaufdiagramm des erfindungsgemäßen Verfahrens. 1b a flow diagram of the method according to the invention.

In 1a ist ein Zustandsübergangsdiagramm dargestellt. Zu erkennen ist hierbei ein erster als "Codieren" bezeichneter Zustand Z1 sowie ein zweiter mit "Speichern" bezeichneter Zustand Z2. Des Weiteren ist zu erkennen, dass ein Übergang von dem ersten Zustand Z1 zu dem zweiten Zustand Z2 dann erfolgt, wenn eine Aktualisierung erforderlich ist, während in Zeiten, in denen keine Aktualisierung erforderlich ist, ein Übergang von dem Speicherungszustand Z2 in den Zustand Codieren Z1 eingeleitet wird.In 1a a state transition diagram is shown. A first state Z1 designated as "coding" and a second state Z2 designated "storing" can be seen here. Furthermore, it can be seen that a transition from the first state Z1 to the second state Z2 occurs when an update is required, while in times when no update is required, a transition from the storage state Z2 to the state Z1 is initiated.

In 1b ist der erfindungsgemäße Ablauf des Verfahrens detaillierter dargestellt. Zu erkennen ist, dass ausgehend von einem ersten Schritt S1, welcher den Ausgangszustand Codieren Z1 bezeichnet, ein zweiter Schritt S2 durchgeführt wird, bei dem die Berechnung des Peak Signal to Noice Ratio zu jedem Bild durchgeführt wird. In einem dem zweiten Schritt folgenden dritten Schritt S3 wird nun ein erster Prädiktionspfad mit einer Sequenz, bestehend aus einem Referenzbild sowie zumindest zwei prädizierten Einzelbildern bei einer Rate von zwei Frames pro Sekunde (fps, Bilder/s) erzeugt, während parallel hierzu in einem vierten Schritt S4 ein zweiter Prädiktionspfad erzeugt wird, welcher eine Sequenz aus drei prädizierten Einzelbildern enthält, wobei sich die Sequenz des zweiten Prädiktionspfades jeweils auf ein Bild aus dem ersten Pfad abstützen und diesen somit auf 25 fps erweitern. Zudem wird jedem Bild aus dem ersten Pfad eine Referenz zu einer Sequenz aus dem zweiten Pfad zugeordnet, während in der anderen Richtung jeder Sequenz aus dem zweiten Pfad eine Referenz zu dem zugehörigen Stützbild aus dem ersten Pfad zugeordnet wird (die Stützung bzw. beiderseitige Referenzierung ist in der Darstellung durch den Doppelpfeil gekennzeichnet). Durch diese Vorgehensweise ist es nun möglich, beide Pfade getrennt voneinander zu speichern. Zunächst wird jedoch in einem sechsten Schritt S6 der Timer für die Aktualisierung des ersten Pfades gesetzt, während parallel hierzu in einem siebten Schritt S7 ein Timer zur Aktualisierung des zweiten Pfades gesetzt wird, wobei der erste Pfad beispielsweise alle 30 Tage überschrieben wird und somit ein Timer zur Aktualisierung auf 30 Tage gesetzt wird, während der zweite Pfad alle 24 Stunden überschrieben und somit aktualisiert werden muss.In 1b the sequence of the method according to the invention is shown in more detail. It can be seen that, starting from a first step S1, which designates the output state coding Z1, a second step S2 is carried out, in which the calculation of the peak signal to noise ratio is performed for each image. In a third step S3 following the second step, a first prediction path with a sequence consisting of a reference image and at least two predicted individual images is generated at a rate of two frames per second (fps, images / s), while in a fourth Step S4 is a second prediction path is generated, which contains a sequence of three predicted frames, wherein the sequence of the second prediction path are each based on an image from the first path and thus extend this to 25 fps. In addition, each image from the first path is assigned a reference to a sequence from the second path, while in the other direction each sequence from the second path is assigned a reference to the associated support image from the first path (the support or mutual referencing marked in the illustration by the double arrow). By doing so, it is now possible to save both paths separately. First, however, in a sixth step S6, the timer for updating the first path is set, while at the same time in a seventh step S7, a timer for updating the second path is set, the first path being overwritten, for example, every 30 days and thus a timer for updating to 30 days, while the second path must be overwritten every 24 hours and thus updated.

Läuft nun einer der beiden Timer ab, wird in einem achten Schritt S8 abgefragt, ob eine Aktualisierung erforderlich ist. Ist dies nicht der Fall, gerät das Verfahren in den Ausgangszustand Z1 und es beginnt somit der Ablauf mit dem ersten Schritt S1 von neuem, wobei dies sich in einer Endlosschleife während der Bilderfassung durch eine Videovorrichtung ständig wiederholt. Bei positivem Ergebnis, d.h. wenn die Abfrage im achten Schritt S8 ergibt, dass eine Aktualisierung erforderlich ist, werden die Pfade entsprechend gespeichert, wobei im Falle, dass ein Stützbild des ersten Pfades gelöscht werden muss, auch die durch die Referenzierung ermittelbare zugehörige Sequenz aus dem zweiten Pfad gelöscht wird und zudem, falls eine Sequenz mit drei prädizierten Einzelbildern aus dem zweiten Pfad gelöscht werden müssen, auch bei dem zugehörigen Stützbild aus dem ersten Pfad die Referenz zu dieser Sequenz auf nicht mehr erreichbar (not available) gesetzt werden muss.Run now one of the two timers is queried in an eighth step S8, if an update is required. This is not the case, that gets Process in the initial state Z1 and thus it begins the process with the first step S1 again, this being in an infinite loop during the Image capture by a video device constantly repeated. If positive Result, i. if the query in the eighth step S8 shows that a Update is required, the paths are saved accordingly, being in the case of a supporting picture deleted the first path must be, including the corresponding ascertainable by the referencing sequence deleted from the second path and also, if a sequence with three predicted frames deleted the second path Need to become, even with the associated support image from the first path the reference to this sequence no longer reachable (not available) must be set.

Durch das erfindungsgemäße Verfahren kann zum einen durch die Einsparung eines Encoders eine Kostenreduktion bzw. eine Kapazitätserweiterung erreicht werden, da zum einen dies mit nur einem Encoder durchgeführt werden kann und auch der Speicher zur Archivierung von Bildsequenzen niedrig gehalten wird. Zudem ist die Einhaltung von Qualitätsanforderung stets nachweisbar und kann einer Verwertung vor Gericht zugeführt werden.On the one hand by the saving of an Enco ders a cost reduction or an increase in capacity can be achieved because on the one hand this can be done with only one encoder and also the memory for archiving image sequences is kept low. In addition, compliance with the quality requirements is always verifiable and can be forwarded to a court.

Claims

Video archiving system consisting of camera, Memory unit and one from a reference image "I-frame" a coded frame generating encoder, characterized by exactly one encoder, the is configured such that at least one correlated to the reference image Measure is calculated.

Video archiving system according to claim 1, characterized marked that a) it has comparison means which are such are designed that the calculated correlative measure with a Reference value is compared, b) the encoder and the memory unit are configured such that the comparison result together with the coded frame is stored.

Video archiving system according to claim 1, characterized in that the encoder and the memory unit are so are designed that the correlative measure together with the coded frame is stored.

Video archiving system according to one of the preceding Claims, characterized in that the encoder is designed in such a way that as a correlating measure Distance measure with Reference to the reference image is calculated.

Video archiving system according to one of the preceding Claims, characterized in that the encoder is designed in such a way that as a correlating measure Quality measure with reference at least part of the reference image is calculated.

Video archiving system after the previous one Claim, characterized in that the encoder means for calculating a peak signal-to-noise ratio "PSNR" as Quality measure has.

Method of operating a video archiving system in particular according to one of the preceding claims, characterized in that an encoding of supporting images such that at least one first prediction path and a second prediction path prediction path be generated between coded frames.

Method according to the preceding claim, characterized marked that a) the first path through at least one first sequence consisting of the reference image and at least two predicted Frames is formed, b) the second path through at least a second sequence consisting of at least three predicted frames is formed, c) the first sequence a first rate of frames is assigned d) the first path and the second path such be formed, that the second sequence each supporting points with Refers to a frame of the first path and the first rate by one Multiple is increased to a second rate.

Method according to the preceding claim, characterized characterized in that the first path and the second path are so separated saved from each other that a) each picture of the first Path is assigned a first reference to a first sequence, b) every second sequence of the second path has a second reference the image of the first path is assigned.

Method according to the preceding claim, characterized characterized in that a storage of the first and / or second Path is done in such a way that a) new pictures of the first path at first intervals replace already saved images of the first path, b) new pictures of the second path at second intervals already replace stored images of the second path, c) the second intervals many times larger than that first time intervals chosen become.

Method according to the preceding claim, characterized marked that deleting a support image the first path a delete the on the support picture referencing second sequence causes.

Method according to the preceding claim, characterized characterized in that the first time intervals are 24 hours and the second time intervals are 30 days be.

Method according to the preceding claim, characterized characterized in that the first rate is 2 frames / s and the second rate 25 fps.