DE19530558A1 - Verfahren und Anordnung zur Speicherung von Bildsequenzen - Google Patents

Description

Die Erfindung betrifft ein Verfahren und eine An­ ordnung zur Speicherung von Bildsequenzen, bei denen mit einem Bildaufnahmegerät, das einem Bild­ sensor beinhaltet, die Bilddaten erfaßt, einem Ana­ log-Digital-Umsetzer zugeführt und danach kodiert und gespeichert werden.

Bildsequenzspeicher werden in der Technik für viel­ fältige Aufgaben benötigt. Bevorzugte Einsatzge­ biete sind dabei Video-Überwachung, Bewegungsmelder sowie Video-Fahrtenschreiber.

Anordnungen zur Überwachung von Gebäuden, Räumen, Gebäudeabschnitten oder Gegenständen sind z. B. aus DE 44 08 558 C1, Video-Fahrtenschreiber aus DE 42 21 280 C2 bekannt.

Die Bildsequenzspeicher sollen ein möglichst großes Bildfeld erfassen, eine hohe Auflösung über das ganze Bildfeld aufweisen, die Vermessung des ge­ speicherten Bildes ermöglichen und eine möglichst zeitlich lückenlose Aufzeichnung gestatten. Die Realisierung dieser Anforderung erfordert die Speicherung von großen Bilddatenmengen. Die direkte Abspeicherung großer Datenmengen erfordert schnelle Speichermedien und hohe Speicherkapazität. Spei­ chermedien mit kleiner Schreibzeit und großer Spei­ cherkapazität (SRAM′s) sind kostenintensiv. Ihre Anwendung als nichtflüchtiger Speicher erfordert zusätzlich eine Batterie (NV-SRAM).

Demgegenüber sind nichtflüchtige Massenspeicher mit großer Speicherkapazität (z. B. FLASH-Speicher) zwar kostengünstiger, sie benötigen aber verhältnismäßig große Schreibzeiten. Es ist deshalb eine Anpassung der Datenrate an die Schreibgeschwindigkeit der Speichermedien durch eine Reduzierung der Bildda­ tenmenge mittels Bildatenkomprimierung und/oder Re­ duzierung der Bildfolgerate zweckmäßig.

Nach DE 42 21 280 C2 ist ein Verfahren zur Auf­ nahme, Abspeichern und Wiedergabe von Videobildern zur Dokumentation von Verkehrssituationen, mit ei­ nem Endlosschleifenspeicher eines Fahrzeuges be­ kannt. Bei diesem Verfahren überschreiben die aktu­ ellen neuen Bilder die ältesten Bilder, wobei ein Einspeicherhalt veranlaßt wird durch Kriterien wie Beschleunigung oder abnormale Wegeabweichung, wobei nach den genannten Veranlassen der Einspeicherhalt erst um eine einstellbare Zeitspanne verzögert er­ folgt, wobei Standbilder aufgenommen werden, wobei die Bildspeicherung durch Fahrparameter, Fahrzu­ standsdaten und Betriebszustandsdaten des Fahrzeuges gesteuert wird und wobei die Sequenzfrequenzen der Standbilder derart steuerbar ist, daß bei kriti­ schen Situationen die Bildfolge der Standbilder er­ höht wird, wobei die Bilddaten zugriffsverschlüs­ selt und derart kodiert aufgezeichnet werden, daß Irrelevanz und Redundanz der Bildinformation redu­ ziert werden und wobei eine Bildwiedergabe und eine Wiederaktivierung des Schreibmodus des Endlosschleifenspeichers nur mit Hilfe einer auto­ risierten Leseeinrichtung ermöglicht wird.

Die hierzu beschriebene Einrichtung zur Durchfüh­ rung des Verfahrens weist ein Bildaufnahmegerät und einen Bildspeicher auf, der eine Serienschaltung einer Optik, eines Bildsensors, eines AD-Umsetzers, eines Zwischenspeichers, eines Kodierers und des Bildspeichers beinhaltet.

Bei diesem Verfahren und der zugehörigen Anordnung ist nachteilig, daß die Bilddatenkomprimierung nach einer Zwischenspeicherung von Bildzeilen und Bild­ spalten in schnellen Speichermedien erfolgt. Eine Verdoppelung der Bildauflösung in horizontaler und vertikaler Richtung erfordert einen vierfach größe­ ren schnellen Zwischenspeicher. Bei der zugehörigen Einrichtung ist ferner nachteilig, daß die Forde­ rung nach einem großen Bildfeld durch den Einsatz eines Weitwinkelobjektivs realisiert wird. Weitwin­ kelobjektive sind einerseits sehr kostenintensiv, andererseits ist bekannt, daß Abbildungsfehler bei Objektiven mit der dritten Potenz des Öffnungswin­ kels eingehen und somit bezüglich der Abbildungs­ fehler Objektive mit großem Öffnungswinkel für Ver­ messungsaufgaben ungünstig sind.

Eine konstante hohe Bildauflösung über den gesamten Bildbereich des Sensors ist häufig nicht erforder­ lich und führt nicht zu einer Verringerung der Bilddatenmenge. Eine mögliche variable Auflösung innerhalb der Bildzeilen erfordert einen zusätzli­ chen Schaltungsaufwand.

Einer Reduzierung der Bilddatenmenge durch Reduzie­ rung der Bildfolge steht die Forderung nach zeit­ lich lückenloser Bildaufzeichnung entgegen. Ande­ rerseits sind mit der bestehenden CCD-Technologie Bildfolgeraten von etwa 100 Hz erreichbar und damit einer Erhöhung der Bildfolgerate des Sensors Gren­ zen gesetzt.

Der Erfindung liegt die Aufgabe zugrunde, ein Ver­ fahren und eine Anordnung zur Speicherung von Bild­ sequenzen anzugeben, bei dem ohne Zwischenspeiche­ rung mehrerer Bildzeilen eine Reduzierung der Bild­ datenmenge erfolgt und bei dem eine Erhöhung der Bildauflösung und der Bildfolgerate nicht im glei­ chen Maß zur Erhöhung der Bilddatenmenge führt und durch die Anordnung ein möglichst großes Bildfeld erfaßt wird.

Erfindungsgemäß gelingt die Lösung der Aufgabe mit den in den Ansprüchen angegebenen Merkmalen.

Das erfindungsgemäße Verfahren ermöglicht eine Bilddatenkomprimierung, die beim Kodiervorgang keine zweidimensionale Zwischenspeicherung des Bil­ des erfordert. Die erreichbare Reduzierung der Bilddatenmenge ist ausreichend, um langsame Massen­ speicher als Speichermedien zu benutzen. Eine Erhö­ hung der horizontalen Bildauflösung bei der Bild­ aufnahme erfordert bei gleichem Bildinhalt keine Vergrößerung der Speicherkapazität für das verfah­ rensgemäß kodierte Bild.

Die erfindungsgemäße Anordnung für einen Bildsequenzspeicher ermöglicht die Erfassung eines großen Bildfeldes mit hoher Auflösung, wobei in festlegbaren Bildausschnitten eine höhere Bildfol­ gerate als in den übrigen Bildausschnitten reali­ siert wird. Die Anwendung von mehreren Sensoren und Objektiven ermöglicht außerdem eine Bildvermessung.

Die Erfindung wird im folgenden anhand eines Ausführungsbeispieles näher erläutert. In der zuge­ hörigen Zeichnung zeigen:

Fig. 1 eine schematische Darstellung der erfindungsgemäßen Verfahrensschritte,

Fig. 2 ein Ablaufschema der erfindungsgemäßen Verfahrensschritte bei Speicherung in getrenn­ ten Attributsspeichern,

Fig. 3 eine schematische Darstellung der Funktionsgruppen der erfindungsgemäßen Einrich­ tung und die

Fig. 4 bis 7 ein Beispiel für den Grauwertverlauf in einer Bildzeile und Schritte bei der Kodierung bzw. Dekodierung.

Bei dem erfindungsgemäßen Verfahren erfolgt eine kantenorientierte Bilddatenkomprimierung. Nach er­ folgter Digitalisierung liegen die Bilddaten z. B. zeilenweise als Bildpunkte mit den zugehörigen Grauwerten vor. Fig. 4 zeigt die Grauwerte der Bildpunkte einer Zeile.

Der Zeilenbeginn liegt beim Bildpunkt 0, das Zeilenende beim Bildpunkt 80. Der Beginn der Zeile bzw. der Beginn eines Objektes ist durch einen Grauwertanstieg gekennzeichnet. Dieser Grauwertan­ stieg, der sich über mehrere Bildpunkte erstrecken kann, definiert die Vorderkante. Ein Objekt be­ ginnt, wenn die Grauwertdifferenz benachbarter Punkte einen bestimmten Wert überschreitet. Grauwertdifferenzen, die kleiner als dieser ge­ wählte Wert sind, werden als redundante Werte be­ handelt. Durch Differenzenoperatoren werden die An­ fangspunkte der Grauwertanstiege VK1 bis VK4 sowie die Endpunkte der Grauwertabfälle HK1 bis HK4 (Kantenfußpunkte) sowie die zugehörigen Grauwertdifferenzen zwischen Objekt und Hintergrund bestimmt. Dabei ist es auch möglich, den Endpunkt eines Grauwertanstieges und den Anfangspunkt eines Grauwertabfalls durch Differenzenoperatoren zu be­ stimmen und auszuwerten.

Die Bereiche zwischen den Kantenfußpunkten weisen Grauwertänderungen auf, die kleiner als der ge­ wählte minimale Grauwertdifferenzbetrag sind. Sie werden deshalb als redundante Grauwertschwankungen betrachtet und der Grauwertverlauf in diesem Be­ reich durch einen konstanten Wert angenähert. Der Grauwertverlauf des in Fig. 4 dargestellten Bei­ spieles ist durch 5 Grauwertanstiege und 4 Grau­ wertabfälle gekennzeichnet.

Für jeden Kantenfußpunkt werden außer der Bildpunktnummer, die die Koordinate des Kantenfuß­ punktes darstellt, weitere Attribute ermittelt und abgespeichert:

• - Kennzeichnung als Kantenfußpunkt einer Vorder­ kante bzw. Hinterkante,
• - Grauwertdifferenz zwischen Objekt und Grauwert am Kantenfußpunkt,
• - Grauwert am Kantenfußpunkt.

In Fig. 5 sind die Kantenfußpunkte für die Vorder­ kanten VK1 bis VK4 und in Fig. 6 für die Hinter­ kanten HK1 bis HK4 sowie die zugehörigen Grauwert­ differenzen dargestellt. Die Attribute für Vorder­ kantenfußpunkte und Hinterkantenfußpunkte werden vorteilhafter Weise getrennt abgespeichert. Ein besonderer Vorzug des erfindungsgemäßen Verfah­ rens besteht darin, daß die Koordinaten der Kanten­ fußpunkte und die obengenannten zugehörigen Attri­ bute im seriellen Datenstrom des Bildsensors be­ rechnet werden und keine Zwischenspeicherung mehre­ rer Bildzeilen erforderlich ist. Der schematische Ablauf des Speicherverfahrens ist in Fig. 1 darge­ stellt. Von der Bildsensorbaugruppe BSBG gelangt über den Analog-Digital-Umsetzer ADU ein serieller Bilddatenstrom BDS zur Kantenfußpunkterkennung. Die in Echtzeit berechneten Kantenfußpunktattribute KDS werden einem Attributspeicher ASP zugeführt. Für das Abspeichern der Attribute eines Kantenfußpunk­ tes sind beispielsweise 3 Byte erforderlich. Die Speicherung der für den Grauwertverlauf der Bild­ zeile aus Fig. 4 relevanten Kantenfußpunktattri­ bute erfordert somit 27 Byte. Werden die berechne­ ten Attribute vor der Abspeicherung einer Run-Lengh-Codierung unterzogen und dabei nur signifi­ kante Abweichungen zwischen den Werten der entspre­ chenden Attribute berücksichtigt, sind im gewählten Beispiel nur noch 9 Byte für die Koordinaten der Kantenfußpunkte, ein Byte für den an allen Kanten­ fußpunkten fast gleichen Grauwert und ein Byte für die an allen Kantenfußpunkten fast gleichen Grau­ wertdifferenzen erforderlich. Demgegenüber würde eine direkte Abspeicherung des Grauwertverlaufes, bei dem die Bildpunktkoordinaten und die zugehöri­ gen Grauwerte erfaßt werden, 80 Byte erfordern.

Das Kodierungsverfahren wird auf alle Zeilen des Bildes in gleicher Weise angewendet. Der Zeilen­ wechsel kann in geeigneter Weise in der Liste der Kantenfußpunktattribute gekennzeichnet werden. Wird bei der Bildaufnahme der Zeile die Anzahl der Bild­ punkte verdoppelt, was einer doppelten Auflösung entspricht, sind für die direkte Abspeicherung des Grauwertverlaufes bereits 160 Byte erforderlich. Demgegenüber sind, wenn der Grauwertverlauf der Bildzeile nach dem erfindungsgemäßen Verfahren ko­ diert und abgespeichert wird, trotz doppelter Auf­ lösung nach wie vor nur 27 ohne RUN-LENGH-Codierung bzw. 11 Byte Speicherkapazität erforderlich.

Bei dem erfindungsgemäßen Verfahren ist es möglich, z. B. bei sehr langem Grauwertanstieg, zusätzlich zu den obengenannten Parametern die Grauwertanstiegs­ länge oder Formattribute des Grauwertverlaufs wie z. B. konvex oder konkav in geeigneter Weise zu er­ mitteln und als weitere Attribute zu speichern und bei der Rekonstruktion des Grauwertverlaufes der Zeile zu berücksichtigen.

In einem Dekodierungsprozeß wird der Grauwertver­ lauf der Bildzeile aus den in den Listen gespei­ cherten Merkmalen rekonstruiert.

Der Dekodierungsprozeß beginnt dabei mit dem ersten Fußpunkt. Dazu wird der Grauwert am Kantenfußpunkt zur zugehörigen Grauwertdifferenz addiert. Am Zei­ lenanfang und am Zeilenende hat der Kantenfußpunkt den Grauwert 0. Der berechnete Grauwert wird bis zum nächsten Kantenfußpunkt jeweils konstant gehal­ ten. Ist der folgende Kantenfußpunkt eine Vorder­ kante, wird die Summe aus Grauwert am Kantenfuß­ punkt und Grauwertdifferenz berechnet und als Grau­ wert für die nächsten Bildpunkte verwendet.

Folgt auf den Kantenfußpunkt einer Vorderkante z. B. der Kantenfußpunkt einer Hinterkante, so wird als Grauwert für die folgenden Bildpunkte der Grauwert am Kantenfußpunkt der Hinterkante eingesetzt.

Beim nächsten Kantenfußpunkt wird in gleicher Weise der neue Grauwert berechnet.

Diese Vorgehensweise wird bis zum Zeilenende, das in der Liste geeignet gekennzeichnet ist, fortge­ führt. Der Dekodiervorgang beginnt in der nächsten Zeile von neuem und wird zeilenweise bis zum Bild­ ende fortgesetzt.

Fig. 7 zeigt den Grauwertverlauf G1 für ein so re­ konstruiertes Bild, das aus den erfindungsgemäß ab­ gespeicherten Daten ermittelt wurde.

Eine zweckmäßige Ausgestaltung des Verfahrens ist in Fig. 2 dargestellt. Dabei werden in den Kanten­ baugruppen KGB die Kantenfußpunktkoordinaten und die zugehörigen Attribute für die Vorderkanten und die Hinterkanten im seriellen Datenstrom BDS des Bildsensors BS parallel berechnet und in getrennten Attributsspeichern ASP abgelegt.

Eine zweckmäßige Ausführungsform der erfindungsge­ mäßen Einrichtung erläutert Fig. 3. Die erfin­ dungsgemäße Einrichtung besteht aus einer Optikbau­ gruppe OPT mit Bildsensorbaugruppen BSGB, einem AD-Umsetzer ADU, Kodiererbaugruppen KBG, wobei jeweils eine Baugruppe für die Vorderkantenfußpunkte und eine Baugruppe für die Hinterkantenfußpunkte ver­ wendet werden. Zur Einrichtung gehören ferner die Speicherbaugruppe SPBG und eine Ablaufsteuerung AST.

Eine zweckmäßige Ausführungsform der Vorrichtung verwendet zwei oder mehrere Bildsensoren BS mit Normalobjektiven O, die unter einem festgelegten Abstand und unter einem Winkel so angeordnet sind, daß die Bildbereiche der Sensoren sich teilweise überschneiden. Damit wird erreicht, daß ein großer Bildausschnitt erfaßt werden kann, ohne daß kostenaufwendige Weitwinkelobjektive erforderlich sind.

Die Bildsignale der Sensoren werden den jeweils zugeordneten AD-Umsetzern oder einen gemeinsam ge­ nutzten AD-Umsetzer ADU zugeführt.

Die Synchronsignale ST0 der Bildsensoren BS sind mit der Ablaufsteuerung AST verbunden. Die Ablauf­ steuerung generiert eine alternierende Bildfolge am Ausgang des AD-Umsetzers ADU. Dadurch ist die Bild­ folge im überlappenden Bildbereich der Sensoren doppelt so hoch wie in den restlichen Bildberei­ chen. Die Bildauflösung entspricht der Bildauflö­ sung der einzelnen Sensoren. Durch die Wahl des Ab­ standes der Sensoren und des Winkel s der Sensor­ achsen zueinander kann der Bereich mit größerer Bildfolge variiert werden. In den überlappenden Bildbereichen sind Bildvermessungsaufgaben reali­ sierbar.

Die Steuersignale ST1 der Ablaufsteuerung und die digitalisierten Bilddaten werden parallel angeord­ neten Kodierern zugeführt, die im seriellen Bildda­ tenstrom die verfahrensgemäßen Attribute berechnen und zusätzlich gegebenenfalls eine Lauflängenkodie­ rung vornehmen. Die Ausgänge der Kodiererbaugruppe KBG werden mit den Eingängen zugeordneter Speicher ASP verbunden, in denen die kodierten und kompri­ mierten Bilddaten, gesteuert durch die Signale ST2 der Ablaufsteuerung AST, abgelegt werden. Durch die vorgenommene Bildkodierung sind langsame Speicher­ medien einsetzbar. Die alternierende Bildfolge er­ möglicht im überlappenden Bildbereich eine höhere Bildfolgerate, ohne kleine Schreibzeiten für die Speicher zu erfordern.

Die zeitliche Optimierung aller Abläufe ermöglicht so die Anwendung kostengünstiger nichtflüchtiger Massenspeichermedien.

Bezugszeichenliste

VK1. . .VK4 Vordere Kantenpunkte
HK1. . .HK4 Hintere Kantenpunkte
BSBG Bildsensorenbaugruppe
BDS Bilddatenstrom
KDS Kantenfußpunktattribute
ASP Attributspeicher
g1 Grauwertverlauf
OPT Optikbaugruppe
ADU AD-Umsetzer
BS Bildsensor
O Normalobjektiv
AST Ablaufsteuerung
ST0. . .ST3 Steuersignale
KBG Kodiererbaugruppe

Claims (11)

1. Verfahren zur Speicherung von Bildsequenzen, bei dem mit einem Bildaufnahmegerät, das einen Bildsen­ sor beinhaltet, die Bilddaten erfaßt, einem Analog- Digital-Umsetzer zugeführt und danach kodiert und gespeichert werden, dadurch gekennzeichnet, daß nach der Digitalisierung zeilenweise oder spalten­ weise durch eindimensionale Differenzenoperatoren der Anfangspunkt eines Grauwertanstieges bzw. der Endpunkt eines Grauwertabfalls ermittelt wird und für jeden Anfangs- bzw. Endpunkt neben einer Bild­ punktnummer die Attribute

• - Kantenfußpunktkennzeichen für Vorderkante bzw. Hinterkante,
• - Grauwertdifferenz zwischen Objekt und Grauwert am Kantenfußpunkt und
• - Grauwert am Kantenfußpunkt

ermittelt und gespeichert werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeich­ net, daß zusätzlich Formattribute des Kantenver­ laufs ermittelt und gespeichert werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch ge­ kennzeichnet, daß die Abspeicherung in Listenform erfolgt.

4. Verfahren nach einem der Ansprüche 1 bis 3, da­ durch gekennzeichnet, daß die Kantenfußpunktkoordi­ naten und die zugehörigen Attribute für die Vorder­ kanten und die Hinterkanten im seriellen Datenstrom parallel ermittelt und in getrennten Attributsspei­ chern des Bildaufnahmegerätes abgelegt werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, da­ durch gekennzeichnet, daß Attribute in Speicher­ blöcke eines Speichers abgelegt werden.

6. Anordnung zur Speicherung von Bildsequenzen, bei denen mit einem Bildaufnahmegerät, das einen Bild­ sensor und eine Optikbaugruppe beinhaltet, die Bilddaten erfaßt, einem Analog-Digital-Umsetzer zu­ geführt und danach kodiert und gespeichert werden, dadurch gekennzeichnet, daß die Anordnung

• - je eine Kodiererbaugruppe für die Attribute der Vorderkantenfußpunkte und für die Attribute der Hinterkantenfußpunkte,
• - eine Speicherbaugruppen und
• - eine Ablaufsteuerung

enthält.

7. Anordnung nach Anspruch 6, dadurch gekennzeich­ net, daß mindestens zwei Bildsensoren jeweils hin­ ter einem Objektiv in einem festgelegten Abstand und unter einem Winkel so angeordnet sind, daß die Bildbereiche der Sensoren sich überlappen und die Bildsensoren so synchronisiert werden, daß eine de­ finierte Bildfolge entsteht, die die Bilder der Sensoren in festgelegter Reihenfolge und Anzahl be­ inhaltet.

8. Anordnung nach Anspruch 7, dadurch gekennzeich­ net, daß die Bildfolge alternierend aus je einem Bild von zwei Sensoren gebildet wird.

9. Anordnung nach einem der Ansprüche 6 bis 8, da­ durch gekennzeichnet, daß die Steuersignale der Ab­ laufsteuerung und die digitalisierten Bilddaten parallel angeordneten Kodierern zugeführt werden, die im seriellen Bilddatenstrom die verfahrensgemä­ ßen Attribute berechnen und gegebenenfalls eine Lauflängenkodierung vornehmen und die Ausgänge der Kodierer mit den Eingängen zugeordneter Speicher oder Speicherblöcke verbunden sind, in denen die kodierten Bilddaten abgelegt werden.