A. Hintergrund der Erfindung
A(1). Gebiet der Erfindung
-
Die Erfindung bezieht sich auf eine Bildverbesserungsschaltung.
-
Derartige Schaltungsanordnungen werden dazu verwendet, ausgehend von einer Anzahl
quasi-stationären Bilder niedriger Qualität ein Bild hoher Qualität zu erzeugen. Es wird
beispielsweise vorausgesetzt, daß ein Fernsehbild hoher Qualität eines von der Kamera
weit entfernten Gegenstandes erwünscht ist. Wenn die Atmosphäre ruhig ist (wie bei
leichtem Frostwetter) ist dies im allgemeinen ohne zusätzliche Hilfsmittel
verwirklichbar. Ist dagegen die Atmosphäre äußerst unruhig (wie an heißen Tagen) entsteht
meistens ein Bild niedriger Qualität, wobei das erwünschte Bild durch Störanteile stark
gestört ist. Damit unter diesen Umständen dennoch ein Bild hoher Qualität erhalten
wird, wird eine Anzahl Bilder niedriger Qualität dieses Gegenstandes in der
Bildverbesserungsschaltung bearbeitet.
-
Ähnliche Situationen treten auf bei der "Scanning Electron"-Mikroskopie,
bei der Röntgenfluorskopie und in der Astronomie.
A(2). Beschreibung des Standes der Technik
-
Ein bekanntes Verfahren zum Erhalten eines Bildes hoher Qualität,
ausgehend von einer Anzahl Bilder niedriger Qualität, ist auf Seite 1 des
Bezugsmaterials 1 angegeben. Dieses Verfahren besteht daraus, daß von der Gruppe
Niederqualitätsbilder der Durchschnittswert berechnet wird. Daß diese zu dem erwünschten
Ergebnis führen kann, ist wie folgt ersichtlich. Für das i. Niederqualitätsbild gilt
nämlich:
-
Gi(x, y) = H(x, y) + Ni(x, y) (1)
-
In dieser Gleichung ist H(x, y) das erwünschte Hochqualitätsbild und Ni(x, y) ein
additives Störbild, das unabhängig von dem Hochqualitätsbild ist. Wenn nun das
erwünschte Hochqualitätsbild für eine Reihe von M Niederqualitätsbildern konstant ist,
dann gilt:
-
Für einen großen Wert von M nähert der Störterm in dem rechten Glied unter normalen
Umständen dem Wert Null, so daß Folgendes gilt:
-
Wenn ein Hochqualitätsbildsignal innerhalb eines endlichen Zeitintervall
wiedergegeben werden muß, muß die Zahl M beschränkt werden. Dies bedeutet, daß
die Unterdrückung des Störanteils ebenfalls beschränkt wird. In der Praxis bedeutet
dies, daß der Störanteil in dem Hochqualitätsbildsignal etwa das 1/M-fache des
ursprünglichen Störanteils ist.
-
Wie auf Seite 686 des Bezugsmaterials 2 beschrieben, ist ein Nachteil
dieses Bildverbesserungsverfahrens, daß die erwünschte Leuchtdichte des Bildes erst
dann erzielt werden kann, nachdem alle M gewichteten Niederqualitätsbildsignale
akkumuliert worden sind. Ein weiterer Nachteil dieses bekannten Verfahrens ist, daß
der optimale Wert für M nicht immer im voraus bekannt ist. Dieser Wert wird im
wesentlichen weitgehend von den vorliegenden Umständen abhängig sein.
-
Ein weiteres Bildverbesserungsverfahren ist in dem Bezugsmaterial 3
beschrieben. Zum Verringern des Störanteils wird darin allgemein vorgeschlagen, daß
ein verbessertes Bild aus einer Reihe Niederqualitätsbilder G&sub1;, G&sub2;, . . . GN dadurch
erhalten wird, daß zunächst die Bilder G&sub1; und G&sub2; gemittelt werden zum Erzeugen eines
Durchschnittsbildes G1,2 = (G&sub1;+G&sub2;)/2. Danach wird dieses Mittelungsverfahren auf
G1,2 und G&sub3; angewandt zum Erzeugen eines Durchschnittbildes G1,3 = (G1,2+
G&sub3;)/2. Eine Fortsetzung dieses Verfahrens führt zu einer verbesserten Reihe von
Niederqualitätsbildern.
-
Noch ein weiteres Bildverbesserungsverfahren ist in dem Bezugsmaterial
4 beschrieben. Darin wird vorgeschlagen, daß ein "Prädiktionsbild"-Signal von jedem
der aufeinanderfolgenden Niederqualitätsbildsignale subtrahiert wird und daß das
Differenzbildsignal auf die im Bezugsmaterial 1 beschriebene Art und Weise bearbeitet
wird. Das bedeutet, daß jedes Differenzbildsignal durch einen Gewichtungsfaktor 1/K
multipliziert wird und daß alle gewichteten Differenzbildsignale akkumuliert werden.
Diese akkumulierten Differenzbildsignale bilden das "Prädiktions"-Bildsignal und das
erwünschte Ausgangsbildsignal. Das Ausgangsbildsignal wird nur nach M
aufeinanderfolgenden Niederqualitätsbildsignalbearbeitungen von hoher Qualität sein. Bei diesem
bekannten Verfahren kann der Gewichtungsfaktor 1/K zwei Werte aufweisen. Der eine
Wert ist 1 und wird benutzt, wenn die Amplitude des Differenzbildsignals eine
vorbestimmte Schwelle überschreitet. Der andere Wert ist etwas niedriger als 1, und wird
benutzt, wenn die Amplitude des Differenzbildsignals diese Schwelle unterschreitet.
-
Die Nachteile der in dem Bezugsmaterial 3 und 4 beschriebenen
Bildverbesserungsverfahren sind, daß einerseits der Störanteil in dem Hochqualitätsbildsignal
nicht auf einen Pegel unterhalb N/M zurückgebracht werden kann, wobei N der
Störanteil in dem ursprünglichen Niederqualitätsbildsignal ist und M der
Gewichtungsfaktor ist, der in dem Falle des Bezugsmaterials 3 gleich zwei ist und der im Falle des
Bezugsmaterials 4 gleich 1 oder K ist. Andererseits wird bei diesen
Bildverbesserungsverfahren die maximale Störungsverringerung nur nach M Akkumulationen erzielt.
B. Ziel und Zusammenfassung der Erfindung
-
Die Erfindung hat nun zur Aufgabe eine Bildverbesserungsschaltung zu
schaffen der in dem Bezugsmaterial 4 beschriebenen Art, die zum Umwandeln einer
Reihe von quasi-stationären Niederqualitätsbildsignalen in ein Hochqualitätsbildsignal
eine differenzerzeugende Schaltung aufweist, welche die aufeinanderfolgenden
Niederqualitätsbildsignale der Reihe und die aufeinanderfolgenden Prädiktionsbildsignale einer
Reihe von Prädiktionsbildsignalen zugeführt werden, und die eine Reihe von
Differenzbildsignalen erzeugt; mit einem Gewichtungsnetzwerk zum Multiplizieren jedes
derartigen Differenzbildsignals mit einem vorgegebenen Gewichtungsfaktor zum Erzeugen
gewichteten Differenzbildsignale, eine Akkumalationsschaltung zum Akkumulieren der
gewichteten Differenzbildsignale und zum Erzeugen der genannten Reihe von
Prädiktionsbildsignale, die aber die Nachteile der obenstehend beschriebenen Schaltungen nicht
aufweist.
-
Deswegen hängt bei der Bildverbesserungsschaltung nach einer ersten
Ausführungsform der vorliegenden Erfindung der Gewichtungsfaktor zum Multiplizieren
des daran zugeführten Differenzbildsignals von der Ordnungszahl dieses
Differenzbildsignals in der Reihe von Differenzbildsignalen ab und entspricht dem Reziprokwert
der Ordnungszahl dieses Differenzbildsignals.
-
Mit anderen Worten, wenn die ursprüngliche Nummer des
Differenzbildsignals durch i bezeichnet wird, kann der Gewichtungsfaktor dieses Differenzbildsignals
auf 1/i gestellt werden, so daß die aufeinanderfolgenden Gewichtungsfaktoren die Reihe
1, 1/2, 1/3, 1/4, 1/5, 1/6, . .. bilden.
-
In der Bildverbesserungsschaltung nach einer zweiten Ausführungsform
der vorliegenden Erfindung werden die Gewichtungsfaktoren gleich ganzen negativen
Potenzen von zwei gewählt, und zwar wie folgt:
-
k(i) =2-RND[²log i] (4)
-
In dieser Gleichung ist RND eine Rundungsoperation; mit anderen Worten:
RND[² log i] ist der gerundete Wert von ² log i. Die auf diese Weise bestimmten
Gewichtungsfaktoren haben nacheinander den folgenden Wert:
-
1, 1/2, 1/4, 1/4, 1/8, 1/8, 1/8, 1/8, . . . (5)
-
Durch Verwendung derartiger monoton abnehmender
Gewichtungsfaktoren für die aufeinanderfolgenden Differenzbildsignale, wird das in dem
Akkumulator gespeicherte Bildsignal zu jedem beliebigen Zeitpunkt die optimale
Leuchtdichte aufweisen und der Störanteil nimmt kontinuierlich ab, so daß der
Akkumlationsprozeß angehalten werden kann, sobald der Störanteil ausreichend
unterdrückt ist.
-
Es ist wahr, daß die Bildverbesserungsschaltung nach der zweiten
Ausführungsform theoretisch nicht dieselbe Bildqualität erzielt wie in dem Fall, wo k(i)
= 1/i ist, aber in der Praxis läßt sich die Differenz in der Qualität kaum feststellen,
auch deshalb weil der Akkumlationsprozeß nicht nach einer bestimmten Periode
angehalten werden muß und die Gewichtungsschaltung wesentlich vereinfacht werden
kann.
C. Bezugsmaterial
-
1. Digital Image Processing; W.K. Pratt; John Wiley and Sons 1978 (ISBN
0-471-01888-0).
-
2. Temporal Filtering Using Pixel Incrementing; H. Bruggeman; Joumal of
the Society of Motion Picture and Television Engineers, August 1981, Seiten 686-694.
-
3. Image sequence enhancements based on the normal component of image
motion; L.S. Davis et.al.; Pattern Recognition Letters, Heft 2, Nr. 2, Dezember 1982,
Seiten 95-99.
-
4. Fr-A-2309095.
D. Kurze Beschreibung der Figuren
-
Fig. 1 zeigt ein Fernsehaufnahme- und -wiedergabesystem mit einer
Bildverbesserungsschaltung nach der Erfindung;
-
Fig. 2 und 3 zeigen je ein Ausführungsbeispiel einer
Bildverbesserungsschaltung.
E. Beschreibung der Ausführungsbeispiele
-
Fig. 1 zeigt ein Fernsehsystem. Es ist mit einer Fernsehkamera 1
versehen, die mit einer Geschwindigkeit von beispielsweise 25 Hz eine Reihe von
Bildern Gi(x, y) ein und desselben Gegenstandes in eine Reihe analoger Bildsignale gi(t)
umwandelt. Darin ist i die Ordnungszahl des Bildsignals. Für diese Umwandlung wird
das Bild Gi(x, y) entsprechend einem Zeilenmuster abgetastet. Nachdem das Bild G&sub1;(x,
y) abgetastet ist und dadurch das Bildsignal gi(t) erhalten worden ist, wird das Bild
etwas geändert sein. Dieses neue Bild wird durch Gi+1(x, y) bezeichnet und dies ergibt
nach Abtastung durch die Fernsehkamera das Bildsignal gi+1(t). Außer diesen
Bildsignalen
liefert die Fernsehkamera jeweils am Anfang der Abtastung eines neuen Bildes
einen Bildsynchronimpuls fp.
-
Die auf diese Weise erhaltenen analogen Bildsignale gi(t) werden in einer
Schaltungsanordnung 2 in zeitdiskrete Bildsignale i(n) umgewandelt. Diese
Schaltungsanordnung 2 weist dazu eine Abtastanordnung 21 auf, die von Abtastimpulsen gesteuert
wird, die mit einer Geschwindigkeit fS von beispielsweise 13,5 MHz auftreten. In dem
dargestellten Ausführungsbeispiel weist diese Schaltungsanordnung 2 weiterhin einen
Analog-Digital-Wandler 22 auf, in dem jeder auf diese Weise erhaltene
Bildsignalabtastwert in ein Kodewort von beispielsweise 7 Bits umgewandelt wird.
-
Die zeitdiskreten Bildsignale, die von der Schaltungsanordnung 2 geliefert
werden, werden dem Eingang 31 der Bildverbesserungsschaltung 3 zugeführt. Der
Ausgang 32 derselben ist über einen Digital-Analog-Wandler 4 an den Monitor 5
angeschlossen.
-
Die Bildverbesserungsschaltung 3 weist einen Akkumulator 33 auf, der in
Antwort auf das i. Bildsignal i(n) die i. Annäherung hj(n) des erwünschten Bildsignals
h(n) liefert, das die zeitdiskrete Signaldarstellung des erwünschten Bildes H(x, y) ist.
Dieser Akkumulator ist mit einem Eingang 331, einem Ausgang 332 und einer
Addierschaltung 333 versehen, deren erster Eingang an den Eingang 331 des Akkumulators
angeschlossen ist und deren zweiter Eingang an den Ausgang 332 des Akkumulators
angeschlossen ist, sowie mit einer Verzögerungsschaltung 334, die eine
Verzögerungszeit hat entsprechend der Dauer eines Bildsignals Tb, und deren Eingang an den
Ausgang der Addierschaltung 333 und deren Ausgang an den Ausgang 332 des
Speichers angeschlossen ist. Diese Bildverbesserungsschaltung weist weiterhin eine
differenzerzeugende Schaltungsanordnung 34 auf, von der ein erster Eingang mit dem
Eingang 31 dieser Bildverbesserungsschaltung verbunden ist und von der ein zweiter
Eingang mit dem Ausgang 332 des Speichers 33 verbunden ist. Der Ausgang dieser
differenzerzeugenden Schaltungsanordnung 34 ist über das Gewichtungsnetzwerk 35 an
den Eingang 331 des Speichers angeschlossen.
-
Dieses Gewichtungsnetzwerk hat einen von der Ordnungszahl i des
Niederqualitätsbildsignals abhängigen Gewichtungsfaktor k(i) und kann mit Hilfe eines
Schalters 36, der vom Benutzer betätigt werden kann, in eine bestimmte Ausgangslage
gebracht werden und ggf. darin gehalten werden, und zwar dadurch, daß dieser Schalter
ständig in der wirksamen Lage bleibt. Es wird nun vorausgesetzt, daß in dieser
Ausgangslage der Gewichtungsfaktor dem Wert k(0) = 0 ist. Durch den ersten
Synchronimpuls fp, der auftritt, nachdem der Schalter 36 wieder in den nicht-leitenden
Zustand gebracht worden ist, wird i = 1 und wird, ausgehend von der Voraussetzung,
daß k(i) = 1/i ist, der erste Gewichtungsfaktor gleich k(1) = 1. Das Bildsignal &sub1;(n)
wird dann ungeändert in der Verzögerungsleitung 334 gespeichert. Nach dem Auftritt
eines weiteren Bildsynchronimpulses fp wird das gespeicherte Bildsignal zusammen mit
&sub2;(n) der differenzerzeugenden Schaltungsanordnung 34 zugeführt, die dann das
Differenzsignal &sub2;(n)- &sub1;(n) liefert. Dieses Differenzsignal wird mit dem neuen
Gewichtungsfaktor 1/2 multipliziert und der Addierschaltung 333 zugeführt, in der
diesem Differenzsignal das Bildsignal &sub1;(n) hinzuaddiert wird. Das auf diese Weise
erhaltene Summensignal
-
s&sub2;(n) = 1/2 [ &sub1;(n) + (n)]
-
wird der Verzögerungsschaltung 334 und nach dem Auftritt eines nächsten Impulses als
Bildsignal h&sub2;(n) über den Digital-Analog-Wandler 4 dem Monitor 5 zugeführt. Wie aus
dem obenstehenden leicht abgeleitet werden kann, gilt im allgemeinen daß:
-
Wenn nun zu einem bestimmten Zeitpunkt die Qualität des Bildes Hi(x, y), das durch
hi(n) gekennzeichnet wird und das am Monitor sichtbar ist, vom Zuschauer als
befriedigend betrachtet wird, kann der Schalter 6 wieder in die nicht-wirksame Lage gebracht
werden, so daß das Bild Hi(x, y) nicht mehr ändert. Weil, wie aus dem Ausdruck (6)
hervorgeht, zu jedem Zeitpunkt hi(n) der Mittelwert aller bis zu diesem Zeitpunkt
empfangenen Bildsignale i(n) ist, ist die Leuchtdichte des Bildes Hi(X, y) optimal.
-
Ein Ausführungsbeispiel der Gewichtungsschaltung 35 im Fall, daß k(i)
= 1/i ist, ist in Fig. 2 dargestellt. Diese Schaltungsanordnung weist einen Zähler 3501
von beispielsweise 16 Bits auf. Dem Zählereingang C desselben werden die
Bildsynchronimpulse fp zugeführt. Dieser Zähler kann beispielsweise dadurch
rückgestellt werden, daß dem Rückstelleingang R eine logische "1" zugeführt wird.
Dazu ist der Schalter 36 vorgesehen, der vom Benutzer betätigt wird. Dieser Zähler
liefert auf diese Weise die Ordnungszahl i des Bildsignals gi(t), DAS der
Bildverbesserungsschaltung zugeführt wird, seitdem der Schalter 6 das letzte Mal in den
leitenden Zustand gebracht wurde. Diese Zahl i wird zusammen mit dem von der
differenzerzeugenden Schaltung 34 gelieferten Differenzsignal einer Teilerschaltung
3503 zugeführt, die auf diese Weise das mit dem Gewichtungsfaktor 1/i gewichtete
Differenzsignal liefert.
-
Es sei bemerkt, daß die 2¹&sup6; Bildsynchronimpulse, die von diesem 16-Bit-
Zähler gezählt werden können, 65536 Bildern entsprechen. Die Übertragung derselben
dauert etwa 43 Minuten. In diesem Fall soll der Benutzer also innerhalb von 43
Minuten bestimmen, ob es ein Bild gibt, das seinen Wünschen entspricht.
-
In der Gewichtungsschaltung nach Fig. 2 wurde davon ausgegangen, daß
k(i) = 1/i ist und diese Schaltungsanordnung ist deswegen mit einer Teilerschaltung
3503 versehen. Obschon Teilerschaltungen allgemein bekannt sind, sind es nach wie vor
relativ verwickelte Schaltungsanordnungen. Außerdem ist die Durchführung einer
Teilung relativ zeitaufwendig.
-
Eine wesentlich einfachere Ausführungsform der Gewichtungsschaltung
wird dadurch erhalten, daß die Gewichtungsfaktoren entsprechend dem Ausdruck (4)
gewählt werden, was zu der Reihe von Gewichtungsfaktoren im Ausdruck (5) führt.
Durch diese Wahl der Gewichtungsfaktoren wird nicht nur die Gewichtungsschaltung
wesentlich einfacher in der Ausgestaltung, sondern auch die Geschwindigkeit wird
wesentlich höher.
-
Ein Ausführungsbeispiel der Gewichtungsschaltung ist in Fig. 3
dargestellt. In diesem Ausführungsbeispiel wurde einfachheitshalber davon ausgegangen, daß
die Differenzsignalabtastwerte, die von der differenzerzeugenden Schaltungsanordnung
34 geliefert werden, sowie die gewichteten Differenzsignalabtastwerte, wie diese von
der Gewichtungsschaltung geliefert werden, alle im Vorzeichen und Größe dargestellt
werden und zwischen +1 und -1 liegen.
-
Die in Fig. 3 dargestellte Gewichtungsschaltung weist wieder den 16-Bit-
Zahlen 3501 auf, der am Zählereingang C die Bildsynchronimpulse fp erhält und der
dadurch rückgestellt werden kann, daß dem Rückstelleingang R während kurzer Zeit
eine logische "1" zugeführt wird. Auch nun ist dazu der Schalter 36 vorgesehen, der
vom Benutzer betätigt wird, aber nur während kurzer Zeit leitend ist. An diesen Zähler
3501 ist nun ein Dekodierer 3504 mit sechzehn Ausgängen angeschlossen, die durch S1
bis einschließlich S16 bezeichnet sind. An dem Ausgang S1 tritt eine logische "1" auf,
jeweils wenn die Zählerstellung eins beträgt. Wenn die Zählerstellung zwei ist, tritt eine
logische "1" an dem Ausgang S2 auf. An dem Ausgang S3 tritt eine logische "1" auf
bei jeder der Zählerstellungen 3, 4, 5 usw. Die Gewichtungsschaltung umfaßt weiterhin
ein 23-Bit-Ausgangsregister 3505, dessen Inhalt (d. h. der gewichtete
Differenzsignalabtastwert) bit-parallel zu dem Addierer 333 übertragen wird (siehe Fig. 1). Für
jedes der 23 Bits hat dieses Ausgangsregister eine Bitzelle. Diese Zellen sind durch BS,
B1, B2, . . . B22 bezeichnet. Die Bitzelle BS weist das Vorzeichenbit auf, die Bitzelle B1
das signifikanteste Bit MSB und die Bitzelle B22 das am wenigsten signifikante Bit
LSB. Von jedem 7-Bit-Differenzsignalabtastwert, der von der differenzerzeugenden
Schaltung 34 geliefert wird, wird das Vorzeichenbit unmittelbar der Bitzelle BS
zugeführt. Die übrigen sechs Größenbits werden über einen sog. Leitwegkreis 3506
einer bestimmten Bitzelle der übrigen Bitzellen des Ausgangsregisters zugeführt. Dazu
weist dieser Leitwegkreis sechzehn Torschaltungen 3507-3522 auf mit je sechs
Eingängen zum bit-parallelen Empfang der sechs Größenbits. In der Figur ist
vollständigkeitshalber angegeben, an welchem der Ausgänge das MSB und an welchem das LSB
vorhanden ist. Diese Torschaltungen werden durch die Signale an den Ausgängen des
Dekodierers 3504 gesteuert. Insbesondere werden dadurch die sechs Größenbits den
Bitzellen B1-B6 zugeführt, wenn der Ausgang S1 logisch "1" ist. Ist dagegen der
Ausgang S2 logisch "1", so werden diese sechs Größenbits den Bitzellen B2-B7
zugeführt. Wenn der Ausgang 53 logisch "1" ist, werden sie den Bittzellen B3-B8
zugeführt, usw. Die Torschaltungen sind derart ausgebildet, daß diejenigen Bitzellen,
die keines der sechs Größenbits zugeführt bekommen, eine logische "0" erhalten.
-
Es sei bemerkt, daß in diesem Ausführungsbeispiel einfachheitshalber
vorausgesetzt wurde, daß die jeweiligen Signalabtastwerte mit Vorzeichen und Größe
dargestellt sind, daß aber in der Praxis meistens die zwei-Komplementendarstellung
verwendet wird.
-
Auch sei bemerkt, daß das Element 334 (siehe Fig. 1), das obenstehend
als Verzögerungsleitung bezeichnet wurde, als digitaler Bildspeicher ausgebildet sein
kann.