DE69122839T2 - Neuronale Netzwerke für Videosignalverarbeitung - Google Patents

Description

• Die Erfindung bezieht sich auf die Verwendung von neuronalen Netzwerken in einem Fernsehsignal- Verarbeitungssystem.
• Üblicherweise wird eine Video-Signalverarbeitungsschaltung so ausgeführt, daß eine gewünschte Übertragungsfunktion angenommen wird und dann die notwendigen Schaltungselemente zur Realisierung der Funktion bestimmt werden. Beispielsweise werden bei der Entwicklung eines Tiefpaßfilters bestimmte "notwendige" Parameter wie Bandbreite, Phasen-Linearitäts- Welligkeit, u.s.w. angenommen. Dann wird mit Hilfe von Konstruktionswerkzeugen das Filter synthetisiert und schließlich geprüft, um zu bestimmen, ob es die angenommene Ansprechcharakteristik liefert. Das Problem bei diesem Lösungsweg besteht darin, daß die vorbereitenden Annahmen mit dem gewünschten Ansprechen nicht übereinstimmen können.
• Eine bessere Lösung ist der Aufbau einer Schaltung, die in der Lage ist, ein vielfältiges Ansprechverhalten zu liefern und sie dann zu trainieren, um die gewünschten Ausgangssignale für eine repräsentative Gruppe von Eingangssignalen zu erzeugen. Die Trainingsgruppe muß echt den Zuständen entsprechen, die man im wirklichen Betrieb findet, und das System sollte ausreichend flexibel sein, so daß es auf Eingangssignale verallgemeinert werden kann, die beim Trainieren nicht vorhanden sind. Nachdem das Training ausgeführt worden ist, können die Schaltungs-Parameter dazu benutzt werden, eine Schaltung herzustellen, die es dem "trainierten" System gleichtut.
• Mit einer Klasse von Schaltungen, die als "neuronale Netzwerke" bezeichnet werden, kann man trainieren, um für Gruppen von Eingangssignalen das gewünschte Ausgangsansprechen zu erzeugen. Eine verallgemeinerte Beschreibung solcher Netzwerke findet man in "Neural Nets for Adaptive Filtering and Adaptive Pattern Recognition" von Bernard Widrow et al., Computer, März 1988, Seiten 25 - 39 und in "An Introduction to Computing with Neural Nets" von Richard P. Lippmann, IEEE ASSP Magazin, April 1987, Seiten 4 - 22.
• Die japanische Veröffentlichung JP-A-2 284 590 beschreibt eine Bildsignal-Vorhersagevorrichtung, die neuronale Netzwerktechnologie verwendet, um eine Verschlechterung der Bildqualität zu vermindern.
• Neuronale Netzwerke sind nützlich, um Muster oder bestimmte Signalkennungen zu erkennen und werden üblicherweise in der Mustererkennungsanwendung benutzt. Im allgemeinen werden neuronale Netzwerke nicht als lineare Signalverarbeitungselemente verwendet, da die Einzelteile (Perceptrons) von Hause aus nicht linear sind.
• Die Erfinder haben gefunden, daß neuronale Netzwerke mit Vorteil bei der Verarbeitung von Videosignalen in sowohl linearen als auch nicht-linearen Signalwegen angewendet werden können.
• Die vorliegende Erfindung ist eine Echtzeit-Fernsehsignal- Verarbeitungsschaltung mit einer neuronalen Schaltung zur Verarbeitung eines Video-Eingangssignals, die ein erstes neuronales Netzwerk enthält, das eine erste Vielzahl von Perceptrons hat, die so ausgebildet sind, daß sie auf das Videosignal in einer Dimension (Z.B. horizontal) wirken; wobei Mittel zum Kombinieren von Signalen vorgesehen sind, die von der ersten Vielzahl von Perceptrons erzeugt werden, um ein Zwischensignal zu liefern, wobei die neuronale Schaltung ein zweites neuronales Netzwerk enthält, das eine zweite Vielzahl von Perceptrons hat, die so ausgebildet sind, daß sie auf das Zwischensignal in zwei Dimensionen (z.B. horizontal und vertikal) wirken; und wobei Mittel vorgesehen sind, um die von der zweiten Vielzahl von Perceptrons erzeugten Signale zu kombinieren, um ein verarbeitetes Videosignal zu bilden.
• Die vorliegende Erfindung ist eine Video-Signalverarbeitungsschaltung, die wenigstens ein neuronales Netzwerk in einem Signalverarbeitungsweg enthält. Bei einer Ausführungsform ist ein neuronales Netzwerk vorgesehen, um Signalfehler in einem zusammengesetzten Videosignal festzustellen. Bei einer zweiten Ausführungsform ist ein neuronales Netzwerk so ausgebildet, daß es interpolierte Signalwerte liefert, die ein fehlerhaftes Signal ersetzen sollen oder als Zwischenräume füllende Zeilen in einem Zeilensprung-Nichtzeilensprung- Abtastkonverter dienen sollen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
• Fig. 1 ist ein Blockschaltbild eines Fernsehempfängers mit einem die Erfindung verkörpernden neuronalen Netzwerk.
• Fig. 2 ist ein Blockschaltbild eines neuronalen Netzwerks zum Durchlaß von Signalkomponenten, die das Erscheinungsbild von Signalfehlern haben.
• fig. 3 ist ein Blockschaltbild eines neuronalen Netzwerks zur Durchführung einer Korrelationsfunktion.
• Fig. 4 ist ein Blockschaltbild eines neuronalen Netzwerks zur Durchführung einer Signalinterpolation.
• Fig. 5 - 8 sind Tabellen mit Koeffizienten, die in beispielsweisen Ausführungen der in Fig. 2 bis 4 dargestellten Netzwerke verwendet werden.
• Die Erfindung wird im Rahmen eines Feststellungs- und Korrektursystems von Impulsrauschen oder Signalfehlern für die Verarbeitung von zusammengesetzten Videosignalen beschrieben, jedoch ist ohne weiteres erkennbar, daß die Konzepte auch bei allgemeineren Videosignal-Verarbeitungsanwendungen eingesetzt werden können. Es wird die Annahme gemacht, daß die Videosignale im abgetasteten Datenformat in binärer oder PCM- Form sind, und daß die Abtastungen mit einer Rate fs auftreten, die gleich dem Vierfachen der Farb- Hilfsträgerfrequenz ist.
• Das hier verwendete neuronale Netzwerk ist eine Mehrschicht-Kombination von Perceptrons. Jedes Perceptron enthält einen summierenden Knoten zur Summierung einer Vielzahl von gewichteten Abtastungen und zur Zuführung eines Offsets θ. Der Ausgang des Summierungsknotens wird dann einer nicht-linearen Schaltung mit einem sigmoidalen Ansprechen zugeführt. Der Ausgang Zj jedes Perceptrons hat die Form
• Zi = 1/(e&supmin; yi(x) +1) (1)
• Hierin ist
• Yi(x) = wijxj - θi (2)
• Hierin sind θi entsprechende Offset-Werte, xj Eingangs-Abtastwerte und wij entsprechende Wichtungswerte, die entsprechenden Abtast-Eingängen zugeführt werden. Es sei bemerkt, daß der Bereich der Ausgangswerte zj zwischen Null und Eins liegt. Die Funktion zi ist allgemein "S"-förmig und wird hier als sigmoidale Funktion bezeichnet. Eine alternative sigmoidale Funktion zur Gleichung (2) ist der Hyperbeltangens tanh(yi(x)/2).
• Die Perceptrons in einer gegebenen Schicht wirken alle auf dieselbe Gruppe von Eingangsabtastungen xj. Die Perceptrons in aufeinanderfolgenden Schichten wirken auf Ausgangswerte, die von einer vorhergehenden Schicht von Perceptrons erzeugt werden. Die Architektur des Netzwerks, d.h. die Zahl der Knoten, ihrer Verbindungen untereinander und der externen Eingänge wird je nach Konstruktion gewählt wie auch die Definitionen der gewünschten Ausgangssignale. Die Wichtungs- und Offset-Werte wird im Laboratorium unter Trainingsbedingungen ähnlich der Anwendung bestimmt, in der das Netzwerk ausgeführt wird.
• Das Trainieren von neuronalen Netzwerken ist in der Literatur belegt, jedoch soll nachfolgend eine kurze Erläuterung des Netzwerktrainings gegeben werden.
• Für irgendein Maß an Genauigkeit und irgendeine kontinuierliche Funktion von RN zu Vektoren in RM, für die jede Komponente zwischen Null und Eins liegt, gibt es ein Mehrschicht-Perceptron, das die Funktion an das gegebene Genauigkeitsmaß annähert, und tatsächlich gibt es ein Verfahren zur Konstruktion eines Zwei-Schicht-Perceptrons, um eine bekannte Funktion mit einem gegebenen Genauigkeitsmaß anzunähern. Ein Teil des Wertes von Mehrschicht-Perceptrons liegt jedoch in der Möglichkeit der Annäherung unbekannter Funktionen. Dies kann getan werden, wenn eine Gruppe von Beispielen verfügbar ist, d.h. wenn eine eine Gruppe von Eingängen von RN hat und für jeden dieser Eingänge einen gewünschten Ausgang von RM. Diese Gruppe von Beispielen muß keine tatsächliche Funktion wiederspiegeln. Es kann eine probabilistische Beziehung zwischen den Eingängen und Ausgängen bestehen, was bedeutet, daß das neuronale Netzwerk eine Funktion annähert, die eine statistische Beziehung zwischen den Eingängen und Ausgängen gibt, z.B. der mittlere Ausgang bei dem gegebenen Eingang, der wahrscheinlichste Ausgang bei einem gegebenen Eingang, u.s.w. Die das Netzwerk trainierende Person muß eine geeignete Gruppe von Beispielen wählen, die sogenannte "Trainingsgruppe".
• Die Wichtungen und Schwellen des Netzwerks werden so eingestellt, daß sie am besten an die Trainingsgruppe gemäß einer ungefähren Messung des Annäherungsfehlers, üblicherweise meistens des mittleren quadratischen Fehlers, zu der Trainingsgruppe angenähert werden. Verfahren zum Einstellen der Wichtungen und Schwellen sind gegenwrtig ein sehr aktiver Forschungsbereich, aber nahezu alle Verfahren haben einen Gradientenabfall zur Folge. Hierfür wird der Gradient des Netzwerkfehlers für jedes Beispiel in bezug auf die wichtungen und Schwellen berechnet. Von den Fehlern und Gradienten kann dann für jedes Beispiel der Durchschnitt gebildet werden, so daß man den mittleren Fehler und dessen Gradienten erhält, und es können dann klassische Optimierungsverfahren angewendet werden, z.B. eines der konjugierten Gradientenverfahren. Oder man kann ein grobes Verfahren des Gradientenabfalls, die sogenannte Rückfortpflanzung durchführen. Bei der Rückfortpflanzung wird jede Wichtung einfach dadurch eingestellt, daß ihr eine kleine Konstante multipliziert mit dem Negativen der Ableitung des Netzwerkfehlers in bezug auf die fragliche Wichtung oder Schwelle hinzugefügt wird. Der Fehler kann entweder der Fehler für ein bestimmtes Beispiel, der durchschnittliche Fehler über einer gewissen Untergruppe der Trainingsgruppe oder der Durchschnittsfehler über der gesamten Trainingsgruppe sein. Eine allgemeine Modifizierung dieses Verfahrens ist die Berechnung eines abnehmenden Durchschnitts für jede Ableitung, bei der der Durchschnitt der kürzlich berechneten Fehler gebildet wird, egal ob für einzelne Beispiele oder Gruppen von Beispielen. Diese Durchschnitte werden dann verwendet, um die Wichtungen und Schwellen anstelle der Ableitungen für den am wenigsten zurückliegenden berechneten Fehler einzustellen.
• Die Berechnung des Gradienten des Netzwerksfehlers in bezug auf die Wichtungen und Schwellen wird durch die Struktur des Netzwerks vereinfacht. Diese von dem Netzwerk berechnete Funktion ist eine Zusammensetzung von mehreren Funktionen, von denen jede durch eine Schicht in dem Netzwert realisiert wird. Mathematisch wendet man nur einfach die Kettenregel an, um die Ableitung des Netzwerksfehlers in bezug auf die Ausgänge der Knoten in einer Schicht zu berechnen. Diese Ableitungen werden allgemein als Knotenfehler bezeichnet. Es sei angenommen, daß diese Ableitungen für eine gewisse Schicht bekannt sind. Die Kettenregel gibt dann die Ableitungen des Netzwerksfehlers in bezug auf die Wichtungen und Schwellen dieser Schicht, aber sie ist auch nützlich zur Berechnung der Ableitungen des Netzwerksfehlers in bezug auf die Ausgänge der Knoten in der vorherigen Schicht. Diese Ableitung für einen Knoten in der vorherigen Schicht ist die Summe über den Knoten der gegenwärtigen Schicht von dem Knotenfehler der gegenwärtigen Schicht multipliziert mit der Ableitung des Knotenausgangs der gegenwärtigen Schicht in bezug auf den Knotenausgang der vorherigen Schicht.
• Ein Beispiel eines Rückfortpflanzungs-Trainings hat die Form:
• 1.) Berechne den Netzwerksausgang für das gegenwärtige Beispiel.
• 2.) Setze den Fehler jedes Knotens in dem Netz auf Null.
• 3.) Setze den Fehler jedes Knotens in der Ausgangsschicht auf die Ableitung des Netzwerksfehlers in bezug auf diesen Knotenausgang.
• 4.) Setze die gegenwärtige Schicht auf die Ausgangsschicht.
• 5.) Benutze für jeden Knoten in der gegenwärtigen Schicht dessen Fehler zur Berechnung der Ableitung des Netzwerksfehlers in bezug auf die Wichtungen und Schwellen dieses Knotens.
• 6.) Berechne für jeden Knoten in der gegenwärtigen Schicht und jeden seiner Eingänge, wenn der Eingang von einem Knoten in einer vorherigen Schicht stammt, die Ableitung des Ausgangs des gegenwärtigen Knotens in bezug auf den Eingang, multipliziere mit dem Fehler des gegenwärtigen Knotens und addiere das Ergebnis zu dem Fehler des Eingangsknotens.
• 7.) Wenn keine vorherigen Schichten vorhanden sind, ist die Berechnung beendet. Andernfalls setze die neue gegenwärtige Schicht auf die vorherige Schicht und gehe zurück auf 5.
• Somit ist der Name Rückfortpflanzung in Ordnung, da der Fehler sich von der Ausgangsschicht zurück durch jede vorherige Schicht fortpflanzt.
• Fig. 1 zeigt einen Teil eines Fernsehsignal- Verarbeitungssystems mit mehreren neuronalen Netzwerken zur Durchführung verschiedener Funktionen. In Fig. 1 wird von einer Quelle 10 ein datenabgetastetes zusammengesetztes Videosignal geliefert. In einem Fernsehempfänger kann die Quelle 10 eine Antenne, ein Tuner mit ZF-Schaltung und eine Signal-Abtastschaltung (z.B. ein Analog/Digital-wandler) sein. Statt dessen kann die Quelle in einem Video-Plattenspieler oder in einem Video-Kassettenrecorder ein aufgezeichnetes Medium und eine Abtastschaltung enthalten. Von dem von der Quelle 10 gelieferten Signal wird angenommen, daß es Fehler enthalten kann, wie beispielsweise Impulsrauschen oder Signal- Dropouts. Das Signal von der Quelle 10 wird einem Fehlerdetektor 11 und einer Fehlerkorrekturschaltung 12 zugeführt. Der Detektor 11 erzeugt ein Steuersignal, das dazu dient, die Fehlerkorrekturschaltung 12 zu steuern.
• Die Fehlerkorrekturschaltung 12 enthält einen Multiplexer und einen Interpolator. Das Signal von der Quelle 10 wird einem Eingang des Multiplexers und dem Interpolator zugeführt. Von dem Interpolator erzeugte interpolierte Abtastungen werden einem zweiten Eingang des Multiplexers zugeführt. Der Multiplexer wird durch das Steuersignal konditioniert, um von der Quelle 10 bei Fehlen von Signalfehlern ein Signal durchzulassen und bei Auftreten von Signaldefekten interpolierte Abtastungen durchzulassen. Das von dem Multiplexer gelieferte Signal ist der Signalausgang von der Fehlerkorrekturschaltung 12. Es sei bemerkt, daß entsprechende Kompensations-Verzögerungsmittel in die Fehlerkorrekturschaltung einbezogen werden müssen, um das interpolierte und echte Signal,und das Steuersignal mit entsprechenden Fehlern zeitlich auszurichten.
• Das Ausgangssignal von der Fehlerkorrekturschaltung 12 wird einer üblichen Videosignal-Verarbeitungsschaltung 13 zugeführt, die eine Luminanz/Chrominanz-Abtrennschaltung, Chrominanz-Demodulatoren, Sättigungssteuerung, Spitzenwertbildung, etc. enthält.
• Die Luminanz- und Chrominanzsignale von dem Prozessor 13 werden einem Zeilensprung-Nichtzeilensprung-Abtastkonverter 15 und einer Speichervorrichtung 14 zugeführt. Die Speichervorrichtung 14 liefert Abtastungen an ein Interpolationsfilter 16 eines neuronalen Netzwerks, das Zwischenräume füllende Zeilen des Videosignals erzeugt. Die Zwischenräume ausfüllenden Zeilen des Signals werden auch dem Abtastkonverter 15 zugeführt, worin echte Zeilen des Videosignals von dem Prozessor 13 zum Abwechseln mit interpolierten Zeilen des Videosignals vom Filter 16 gebracht werden, wobei die abwechselnden Zeilen in der Zeit komprimiert werden, um ein Nichtzeilensprung-Signal mit der zweifachen Rate zu bilden. Das Ausgangssignal von dem Abtastkonverter wird einer Anzeigevorrichtung (nicht dargestellt) zugeführt.
• Fig. 2 und 3 veranschaulichen Teile des Fehlerdetektors 11 des neuronalen Netzwerks. Das neuronale Netzwerk von Fig. 2 wirkt auf aufeinanderfolgende Gruppierungen von Abtastungen innerhalb einer Videozeile und wird trainiert, um das Auftreten von fehlerhaften Signalen zu erkennen. Im allgemeinen ist das von diesem Netzwerk gelieferte Signal eine Sequenz von Impulsen, mit einem Impuls für jedes fehlerhafte Auftreten.
• Gewisse Bilder (z.B. vertikale Streifen oder Linien) erzeugen Horizontal-Signalkomponenten, die Signalfehlern vom Impuls-Dropout-Typ ähnlich sind, die von der Schaltung in Fig. 2 als Fehler erkannt werden und falsche Feststellungsimpulse erzeugen. Diese Horizontal-Signalkomponenten sind jedoch normalerweise von Zeile zu Zeile redundant, d.h. sie sind räumlich korreliert. Fehler des Impuls-Dropout-Typs sind zufällig und räumlich nicht korreliert. Die Schaltung von Fig. 3 wirkt auf eine zweidimensionale Matrix von Abtastungen, die von der Schaltung in Fig. 2 geliefert werden, und sie wird trainiert, um nur das Auftreten von räumlich nicht korrelierten Signalfehlern zu erkennen. Während das Ausgangssignal von der Schaltung in Fig. 2 unmittelbar als Fehleranzeige-Signal zur Steuerung der Fehlerkorrekturschaltung 12 verwendet werden kann, vermindert das Einschließen der Schaltung von Fig. 3 das Potential für falsche Fehlerfestellung stark.
• Gemäß Fig. 2 wird das Signal von der Quelle 10 einer angezapften Verzögerungsleitung 20 zugeführt, die Ausgangs- Anzapfungen A - I hat, wobei jede Anzapfung eine aufeinanderfolgende inkrementale verzögerung von beispielsweise einer Signalabtastperiode vorsieht. Signale von den Anzapfungen werden den drei gleichen Perceptrons (PERCEPTRON 1, PERCEPTRON 2 UND PERCEPTRON 3) zugeführt. In den jeweiligen Perceptrons werden die Signale von den Anzapfungen A - I entsprechenden Wichtungsschaltungen W1 bis W9 zugeführt, in denen diese Signale durch unterschiedliche Wichtungswerte skaliert werden. Die gewichteten Signale werden einer Summierungsschaltung 22 zugeführt. Ein Offset-Wert wird ebenfalls der Summierungsschaltung 22 zugeführt, die aufeinanderfolgende Abtastungen yi(x) erzeugt, wie in der Gleichung (2) definiert. Die yi(x)-Abtastungen werden einem nicht-linearen oder sigmoidalen Element 24 zugeführt, das Perceptron-Ausgangsabtastungen gemäß der durch die Gleichung (1) definierten Funktion liefert. Das Element 24 wird üblicherweise durch Verwendung eines Festspeichers (ROM) realisiert, der mit der durch die Gleichung (1) definierten Funktion vorprogrammiert wird. Die yi(x)-Werte oder -Summen werden als Adressen-Codes dem Eingangsadressen-Anschluß des ROM zugeführt, und die Zi-Ausgangswerte, die den zugeführten yi-Werten entsprechen, sind am Ausgangsanschluß des ROM verfügbar.
• Für die Fehler-Feststellungsanwendung braucht nur eine verhältnismäßig kleine Zahl von Werten in dem ROM gespeichert zu werden. Das heißt, daß für n-Bit-Worte yi, yi 2n-1 unterschiedliche Werte und damit 2n-1 unterschiedliche ROM- Adressen annehmen kann. Wenn n gleich beispielsweise 6 ist, gibt es 64 mögliche yi-Werte. Die Zahl der gespeicherten Werte oder der wirksamen Adressen kann jedoch auf eine viel kleinere Zahl begrenzt werden.
• Abtastungen werden kontinuierlich in die Verzögerungsleitung 20 mit der Abtastrate FS geladen, und die drei Perceptrons erzeugen Ausgangswerte von Gruppierungen von neun aufeinanderfolgenden Abtastungen Es wurde für die Fehlerfeststellungsfunktion bestimmt, daß es nur notwendig ist, jede zweite Gruppe von neun Abtastungen zu prüfen. Dies bedeutet, daß - wenn die aufeinanderfolgenden Abtastungen mit 1 - 15 bezeichnet werden - die entsprechenden Gruppen von neun Abtastungen, die von den drei Perceptrons verarbeitet werden, Abtastungen (1 - 9), (3 - 11), (5 - 13), (7 - 15), usw. sind. Als solche können die drei Perceptrons so ausgebildet werden, daß sie mit der halben Abtastrate oder FS/2 arbeiten.
• Von dem PERCEPTRON 1, PERCEPTRON 2 und dem PERCEPTRON 3 gelieferte Ausgangsabtastungen werden einem vierten Perceptron 26 (PERCEPTRON 4) zugeführt, worin sie jeweils gewichtet, summiert, versetzt und durch das nicht-lineare sigmoidale Element verarbeitet werden. Es wurde gefunden, daß es für diese Anwendung ausreicht, nur jede zweite Gruppe von Abtastungen zu untersuchen, die von der ersten Schicht von Perceptrons (PERCEPTRON 1, PERCEPTRON 2 UND PERCEPTRON 3) geliefert werden. Somit kann das PERCEPTRON 4 so ausgebildet werden, daß es mit einem Viertel der Eingangs-Abtastrate oder FS/4 arbeitet. Ausgangsabtastungen von dem vierten Perceptron werden tiefpaßgefiltert (28), um hochfrequente Komponenten zu entfernen und dann einer Latch-Vorrichtung 30 zugeführt, um die Ausgangsabtastungen zeitlich zu stabilisieren. Beispielsweise Wichtungskoeffizienten und Offset-Werte, die in den Perceptrons von Fig. 2 verwendet werden, sind in der Tabelle 1 aufgelistet, worin die Anzapfungen 1 - 9 jeweils Signalen A - 1 entsprechen. Die Anzapfungen 10, 11 und 12 entsprechen den Ausgängen der jeweiligen PERCEPTRONS 1 - 3. Die mit 1 - 4 bezeichneten Spalten listen die entsprechenden Wichtungen und Offset-Werte für die PERCEPTRONS 1 - 4 auf.
• Fig. 3 veranschaulicht ein neuronales Netzwerk zur Feststellung von nicht räumlich korrelierten Impulsen, die von dem neuronalen Netz von Fig. 2 geliefert werden. Abtastungen von der Latch-Vorrichtung 30 werden einer Speichervorrichtung 50 zugeführt, die laufend fünf Abtastungen von jeder der drei aufeinanderfolgenden Horizontal-Zeilen Ln-1, Ln und Ln+1 liefert. Diese 15 Abtastungen S1 bis S15 werden jedem der drei Perceptrons P1, P2 und P3 zugeführt. Diese Perceptrons sind ähnlich wie das PERCEPTRON 1 in Fig. 2 ausgebildet, mit Ausnahme, daß dort Eingangssignalwege mit 15 Wichtungsschaltungen anstelle von neun vorgesehen sind. Es wurde gefunden, daß es nur notwendig ist, abwechselnde Blöcke von 15 Abtastungen zu untersuchen, da die Perceptrons P1, P2 und P3 so ausgebildet werden können, daß sie mit der Hälfte der Abtastrate der Latch-Vorrichtung 30 oder mit FS/8 arbeiten. Die Ausgangsabtastungen von den Perceptrons P1, P2 und P3 werden einem Perceptron P4 mit drei Eingängen zugeführt, das das Fehler-Steuersignal liefert, das der Fehler- Korrekturschaltung 12 zugeführt wird. Das Perceptron P4 ist ferner gleich dem Perceptron 26 in Fig. 2.
• Beispielsweise Offset-Werte und Wichtungskoeffizienten, die den Perceptrons P1 - P4 zugeführt werden, sind in der TABELLE II aufgelistet. In der Tabelle II entsprechen die mit 1 - 15 bezeichneten Anzapfungen jeweils Abtastungen S1 - S15 in bezug auf P1 - P3. Hinsichtlich P4 entsprechen die mit 1 - 3 bezeichneten Anzapfungen den Signalen, die jeweils von den Perceptrons P1 - P3 geliefert werden.
• Fig. 4 veranschaulicht ein beispielsweises neuronales Netzwerk, das als Interpolator in der Fehler- Korrekturschaltung 12 ausgeführt werden kann. Dieses bestimmte Netzwerk ist so ausgebildet, daß es interpolierte Abtastungen für ein zusammengesetztes NTSC-Videosignal einschließlich einer mit einem Hilfs-Träger in Quadratur modulierten Chrominanzkomponente liefert, das sich in der Phase von Horizontal-Zeile zu Horizontal-Zeile ändert. Interpolierte Abtastungen werden mit der Abtastrate FS von fünf Abtastungen aus jeder von zwei Zeilen Ln-2, Ln-1, die der gegenwärtigen Zeile Ln vorangehen, und von fünf Abtastungen aus jeder von zwei Zeilen Ln+1, Ln+2, die der gegenwärtigen Zeile folgen, erzeugt. In Fig. 4 ist der räumliche Punkt, für den eine gegenwärtige Abtastung interpoliert wird, durch den offenen Kreis angezeigt. Die in der Rechnung verwendeten 20 Abtastungen sind mit X1 - X20 bezeichnet.
• Eingangs-Abtastungen von der Signalquelle 10 werden einem Speicherelement 70 zugeführt, das gleichzeitig die 20 Abtastungen X1 - X20 aus Segmenten von vier Horizontal-Zeilen liefert. Diese 20 Abtastungen werden jedem der zehn Perceptrons PLA - P10A zugeführt. Die zehn Ausgangs- Abtastungen F1 - F10, die von dem entsprechenden Perceptron P1A - P10A erzeugt werden, werden jedem der fünf Perseptrons P1B - P5B zugeführt. Die fünf Ausgangs-Abtastungen F1A - F5A, die von den Perceptrons P1B - P5B erzeugt werden, werden einem Fünf-Eingangs-Perceptron P6B zugeführt, das die interpolierte Abtastung liefert. Alle Perceptrons in der Ausführung von Fig. 4 sind gleich dem Perceptron 1 von Fig. 2 modifiziert, um sie an die Anzahl der jeweils zugeführten Eingangssignale anzupassen. Die Offset-Werte und die Wichtungskoeffizienten für die Perceptrons P1A - P10A sind in der TABELLE IIIA aufgelistet. Die Offset-Werte und die Wichtungskoeffizienten für die Perceptrons P1B - P6B sind in der TABELLE IIIB aufgelistet. In der TABELLE IIIA entsprechen die Anzapfungs- Nurnrnern 1 - 20 jeweils den Abtastungen X1 - X20. In der TABELLE IIIB bezüglich der Perceptrons P1B - P5B entsprechen die mit 1 - 10 bezifferten Anzapfungen den Ausgangssignalen, die jeweils von den Perceptrons P1A - P10A geliefert Werden. In gleicher Weise entsprechen im Hinblick auf das Perceptron P6B die mit 1 - 5 bezeichneten Anzapfungen den Ausgangssignalen, die jeweils von den Perceptrons P1B - P5B geliefert werden.
• Das in Fig. 4 dargestellte interpolierende neuronale Netzwerk scheint relativ kompliziert zu sein, jedoch liefert es ausgezeichnete Ersatz-Abtastungen. Die Kompliziertheit ist eine Folge davon, daß das Signal ein zusammengesetztes Videosignal ist. Getrennte, einfachere Interpolatoren, die auf Komponentensignale wirken, können im Anschluß an die Luminanz/Chrominanz-Abtrennung verwendet werden. Insgesamt ist die Kompliziertheit jedoch etwa die gleiche, und aufgrund von Wirkungen der Fehler auf die Luminanz/Chrominanz- Abtrennschaltung kann für die Funktion ein Kompromiß geschlossen werden.
• Die Schaltung von Fig. 4 ist nur ein Beispiel. Schaltungen zur Verarbeitung einer unterschiedlichen Matrix von Abtastungen werden ins Auge gefaßt, die beispielsweise ein neuronales Netzwerk enthalten, das Abtastungen von Zeilen Ln-1, Ln und Ln+1 verwendet. Unabhängig von der Wahl der verarbeiteten Abtast-Matrix wird die vertikale oder horizontale Auflösung ein gewisser Kompromiß sein, und dieser Kompromiß ist üblicherweise bestimmend für die Auswahl der Schaltung für eine bestimmte Anwendung.
• Das neuronale Netzwerk von Fig. 4 arbeitet kontinuierlich und erzeugt somit interpolierte Abtastungen für jeden Abtastpunkt in der Zeile Ln. Eine solche Schaltung dieser Art ist verantwortlich für die Erzeugung von Zwischenräume füllenden Zeilen des Videosignals für die Zeilensprung- Nichtzeilensprung-Abtast-Umwandlung. Für die Abtast-Umwandlung würde die in dem Element 70 dargestellte Matrix jedoch üblicherweise Abtastungen eines Komponentensignals darstellen. Die Zeile Ln ist eine erzeugte Zwischenräume füllende Zeile. Die Zeilen Ln-1 und Ln+1 stellen Zeilen von dem laufenden Halbbild des Zeilensprung-Signals dar, und die Zeilen Ln-2 und Ln+2 können Zeilen von dem vorhergehenden Halbbild des Zeilensprung-Signals darstellen. Nominelle Zeilensprung- Nichtzeilenstprung-Abtast-Umwandler verwenden Zeilen von dem vorherigen Halbbild für Zwischenräume füllende Zeilen mit Ausnahme, wenn zwischen Halbbildern/Vollbildern eine Bewegung existiert. Wenn eine Bewegung vorhanden ist, werden interpolierte Werte, die von Abtastungen innerhalb des gegenwärtigen Halbbildes erzeugt werden, für die Zwischenräume füllende Zeile ersetzt. Ein Interpolationsfilter der in Fig. 4 dargestellten Art, das auf Abtastungen von dem gegenwärtigen und dem vorhergehenden Halbbild wirkt, kann für die Erzeugung von Zwischenräume füllenden Zeilen ausgebildet werden. Üblicherweise wird jedoch das interpolierende Filter des neuronalen Netzwerks so ausgebildet, daß Abtastungen von zwei benachbarten Zeilen (Ln-1, Ln+1) von dem gegenwärtigen Halbbild des Zeilensprung-Videosignals verarbeitet werden. Somit kann ein interpolierendes neuronales Netzwerkf ilter zur Erzeugung von Zwischenräume ausfüllenden Zeilen zur Abtast- Umwandlung die Form des in Fig. 4 dargestellten Interpolators annehmen, jedoch die Zahl von Eingängen zu der ersten Schicht der Perceptrons (P1A - P10A) auf beispielsweise 10 (X6 - X15) vermindert ist. Die Wichtungskoeffizienten und die Offset- Werte für das gesamte Netzwerk werden durch ein Trainingsverfahren bestimmt.

Claims (10)

1.) Echtzeit-Fernsehsignal-Verarbeitungsschaltung mit einer neuronalen Schaltung zur Verarbeitung eines Video-Eingangssignals, dadurch gekennzeichnet. daß die neuronale Schaltung ein erstes neuronales Netzwerk enthält, das eine erste Vielzahl von Perceptrons (PERC 1, 2, 3) hat, die so ausgebildet sind, daß sie auf das Videosignal in einer Dimension (z.B. horizontal) wirken; daß Mittel (26) zum Kombinieren von Signalen vorgesehen sind, die von der ersten Vielzahl von Perceptrons erzeugt werden, um ein Zwischensignal zu liefern, daß die neuronale Schaltung ein zweites neuronales Netzwerk enthält, das eine zweite Vielzahl von Perceptrons (PERC P1 - 10A, P1 - SB) hat, die so ausgebildet sind, daß sie auf das Zwischensignal in zwei Dimensionen (z.B. horizontal und vertikal) wirken; und daß Mittel (P6B) vorgesehen sind, um die von der zweiten Vielzahl von Perceptrons erzeugten Signale zu kombinieren, um ein verarbeitetes Videosignal zu bilden.

2.) Signalverarbeitungsschaltung nach Anspruch 1, dadurch gekennzeichnet. daß das Videosignal in Form von Abtastungen mit einer vorgegebenen Abtastrate (FS/2) auftritt; daß die erste Vielzahl von Perceptrons verarbeitete Signale mit einer Rate liefert, die proportional zu der vorgegebenen Rate ist; und daß das erste neuronale Netzwerk ferner ein Tiefpaßfilter (28) zur Filterung des Zwischensignals vor der Zuführung zu der zweiten Vielzahl von Perceptrons enthält.

3.) Signalverarbeitungsschaltung nach Anspruch 2, gekennzeichnet durch Mittel zur Konditionierung der zweiten Vielzahl von Perceptrons, um ein verarbeitetes Signal mit einer kleineren Rate (Fs/4) zu liefern als die erste Vielzahl von Perceptrons.

4.) Signalverarbeitungsschaltung nach Anspruch 2, dadurch gekennzeichnet, daß die erste Vielzahl von Perceptrons so ausgebildet ist, daß sie gleichzeitig auf Gruppen von N Abtastungen wirkt, wobei aufeinanderfolgende Gruppen von N Abtastungen um (20) P Abtastintervalle verzögert sind (wobei N und P ganze Zahlen sind und 0< P< N).

5.) Signalverarbeitungsschaltung nach Anspruch 1, gekennzeichnet durch ein weiteres neuronales Netzwerk (16), das auf das Videosignal anspricht, um ein interpoliertes Videosignal zu liefern; und durch Mittel (12), die auf das verarbeitete Videosignal ansprechen, um das interpolierte Videosignal gegen Fehler in dem Videosignal auszutauschen.

6.) Signalverarbeitungsschaltung nach Anspruch 1, dadurch gekennzeichnet, daß die neuronale Schaltung ein Interpolationsfilter (16) zur Erzeugung von interpolierten Abtastungen ist.

7.) Signalverarbeitungsschaltung nach Anspruch 1, dadurch gekennzeichnet. daß die neuronale Schaltung enthält:

Verzögerungsmittel (20), die auf das Video-Eingangssignal ansprechen, um gleichzeitig eine Vielzahl von relativ verzögerten Abtastungen zu liefern;

eine erste Schicht (PERC 1, 2, 3) von N Perceptrons (N = ganze Zahl), wobei jedes der N Perceptrons auf die Vielzahl von relativ verzögerten Abtastungen anspricht;

wenigstens ein weiteres Perceptron (26), das auf Signale anspricht, die von der ersten Schicht von N Perceptrons geliefert wird, um das Zwischensignal zu erzeugen.

8.) Signalverarbeitungsschaltung nach Anspruch 1, dadurch gekennzeichnet. daß jedes Perceptron Mittel (W1 - W9) zum Wichten einer Vielzahl (20) von verzögerten Darstellungen des Video-Eingangssignals enthält, daß Mittel (22) zur Erzeugung von Summen der von den Wichtungsmitteln gelieferten gewichteten Signale vorgesehen sind, und daß Mittel (24) zur Verarbeitung der Summen mit einer sigmoidalen Übertragungsfunktion vorgesehen sind.

9.) Signalverarbeitungsschaltung nach Anspruch 8, dadurch gekennzeichnet. daß die sigmoidale Übertragungsfunktion Z gegeben ist durch:

Z = 1/(e-y+1)

worin y den Summen entspricht.

10.) Signalverarbeitungsschaltung nach Anspruch 9, dadurch gekennzeichnet, daß die Mittel zur Verarbeitung der Summen mit einer sigmoidalen Übertragungsfunktion einen Festspeicher (24) umfassen, dessen Adressen-Eingahgsanschlüsse die Summen empfangen, und der an entsprechenden Speicherorten mit entsprechenden Werten Z programmiert ist.