DE69719859T2

DE69719859T2 - Bildverarbeitungsverfahren

Info

Publication number: DE69719859T2
Application number: DE69719859T
Authority: DE
Inventors: Teruhiko Chiba-Shi Matsuoka
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-05-27
Filing date: 1997-04-30
Publication date: 2004-02-05
Anticipated expiration: 2017-05-01
Also published as: EP0810550A3; JPH09319866A; EP0810550A2; EP0810550B1; US6233365B1; JP3184092B2; DE69719859D1

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Bildverarbeitungsverfahren, in welchem bezüglich eines Eingangsbilds mit n(n > 1) Graustufen ein Konversionsprozess angewandt wird, um so die Auflösung und Vergrößerung des Bilds zu konvertieren und ein Ausgangsbild mit n Graustufen zu erhalten.
Hintergrund der Erfindung
Herkömmlich sind verschiedene Verfahren als Bildverarbeitungsverfahren vorgeschlagen worden, die Konversionsprozesse auf ein Eingangsbild mit n(n – 1) Graustufen anwenden, um so die Auflösung und die Vergrößerung des Bilds zu konvertieren und ein Ausgangsbild mit n Graustufen zu erhalten.
Bezüglich der Verfahren zum Konvertieren der Auflösung eines Bilds sind ein einfaches Interpolationsverfahren, das Pixelwerte vor einer Interpolation als periphere interpolierte Pixelwerte verwendet, nachdem die Polarisation ausgeführt worden ist, wie in 7(a) gezeigt, und ein Mittelungsverfahren, das den Mittelwert der Pixelwerte vor einer Interpolation als Pixelwerte verwendet, nachdem die Interpolation ausgeführt worden ist, wie in 7(b) gezeigt, bekannt.
Außerdem ist ein lineares Interpolationsverfahren, das jeweilige Pixelwerte mit geraden Linien vor einer Interpolation verbindet und das Werte auf den geraden Linien als Interpolationswerte verwendet, beispielsweise wie in 7(c) gezeigt, als ein weiteres Verfahren zum Konvertieren der Auflösung eines Bilds bekannt. Gegenwärtig wird dieses lineare Interpolationsverfahren am weitesten verbreitet eingesetzt.
Bezüglich der Verfahren zum Konvertieren der Vergrößerung eines Bilds sind ein einfaches Interpolationsverfahren, das Pixelwerte vor einer Interpolation als periphere Pixelwerte einer variierten Vergrößerung verwendet, nachdem die Interpolation ausgeführt worden ist, wie in 8(a) gezeigt, und ein Mittelungsverfahren, das den Mittelwert eines Pixelwerts vor einer Interpolation als Pixelwerte einer variierten Vergrößerung verwendet, nachdem die Interpolation ausgeführt worden ist, wie in 8(b) gezeigt, bekannt.
Außerdem ist ein lineares Interpolationsverfahren, das jeweilige Pixelwerte mit geraden Linien vor einer Interpolation verbindet und das Werte auf den geraden Linien als Interpolationswerte verwendet, beispielsweise wie in 8(c) gezeigt, als ein weiteres Verfahren zum Konvertieren der Auflösung eines Bilds bekannt. Gegenwärtig wird dieses lineare Interpolationsverfahren am weitesten verbreitet eingesetzt.
Die oben erwähnten Verfahren führen jedoch ein Problem herbei, in welchem ein Bild, das dem Auflösungs-Konvertierungsprozess oder dem variablen Vergrößerungsprozess unterworfen worden ist, unscharfe Kantenabschnitte oder gratartige schräge Linien aufweist, was zu einem Mangel an Gleichmäßigkeit führt.
Um dieses Problem zu lösen, führt beispielsweise eine "Bild-Interpolationsvorrichtung", die in der japanischen offengelegten Patentanmeldung 12486/1994 (Tokukaihei 6-12486) offenbart ist, einen nicht-linearen Vergrößerungsprozess bezüglich eines Eingangsbilds unter Verwendung eines neuronalen Netzes aus, so dass das Bild, das nach dem Prozess erscheint, eine Schärfe in seinen Kantenabschnitten aufweist und seine gratartigen schrägen Linien maskiert aufweist, was zu einem gleichmäßigen Bild führt.
Der Vergrößerungsprozess in der Bildinterpolationsvorrichtung in der oben erwähnten offengelegten Patentanmeldung wird wie folgt erklärt: Zuerst werden vier Pixelbereiche, die ein fokussiertes Pixel einschließen, sein rechts benachbartes Pixel, sein unteres benachbartes Pixel und sein diagonal unterhalb benachbartes Pixel von einem Binärbild extrahiert. Als Nächstes werden, vorausgesetzt, dass die Werte der Pixel in den vier Pixelbereichen geändert werden, d. h., vorausgesetzt, dass das fokussierte Pixel K-mal in der Hauptabtastrichtung und L-mal in der Unterabtastrichtung vergrößert wird, Pixel in dem vergrößerten Bereich statistisch analysiert, um derartige Pixel in dem vergrößerten Bereich zu finden, um gleichmäßig mit den peripheren Pixeln verbunden zu werden, und durch ein Verwenden der Ergebnisse als Lehrsignale und der Werte der jeweiligen Pixel in den vier Pixelbereichen als Eingangssignale wird ein Lernbetrieb für das neuronale Netz vorab ausgeführt. Dann wird der Vergrößerungsprozess bezüglich des eingegebenen Binärbilds unter Verwendung des neuronalen Netzes ausgeführt, nachdem es dem Lernbetrieb unterworfen worden ist.
Jedoch sind in dem Vergrößerungsprozess durch die Bildinterpolationsvorrichtung, die in der oben erwähnten offengelegten Patentanmeldung offenbart ist, da das neuronale Netz, das einem Lernprozess unter Verwendung statistischer Daten unterworfen worden ist, die vorab bereitgestellt worden sind, eingesetzt wird, Gewichte an den Verbindungsabschnitten des neuronalen Netzes, nachdem der Lernprozess ausgeführt worden ist, fest. Aus diesem Grund können feine Einstellungen der Gewichte durch ein Anlegen von Wiederlern-Betriebsschritten nicht ausgeführt werden; somit besteht das sich ergebende Problem darin, dass es in dem Fall von unzureichenden statistischen Daten nicht möglich ist, gleichmäßig vergrößerte Bilder, die von verschiedenen Eingangsbildern abhängen, zu erhalten.
Zusammenfassung der Erfindung
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Bildverarbeitungsverfahren bereitzustellen, durch welches, ungeachtet eines einzugebenden Bilds, es möglich wird, ein Ausgangsbild zu erhalten, das gleichmäßige Kantenabschnitte und schräge Linien aufweist, auch wenn die Auflösung und Vergrößerung des Bilds konvertiert wird.
Um die oben erwähnte Aufgabe zu lösen, teilt das Bildverarbei- tungsverfahren der vorliegenden Erfindung ein Eingangsbild, das n(n > 1) Graustufen aufweist, in eine Vielzahl von Matrizen, führt zumindest entweder einen Auflösungs-Konvertierungsprozess oder einen variablen Vergrößerungsprozess für jede der geteilten Matrizen durch, indem ein hierarchisches neuronales Netz verwendet wird, das einen Lernprozess für jedes Eingangsbild ausführen kann, und gibt ein verarbeitetes Bild, das n Graustufen aufweist, als ein Ausgangsbild aus.
Mit der oben erwähnten Anordnung wird es, da der Auflösungs-Konvertierungsprozess und der variable Vergrößerungsprozess auf jeder der geteilten Matrizen des Eingangsbilds unter Verwendung des hierarchischen neuronalen Netzes ausgeführt werden, das einen Lernprozess für jedes Eingangsbild ausführen kann, möglich, Kantenabschnitte des Ausgangsbilds zu schärfen und auch schräge Linien davon gleichmäßig ohne Grate auszuführen. Außerdem ist, da das hierarchische neuronale Netz einen Lernprozess bezüglich jedes Eingangsbilds ausführen kann, der Lernprozess zu jedweder gewünschter Zeit anwendbar. Somit kann die Gewichtseinstellung der Verbindungsabschnitte des neuronalen Netzes bezüglich jedes Eingangsbilds auf einer Echtzeitgrundlage ausgeführt werden, deswegen kann ungeachtet der einzugebenden Bilder die Beziehung zwischen dem Eingangsbild und dem Ausgangsbild optimiert werden.
Wie oben beschrieben, werden, da zumindest entweder der Auflösungs-Konvertierungsprozess oder der variable Vergrößerungsprozess bezüglich der geteilten Matrizen des Eingangsbilds unter Verwendung des hierarchischen neuronalen Netzes ausgeführt wird, das einen Lernprozess auf einer Echtzeitgrundlage ausführen kann, die Gewichte des Netzes für jede Matrix eingestellt; somit wird es möglich, immer einen optimalen Konvertierungsprozess auszuführen.
Deswegen ist es ungeachtet der einzugebenden Bilder möglich, den unscharfen Zustand der Kantenabschnitte und Grate in den schrägen Linien zu beseitigen, die Probleme sind, die durch die Konvertierungsprozesse herbeigeführt werden, und folglich das Bild nach der Konversion gleichmäßig auszuführen, wodurch die Qualität des konvertierten Bilds verbessert wird.
Für ein vollständigeres Verständnis der Natur und Vorteile der Erfindung sollte Bezug genommen werden auf die folgende detaillierte Beschreibung, die in Verbindung mit den zugehörigen Zeichnungen genommen wird.
Kurze Beschreibung der Zeichnungen
In den Zeichnungen zeigen:
l ein schematisches Blockdiagramm, das eine Bildverarbeitungsvorrichtung zeigt, auf welcher ein Bildverarbeitungsverfahren der vorliegenden Erfindung angewandt wird;
2 eine erklärende Zeichnung, die eine gekrümmte Graustufen-Fläche zeigt;
3 eine schematische Zeichnung, die ein neuronales Netz des Rückübertragungstyps zeigt, das ein hierarchisches neuronales Netz ist, das auf die Bildverarbeitungsvorrichtung der 1 angewandt wird;
4 einen Graphen, der eine S-Funktion zeigt;
5 eine schematische Zeichnung, die ein neuronales Fuzzy-Netz zeigt, das ein hierarchisches neuronales Netz ist, das auf die Bildverarbeitungsvorrichtung der 1 angewandt wird;
6 einen Graphen, der eine Zugehörigkeitsfunktion zeigt;
7(a) eine erklärende Zeichnung, die ein Auflösungs-Konvertierungsverfahren zeigt, das das herkömmliche einfache Interpolationsverfahren verwendet;
7(b) eine erklärende Ansicht, die ein Auflösungs-Konvertierungsverfahren anzeigt, das das herkömmliche Mittelungsverfahren verwendet;
7(c) eine erklärende Ansicht, die ein Auflösungs-Konvertierungsverfahren anzeigt, das das herkömmliche lineare Interpolationsverfahren verwendet;
8(a) eine erklärende Zeichnung, die ein Verarbeitungsverfahren einer variablen Vergrößerung anzeigt, das das herkömmliche einfache Interpolationsverfahren verwendet;
8(b) eine erklärende Zeichnung, die ein Verarbeitungsverfahren einer variablen Vergrößerung anzeigt, das das herkömmliche Mittelungsverfahren verwendet; und
8(c) eine erklärende Zeichnung, die ein Verarbeitungsverfahren einer variablen Vergrößerung anzeigt, das das herkömmliche Mittelungsverfahren verwendet.
Beschreibung der Ausführungsform
Die folgende Beschreibung wird eine Ausführungsform der vorliegenden Erfindung diskutieren.
Wie in 1 veranschaulicht, ist eine Bildverarbeitungsvorrichtung, die ein Bildverarbeitungsverfahren der vorliegenden Ausführungsform verwendet, mit einer Bilddaten-Eingabevorrichtung (Bilddaten-Eingabeeinrichtung) 1, einer Bilddaten-Konversionsvorrichtung 2 und einer Bilddaten-Ausgabevorrichtung (Bilddaten-Ausgabeeinrichtung) 3 versehen. Wenn ein Originalbild, das n(n > 1) Graustufen aufweist, darin eingegeben wird, führt die Bildverarbeitungsvorrichtung Konvertierungsprozesse der Auflösung und Vergrößerung bezüglich des Originalbilds aus, so dass ein konvertiertes Bild, das n Graustufen aufweist, ausgegeben wird.
Mit anderen Worten, die Bildverarbeitungsvorrichtung gibt das Bild, das durch ein Anwenden von Konvertierungsprozessen be züglich des Eingangsbilds erhalten wird, in Übereinstimmung mit den folgenden Schritten aus:
zuerst liest die Bilddaten-Eingabeeinrichtung 1 ein Originalbild, das n Graustufen aufweist, als Bilddaten unter Verwendung einer Bildleseeinrichtung, wie etwa einem Scanner, die nicht gezeigt ist.
Als Nächstes führt die Bilddaten-Konversionseinrichtung 2 Konvertierungsprozesse eine Auflösung und Vergrößerung bezüglich der Bilddaten aus, die von der Bilddaten-Eingabeeinrichtung 1 gelesen worden sind. Die Konvertierungsprozesse in der Bilddaten-Konversionseinrichtung 2 werden später im Detail beschrieben werden.
Schließlich speichert die Bilddaten-Ausgabeeinrichtung 3 die Bilddaten, deren Auflösung und Vergrößerung durch die Bilddaten-Konversionseinrichtung 2 konvertiert worden sind, in einer Speichereinrichtung, wie etwa einem Speicher. Danach führt die Bilddaten-Ausgabeeinrichtung 3 einen Ausgabeprozess bezüglich der Bilddaten aus, die in der Speichereinrichtung gespeichert worden sind, und das verarbeitete Bild wird als ein konvertiertes Bild, das n Graustufen aufweist, ausgegeben.
Die folgende Beschreibung wird die Bilddaten-Konversionseinrichtung 2 detaillierter diskutieren.
Um die Konvertierungsprozesse der Auflösung und der Vergrößerung bezüglich des eingegebenen Originalbilds auszuführen, ist die Bilddaten-Konversionseinrichtung 2 mit einer Bilddaten-Teilungsschaltung 4, die als eine Bilddaten-Teilungseinrichtung dient, und einer Existierende-Pixel-Positionsinformations-/Pixelwert-Extraktionsschaltung (Existierende-Pixel-Positionsinformations-/Pixelwert-Extraktionseinrichtung) 5, einer Existierende-Pixelwert-Lernschaltung (Lerneinrichtung) 6, einer Konvertierte-Pixelpositions-Eingabeschaltung (Konvertierte-Pixelpositions-Eingabeeinrichtung) 7, einer Konvertierter-Pixelwert-Rechenschaltung (Konvertierter-Pixelwert-Recheneinrichtung) 8 und einer Konvertierter-Pixelwert-Ausgabeschal tung (Konvertierter-Pixelwert-Ausgabeeinrichtung) 9, die als eine Konversions-Verarbeitungseinrichtung dient, versehen.
Die Bilddaten-Teilungsschaltung 4 ist ausgelegt, die Bilddaten (nachstehend als Eingangsbilddaten bezeichnet), die von der Bilddaten-Eingabeeinrichtung 1 gelesen worden sind, in Matrizen in Übereinstimmung mit der Positionsinformation jeweiliger Pixel zu teilen.
In diesem Fall wird die Größe jeder der geteilten Matrizen grundsätzlich kleiner eingestellt als die Eingangsbilddaten; und wenn eine Einfachheit und hohe Geschwindigkeiten von Rechen-Betriebsschritten in Betracht gezogen werden, werden die longitudinalen und lateralen Größen jeder Matrix vorzugsweise auf die Divisoren der longitudinalen und lateralen Pixelzahlen der Eingangsbilddaten eingestellt. Hier in der vorliegenden Ausführungsform wird die Größe der Eingangsbilddaten auf 255 × 255 Pixel eingestellt, und die Größe jeder Matrix wird auf 3 × 3 Pixel eingestellt. Weiter wird die Auflösung der Eingangsbilddaten auf 300 dpi × 300 dpi (longitudinal-lateral) mit Graustufen von n = 256 eingestellt.
Die Existierende-Pixel-Positionsinformations-/Pixelwert-Extraktionsschaltung 5 ist ausgelegt, eine Positionsinformation jedes der existierenden Pixel, die in den Eingangsbilddaten (nachstehend als Teilbilddaten bezeichnet,) enthalten sind, die von der Bilddaten-Teilungsschaltung 4 in die Matrix der 3 × 3-Pixelgröße und einen Pixelwert an jeder Position geteilt worden sind, als Eingangsdaten und Lehrdaten für ein hierarchisches neuronales Netz zu extrahieren, und speichert die resultierenden Daten vorübergehend in einem Speicher, der nicht gezeigt ist. Zusätzlich wird in dem Fall eines variablen Vergrößerungsprozesses die Positionsinformation, die nach dem variablen Vergrößerungsprozess existiert, als eine Positionsinformation jeweiliger Pixel, die von der Existierende-Pixel-Positionsinformations-/Pixelwert-Extraktionsschaltung 5 zu extrahieren sind, verwendet.
Der oben erwähnte Pixelwert ist ein Wert, der die Graustufe anzeigt, wie etwa einen Konzentrationswert und einen Luminanzwert in jedem Pixel der Bilddaten. Weiter sind die Lehrdaten, die von dem Pixelwert erhalten werden, Daten, die als ein Zielwert zugeführt werden, so dass das hierarchische neuronale Netz einen korrekten Ausgangswert in Abhängigkeit jedes Eingangswert ausgeben kann. Mit anderen Worten variiert das hierarchische neuronale Netz Gewichte an den Verbindungsabschnitten des Netzes, so dass der Ausgangswert näher an den Lehrdaten zu liegen kommt.
Die Existierende-Pixelwert-Lernschaltung 6 gibt die Positionsinformation jedes Pixels und den Pixelwert an jeder Position, die in dem Speicher von der Existierende-Pixel-Positionsinformations-/Pixelwert-Extraktionsschaltung 5 gespeichert worden ist, zu den hierarchischen neuronalen Netz als Eingangsdaten und Lehrdaten weiter, wodurch es zugelassen wird, dass das neuronale Netz lernt. Die Anzahl der Lernprozesse, die von der Existierende-Pixelwert-Lernschaltung 6 ausgeführt werden, wird auf bis zu 1000 im Maximum eingestellt. Jedoch ist in dem Fall eines Lernfehlers von 5% der Lernprozess beendet, auch wenn die Anzahl der Lernprozesse nicht 1000 Mal erreicht hat. Das Lernverfahren wird im Detail später beschrieben werden.
In der vorliegenden Ausführungsform wird eine Erklärung von Fällen gegeben werden, wobei ein neuronales Netz des Rückübertragungstyps und ein neuronales Fuzzy-Netz als das oben erwähnte hierarchische neuronale Netz verwendet werden. Zusätzlich werden die detaillierten Erklärungen der jeweiligen hierarchischen neuronalen Netze später zusammen mit dem oben erwähnten Lernverfahren gegeben werden.
Wenn das hierarchische neuronale Netz einem Lernprozess in der Existierender-Pixelwert-Lernschaltung 6 unterworfen wird, wird eine abgestuft gekrümmte Fläche, die durch ein Verbinden existierender Pixelwerte mit nicht-linearen Kurven gebildet wird, erhalten, wie in 2 gezeigt. In 2 stellen schwarze Kreise ⦁ existierende Pixel dar, weiße Kreise ❍ stellen interpolierte Pixel nach einer Konversion dar, x und y stellen die x-Achse und die y-Achse der jeweiligen Eingangsbilddaten dar, und die z-Achse stellt den Pixelwert dar. Somit zeigt 2 die Ergebnisse eines Auflösungs-Konvertierungsprozesses, der ausgeführt wurde, um so die Auflösung der Eingangsbilddaten bezüglich der x-Achse und der y-Achse zu verdoppeln.
Die Konvertierte-Pixelpositions-Eingabeschaltung 7 gibt eine Positionsinformation der jeweiligen Pixel nach dem Konvertierungsprozess in das hierarchische neuronale Netz ein, das dem Lernprozess in der Existierender-Pixelwert-Lernschaltung 6 unterworfen worden ist. Die Koordinaten jedes weißen Kreises ❍ in 2, d. h. die Werte von x und y, entsprechen der Positionsinformation jedes Pixels nach dem Konvertierungsprozess.
Die Konvertierter-Pixelwert-Rechenschaltung 8 verwendet das hierarchische neuronale Netz, in welches die Positionsinformation durch die Konvertierte-Pixelpositions-Eingabeschaltung 7 eingegeben worden ist, und berechnet und erhält Pixelwerte an den jeweiligen Positionen. Die Ergebnisse, die von der Konvertierter-Pixelwert-Rechenschaltung 8 gefunden werden, stellen die Abschnitte dar, die durch die weißen Kreise ❍ angezeigt sind, und der Wert z jedes weißen Kreises ❍ gibt einen interpolierten Pixelwert.
Die Konvertierter-Pixelwert-Ausgabeschaltung 9 lässt es zu, dass der Speicher die konvertierten Pixelwerte speichert, die durch die Rechenbetriebsschritte in der Konvertierter-Pixelwert-Rechenschaltung 8 gefunden worden sind, und gibt dann die Werte zu der Bilddaten-Ausgabeeinrichtung 3 als Bilddaten nach dem Konvertierungsprozess aus.
Hier wird unter Bezugnahme auf die 3 bis 6 eine Erklärung der beiden Typen des hierarchischen neuronalen Netzes gegeben werden, die in der Existierender-Pixelwert-Lernschaltung 6 verwendet werden.
Zuerst wird die folgende Beschreibung ein neuronales Netz des Rückübertragungstyps diskutieren. Wie in 3 veranschaulicht, weist dieses neuronale Netz zwei Eingänge und einen Ausgang auf und ist durch drei Schichten einschließlich einer Eingangsschicht 11, einer Zwischenschicht 12 und einer Ausgangsschicht 13 gebildet. In dem oben erwähnten neuronalen Netz sind die beiden Eingangselemente Teile einer Positionsinformation jedes Pixels, und ein Ausgangselement ist ein Pixelwert an der eingegebenen Pixelposition.
Die Eingangsschicht 11 ist mit zwei Knoten versehen, d. h. einem Knoten A1, in welchen der Eingangswert X1 eingegeben wird, und einem Knoten A2, in welchen der Eingangswert X2 eingegeben wird. Die Bezugszeichen X1 und X2 stellen die Positionsinformation jedes Pixels dar; d. h., X1 stellt die Positionsinformation auf der x-Achse jedes Pixels dar, und X2 stellt die Positionsinformation auf der y-Achse jedes Pixels dar.
Die Zwischenschicht 12 ist mit neun Knoten D1 bis D9 versehen, und diese Knoten D1 bis D9 sind mit dem Knoten A1 der Eingangsschicht 11 mit Gewichten W11 bis W19 verbunden und sind auch mit dem Knoten A2 der Eingangsschicht 11 mit Gewichten W21 bis W29 verbunden. Diese Gewichte W11 bis W19 und W21 bis W29 werden über Lernprozesse eingestellt, die später beschrieben werden.
Zusätzlich ist die Anzahl der Knoten der Zwischenschicht 12 als die bestimmte Anzahl der Knoten definiert, in welchem, wenn Lernprozesse durch ein Erhöhen der Anzahl von Knoten in der Zwischenschicht 12 nacheinander von eins durch die Verwendung von Probenbilddaten ausgeführt wurden, der Lernprozess am präzisesten ausgeführt wurde. Deswegen ist die Anzahl von Knoten in der Zwischenschicht 12 nicht notwendigerweise auf neun beschränkt, wie sie in der vorliegenden Ausführungsform ausgeführt ist, und kann auf eine gewünschte Anzahl von Knoten im Lichte der Lerngenauigkeit eingestellt werden.
Die Ausgangsschicht 13 ist mit einem Knoten E1 versehen, und der Knoten E1 ist mit den Knoten D1 bis D9 der Zwischenschicht 12 mit Gewichten V11 bis V91 verbunden. Die Gewichte V11 bis V91 werden über Lernprozesse bestimmt, die später beschrieben werden, und sein Ausgang wird als ein Ausgangswert Y1 freigegeben.
Die folgende Beschreibung wird ein Lernverfahren des neuronalen Netzes des Rückübertragungstyps diskutieren, das, wie oben beschrieben, aufgebaut ist.
Zuerst wird eine Erklärung der Rechenbetriebsschritte in der Vorwärtsrichtung von der Eingangsschicht 11 zu der Ausgangsschicht 13 gegeben werden. Eine Positionsinformation der Teilbilddaten wird zuerst in die Eingangsschicht 11 als Eingangsdaten (X1·X2) eingegeben und wird zu der Zwischenschicht 12 ausgegeben, so wie sie ist. Mit anderen Worten, dieser Prozess wird wie folgt gezeigt:
Ii = Xi [i = 1, 2] (1)
Hier stellt Ii einen Ausgangswert von jedem Knoten der Eingangsschicht 11 dar; und beispielsweise ist der Ausgangswert des Knotens A1 Ii, und ist der Ausgangswert des Knotens A2 I2. Weiter stellt Xi Eingangsdaten dar, die eine Positionsinformation jedes Pixels anzeigen; und beispielsweise stellt X1 Eingangsdaten dar, die die Positionsinformation auf der x-Achse jedes Pixels anzeigen, und stellt X2 Eingangsdaten dar, die die Positionsinformation auf der x-Achse des Pixels anzeigen.
Als Nächstes werden in der Zwischenschicht 12 Rechenbetriebsschritte auf der Grundlage der Ausgangswerte von der Eingangsschicht 11 ausgeführt, und die Ausgangswerte der Knoten D1 bis D9 werden bestimmt. Spezifischer werden die Rechenbetriebsschritte in Übereinstimmung mit der folgenden Gleichung (2) zwischen der Eingangsschicht 11 und der Zwischenschicht 12 Hj = f(Ii·Wij + θlj) (2)
[j = 1, 2, ... , 9]
Hier ist Hj ein Ausgangswert von jedem Knoten der Zwischenschicht 12; und beispielsweise ist der Ausgangswert des Kno tens D1 H1, und ist der Ausgangswert des Knotens D2 H2. Außerdem ist Wij ein Gewicht, das den Grad einer Verbindung zwischen jedem Knoten der Eingangsschicht 11 und jedem Knoten der Zwischenschicht 12 anzeigt; und beispielsweise ist der Grad einer Verbindung zwischen dem Knoten A1 der Eingangsschicht 11 und dem Knoten D1 der Zwischenschicht 12 W11. Überdies ist θ1j ein Offset-Wert in jedem Knoten der Zwischenschicht 12.
Unter der Annahme, dass der Eingangswert X durch (Ii Wij + θij) in der oben erwähnten Gleichung (2) dargestellt wird, wird f(X) eine nicht-lineare, monoton ansteigende Funktion, die monoton bezüglich des Eingangswerts X ansteigt, und eine S-Funktion beispielsweise, wie in 4 gezeigt, angelegt. Die S-Funktion wird durch die folgende Gleichung (3) dargestellt:
Schließlich werden in der Ausgangsschicht 13 Rechenbetriebsschritte auf der Grundlage der Ausgangswerte von der Zwischenschicht 12 ausgeführt, wodurch der Ausgangswert des Knotens E1 bestimmt wird. Spezifischer werden die Rechenbetriebsschritte in Übereinstimmung mit der folgenden Gleichung (4) zwischen der Zwischenschicht 12 und der Ausgangsschicht 13 ausgeführt:
Ok = f (Hj·Vjk + θ2k) (4)
[k = 1] Hier ist Ok der Ausgangswert Y1 von dem Knoten E1 der Ausgangsschicht 13. Weiter ist Vkj ein Gewicht, das den Grad einer Verbindung zwischen jedem der Knoten D1 bis D9 der Zwischenschicht 12 und dem Knoten E1 der Ausgangsschicht 13 anzeigt; und beispielsweise ist der Grad einer Verbindung zwischen dem Knoten D1 der Zwischenschicht 12 und dem Knoten E1 V11. Überdies ist θ2k ein Offset-Wert in dem Knoten E1 der Ausgangsschicht 13.
Unter der Annahme, dass der Eingangswert X durch {Hj·Vjk + θ2k) in der oben erwähnten Gleichung (4) dargestellt wird, wird f(X) eine nicht-lineare, monoton ansteigende Funktion, die bezüglich des Eingangswerts X monoton ansteigt, und eine S-Funktion, beispielsweise wie in 4 gezeigt, auf die gleiche Weise wie in der oben erwähnten Gleichung (2) angewandt.
Als Nächstes wird die folgende Beschreibung Rechenbetriebsschritte in der umgekehrten Richtung für Lernprozesse beschreiben.
Die Aufgabe der Lernprozesse besteht darin, eine optimale Eingangs-/Ausgangsbeziehung in dem neuronalen Netz zu erhalten, und aus diesem Grund werden die Gewichte der Verbindungspunkte in dem Netz fein auf die Lehrdaten hin als Ziele eingestellt. Ein Verfahren zum Bereitstellen feiner Einstellungen bezüglich der Gewichte der Verbindungspunkte in dem Netz wird unten stehend erklärt werden.
Zuerst wird der quadratische Fehler zwischen dem Ausgangswert des Knotens E1 der Ausgangsschicht 13 und den Lehrdaten unter Verwendung der folgenden Gleichung (5) berechnet:
Ek = (Tk – Ok)2/2 (5)
Hier stellt Ek den quadratischen Fehler zwischen den Lehrdaten und dem Ausgangswert dar, und Tk stellt die Lehrdaten dar. Mit anderen Worten, die Aufgabe des Lernprozesses besteht darin, Ek kleiner auszuführen. Deswegen wird unter Verwendung der folgenden Gleichung (6) die Wirkung von Ok in Ek gefunden, indem Ek einem partiellen Differential mit Ok unterworfen wird.
Weiter werden die Wirkung des Gewichts der Verbindung Vjk zwischen der Zwischenschicht 12 und der Ausgangsschicht 13 in Ek und die Wirkung des Gewichts der Verbindung Wij zwischen der Eingangsschicht 11 und der Zwischenschicht 12 in Ek unter Verwendung der folgenden Gleichungen (7) und (8) gefunden:
Auf der Grundlage der Wirkung in Ek, der durch die oben erwähnten Gleichungen (7) und (8) gefunden wird, werden die Gewichte an den Verbindungen unter Verwendung der folgenden Gleichungen (9) und (10) fein eingestellt:
Hier ist a ein Wert, der den Grad anzeigt, mit welchem eine feine Einstellung ausgeführt wird, und wird normalerweise in dem Bereich von 0,05 bis 0,25 eingestellt. Weiter stellt t die Anzahl von Lernprozessen dar.
Deswegen werden die Gewichte an Verbindungen, die in dem nächsten Rechenbetriebsschritt/Lernprozess zu verwenden sind, durch ein Hinzufügen fein eingestellter Werte zu den vorhandenen Gewichten (Vjk, Wij) an den Verbindungen erhalten.
Wie oben beschrieben, kann durch ein Korrigieren der Gewichte an den Verbindungen durch die wiederholten Lernprozesse auf der Grundlage der oben erwähnten Algorithmen der quadratische Fehler zwischen den Lehrdaten und dem Ausgangswert zu einem gewissen Ausmaß kleiner ausgeführt werden. Dann werden die Lernprozesse zu der Zeit beendet, wenn ein vorbestimmte Anzahl von Lernprozessen erreicht worden ist oder wenn der Wert des Fehlers nicht mehr als ein akzeptabler Wert des Fehlers geworden ist. In der vorliegenden Ausführungsform ist die vorbestimmte Anzahl von Lernprozessen auf 1000 Mal eingestellt, der akzeptable Wert des Fehlers ist auf 5% eingestellt, und die Lernprozesse werden zu der Zeit beendet, wenn die Anzahl der Lernprozesse 1000 Mal erreicht hat oder wenn der Fehler nicht mehr als 0,5% groß geworden ist.
Unter Verwendung eines neuronalen Netzes des Rückübertragungstyps, das den Lernprozessen unterworfen worden ist, wie oben beschrieben, werden der Auflösungs-Konvertierungsprozess und der variable Vergrößerungsprozess bezüglich sämtlicher Teilbilder eines eingegebenen Bilds ausgeführt; somit wird das eingegebene Bild dem Konvertierungsprozess unterworfen, und ein Bild, das eine konvertierte Auflösung aufweist, oder ein Bild, das eine variierte Vergrößerung aufweist, wird erhalten.
Als Nächstes wird die folgende Beschreibung ein neuronales Fuzzy-Netz diskutieren. Wie in 5 veranschaulicht, weist das vorliegende neuronale Netz zwei Eingänge und einen Ausgang auf und ist durch fünf Schichten ausgebildet, die eine Eingangsschicht 21, die erste Hälfte einer Zugehörigkeitsschicht 22, die letztere Hälfte einer Zugehörigkeitsschicht 23, eine Regelschicht 24 (diese drei Schichten dienen als Zwischenschichten) und eine Ausgangsschicht 25 einschließen. Hier sind die zweiten und dritten Schichten in die Zugehörigkeitsschicht kombiniert. In dem oben erwähnten neuronalen Fuzzy-Netz sind die beiden Eingangselemente Teile einer Positionsinformation, die jedes Pixel betreffen, und ein Ausgangselement ist ein Pixelwert an der eingegebenen Pixelposition.
In dem oben erwähnten neuronalen Fuzzy-Netz sind Verbindungen zwischen Knoten in den jeweiligen Schichten wie folgt aufgebaut: zuerst ist die Eingangsschicht 21 durch zwei Paare von Knoten A1, A2 und A3, A4 aufgebaut, wobei jedes Paar jedem Eingangselement entspricht. Hier wird eine Konstante 1 in die Knoten A2 und A4 eingegeben, und ein Eingangswert X1 (Positionsinformation auf der x-Achse) wird in den Knoten A1 eingegeben, und ein Eingangswert X2 (Positionsinformation auf der y-Achse) wird in dem Knoten A3 eingegeben.
Als Nächstes sind in der Zugehörigkeitsschicht große, mittlere und kleine Zugehörigkeitsfunktionen, wie in 6 gezeigt, für jedes der Eingangselemente bereitgestellt.
Deswegen sind in der ersten Hälfte der Zugehörigkeitsschicht 22 zwei Gruppen von vier Knoten B1 bis B4 und B5 bis B8 bereitgestellt, und in den Knoten B1 bis B4 werden die Konstante 1 und der Eingangswert X1 verbunden, während in den Knoten B5 bis B8 die Konstante 1 und der Eingangswert X2 verbunden werden. In der letzteren Hälfte der Zugehörigkeitsschicht 23 sind zwei Gruppen von drei Knoten C1 bis C3 und C4 bis C6 bereitgestellt, und einer oder beide der Knoten der ersten Hälfte der Zugehörigkeitsschicht 22 sind damit verbunden.
Spezifischer bilden die Knoten C1 und C4, die als Abschnitte zum Verbinden einer der Knoten der ersten Hälfte der Zugehörigkeitsschicht 22 dienen, Abschnitte, die die große Zugehörigkeitsfunktion ausbilden, und die Knoten C3 und C6 bilden Abschnitte, die die kleine Zugehörigkeitsfunktion ausbilden. Weiter bilden die Knoten C2 und C5, die als Abschnitte zum Verbinden zweier der Knoten der ersten Hälfte der Zugehörigkeitsschicht 22 dienen, Abschnitte, die die mittlere Zugehörigkeitsfunktion bilden.
Die Knoten der Zugehörigkeitsschicht mit der oben erwähnten Anordnung sind zwangsläufig für jedes Eingangselement bereitgestellt; somit ist die Anzahl von Knoten für jedes Element fixiert. In der vorliegenden Ausführungsform ist die Anzahl von Knoten der ersten Hälfte der Zugehörigkeitsschicht 22 für jedes Eingangselement auf vier eingestellt, und die Anzahl der Knoten der letzteren Hälfte der Zugehörigkeitsschicht 23 ist auf drei eingestellt.
Als Nächstes sind in der Regelschicht 24 Knoten D1 bis D3 so aufgebaut, dass die logischen UNDs mit den jeweiligen Knoten C4 bis C6, die auf den Eingangswert X2 bezogen sind, bezüglich des Knotens C1, der auf den Eingangswert X1 der letzteren Hälfte der Zugehörigkeitsichicht 23 bezogen ist, unterworfen werden. Auf die gleiche Weise sind die Knoten D4 bis D6 so aufgebaut, dass sie logischen UNDs mit den jeweiligen Knoten C4 bis C6, die auf den Eingangswert X2 bezogen sind, bezüglich des Knotens C2, der auf den Eingangswert X1 bezogen ist, unterworfen werden, und die Knoten D7 bis D9 sind so aufgebaut, dass sie logischen UNDs mit den jeweiligen Knoten C4 bis C6, die auf den Eingangswert X2 bezogen sind, bezüglich des Knotens C3, der auf den Eingangswert X1 bezogen ist, unterworfen werden. Mit anderen Worten, in der Regelschicht 24 werden sämtliche Kombinationen der Zugehörigkeitswerte bezüglich der beiden Eingangswerte X1 und X2 gegeben; somit werden logische Fuzzy-UNDs erhalten.
Schließlich ist die Ausgangsschicht mit einem Knoten E1 versehen, so dass sämtliche Ausgänge von der Regelschicht 24 verbunden sind, und ein Ausgangswert Y1, der ein Pixelwert bei jeder Pixelposition des Eingangsbilds ist, wird davon freigegeben.
An den Verbindungsabschnitten zwischen den Knoten in dem neuronalen Fuzzy-Netz, das den oben erwähnten Aufbau aufweist, weist jede Verbindung ein spezifisches Gewicht auf.
Dementsprechend sind an den Verbindungsabschnitten zwischen der Eingangsschicht 21 und der unteren Hälfte der Zugehörigkeitsschicht 22 Mittenwerte der Zugehörigkeitsfunktionen (die Eingangswerte, die zu einem Ausgangswert von 0,5 in den Zugehörigkeitsfunktionen führen) Gewichte Wc11 bis Wc14 sowie auch Wc21 bis Wc24.
Mit anderen Worten sind drei Arten von Zugehörigkeitsfunktionen, wie zuvor beschrieben, bereitgestellt, und die Mittenwerte der jeweiligen Zugehörigkeitsfunktionen fallen mit den jeweiligen Gewichten zusammen. Beispielsweise ist das Gewicht des Mittenwerts der Zugehörigkeitsfunktion, die "groß" des Eingangswerts X1 anzeigt, Wc11, die Gewichte der Mittenwerte der Zugehörigkeitsfunktionen, die "mittel" anzeigen, sind Wc12 und Wc13, und das Gewicht des Mittenwerts der Zugehörigkeitsfunktion, die "klein" anzeigt, ist Wc14. Hier werden in dem Fall von "mittel" zwei Mittenwerte erhalten, weil logische UNDs der beiden Zugehörigkeitsfunktionen ausgeführt werden.
Als Nächstes sind an den Verbindungsabschnitten zwischen der ersten Hälfte der Zugehörigkeitsschicht 22 und der letzteren Hälfte der Zugehörigkeitsschicht 23 Gradienten der Zugehörigkeitsfunktionen Wg11 bis Wg14 und Wg21 bis Wg24. In diesem Fall sind die Gradienten der Zugehörigkeitsfunktionen zusammenfallend mit den jeweiligen Gewichten. Beispielsweise ist das Gewicht des Gradienten der Zugehörigkeitsfunktion, die "groß" des Eingangswerts X1 anzeigt, Wg11, die Gewichte der Gradienten der Zugehörigkeitsfunktion, die "mittel" anzeigt, sind Wg12 und Wg13, und das Gewicht des Gradienten der Zugehörigkeitsfunktion, die "klein" anzeigt, ist Wg14. Hier werden in dem Fall von "mittel" zwei Gradienten erhalten, weil logische UNDs der beiden Zugehörigkeitsfunktionen ausgeführt werden.
Schließlich wird an den Verbindungsabschnitten zwischen der Regelschicht 24 und der Ausgangsschicht 25 eine Kenntnis, die von "Expert" erhalten wird, durch Gewichte Wf1 bis Wf9 dargestellt. In der Kenntnis, die von "Expert" erlangt wird, wird ein derartiges Regelgewicht einer Kombination von Eingangswerten, die den Ausgangswert größer ausführen, als ein Wert näher an 1 definiert, und ein derartiges Regelgewicht einer Kombination von Eingangswerten, die den Ausgangswert kleiner ausführt, wird als ein Wert näher an 0 definiert. Andere Gewichte sind anfangs als 0,5 definiert.
Außerdem sind die Gewichte an den Verbindungsabschnitten außer den oben erwähnten Verbindungsabschnitten, wie etwa die Gewichte an den Verbindungsabschnitten zwischen der letzteren Hälfte der Zugehörigkeitsschicht 23 und der Regelschicht 24, auf 1 fixiert.
In dem neuronalen Fuzzy-Netz, das die oben erwähnte Anordnung aufweist, wird ein Verfahren zum Finden der Ausgangswerte der jeweiligen Schichten unten stehend beschrieben werden. Hier ist, da die Ausgangswerte der Eingangsschicht 21 die gleichen sind wie ihre Eingangswerte, die Erklärung davon weggelassen.
Wie in der folgenden Gleichung (11) gezeigt, fügen die Zugehörigkeitsschichten die Mittenwerte Wc11 bis Wc14 und Wc21 bis Wc24 der Zugehörigkeitsfunktion in ihrer zweiten Schicht hinzu.
Hi + j = Xi + Wcij (11)
(Wcij < 0; i = 1, 2; j = 1, 2, 3, 4 )
Hier stellt X den Ausgangswert der Eingangsschicht 21 dar, Wc stellt den Mittenwert der Zugehörigkeitsfunktion dar, und H stellt den Ausgang der zweiten Schicht dar. Weiter stellt i die Anzahl der jeweiligen Eingangselemente dar, und j ist auf 1 in dem Fall von "groß" gesetzt, auf 2 oder 3 in dem Fall von "mittel" gesetzt, und auf 3 in dem Fall "klein" gesetzt.
Die oben erwähnte Gleichung (11) zeigt an, dass die S-Funktion, die in der folgenden Gleichung (12) gezeigt ist, die später einzusetzen ist, die Position ihres Ursprungs auf den Mittenwert der Zugehörigkeitsfunktion gesetzt aufweist.
Als Nächstes werden, wie in der folgenden Gleichung (13) gezeigt, in der dritten Schicht durch ein Einsetzen multiplizierter Gradienten der Zugehörigkeitsfunktion in die S-Funktion die Ausgangswerte der Zugehörigkeitsfunktion bezüglich der Eingangswerte in den jeweiligen Bereichen erhalten. Hier wird in dem Fall von "mittel", anstelle von Gleichung (13), die folgende Gleichung (14) angewandt:
Mik = f(Hij·Wgij) (13)
(k = 1, 2, 3)
Mik = min{f(Hij·Wgij), f(Hi(j + 1)·Wgi(j + 1))} (14)
Hier ist Wg ein Wert des Gradienten der Zugehörigkeitsfunktion, f(X) ist die S-Funktion, M stellt den Ausgangswert der Zugehörigkeitsfunktion dar, und min{f(X1), f(X2)} stellt ein logisches UND von f(X1) und f(X2) dar. Weiter stellt k eine Knotenzahl der letzteren Hälfte der Zugehörigkeitsschicht 23 dar, und 8 ist auf 1 in dem Fall von "groß" gesetzt, auf 2 in dem Fall von "mittel" gesetzt, und auf 3 in dem Fall von "klein" gesetzt. Außerdem wird in der oben erwähnten Gleichung (14) der kleinere Wert von den beiden Funktionen innerhalb der Klammern von min durch ein Ausführen des logischen UND gewählt.
Als Nächstes wird in der Regelschicht 24 eine Berechnung bezüglich der UND-Regel unter Verwendung der folgenden Gleichung 15 ausgeführt. Spezifischer wird bezüglich jedes der beiden Eingangselemente einer von den drei Bereichen (groß, mittel und klein) gewählt, und ein logisches UND wird bezüglich der beiden Zugehörigkeits-Ausgangswerte ausgeführt.
Rn = min{Mi1k1, Mi2k2) (15)
(i < i; i = 1, i = 2; k, k = 1, 2, 3)
Hier ist R der Ausgangswert der UND-Regel, und k1 und k2 sind Knotenzahlen der letzteren Hälfte der Zugehörigkeitsschicht 23. In diesem Fall wird auch der kleinere Wert von den beiden Funktionen innerhalb der Klammern von min durch ein Ausführen des logischen UND gewählt.
Schließlich wird in der Ausgangsschicht 25 der Ausgangswert durch ein Verwenden der folgenden Gleichung (16) berechnet: Mit anderen Worten, werden Berechnungen wie folgt ausgeführt: Die Ausgangswerte der jeweiligen UND-Regeln, die durch die Ansätze des vorhergehenden Elements der Fuzzy-Regel erhalten werden (beispielsweise X1 ist groß), werden mit dem Wert des Gewichts Wf der Verbindung, der aus der Regel resultiert, multipliziert, und die resultierenden Werte werden durch den Gesamtwert sämtlicher Ausgänge der UND-Regeln dividiert, und dann wird die Summe der resultierenden Werte gefunden.
Hier ist n eine Knotenzahl der Regelschicht 24.
Die obige Beschreibung zeigt Berechnungsprozesse, die von der Zeit an ausgeführt werden, wenn Eingangswerte in dem neuronalen Fuzzy-Netz substituiert wurden, zu der Zeit, wenn die Ausgangswerte erhalten werden. Zusätzlich werden in dem Zustand, wo das neuronale Fuzzy-Netz, das die oben erwähnte Anordnung aufweist, zuerst aufgebaut wird, die Werte der Verbindungen unter den Knoten der jeweiligen Schichten auf feste Werte für die jeweiligen Schichten gesetzt, und auch wenn Eingangswerte darin substituiert werden, sind die resultierenden Ausgangswerte unzuverlässige Werte, wodurch fehlgegangen wird, eine korrekte Simulation für die Eingangs-Ausgangs-Beziehung des Zielobjekts bereitzustellen. Um eine korrekte Simulation zu erhalten, ist es notwendig, Einstellungen bezüglich der Gewichte der Verbindungen auszuführen. Deswegen sind Lernprozesse in dem neuronalen Fuzzy-Netz erforderlich.
Die folgende Beschreibung wird die Lernprozesse in dem oben erwähnten neuronalen Fuzzy-Netz diskutieren.
Ausgangswerte von Probendaten, die die Eingangs-Ausgangs-Beziehung eines Zielobjekts darstellen, werden als Lehrdaten T verwendet, und durch ein Verwenden der folgenden Gleichung (17) wird ein quadratischer Fehler zwischen den Lehrdaten T und jedem der Ausgangswerte y, die von den Eingangswerten (X1, X2, ... Xn) der Probendaten unter Verwendung der oben erwähnten Gleichungen (11) bis (16) erhalten werden, erhalten.
Hier stellt E den quadratischen Fehler zwischen den Lehrdaten T und dem Ausgangswert y dar. Die korrekte Simulation der Ein gangs-Ausgangs-Beziehung des Zielobjekts wird bestätigt, indem der Fehler kleiner ausgeführt wird.
Eines der Verfahren zum Verringern des Fehlers ist das Rückübertragungsverfahren, wobei ein Lernalgorithmus verwendet wird. Die folgende Beschreibung wird den Lernalgorithmus diskutieren.
Wenn ein partielles Differential bezüglich der oben erwähnten Gleichung (17) bezüglich Y ausgeführt wird, wird die folgende Gleichung (18) erhalten; diese Gleichung zeigt die Wirkung auf den Ausgangswert y in Bezug zu dem Fehler an.
Als Nächstes wird, wenn ein partielles Differential bezüglich der oben erwähnten Gleichung (17) bezüglich Wf ausgeführt wird, die folgende Gleichung (19) erhalten. In diesem Fall wird die oben erwähnte Gleichung (16) in y der oben erwähnten Gleichung (17) substituiert:
Als Nächstes werden, wenn partielle Differentiale jeweils bezüglich Wg und Wc bezüglich der oben erwähnten Gleichung (17) ausgeführt werden, die folgenden Gleichungen (20) und (21) erhalten. In diesem Fall werden die oben erwähnten Gleichungen (16), (15) und (14) oder die oben erwähnte Gleichung (13) und (11) in der oben erwähnten Gleichung (17) substituiert.
Die oben erwähnten Gleichungen (19) bis (21) zeigen die Wirkung des Gewichts jeder Verbindung bezüglich des Fehlers an. Hier stellt r in den oben erwähnten Gleichungen (20) und (21) die Zahl der Ausgänge der UND-Regel, die von den Gewichten gewählt wird, die zu korrigierende Zugehörigkeitsfunktionen bilden, dar. Die Summe der Fehler von den Knoten der Regelschicht 24 wird durch Verwenden der Zahl r gefunden.
Der Fehler als Ganzes kann durch ein Korrigieren der Gewichte in einer derartigen Richtung reduziert werden, um so die Wirkung zu verringern. Der Betrag einer Korrektur wird durch die folgenden Gleichungen (22) bis (24) ausgedrückt.
Hier stellen ?, ß und ? Lernparameter dar, die Parameter zum Bestimmen des Betrags einer Korrektur des Gewichts sind, das die Wirkung verringert. Korrekturen, wie sie durch die folgen den Gleichungen (25) bis (27) angezeigt sind, werden unter Verwendung dieser Parameter ausgeführt:
Wfp = Wfp + ΔWfp (25)
Wgij = Wgij + ΔWgij (26)
Wcij = Wcij + ΔWcij (27)
Der Fehler wird durch ein wiederholtes Ausführen von Lernprozessen in Übereinstimmung mit den oben erwähnten Algorithmen minimiert, um so die Gewichte zu korrigieren. Dann werden die Lernprozesse zu der Zeit beendet, wenn der Wert des Fehlers nicht größer als ein akzeptabler Wert des Fehlers geworden ist. Der akzeptable Wert des Fehlers wird vorbestimmt gesetzt, und in der vorliegenden Ausführungsform werden die Lernprozesse zu der Zeit beendet, wenn er nicht größer als 5% wird.
Der Auflösungs-Konvertierungsprozess oder der variable Vergrößerungsprozess wird bezüglich sämtlicher Teilbilder eines eingegebenen Bilds unter Verwendung des neuronalen Fuzzy-Netzes ausgeführt, das den Lernprozessen unterworfen worden ist, wie oben beschrieben. Somit wird das eingegebene Bild Konvertierungsprozessen unterworfen, und ein resultierendes Bild, das die entsprechende Auflösung oder die entsprechende variierte Vergrößerung aufweist, wird auf eine geeignetere Weise als dem zuvor erwähnten neuronalen Netz des Rückübertragungstyps erhalten.
In dem Bildverarbeitungsverfahren der vorliegenden Erfindung wird, auf ein Ausführen eines Auflösungs-Konvertierungsprozesses oder eines variablen Vergrößerungsprozesses hin, das hierarchische neuronale Netz zuerst einem Lernprozess durch eine Existierende-Pixelwert-Lernschaltung 6 unterworfen, indem Pixelwerte der existierenden Pixel innerhalb von Matrizen, die von der Bilddaten-Teilungsschaltung 4 geteilt worden sind, als Lehrdaten verwendet werden, wie auch indem eine Positionsinformation, die den Pixelwerten der existierenden Pixel entspricht, als Eingangsdaten verwendet werden. Nach einer Been digung des Lernprozesses werden, wenn der fragliche Prozess ein Auflösungs-Konvertierungsprozess ist, interpolierte Pixelwert durch ein Eingeben einer Positionsinformation der interpolierten Pixel erhalten, und es werden, wenn der fragliche Prozess ein variabler Vergrößerungsprozess ist, Pixelwerte einer variablen Vergrößerung durch ein Eingeben einer Positionsinformation der Pixel nach der variierten Vergrößerung erhalten.
Wie oben beschrieben, wird es, da der Auflösungs-Konvertierungsprozess und der variable Vergrößerungsprozess bezüglich der geteilten Matrizen des Eingangsbilds unter Verwendung eines neuronalen Netzes des Rückübertragungstyps oder eines neuronalen Fuzzy-Netzes ausgeführt werden, wobei jedes das hierarchische neuronale Netz ist und einen Lernprozess für jedes Eingangsbild ausführen kann, möglich, Kantenabschnitte des Ausgangsbilds zu schärfen und auch schräge Linien davon gleichmäßig ohne Grate auszuführen.
Außerdem kann, da das hierarchische neuronale Netz einen Lernprozess bezüglich jedes Eingangsbilds ausführen kann, die Eingangs-Ausgangs-Beziehung optimiert werden, was für ein Bild auch immer eingegeben wird. Somit werden, da zumindest entweder der Auflösungs-Konvertierungsprozess oder der variable Vergrößerungsprozess bezüglich der geteilten Matrizen des Eingangsbilds durch Verwendung des oben erwähnten hierarchischen neuronalen Netzes, das einen Lernprozess auf einer Echtzeit-Grundlage durchführen kann, ausgeführt wird, die Gewichte des Netzes für jedes Eingangsbild eingestellt; somit wird es möglich, immer einen optimalen Konvertierungsprozess auszuführen.
Deswegen ist es, ungeachtet der einzugebenden Bilder, möglich, den unscharfen Zustand der Kantenabschnitte und Grate in den schrägen Linien zu beseitigen, die Probleme sind, die durch die Konvertierungsprozesse herbeigeführt werden, und folglich das Bild nach der Konversion gleichmäßig auszuführen, wodurch die Qualität des konvertierten Bildes verbessert wird.
Außerdem ist das hierarchische neuronale Netz in dem oben erwähnten Bildverarbeitungsverfahren so ausgelegt, dass eine Positionsinformation der jeweiligen Pixel eines Eingangsbilds als Eingänge verwendet wird, und Pixelwerte, die der eingegebenen Positionsinformation der Pixel entsprechen, als Ausgänge verwendet werden.
Wie oben beschrieben benötigt, auf ein Ausführen des Auflösungs-Konvertierungsprozesses des variablen Vergrößerungsprozesses bezüglich eines Eingangsbilds hin, das hierarchische neuronale Netz nur eine Positionsinformation der jeweiligen Pixel des Eingangsbilds als seine Eingänge, und die resultierenden Ausgänge stellen Pixelwerte an jeweiligen Positionen innerhalb der Matrizen des Eingangsbilds dar; deswegen ist es nicht notwendig, eine komplizierte Eingangs-Ausgangs-Beziehung in dem neuronalen Netz bereitzustellen, und deswegen ist es möglich, ein neuronales Netz einer kleinen Skalierung mit einem einfachen Aufbau anzuwenden.
Außerdem wird in dem vorliegenden Bildverarbeitungsverfahren, auf ein Ausführen des Auflösungs-Konvertierungsprozesses und des variablen Vergrößerungsprozesses hin der Lernprozess des hierarchischen neuronalen Netzes auf der Grundlage der Positionsinformation der existierenden Pixel und der existierenden Pixelwerte ausgeführt; deswegen ist nur ein geringer Umfang von Berechnungen für den Lernprozess erforderlich, und ein Lernprozess einer hohen Geschwindigkeit wird erhalten. Somit wird es möglich, den Auflösungs-Konvertierungsprozess und den variablen Vergrößerungsprozess eines Bilds bei hohen Geschwindigkeiten auszuführen.
Überdies kann, da ein neuronales Netz des Rückübertragungstyps als das hierarchische neuronale Netz in dem Bildverarbeitungsverfahren verwendet wird, der Konvertierungsprozess eines Eingangsbilds unter Verwendung eines einfachen Hardware-Aufbaus auf ein Ausführen des Auflösungs-Konvertierungsprozesses und des variablen Vergrößerungsprozesses bezüglich des Eingangsbilds ausgeführt werden.
In dem Fall, wenn ein neuronales Fuzzy-Netz mit zwei Eingängen und einem Ausgang als das hierarchische neuronale Netz verwendet wird, wird es auf ein Ausführen des Auflösungs-Konvertierungsprozesses und des variablen Vergrößerungsprozesses bezüglich eines Eingangsbilds hin möglich, eine detaillierte, abgestuft gekrümmte Oberfläche, die die Teilbilder darstellt, bereitzustellen, obwohl ein komplexerer Hardware-Aufbau verglichen mit dem oben erwähnten neuronalen Netz des Rückübertragungstyps erforderlich ist, und folglich optimaler interpolierte Pixelwerte oder Pixelwerte einer variierten Vergrößerung als jene des neuronalen Netzes des Rückübertragungstyps bereitzustellen.
Zusätzlich werden in der vorliegenden Ausführungsform das neuronale Netz des Rückübertragungstyps, das in 3 gezeigt ist, und das neuronale Fuzzy-Netz, das in 5 gezeigt ist, als das hierarchische neuronale Netz verwendet; jedoch ist nicht beabsichtigt, dass die vorliegende Erfindung auf diese Netze beschränkt ist, und ein anderes hierarchisches neuronales Netz, das nur Verbindungen aufweist, die von der Eingangsschicht zu der Ausgangsschicht gerichtet sind, kann eingesetzt werden, um die gleiche Wirkung zu erhalten.

Claims

Bildverarbeitungsverfahren, umfassend: einen ersten Schritt eines Teilens eines Eingangsbilds, das n (n > 1) Graustufen aufweist, in eine Vielzahl von Matrizen; einen zweiten Schritt eines Ausführens von zumindest entweder einem Auflösungs-Konvertierungsprozess oder einem variablen Vergrößerungsprozess für jede der geteilten Matrizen, indem ein hierarchisches neuronales Netz verwendet wird, das einen Lernprozess für jedes Eingangsbild ausführen kann, und einen dritten Schritt eines Ausgebens des in dem zweiten Schritt verarbeiteten Bilds als ein Ausgangsbild, das n Graustufen aufweist.
Bildverarbeitungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass das hierarchische neuronale Netz derart ausgelegt ist, dass Positionsinformationen der jeweiligen Pixel eines Eingangsbilds als Eingänge davon verwendet werden und Pixelwerte, die den eingegebenen Positionsinformationen der Pixel entsprechen, als Ausgänge davon verwendet werden.
Bildverarbeitungsverfahren nach Anspruch 2, dadurch gekennzeichnet, dass das hierarchische neuronale Netz ein neuronales Netz eines Rückübertragungstyps ist, das eine Eingangsschicht, die durch zwei Knoten ausgebildet ist, eine Zwischenschicht, die durch zumindest nicht mehr als einen Knoten ausgebildet ist, und eine Ausgangsschicht, die durch einen Knoten ausgebildet ist, einschließt.
Bildverarbeitungsverfahren nach Anspruch 2, dadurch gekennzeichnet, dass das hierarchische neuronale Netz ein neuronales Fuzzy-Netz ist, das eine Eingangsschicht, die durch zwei Knoten ausgebildet ist, Zugehörigkeitsschichten, die zwei Schichten sind, die Zugehörigkeitsfunktionen bilden, die jeweils "groß", "mittel" und "klein" darstellen, eine Regelschicht, die Kombinationen sämtlicher Zugehörigkeitswerte bezüglich zweier Eingänge ausführt, um so Fuzzy-logische UNDs zu erhalten, und eine Ausgangsschicht, die durch einen Knoten ausgebildet ist, einschließt.
Bildverarbeitungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass: das hierarchische neuronale Netz auf ein Ausführen eines Konvertierungsprozesses hin in dem zweiten Schritt zuerst einem Lernprozess unterworfen wird, indem Pixelwerte der existierenden Pixel innerhalb von Matrizen als Lerndaten verwendet werden, wie auch indem Positionsinformationen, die den Pixelwerten der existierenden Pixel entsprechen, als Eingangsdaten verwendet werden, und nach einer Beendigung des Lernprozesses, wenn der fragliche Prozess ein Auflösungs-Konvertierungsprozess ist, interpolierte Pixelwerte durch ein Eingeben von Positionsinformationen der interpolierten Pixel erhalten werden, und wenn der fragliche Prozess ein variabler Vergrößerungsprozess ist, Pixelwerte einer variierten Vergrößerung durch ein Eingeben von Positionsinformationen der Pixel nach der variierten Vergrößerung erhalten werden.
Bildverarbeitungsvorrichtung, umfassend: eine Bilddateneingabeeinrichtung zum Lesen eines Originalbilds als Bilddaten, die n (n > 1) Graustufen aufweisen; eine Bilddatenteilungseinrichtung zum Teilen der Bilddaten, die von der Bilddateneingabeeinrichtung gelesen worden sind, in Matrizen in Übereinstimmung mit Positionsinformationen jeweiliger Pixel; eine Konversionsverarbeitungseinrichtung zum Ausführen von zumindest entweder einem Auflösungs-Konvertierungsprozess oder einem variablen Vergrößerungsprozess für jede der Matrizen, die durch die Bilddatenteilungseinrichtung ge teilt sind, indem ein hierarchisches neuronales Netz verwendet wird, das einen Lernprozess für jede der Bilddaten ausführen kann; und eine Bilddatenausgabeeinrichtung zum Ausgeben der von der Konversionsverarbeitungseinrichtung verarbeiteten Bilddaten als ein Ausgangsbild, das n Graustufen aufweist.
Bildverarbeitungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Bilddatenteilungseinrichtung die eingegebenen Bilddaten in Matrizen teilt, wobei die longitudinalen und lateralen Größen einer jeweiligen Matrix auf Divisoren der longitudinalen und lateralen Pixelzahlen der Eingangsbilddaten eingestellt sind.
Bildverarbeitungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Konversions-Verarbeitungseinrichtung umfasst: eine Existierende-Pixel-Positionsinformations-/Pixelwert-Extraktionseinrichtung zum Extrahieren von Positionsinformationen jedes der existierenden Pixel, die in den Bilddaten enthalten sind, die in die Matrix geteilt worden sind, und eines Pixelwerts an jeder Position, als Eingangsdaten und Lehrdaten für ein hierarchisches neuronales Netz; eine Lerneinrichtung zum Eingeben der Eingangsdaten und der Lehrdaten, die von der Existierende-Pixel-Positionsinformations-/Pixelwert-Extraktionseinrichtung extrahiert worden sind, in das hierarchische neuronale Netz, wodurch zugelassen wird, dass das neuronale Netz lernt; eine Konvertierte-Pixelpositions-Eingabeeinrichtung zum Eingeben von Positionsinformationen der jeweiligen Pixel nach dem Konvertierungsprozess in das hierarchische neuronale Netz, das dem Lernprozess in der Lerneinrichtung unterworfen worden ist; eine Konvertierter-Pixelwert-Recheneinrichtung zum Berechnen und Erhalten von Pixelwerten an den jeweiligen Positionen, indem das hierarchische neuronale Netz verwendet wird, in welches die Positionsinformationen der jeweiligen Pixel durch die Konvertierter-Pixel-Positions-Eingabeeinrichtung eingegeben worden sind; und eine Konvertierter-Pixelwert-Ausgabeeinrichtung zum Ausgeben der konvertierten Pixelwerte, die von der Konvertierter-Pixelwert-Recheneinrichtung gefunden worden sind, in die Bilddatenausgabeeinrichtung als Bilddaten nach dem Konvertierungsprozess.
Bildverarbeitungsvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass es die Lerneinrichtung zulässt, dass das hierarchische neuronale Netz die Lernprozesse zu der Zeit beendet, wenn eine vorbestimmte Zahl von Lernprozesses ausgeführt worden ist.
Bildverarbeitungsvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass es die Lerneinrichtung zulässt, dass das hierarchische neuronale Netz die Lernprozesse zu der Zeit beendet, wenn der Lernfehler einen vorbestimmten Wert eines Fehlers erreicht hat.