DE68926702T2

DE68926702T2 - Bildverarbeitungsgerät

Info

Publication number: DE68926702T2
Application number: DE68926702T
Authority: DE
Inventors: Toshiyuki Hiroi; Toshiro Watanabe
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1988-09-08
Filing date: 1989-09-05
Publication date: 1996-12-19
Anticipated expiration: 2009-09-06
Also published as: US5101440A; EP0358459B1; EP0358459A2; EP0358459A3; DE68926702D1

Description

Diese Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung zur Transformation eines Eingangsbildes in ein Bild eines gewünschten morphologischen Zustandes. Genauer gesagt bezieht sie sich auf eine Bildverarbeitungsvorrichtung zur Transformation eines Eingangsbildes in ein Bild, bei dem die Kantenabschnitte als Linien ausgedrückt sind, wie beispielsweise ein Bild, das im folgenden als Linienbild bezeichnet wird.
Die meisten der strukturellen Eigenschaften in einem von einer Kamera, VTR oder dergleichen ausgegebenen Bild können als Linieneigenschaft der Kantenabschnitte, wie beispielsweise Konturen oder Grenzen, des photographierten Objektes festgehalten werden. Das Linienbild, in dem die Eigenschaften des Originalbildes festgehalten sind und durch Linien ausgedrückt sind, gibt auf den Betrachter einen starken Eindruck. Andererseits übt ein Kreidebild oder ein Ölgemälde, das ein durch spezielle Techniken farbig gestaltetes Bild ist, einen einzigartigen Eindruck oder ein Gefühl für das Kunstwerk aus. Herkömmlich werden solch ein Linienbild oder ein durch spezielle Techniken koloriertes Bild manuell vorbereitet, so daß die Vorbereitung solcher Bilder beträchtliche Zeit und Mühen erforderte.
Es ist eine Hauptaufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung zu schaffen, bei der das Linienbild automatisch auf Grundlage von das Bild wiedergebenden Bildaten geschaffen werden kann.
Es ist eine weitere Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung zu schaffen, bei der ein koloriertes Linienbild automatisch auf Grundlage von das Bild wiedergebenden Bilddaten vorbereitet werden kann.
Es ist noch eine weitere Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung zu schaffen, bei der Gewichtungskoeffizienten zuvor durch einen Lernprozeß während einer kurzen Zeit festgelegt werden, und die Kanten des Eingangsbildes, beispielsweise seine Konturen oder Grenzen, auf Grundlage der Eingangsbilddaten zum Transformieren des Eingangsbildes in das Linienbild erfaßt werden.
Die Veröffentlichung der IEEE First International Conference on Neural Networks, 21. Juni 1987, San Diego, USA, Seiten 293-300, die den nächstliegenden Stand der Technik darstellt, offenbart die Verwendung einer Kantenerfassung in Bildern und die Verwendung einer Mehrfachschicht-Wahrnehmung mit Fehlerrückmeldung bei der Bildabbildung.
Gemäß der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung zur Transformation eines Eingangsbildes in ein Linienbild vorgesehen mit:
a) einer Kantenerfassungseinrichtung zur Aufhahme von das Eingangsbild wiedergebenden Eingangsbilddaten, zur Erfassung der Kanten des Eingangsbildes und zur Erzeugung von Kantenerfassungsdaten, die die Kanten wiedergeben;
b) einer Umsetzeinrichtung zur Aufhahme der Kantenerfassungsdaten, die von der Kanteneffassungseinrichtung ausgegeben werden, wobei die Umsetzeinrichtung im Betrieb die Kantenerfassungsdaten durch Transformation ihrer Werte umsetzt, so daß das Histogramm der Kantenerfassungsdaten an der Ausgangsseite flacher als das Histogramm der Kantenerfassungsdaten an der Eingangsseite ist; und
c) einer Einrichtung zur Anzeige oder Speicherung des Linienbildes auf Grundlage der von der Umsetzeinrichtung ausgegebenen Signale.
Die Erfindung wird im folgenden anhand von Ausführungsbeispielen bezugnehmend auf die begleitenden Zeichnungen besclrrieben. Es zeigen:
Fig. 1 ein Blockschaltbild eines Ausführungsbeispieles einer erfindungsgemäßen Bildverarbeitungsvorrichtung;
Fig. 2 ein Flußdiagramm zur Darstellung des Betriebes der in Fig. 1 gezeigten Bildverarbeitungsvorrichtung;
Fig. 3 bis 5 schematische Ansichten zur Darstellung des Betriebes der Bildverarbeitungsvorrichtung, die in Fig. 1 gezeigt ist;
Fig. 6 bis 9 schematische Ansichten zur Darstellung des Betriebes der Kantenerfassung durch die Kantenerfassungseinrichtung, die in der in Fig. 1 gezeigten Bildverarbeitungsvorrichtung vorgesehen ist;
Fig. 10 eine Tabelle, die das Histogramm der Kanteneffassungsdaten zeigt, die von der in Fig. 1 gezeigten Bildverarbeitungsvorrichtung vorgesehenen Kantenerfassungseinrichtung ausgegeben werden;
Fig. 11 eine Tabelle eines Beispiels einer Transformations-Funktion, die in der Mittelungseinrichtung angewendet wird, die in der in Fig. 1 gezeigten Bildverarbeitungsvorrichtung vorgesehen ist;
Fig. 12 eine Tabelle des Histogramms der Kantenerfassungsdaten nach der Transformation durch die Mittelungseinrichtung, die in der in Fig. 1 gezeigten Bildverarbeitungsvorrichtung vorgesehen ist;
Fig. 13 schematisch ein Beispiel eines Linienbildes, wenn die Mittelung nicht durch die Mittelungsvorrichtung ausgeführt wird, die in der in Fig. 1 gezeigten Bildverarbeitungsvorrichtung vorgesehen ist;
Fig. 14 ein Blockschaltbild eines weiteren Ausführungsbeispieles einer erfindungsgemäßen Bildverarbeitungsvorrichtung;
Fig. 15 ein Flußdiagramm zur Darstellung des Betriebes der in Fig. 14 gezeigten Bildverarbeitungsvorrichtung;
Fig. 16 bis 19 schematische Ansichten zur Darstellung des Betriebes der in Fig. 14 dargestellten Bildverarbeitungsvorrichtung;
Fig. 20 ein Blockschaltbild eines weiteren Ausführungsbeispieles einer erfindungsgemäßen Bildverarbeitungsvorrichtung;
Fig. 21 eine schematische Ansicht zur Darstellung des Zustandes der Eingangsbilddaten, die in die in Fig. 20 gezeigte Vorrichtung eingegeben werden;
Fig. 22 eine schematische Ansicht zur Darstellung des Betriebes der Bildverarbeitung durch die in Fig. 20 gezeigte Vorrichtung;
Fig. 23 ein Blockschaltbild eines weiteren Ausführungsbeispieles einer erfindungsgemäßen Bildverarbeitungsvorrichtung;
Fig. 24 und 25 Blockschaltbilder eines weiteren Ausführungsbeispieles einer erfindungsgemäßen Bildverarbeitungsvorrichtung, bei der Gewichtungskoeffizienten durch einen Lernprozeß gesetzt werden;
Fig. 26A eine schematische Ansicht zur Darstellung der Eingangsbilddaten für den Lernprozeß, die in die in Fig. 24 und 25 gezeigte Bildverarbeitungsvorrichtung eingegeben werden;
Fig. 26B eine schematische Ansicht zur Darstellung von Lernsignalen für den Lernprozeß, die in die in Fig. 24 und 25 gezeigte Bildverarbeitungsvorrichtung eingegeben werden; und
Fig. 27 ein Blockschaltbild eines weiteren Ausführungsbeispieles einer erfindungsgemäßen Bildverarbeitungsvorrichtung.
Fig. 1 ist ein Blockschaltbild, das die Anordnung einer Bildverarbeitungsvorrichtung 1 gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung zeigt. Die Bildverarbeitungsvorrichtung 1 besteht aus einem Mikroprozessor, und kann eine Bilddatenverarbeitung durchführen, die durch jeden virtuellen Schaltblock gemäß dem zuvor in einem nicht gezeigten Speicher geschriebenen Programm dargestellt ist.
Die Bildverarbeitungsvorrichtung 1 weist einen Eingang 2 für Bilddaten auf, der mit einer Eingangsvorrichtung 10 und Ausgängen 7, 8 verbunden ist, die mit einer Ausgangsvorrichtung 20 verbunden sind. Eine Serienschaltung bestehend aus einer Kantenerfassungseinrichtung 3, einer Mittelungseinrichtung 4 und einer Invertierungseinrichtung 5 ist zwischen dem Eingang 2 und dem Eingang 7 vorgesehen. Der Eingang 2 und der Ausgang der Invertierungseinrichtung 5 sind mittels einer Addiervorrichtung 6 mit dem anderen Ausgang 8 verbunden.
Die Eingangsvorrichtung 10 kann eine Vorrichtung sein, bei der analoge Bildsignale eines Objektes, das beispielsweise durch eine Videokameravorrichtung oder eine elektronische Standbildkameraeinrichtung aufgenommen ist, oder analoge Bildsignale, die durch einen Videorecorder (VTR) oder ein Standbildeingabesystem wiedergegeben wurden, in digitale Ausgangsdaten gemäß dem Pegel der drei Primärfarben R, G und B umgesetzt werden können, oder eine Vorrichtung zur Ausgabe digitaler Daten einer digitalen Videokameravorrichtung oder digitaler Videorecorder.
Die Ausgangsvorrichtung 20, die mit den Ausgängen 7, 8 verbunden ist, kann ein Videorecorder zur Aufzeichnung von Bilddaten sein, die durch die Bildverarbeitungsvorrichtung 1 ausgegeben werden, eine Anzeigevorrichtung oder ein Drucker zur Wiedergabe der Bilddaten.
Der Ablauf der Bilddatenverarbeitung durch die Bildverarbeitungsvorrichtung 1 wird genauer bezugnehmend auf die schematischen Darstellungen von Fig. 3 bis 5 und das Flußdiagramm von Fig. 2 erläutert.
Wenn Eingangsbilddaten, die wie in Fig. 3 gezeigt eine Ansicht einer Person von hinten sind, in einem Schritt S1 von der Eingangsvorrichtung 10 eingegeben werden, führt die Datenverarbeitungsvorrichtung 1 in folgenden Kantenerfassungsschritt bei Schritt S2 durch die Kantenerfassungseinrichtung 3 aus.
Das heißt, die Pegel der drei Primärfarben R, G und 8 der Kantenabschnitte des in Fig. 3 gezeigten Bildes, wie beispielsweise der Kontur der Person, Grenzlinien oder Falten seiner Kleidung etc., unterscheiden sich deutlich von denen in den benachbarten Bereichen. Die Kantenerfassungseinrichtung 3 zur Durchführung solch einer Kantenerfassung erfaßt die Diskontinuität in den Werten der Eingangsbilddaten, die von der Eingangseinrichtung 10 zugeführt werden, und erzeugt Kantenerfassungsdaten gemäß der erfaßten Diskontinuität, so daß die Daten einen größeren Wert für breite Kantenlinien, wie beispielsweise die Konturen der Person, und kleinere Werte für schmälere Kantenlinien aufweisen, wie beispielsweise Falten der Kleidung der Person, die als Linien gegen einen einheitlichen Hintergrund erscheinen. In dieser Weise werden von der Kantenerfassungseinrichtung 3 Kantenerfassungsdaten erhalten, die ein Bild schaffen, bei dem die Kantenabschnitte jeweils eine Gradation entsprechend der Größe der Datenwerte wiedergeben, wie durch die durchgezogenen und unterbrochenen Linien in Fig. 4 dargestellt ist, und die übrigen Abschnitte werden einheitlich.
Im folgenden werden die Grundlagen der Kantenerfassung durch die Kantenerfassungseinrichtung 3 erläutert. Es sei angenommen, daß wie in Fig. 6 gezeigt die Anzahl der Pixel von Videosignalen von einem VTR oder einer Kamera gleich n x n ist. Zuerst werden die vertikalen Komponenten einer Kante erfaßt. Eine Gruppe von 3 x 3 Pixeln, wie beispielsweise I&sub1;&sub1;, I&sub1;&sub2;, I&sub1;&sub3;, I&sub2;&sub1;, I&sub2;&sub2;, I&sub2;&sub3;, I&sub3;&sub1;, I&sub3;&sub2; und I&sub3;&sub3; werden von der Gesamtheit der Pixel genommen, die die Bildsignale ergeben. Die Brillianzdaten der Pixel werden mit entsprechenden Koeffizienten einer in Fig. 7 gezeigten Matrix multipliziert, und die Produkte werden miteinander wie in der Gleichung 1 gezeigt addiert, um die vertikale Komponenete B der Kante zu erfassen:
B (-1) x I&sub1;&sub1; + (0) x I&sub1;&sub2; + (1) x I&sub1;&sub3;
+ (-2) X I&sub2;&sub1; + (0) x I&sub2;&sub2; + (2) x I&sub2;&sub3;
+ (-1) x I&sub3;&sub1; + (0) x I&sub3;&sub2; + (1) x I&sub3;&sub3; (1)
Die Koeffizienten der Matrix sind hinsichtlich ihres Betrages symmetrisch und von entgegengesetzter Polarität bei Betrachtung von links und von rechts, so daß, wenn es keine Anderung des Helligkeitspegels in der Horizontairichtung gibt, der Wert von B in der Gleichung (1) Null wird. Wenn es indessen eine Änderung des Helligkeitspegels in der Horizontalrichtung gibt, wird der Wert von B in der Gleichung (1) ungleich Null. Die Horizontalkomponente der Kante wird dann erfaßt. Dazu wird eine Gruppe von 3 x 3 Pixeln aus der Gesamtheit der Pixel genommen, die die Bildsignale ergeben, wie in dem Fall der Erfassung der vertikalen Komponente der Kante. Die Helligkeitsdaten der Pixel werden dann mit entsprechenden Koeffizienten der in Fig. 8 gezeigten Matrix wie in Gleichung (2) gezeigt multipliziert, und die Produkte werden miteinander addiert, um die horizontale Komponente C der Kante zu ermitteln:
C = (-1) X I&sub1;&sub1; + (-2) x I&sub1;&sub2; + (-1) x I&sub1;&sub3;
+ (0) x I&sub2;&sub1; + (0) x I&sub2;&sub2; + (0) x I&sub2;&sub3;
+ (1) x I&sub3;&sub1; + (2) x I&sub3;&sub2; + (1) x I&sub3;&sub3; (2)
Die Koeffizienten der Matrix sind symmetrisch hinsichtlich des Betrages und von entgegengesetzter Polarität bei Betrachtung von oben und unten, so daß, wenn es keine Anderung des Helligkeitspegels in der Vertikalrichtung gibt, der Wert von B in der Gleichung (2) Null wird. Wenn es indessen eine Anderung des Helligkeitspegels in der Vertikalrichtung gibt, wird der Wert von B in der Gleichung (2) ungleich Null. Aus der Vertikalkomponente B und der Horizontalkomponente C der Kante, die durch die Gleichungen (1) und (2) ermittelt wurden, werden Kantenerfassungsdaten S&sub2;&sub2;:
S&sub2;&sub2; = [B² + C²] (3)
ermittelt, die die Stärke der Kante in der Mitte eines von 3 x 3 Pixeln wie in Fig. 9 gezeigt wiedergeben. Diese Kantenerfassungsdaten S&sub2;&sub2; werden von der Kantenerfassungseinrichtung 3 als Kantenerfassungsdaten entsprechend dem Mittenpixel der Gruppe von 3 x 3 Pixeln ausgegeben. Dann wird wie in Fig. 6 gezeigt die Gruppe von 3 x 3 Pixeln nach rechts mit einer Schrittweite gleichen einem Pixel verschoben, um Kantendaten S&sub2;&sub3; zu ermitteln, die die Kantenstärke des Mittenpixels einer Anordnung von 3 x 3 Pixeln von I&sub1;&sub2;, I&sub1;&sub3;, I&sub1;&sub4;, I&sub2;&sub2;, I&sub2;&sub3;, I&sub2;&sub4;, I&sub3;&sub2;, I&sub3;&sub3; und I&sub3;&sub4; in der gleichen Weise wie zuvor erläutert wiedergeben. Durch Verschieben der Gruppe von 3 x 3 Pixeln nach rechts in dieser Weise mit der Schrittweite von jedesmal einem Pixel wird es möglich, alle Kanten der Bildsignale zu erfassen. Diese Kantenerfassungsdaten werden von der Kantenerfassungseinrichtung 3 ausgegeben. In Fig. 10 ist die Häufigkeit des Auftretens oder das Histogramm der Kantenerfassungsdaten in Abhängigkeit von den Werten der so gefündenen Kantenerfassungsdaten dargestellt.
Allgemein geben die Kantenerfassungsdaten, die in dieser Weise erhalten wurden, meistens extrem schmale Kantenabschnitte wieder, d.h. sie sind von geringem Betrag, so daß die Häufigkeit des Auftretens der entsprechenden Werte oder das Histogramm einen Verlauf entsprechend einer durch die Formel (4) angezeigten Kurve
Y = 1/X (4)
entspricht, wobei Y und X für die Anzahl und den Betrag der Kantenerfassungsdaten stehen.
Die Bildverarbeitungsvorrichtung 1 mittelt dann bei einem Schritt S3 die Gradation der Kantenabschnitte der Kantenerfassungsdaten von der Kantenerfassungseinrichtung 3 durch die Mittelungseinrichtung 4 zur Erzeugung der Bilddaten des in Fig. 5 gezeigten Bildes.
Die Mittelungseinrichtung (Mittelwertbildungs-Einrichtung) 4, die diesen Mittelungsschritt ausführt, führt eine Transformation der Kantenerfassungsdaten aus, die von der Kantenerfassungseinrichtung 3 ausgegeben werden, so daß das oben genannte Histogramm im wesentlichen gleichförmig ist (im folgenden als Histogramm-Transformation bezeichnet). Um es anders auszudrücken, wie in Fig. 10 gezeigt wird das Histogramm der Kantenerfassungsdaten durch eine Kurve ahnlich der durch Gleichung (5) gezeigten wiedergegeben,
Y = 1/X (5)
so daß durch Transformation der Werte der Kantenerfassungsdaten durch eine Funktion, die eine Integration der obigen Kurve bezüglich X (die Werte der Kantenerfassungsdaten) ist, d.h. eine Funktion, die durch eine Tabelle von Fig. 11 gezeigt ist und die gleich der durch Gleichung (6) gezeigten Kurve ist:
Y = log(X) (6) wobei Y für den Betrag der Daten nach der Transformation und X den Betrag der Kantenerfassungsdaten bedeutet, das oben genannte Histogramm wie in Fig. 12 gezeigt im wesentlichen gleichförmig wird.
In der Bilddatenerfassungseinrichtung 1 werden in dieser Weise die Bilderfassungsdaten gemittelt, um die Kantenabschnitte der Kantenerfassungsdaten zu verstärken. Daher werden die schmalen Kantenabschnitte, die durch unterbrochene Linien in Fig. 4 gezeigt sind, auf einen Pegel verstärkt, der in der Nähe der gut definierten Kantenabschnitte liegt, die durch die durchgezogenen Linien in Fig. 4 gezeigt sind, so daß die Bilddaten von der Mittelungseinrichtung 4 erzeugt werden können, bei denen die schmäleren Kantenabschnitte, wie beispielsweise Falten der Kleidung, zu besser definierten Linien geändert sind, und somit die Kantenabschnitte, die kontinuierliche Linien sein sollten, als Linien ohne Unterbrechungen dargestellt werden.
Fig. 13 zeigt ein Bild, das erhalten werden sollte, wenn die Bilddaten des Ausgangsbildes von der Kantenerfassungseinrichtung 3 wie in Fig. 4 gezeigt nicht in der oben erläuterten Weise gemittelt wurden. Durch Vergleich des in Fig. 13 gezeigten Bildes mit dem von Fig. 5 kann gesehen werden, daß in dem Bild, daß durch den in Fig. 5 gezeigten Vorgang gemittelt wurde, die schmalen Linien des Originalbildes, das in Fig. 3 gezeigt ist, besser als gut definierte Linien dargestellt sind.
Die Bilddaten-Verarbeitungsvorrichtung 1 führt dann bei dem Schritt S4 bei der Invertierungseinrichtung 5 eine Datenkonversion oder Transformation der Ausgangsdaten von der Mittelungseinrichtung 4 aus, bei der die Kantenabschnitte in schwarzer Farbe bezeichnet werden, die übrigen Abschnitte mit weißer Farbe dargestellt sind, beispielsweise durch eine Negativ-/Positiv-Invertierung, um Linienbilddaten zu bilden, um diese Linienbilddaten in einem Schritt 55 an dem Ausgang 7 auszugeben. Ähnliche Linienbilddaten können ebenso erhalten werden, wenn die Eingangsbilddaten, die von der Eingangseinrichtung 10 zugeführt werden, zuerst bei einem Schritt S4 der Datentransformation durch die Invertierungseinrichtung 5 und danach der Kantenerfassung bei Schritt S2 unter Mittelung bei Schritt S3 in dieser Reihenfolge unterzogen werden.
Die Bilddatenerfassungsvorrichtung 1 kombiniert dann das durch die Linienbilddaten wiedergegebene Bild, das durch die Invertierungseinrichtung 5 ausgegeben wird bei der Addiereinrichtung 6, mit dem Bild, das durch die Eingangsbilddaten wiedergegeben wird, gemäß einem beliebig gewählten Mischverhältnis, um farbige Linienbilddaten zu erzeugen und diese farbigen Linienbilddaten an dem Ausgang 8 bei Schritt S7 auszugeben. Die Bilddaten-Verarbeitungsvorrichtung 1 kann ebenfalls so aufgebaut sein, daß sie die Stärke der Bildfarbung durch Anderung des Wertes des Mischverhältnisses der beiden Bilder zur Bildung der Bilddaten für Bilder mit verschiedenen Eindrücken und Abstufungen verändert.
In der Bilddaten-Verarbeitungsvorrichtung 1 ist vorzugsweise eine Einrichtung zwischen der Kantenerfassungseinrichtung 3 und der Mittelungseinrichtung 4 zur Verarbeitung der in der Kantenerfassungseinrichtung 3 gebildeten Kantenerfassungsdaten vorgesehen, die größere Werte als die vorgeschriebenen Werte haben, so daß sie einen vorgeschriebenen Wert vor der Zuführung der Daten zu der Mittelungseinrichtung 4 haben. Durch Vorsehen einer solchen Verarbeitungseinrichtung wird es möglich, den Unterschied zwischen den Werten der Kantenerfassungsdaten zuvor zu verringern, und daher die schmalen Kantenabschnitte besser auszudrücken.
Durch Durchführung der Bilddatenverarbeitung wie zuvor erläutert kann die Bilddatenverarbeitungseinrichtung 1 Daten eines Linienbildes bilden, in dem Merkmale des Bildes, das durch die Eingangsbilddaten wiedergegeben wird, besser festgehalten sind. Daher kann durch die Verwendung der Bilddatenverarbeitungseinrichtung 1 Linienbilder mit wesentlich weniger Mühe und Zeit gebildet werden, als bei der Verarbeitung von Hand. Zusätzlich können durch die Verwendung eines Hochgeschwindigkeits- Mikroprozessors oder einer entsprechenden Hardware Eingangsbilddaten in Linienbilddaten im wesentlichen in Echtzeit umgesetzt werden, so daß leicht bewegte Bilder erstellt werden können.
Auch wenn die Bilddatenverarbeitungseinrichtung 1 zuvor zur Bearbeitung von Bilddaten beschrieben wurde, die in die drei Primärfarben R, G und B aufgeteilt sind, kann die oben beschriebene Bilddatenverarbeitung ebenso auf Bilddaten angewendet werden, die in der Form von digitalisierten Helligkeitssignalen vorliegen.
Fig. 14 ist ein Blockschaltbild einer Anordnung eines zweiten Ausführungsbeispieles einer erfindungsgemäßen Bildverarbeitungsvorrichtung. Die Bildverarbeitungsvorrichtung 30 besteht aus einem Mikroprozessor und wird durch eine Kantenerfassungseinrichtung 32, eine Linienbild-Bildungseinrichtung 33, eine Additionseinrichtung 34 und eine Bildformungs- oder Picturizing-Einrichtung 35 gebildet.
Bei diesen sind die Kantenerfassungseinrichtung 32 und die Additionseinrichtung 34 ähhlich der Kantenerfassungseinrichtung 3 und der Additionseinrichtung 6 der Bilddaten- Verarbeitungsvorrichtung 1. Die Linienbild-Bildungseinrichtung 33 wird durch die miteinander kombinierte Mittelungseinrichtung 4 und die Invertierungseinrichtung 5 der Bilddaten-Verarbeitungseinrichtung 1 gebildet. Eine Eingangseinrichtung 10, die mit der Kantenerfassungseinrichtung 32 mittels des Einganges 31 verbunden ist, und eine Ausgangseinrichtung 20, die mit der Bild-Bildungseinrichtung 35 mittels eines Ausganges 36 verbunden ist, sind gleich der Eingangs- und der Ausgangsvorrichtung des zuvorigen ersten Ausführungsbeispieles
Fig. 15 zeigt ein Flußdiagramm, das die Datenverarbeitung durch die Bilddaten- Verarbeitungsvorrichtung 33 darstellt.
Wenn Eingangs-Farbbilddaten beispielsweise einer in Fig. 16 gezeigten Person auf einem Stuhl bei einem Schritt T1 zu der Bildverarbeitungsvorrichtung 30 von der Eingangsvorrichtung 10 gegeben werden, werden diese Eingangs-Farbdaten zu der Kantenerfassungseinrichtung 32 und der Additionseinrichtung 34 gegeben.
Die Bilddaten-Verarbeitungsvorrichtung 30 arbeitet ähnlich dem ersten Ausführungsbeispiel in solch einer Weise, daß Diskontinuitäten in dem Wert der Eingangsbilddaten durch die Kantenerfassungseinrichtung 32 bei dem Schritt T2 zur Erfassung von Kantenabschnitten des Bildes, das durch die Eingangsbilddaten wiedergegeben wird, erfaßt werden.
Eine Histogramm-Transformation der Helligkeitssignale kann vor dem Schritt T2 durchgeführt werden, um durch Rauschkomponenten verursachte nachteilige Wirkungen zu verringern.
Die Bilddaten-Verarbeitungsvorrichtung 30 geht dann zum Schritt T3, wo die Linienbild- Bildungseinrichtung 33 eine Datenkonversion oder Transformation zur Verringerung des Unterschiedes der Daten der Kantenabschnitte durchführt, die bei der Kantenerfassungseinrichtung 32 erhalten wurden, um die schmalen Kantenbereiche auf einen Pegel in der Nähe der besser definierten Kantenabschnitte zur Mittelung der Gradation der Kantenabschnitte zu verstärken. In dieser Weise können die Daten eines Linienbildes gebildet werden, in dem die Eigenschatten von Linien des Bildes, das durch die Eingangsbilddaten wiedergegeben wird, besser festgehalten sind. Für solch eine Datenkonversion oder Transformation kann die oben beschriebene Histogramm- Transformation oder logarithmische Transformation verwendet werden.
Die Bilddaten-Verarbeitungsvorrichtung 30 geht dann zu Schritt T4, wo die Daten des Linienbildes einer Negativ-/Positiv-Invertierung durch die Linienbild-Bildungseinrichtung 33 unterzogen werden, um Daten des Linienbildes zu bilden, in denen die Eigenschaften des in Fig. 16 gezeigten Linienbildes besser festgehalten sind, wie in Fig. 17 gezeigt ist. Die in dieser Linienbild-Bildungseinrichtung 33 gebildeten Daten werden dann zu einer Additionseinrichtung 34 gegeben. Wenn die Bilddaten in Schritt T3 erhalten werden, in dem die Kantenabschnitte mit einer schwarzen Farbe und die übrigen Abschnitte mit einer weißen Farbe dargestellt sind, ist es unnötig, diesen Schritt T4 auszuführen. Ähnliche Daten können erhalten werden, wenn die Schritte T2 und T3 ausgeführt werden, nachdem die Eingangsbilddaten der Datentransformation von Schritt T4 unterzogen wurden.
Die Bilddaten-Verarbeitungsvorrichtung 30 geht dann zu Schritt TS, wo die Daten eines kombinierten Bildes aus dem Bild, das durch die Ausgangsdaten der Linienbild- Bildungseinrichtung 33 wiedergegeben ist, und den Eingangsbilddaten von der Eingangsvorrichtung 10 durch die Additionsvorrichtung 34 gebildet wird. Die durch die Additionseinrichtung 34 gebildeten Daten geben die Daten des Linienbildes von Fig. 17 wieder, die nach dem durch die Eingangsbilddaten in Fig. 16 gezeigten Bild koloriert sind. Dieses Bild ist vergleichbar mit einem Linienbild, das beispielsweise mit einem Farbstift koloriert wurde.
Die Bilddaten-Verarbeitungsvorrichtung 30 geht dann zu Schritten T6 bis T11, wo die Farbdichte oder -konzentration des Bildes, die durch die Additionseinrichtung 34 erzeugten Daten angezeigt ist, durch die Picturizing-Einrichtung 35 gemittelt wird.
In dem Schritt T6 werden die Ausgangsdaten von der Additionseinrichtung 34 in zwei Farbdifferenzsignale (R-Y) und (B-Y) umgesetzt.
In dem nächsten Schritt T7 wird die Farbkonzentration S&sub1;, d.h. Daten, die die Farbdichte anzeigen, durch die Gleichung (7)
S&sub1; = [(BY&sub1;)² + (RY&sub1;)²] (7)
aus den Werten der Farbdifferenzsignaldaten (BY&sub1;), (RY&sub1;) ermittelt. Zur Vereinfachung der Berechnung kann die Farbkonzentration S&sub1; ebenfalls durch die Gleichung (8) ermittelt werden:
S&sub1; = (BY&sub1;) + (RY&sub1;) (8)
In dem nächsten Schritt T8 wird die Häufigkeit des Auftretens von jedem Wert der Farbkonzentration S&sub1; für das Bild als Ganzes in dem Histogramm h(s) ermittelt.
In dem nächsten Schritt T9 wird eine Transformationsfünktion H(s) ermittelt, in der das Histogramm h(s) bezüglich der Farbkonzentration S&sub1; integriert wird.
Auch wenn die Transformationsfünktion H(s) durch die Schritte T6 bis T9 ermittelt wurde, kann die Transformationsftinktion ebenfalls durch eine geeignete Funktion ersetzt werden, beispielsweise eine logarithmischen Funktion, die ungefähr gleich der Transformationsfünktion H(s) ist.
In dem nächsten Schritt T10 wird die Farbkonzentration S&sub1; einer Transformation durch die Transformationsfünktion H(s) zum Ermitteln der neuen Farbdichte S&sub2; für jedes Pixel unterzogen.
Die Transformation bei Schritt T10 kann ebenfalls durch eine zusammengesetzte Funktion G(H(s)) der Transformationsfunktion H(s) mit einer anderen Funktion G(x) durchgeführt werden. In diesem Fall kann die Farbkonzentration frei gewählt durch Anderung der Funktion G(x) geändert werden.
In dem nächsten Schritt T11 werden die Werte (BY&sub1;), (RY&sub1;) der Daten von jedem Farbdifferenzsignal für jedes Pixel durch die Gleichungen (9) und (10) transformiert
(BY&sub2;) = (S&sub2;/S&sub1;) (BY&sub1;) (9)
(RY&sub2;) = (S&sub2;/S&sub1;) (RY&sub1;) (10)
um die Werte der Daten der neuen Farbdifferenzsignale (BY&sub2;) und (RY&sub2;) zu ermitteln.
Die in dieser Weise gebildeten Daten werden transformiert, so daß die Farbkonzentration S&sub1; für das gesamte Bild gemittelt wird und daher die Bilddaten mit heller Farbe vergleichbar einem Kreidebild oder einem Ölgemälde wie das in Fig. 19 gezeigte Bild erzeugt werden.
Schließlich geht die Bilddaten-Verarbeitungsvorrichtung 30 zu Schritt T12 zur Ausgabe der hellfarbenen Bildaten von der Picturizing-Einrichtung 35 mittels des Ausgangs 36 zu der Ausgangsvorrichtung 20.
Durch die Bildung der Daten der hellfarbenen Bildaten unter Verwendung der Bilddaten- Verarbeitungsvorrichtung 30 in dieser Weise können Standbild- oder bewegte Bilder mit wesentlich weniger Zeit und Mühe als in dem Fall der manuellen Verarbeitung gebildet werden.
In dem dritten Ausführungsbeispiel der Bildverarbeitungsvorrichtung, das in Fig. 20 gezeigt ist, wird die Bilddaten-Verarbeitungsvorrichtung gemäß der Erfindung durch ein sogenanntes neuronales Netzwerk 40 gebildet.
Diese Bilddaten-Verarbeitungsvorrichtung wird durch ein vierschichtiges neuronales Netzwerk 40 aus einer Eingabeschicht 41, einer ersten Zwischenschicht 42, einer zweiten Zwischenschicht 43 und einer Ausgangsschicht 44 gebildet.
Die Eingangsschicht 41 wird durch neun Zellen I&sub1;, I&sub2;, I&sub3;, I&sub4;, I&sub5;, I&sub6;, I&sub7;, I&sub8;, und I&sub9; gebildet, zu denen Eingangsbilddaten DIN aus einer 3 x 3-Matrix von Pixeln S&sub1;, S&sub2;, S&sub3;, S&sub4;, S&sub5;, S&sub6;, S&sub7;, S&sub8;, und S&sub9; wie in Fig. 21 von einer nicht gezeigten Eingangseinrichtung eingegeben werden. Die erste Zwischenschicht 42 besteht aus vier Zellen H&sub1;, H&sub2;, H&sub3; und H&sub4;, die mit den Zellen I&sub1; bis I&sub9; der Eingangsschicht 41 verbunden sind. Die zweite Zwischenschicht 43 wird aus einer einzigen Zelle H&sub0; gebildet, die mit den Zellen H&sub1; bis H&sub4; der ersten Zwischenschicht 42 verbunden ist. Die Ausgangsschicht 44 wird durch eine einzige Zelle 0 gebildet, die mit der Zelle H&sub0; der zweiten Zwischenschicht 43 verbunden ist, und seine Ausgangsdaten O&sub0; zu einer Ausgangseinrichtung, die nicht gezeigt ist, ausgeben kann.
Die Zellen I&sub1; bis I&sub9;, H&sub1; bis H&sub4;, H&sub0; und O&sub0; der Schichten 41, 42, 43 und 44, die das vierschichtige neuronale Netzwerk bilden, strukturieren jede durchzuführende Signalverarbeitung entsprechend der eines Neurons. Wie schematisch in Fig. 22 gezeigt ist, wird ein Ausgangssignal O&sub0; einer Zelle Uj, die mit einer Zelle Ui durch Koppel- oder Gewichtungskoeffizienten Wij verbunden ist, mit dem Koppelkoeffizienten Wij multipliziert, um ein Produkt Wij Oj zu ergeben, das zu der Zelle Ui als Eingang gegeben wird. Mehrere solche Eingänge Wij Oj werden zusammen zu Summe ΣWij Oj addiert, die durch eine vorbestimmte Aktivierungsfünktion 1, wie beispielsweise eine Sigmafunktion zu einem Wert Oi transformiert wird
der von der Zelle Ui ausgegeben wird.
Die Kopplungs- oder Gewichtungskoeffizienten der Verbindung von den Zellen Ii bis I&sub9; der Eingangsschicht zu den Zellen H&sub1; bis H&sub4; der ersten Zwischenschicht 42 entsprechend der Kantenerfassungsoperatoren zur Erfassung der Kanten des zentralen Pixels 55 der Matrix von 3 x 3 Pixel in der Horizontalrichtung (+x, -x) und in der Vertikalrichtung (+y, -y), d.h. den Koeffizienten der Matrix. Die vier Zellen Zellen H&sub1;, H&sub2;, H&sub3; und H&sub4; der ersten Zwischenschicht 42 erfassen die Kantenkomponenten in der +x, -x, +y und -y-Richtung von jedem Netz-Eingangssignal. Wenn die obige Gleichung (11) durch die Gleichung (12) ausgedruckt wird,
wobei jede Zelle H&sub1; und H&sub2; der ersten Zwischenschicht 42 den Kantenerfassungswert in der +x und -x-Richtung als Eingangssignal auftümmt und den Schwellenwert θ hat, ist die Summe Ox der Ausgangssignale Oh1, Oh2 davon durch die folgende Gleichung (13) gegeben
Diese Gleichung (13) gibt eine gerade Funktion wieder und kann durch eine Taylor- Entwicklung zu der Gleichung (14) entwickelt werden
Ox = a0(θ) + a2(θ)net² + a4(θ)net&sup4; + ..... (14)
so daß durch Setzen des Schwellenwertes θ, so daß a4(θ)=0 ist, die Formel durch eine quadratische Gleichung angenähert werden kann.
Durch Setzen jedes Schwellenwertes 0 gibt jede Zelle H&sub1; und H&sub2; der ersten Zwischenschicht 42 zu der Zelle Ho der zweiten Zwischenschicht 43 die Ausgangssignale Oh1 und Oh2, die ungefähr dem Quadrat der Kantenkomponente in der x-Richtung wie durch die Gleichung (13) dargestellt entsprechen.
In der gleichen Weise, wenn jede Zelle H&sub3; und H&sub4; der ersten Zwischenschicht 42 die Werte der Kantenerfassung in der +y und -y-Richtung als Eingang aufnimmt, und jeder Schwellenwert entsprechend eingestellt ist, wird die Summe der Ausgangssignale Oh3, Oh4, die ungefähr dem Quadrat der Kantenkomponente in der y-Richtung
Oy = Oh3 + Oh4 (15)
entspricht, zu der Zelle H&sub0; der zweiten Zwischenschicht 43 gegeben.
Das heißt, die Zellen H&sub1; bis H&sub4;, die die erste Zwischenschicht 42 bilden, dienen zur Durchführung einer Verarbeitung, die der der Kantenerfassungseinrichtung 3 in dem zuvorgehenden ersten Ausführungsbeispiel gleichwertig ist. Ebenso dient in diesem dritten Ausführungsbeispiel die Zelle H&sub0; der zweiten Zwischenschicht 43 zur Durchführung einer Histogramm-Mittelungsoperation, die der der Mittelungseinrichtung 4 des ersten Ausführungsbeispieles gleichwertig ist, wenn der Schwellenwert der Zelle H&sub0; geeignet eingestellt ist. Zusätzlich ist der Koppelkoeffizient und der Schwellenwert der Zelle O der Ausgangsschicht 44 so eingestellt, daß die Zelle eine Invertierungs-Funktion ausübt, die den Betrieb der Invertierungs-Einrichtung 5 im ersten Ausführungsbeispiel gleichwertig ist.
Bei dieser Bilddaten-Verarbeitungsvorrichtung 40 werden die Eingangsbilddaten DIN die beim Abrastem der durch die in der Eingangsvorrichtung erzeugten Bilddaten wiedergegeben werden, mit der 3 x 3-Matrix der Pixel S&sub1; bis S&sub9; als eine Einheit zu der Eingangsschicht 41 gegeben, so daß Bildausgangsdaten, die einer Linienbild- Bildungsoperation ähnlich der in der Bilddaten-Verarbeitungsvorrichtung 1 des oben beschriebenen ersten Ausführungsbeispieles unterzogen werden, als Ausgangssignale O&sub0; der Zelle O der Ausgangsschicht 44 erzeugt werden.
Die Bildverarbeitungsvorrichtung der vorliegenden Erfindung ist mit der oben beschriebenen Kantenerfassungseinrichtung und der Mittelungseinrichtung versehen, wodurch Bilddaten eines Linienbildes erzeugt werden können, bei denen die Merkmale der Linie des Bildes, das durch die Eingangsbilddaten wiedergegeben wird, gut festgehalten sind. Daher kann durch die Verwendung der Bilddaten-Verarbeitungsvorrichtung der vorliegenden Erfindung Bildaten mit weniger Zeit- und Müheaufwand als in dem Fall eines Handbetriebes gebildet werden.
Weiterhin können gemäß der erfindungsgemäßen Bildverarbeitungsvorrichtung Daten eines Bildes mit heller Farbe ähnlich denen eines Kreidebildes oder eines Ölgemäldes erzeugt werden. Daher können durch die Verwendung der erfindungsgemäßen Bildverarbeitungsvorrichtung Linienbilder mit weniger Zeit und Mühe erzeugt werden.
Zusätzlich kann bei der erfindungsgemäßen Bildverarbeitungsvorrichtung ein Hochgeschwindigkeits-Mikroprozessor oder eine entsprechende Hardware implementiert werden, um nahezu eine Echtzeitverarbeitung der Eingangsbilddaten zu schaffen, um die Bildung von Zeichentrickfilmen zu erleichtern.
Ein modifiziertes Ausführungsbeispiel der vorliegenden Erfindung wird im folgenden erläutert, bei dem ein Lernverarbeitungsabschnitt 60 wie in Fig. 24 gezeigt an einen Signalverarbeitungsabschnitt 50 angehängt ist, der aus einer Eingangsschicht 51, einer Zwischenschicht 52 und einer Ausgangsschicht 53 wie in Fig. 23 gezeigt besteht, so daß die Daten zuvor einem Lernverarbeitungsvorgang unterzogen werden und die gewünschte Bildkonversion oder -transformation in den Signalverarbeitungsabschnitt 50 durchgeführt wird.
Zur Zeit werden Forschungen und Entwicklungen für ein Signalverarbeitungssystem mit der Verwendung eines neuronalen Netzwerks zur Durchführung einer Signalverarbeitung entsprechend der eines Neurons durchgeführt. Beispielsweise kann eine Rückführungs (back propagation)-Lernvorschritt als Lernalgorithmus für ein Vielschicht-neuronales- Netzwerk mit einer Zwischenschicht zwischen der Eingangsschicht und der Ausgangsschicht als Versuch einer Veränderung von Signalverarbeitungsmodi, wie beispielsweise einer Hochgeschwindigkeits-Bildverarbeitung oder Mustererkennung angewendet werden. Hinsichtlich der "back propagation learning rule" s. beispielsweise "Parallel Distributed Processing", Vol 1, MIT Press, 1986, oder Nikkei Electronics, Ausgabe 10. August 1987, Nr.427, Seiten 115-124.
Gemäß der vorliegenden Erfindung wird der Kopplungskoeffizient oder der Gewichtungskoeffizient Wji durch Anwendung der oben genannten back propagation- Lernanweisung auf das in Fig. 25 gezeigte neuronale Netzwerk festgelegt, und der Bildkonvertierungsvorgang der Konvertierung der Eingangsbilddaten in ein Linienbild wird unter Verwendung des neuronalen Netzwerks ausgeführt, in dem zuvor der Kopplungs- oder Gewichtungskoeffizient Wji eingestellt wurde.
Jede der Zellen I&sub1;, I&sub2;, I&sub3;, I&sub4;, I&sub5;, I&sub6;, I&sub7;, I&sub8;, I&sub9;, H&sub1;, H&sub2;, H&sub3; und O&sub1;, die das in Fig. 25 gezeigte neuronale Netzwerk bilden, führt eine Signalverarbeitung entsprechend der eines Neurons durch. Das von jeder Zelle der Eingangsschicht 51 ausgegebene Signal wird mit einem Kopplungskoeffizienten (Gewichtungskoeffizient) Wji multipliziert, bevor es zu jeder Zelle der Zwischenschicht 52 gegeben wird. In gleicher Weise wird das von jeder Zelle der Zwischenschicht 51 ausgegebene Signal mit einem Kopplungskoeffizienten (Gewichtungskoeffizient) Wji multipliziert, bevor es zu jeder Zelle der Ausgangsschicht 53 gegeben wird. Jede Zelle der Zwischenschicht 52 gibt einen Wert Oj aus, der die Summe mehrerer Signale bestehend aus Ausgangssignalen der Zellen der Eingangsschicht 51 jeweils multipliziert mit dem Kopplungskoeffizienten (Gewichtungskoeffizient) Wji wiedergibt und darauf durch eine vorbestimmte Funktion f, wie beispielsweise eine Sigma- Funktion transformiert wurde. Die Zelle der Ausgangsschicht 53 gibt einen Wert Oj aus, der die Summe mehrerer Signale bestehend aus Ausgangssignalen der Zellen der Zwischenschicht 52 wiedergibt, die jeweils mit Kopplungskoeffizienten (Gewichtungskoeffizient) Wji multipliziert wurden, und daraufhin durch eine vorbestimmte Funktion f, wie beispielsweise eine Sigma-Funktion transformiert wurden.
Das heißt, wenn ein Wert eines Musters p als ein Eingangswert zu jeder Zelle der Eingangsschicht 51 gegeben wird, wird der Ausgangswert Opj jeder Zelle der Zwischenschicht und der Ausgangsschicht ausgedrückt durch
Opj = fj (netpj)
= fj ( Wji Opji) (16)
Der Ausgangswert Opj der Zelle der Ausgangsschicht 53 wird durch sequentielles Berechnen der Ausgangswerte der Zellen entsprechend den Neuronen von der Eingangsschicht 51 in Richtung der Ausgangsschicht 53 erhalten.
Bei dem back propagation-Lernalgorithmus kann ein Ausgangswert Opj der am nähesten an einem Lernsignal Ppj liegt, von der Zelle O&sub1; der Ausgangsschicht 53 durch sequentielles Ausführen des Lernvorganges der Anderung der Kopplungskoeffizienten (Gewichtungskoeffizient) Wji von der Zelle O&sub1; zu der Ausgangsschicht 53 erhalten werden, um die Summe
E = 1/2 (tpj - Opj)² (17)
der quadratischen Fehler zwischen den Ausgangswerten Opj und dem gewunschten Ausgangswert tpj zu maximieren, wobei die Ausgangswerte Opj den tatsächlichen Ausgangswert jeder Zelle der Ausgangsschicht 53 wiedergeben, wenn das Muster p zu der Eingangsschicht gegeben wird.
Wenn eine Veränderung ΔWji der Kopplungs- oder Gewichtungskoeffizienten Wji, die die Summe Ep der Quadratfehler verringert, ausgedrückt wird durch
ΔWji - ∂Ep/∂Wji (18)
kann die obige Gleichung (18) umgeschrieben werden zu
ΔWji = η δ pj Opi (19)
Dieser Vorgang ist im Detail in den oben genannten Referenzschritten dargelegt.
Bei der obigen Gleichung steht η für die Lernrate, die eine Konstante ist, die empirisch aus der Anzahl der Einheiten oder Schichten oder Eingangs- oder Ausgangswerten ermittelt werden kann, und δpj steht für die den Zellen eigenen Fehlern.
Daher genügt es zur Bestimmung der Veränderung ΔWji, die Werte der Fehler δpj in der Umkehrrichtung, d.h. von der Ausgangsschicht in Richtung der Eingangsschicht des Netzwerks zu finden. Der Fehler δpj der Zelle der Ausgangsschicht ist gegeben durch
δpj = (tpj - Opj)f'j(netj) (20)
wohingegen der Fehler δpk der Zelle der Zwischenschicht durch eine rekursive Funktion
δpj = f'j (netj) δpkWkj (21)
unter Verwendung des Fehlers δpk und des Kopplungskoefiizienten Wkj jeder Zelle berechnet werden, mit der die Zelle der Zwischenschicht verbunden ist, was im vorliegenden Fall jede Einheit der Ausgangsschicht ist. Dieser Vorgang zum Erhalten der Gleichungen (20) und (21) wird ebenfalls in den oben genannten Referenzschriften im Detail erläutert.
f'j(netj) in der obigen Gleichung stellt die Differenzierung der Ausgangsfünktion fj(netj) dar.
Die Veränderung ΔWji kann durch die obige Gleichung (19) unter Verwendung der Ergebnisse der obigen Gleichungen (20) und (21) erhalten werden. Indessen können stabilere Ergebnisse aus der folgenden Gleichung (22)
ΔWji(n+1) = η δ pj Opi +α ΔWji(n) (22)
unter Verwendung der Ergebnisse des vorhergehenden Lernens erhalten werden. In der obigen Gleichung steht α für eine Stabilisierungskonstante zur Verringerung der Fehler- Oszillationen und Beschleunigung des Konvergenz-Vorganges.
Dieses Lernen wird wiederholt durchgeführt und zu dem Zeitpunkt beendet, an dem die Summe Ep, der Quadratfehler zwischen den Ausgangswerten Opj und dem Wert der Lernsignale tpj ausreichend klein wurde.
Bezugnehmend auf Fig. 24 und 25 ist eine Bildtransformationsvorrichtung gemäß einem vierten Ausführungsbeispiel der vorliegenden Erfindung dargestellt, bei der der Lernvorgang gemäß der back propagation-Vorschrift auf einen Signalprozessor 50 angewendet wird, der einen dreischichtigen neuronalen Aufbau aufweist. Auf Grundlage der Fehlerinformation zwischen einem Lernsignal Dte, das die Bilddaten für einen kleinen Bereich eines Originalbildes darstellt, die einer vorbestimmten Bildtransformation unterzogen wurden, und einem Ausgangssignal DOUT, das von der Ausgangsschicht 53 nach der Transformation des Originalbildes durch das neuronale Netzwerk erhalten wurde, wendet ein Lernabschnitt 60 einen Lernvorgang auf den Signalverarbeitungsabschnitt 50 bestehend in dem sequentiellen Andern der Koeffizienten, die die Kopplungsstärke zwischen den Zellen, oder den Gewichtungskoeffizienten Wji anzeigen, von der Ausgangsschicht 53 in Richtung der Eingangsschicht 51 an, um die quadrierten Fehler zu minimieren.
Beispielsweise wird eine Person als ein Originalbild durch eine Videokamera photographiert und das Photographie-Ausgangssignal entsprechend jedem seiner Pixel wird digitalisiert und in einem nicht gezeigten Speicher als digitale Bilddaten gespeichert.
Andererseits wird als ein Bild, das das oben genannte Originalbild darstellt, das einer vorbestimmten Bildtransformation unterzogen wird, eine Skizze einer Person durch eine Videokamera photographiert, und das Photographie-Ausgangssignal entsprechend jedem seiner Pixel wird digitalisiert und in einem nicht gezeigten Speicher gespeichert. Ein Lernvorgang wird dann auf den Signalverarbeitungsabschnitt 50 angewendet, um das Originalbild, d.h. das photographierte Bild der Person in ein Bild der Skizze für jeden Kleinbildbereich bestehend aus einer Matrix von 3 x 3 Pixel als eine Einheit zu transformieren.
Beispielsweise werden wie in Fig. 26A gezeigt Bildaten A&sub1; bis A&sub9; der Matrix von 3 x 3 Pixeln in einem kleinen Bildbereich des Originalbildes, das die Eigenschatt A anzeigt, als Eingangsbilddaten zum Lernvorgang Din zu neun Zellen I&sub1; bis I&sub9; der Eingangsschicht 51 des Signalverarbeitungsabschnittes 50 gegeben. Andererseits werden Bildaten A&sub0; eines Mittenpixels von 3 x 3 Pixeln, die die transformierten Daten für die Eingangsbilddaten des Lernvorgangs Din wiedergeben, als Lernsignal Dte zu dem Lernabschnitt 60 gegeben. Auf Grundlage der Fehlerdaten zwischen dem Lernsignal Dte und dem Ausgangssignal Dout von der Zelle O&sub1; der Ausgangsschicht 53 wendet der Lernabschnitt 60 einen Lernvorgang auf den Signalverarbeitungsabschnitt 50 bestehend aus dem Lernen der Koeffizienten, die die Kopplungsstärke zwischen den Zellen, d.h. die Gewichtungskoeffizienten Wji anzeigen, von der Ausgangsschicht 53 in Richtung der Eingangsschicht 51 an. Nach Beendigung des Lernvorgangs bezüglich der Bilddaten A&sub1; bis A&sub9; für die 3 x 3 Pixel, die die Eigenschaft A anzeigen, werden Bilddaten B&sub1; bis B&sub9; für 3 x 3 Pixel, die eine weitere Eigenschaft B in dem Skizzen-Transformationsvorgang anzeigen, zu den Zellen I&sub1; bis I&sub9; der Eingangsschicht 51 als Eingangsbilddaten für die Lernverarbeitung Din gegeben, während Bilddaten B&sub0; des Mittenpixels der 3 x 3 Pixel, die die transformierten Daten für die Eingangsbilddaten des Lernvorgangs Din wiedergeben, als Lernsignal Dte zu dem Lernverarbeitungsabschnitt 60 gegeben werden. Auf Grundlage der Fehlerdaten zwischen dem Ausgangssignal Dout von der Zelle O&sub1; der Ausgangsschicht 53 und dem Lernsignal Dte unterzieht der Lernverarbeitungsabschnitt 60 den Signalverarbeitungsabschnitt 50 einem Lernvorgang zum Lernen der Kopplungsstärke zwischen den Zellen oder den Gewichtungskoeffizienten Wji von der Ausgangsschicht 53 in Richtung der Eingangsschicht 51. In der gleichen Weise unterzieht der Lernverarbeitungsabschnitt 60 den Signalverarbeitungsabschnitt 50 einem Lernen betreffend Bilddaten von kleinen Bereichen von 3 x 3 Pixel, die verschiedene Eigenschaften in dem Skizzen-Transformationsvorgang anzeigen.
In dem Signalverarbeitungsabschnitt 50, auf den das oben beschriebene Lernen angewendet wurde, werden die Bilddaten des Originalbildes zu den Zellen I&sub1; bis I&sub9; der Eingangsschicht 51 des Signalverarbeitungsabschnittes 50 durch Kleinbuddaten von 3 x 3 Pixel zu einem Zeitpunkt eingegeben, und die bezüglich aller Pixel transformierten Bilddaten werden als die transformierten Ausgangssignale Dout von der Zelle O&sub1; der Ausgangsschicht 53 erhalten. In dieser Weise können Bilddaten erhalten werden, bei denen der Skizzen-Transformationsvorgang der Transformation des Originalbildes, d.h. des photographierten Bildes einer Person, in ein Skizzen-Bild beendet wurde.
Bei dem Signalverarbeitungsabschnitt 50, bei dem der Lernvorgang durchgeführt wurde, wird eine Datenmatrix für die Skizzen-Bildtransformation durch die oben beschriebene Lernverarbeitung als Koeffizienten gebildet, die die Kopplungsstärke zwischen den Zellen, d.h. die Gewichtungskoeffizienten Wji anzeigen. Selbst wenn die Bildeingangsdaten Dm, die ein willkürliches Bild wiedergeben, das ein anderes als das Originalbild ist, zu den Zellen I&sub1; bis I&sub9; der Eingangsschicht 51 des Signalverarbeitungsabschnittes 50 durch Abrasterung von Kleinbilddaten von 3 x 3 Pixel zu einem Zeitpunkt eingegeben werden, können die Ausgangsbilddaten Dout die einer Skizzen-Bildtransformation bezüglich aller Pixel unterzogen wurden, als das Ausgangssignal von der Zelle Ol der Ausgangsschicht 53 erhalten werden.
Die vorliegende Erfindung ist nicht auf das oben beschriebene Ausführungsbeispiel beschränkt und als speziellen Bildverarbeitungsvorgang des Originalbildes können verschiedene Bildverarbeitungsvorgänge, wie beispielsweise Schwarz-/Weiß-Invertierung, Filtern, Linienverdünnung oder Kontur-Gewinnung zusätzlich zu dem Skizzen- Bildtransformationsvorgang durch Bildung der Datenmatrix für die Bildtransformation durch den oben genannten Lernvorgang gebildet werden.
Es kann ebenso ein anderer Lernalgorithmus als die back propagation-Lernvorschrift zur Anwendung des Lernvorganges auf den Lernverarbeitungsabschnitt 50 angewendet werden.
Nach Beendigung der Lernverarbeitung des Signalverarbeitungsabschnittes 50 werden die von der Eingangseinrichtung 10 in die Eingangsschicht 51 eingegebenen Eingangsbildsignale zu der Ausgangsvorrichtung 20 eingegeben, nachdem sie einer vorbestimmten Transformation wie durch das Lernen eingestellt unterzogen wurden, um dann auf einer Anzeigevorrichtung angezeigt oder durch eine Aufzeichnungsvorrichtung aufgezeichnet zu werden.
Die Bildtransformationsvorrichtung der vorliegenden Erfindung kann ebenso einen Signalverarbeitungsabschnitt verwenden, der durch ein Vielschicht-neuronales-Netzwerk gebildet ist, das ein anderes als das dreischichtige neuronale Netzwerk des in dem oben beschriebenen Ausführungsbeispiel verwendeten Signalverarbeitungsabschnittes 50 ist Beispielsweise kann der Signalverarbeitungsabschnitt durch ein vierschichtiges neuronales Netzwerk gebildet sein, in dem wie in Fig. 27 gezeigt die Eingangsschicht 51 durch 25 Zeilen I&sub1; bis I&sub2;&sub5; gebildet ist, zu den Eingangsbilddaten Din von 5 x 5 Pixel eingegeben werden, die erste Zwischenschicht 52A wird durch neun Zellen H&sub1;&sub1; bis H&sub1;&sub9; gebildet, die mit den Zellen I&sub1; bis I&sub2;&sub5; der Eingangsschicht 51 gekoppelt sind, die zweite Zwischenschicht 52B wird durch zwei Zellen H&sub2;&sub1;, H&sub2;&sub2; gebildet, die mit den Zellen H&sub1;&sub1; bis H&sub1;&sub9; der ersten Zwischenschicht 52A gekoppelt ist, und die Ausgangsschicht 53 wird durch eine Zelle O&sub1; gebildet.
Die Bildverarbeitungsvorrichtung der vorliegenden Erfindung ist so angeordnet und aufgebaut, daß ein Signalverarbeitungsabschnitt mit einer Lernfünktion und bestehend aus einer Eingangsschicht, einer Zwischenschicht und einer Ausgangsschicht, die jeweils aus mehreren Zellen bestehen, die die Signalverarbeitung vergleichbar zu der eines Neurons durchführen, einem Lernvorgang zum Lernen der Koeffizienten der Kopplungsstärke zwischen den Zellen bezüglich der Kleinbilddaten des Originalbildes unterzogen wird, die zu der Eingangsschicht auf Grundlage von Fehlersignalen zwischen dem Ausgangssignal von der Ausgangsschicht und Lernsignalen eingegeben werden, welche Lernsignale Kleinbilddaten von einem Bild sind, das durch Durchführen einer vorbestimmten Bildtransformation eines Originalbildes erhalten wird, so daß jegliche Eingangsbilddaten einer vorbestimmten Bildtransformationsverarbeitung in dem Signalverarbeitungsabschnitt unterzogen werden, der einen Lernvorgang vollzogen hat.
Daher kann gemaß der vorliegenden Erfindung jegliche gewünschte Bildtransformationsfunktion durch Anwenden gewunschter Bilddaten als Lernsignale zu dem Zeitpunkt des Lernvorganges des Signalverarbeitungsabschnittes ausgeführt werden. Komplizierte Bildtransformationsverarbeitungen können schnell durch ein vereinfachtes Netzwerk durch Unterziehen gewisser Bildeingangsdaten auf spezielle Bildtransformationsverarbeitung, wie beispielsweise einer Kantenverarbeitung, Mittelung oder Invertierung bei dem Signalverarbeitungsabschnitt erhalten werden, der zuvor einen Lernvorgang ausgeführt hat.

Claims

1. Bildverarbeitungsvorrichtung (1) zur Transformation eines Eingangsbildes in ein Linienbild mit:

a) einer Kantenerfassungseinrichtung (3) zur Aufhahme von Eingangsbilddaten, die ein Eingangsbild wiedergeben, zur Erfassung der Kanten des Eingangsbildes und zur Erzeugung von Kantenerfassungsdaten, die die Kanten wiedergeben;

b) einer Umsetzeinrichtung (4) zur Aufnahme der von der Kantenerfassungseinrichtung (3) ausgegebenen Kantenerfassungsdaten, wobei die Konvertierungseinrichtung (4) im Betrieb die Kantenerfassungsdaten durch Transformation ihrer Werte so konvertiert, daß das Histogramm der Kantenerfassungsdaten an der Ausgangsseite flacher wird als das Histogramm der Kantenerfassungsdaten an der Eingangsseite; und

c) einer Einrichtung (20) zur Anzeige oder Speicherung des Linienbildes auf der Grundlage der von der Konvertierungseinrichtung (4) ausgegebenen Signale.

2. Bildverarbeitungsvorrichtung nach Anspruch 1, weiterhin aufweisend:

eine Mischeinrichtung (6) zur Addition von Farbdatensignalen entsprechend der Farben des Eingangsbildes zu den von der Konvertierungseinrichtung (4) ausgegebenen Kantenerfassungsdaten, wobei die Einrichtung (20) das farbaddierte Linienbild auf Grundlage der von der Mischeinrichtung (6) ausgegebenen Signale anzeigt oder speichert.

3. Bildverarbeitungsvonichtung nach Anspruch 1, aufweisend:

eine Mischeinrichtung (34) zur Addition von Farbdatensignalen entsprechend der Farben des Eingangsbildes zu den Kantenerfassungsdaten, die von der Konvertierungseinrichtung (33) ausgegeben werden, und

eine zweite Konvertierungseinrichtung (35) zur Aufhahme von Signalen als Eingangssignale, die von der Mischeinrichtung (34) ausgegeben werden, wobei die zweite Konvertierungseinrichtung (35) die Farbdatensignale so konvertiert, daß das Histogramm ihrer Farbdatensignale an der Ausgangsseite flacher wird als das Histogramm der Farbdatensignale an der Eingangsseite, wobei

die Einrichtung (20) ein farbaddiertes Linienbild auf Grundlage der von der zweiten Konvertierungseinrichtung (35) ausgegebenen Signale anzeigt oder speichert.

4. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, bei der die Kantenerfassungseinrichtung (3) und die Konvertierungseinrichtung (4) zusammen einen Eingangsabschnitt (51) und einen Zwischenabschnitt (52), von denen jeder mehrere Zellen (I&sub1;-I&sub9;, H&sub1;-H&sub3;) aufweist, die eine Signalverarbeitung durchführen, sowie einen Ausgangsabschnitt (83) mit einer Zelle (O&sub1;) aufweisen, wobei die von den Zellen des Eingangsabschnittes (51) ausgegebenen Signale jeweils mit einem Gewichtungskoeffizienten multipliziert werden, um zu den Zellen des Zwischenabschnittes (52) eingegeben zu werden, und wobei die von den Zellen des Zwischenabschmttes (52) ausgegebenen Signale jeweils mit einem Gewichtungskoeffizienten multipliziert werden, um zu den Zellen des Ausgangsabschnittes (53) ausgegeben zu werden, so daß die Eingangsbilddaten, die das Eingangsbild wiedergeben und die zu dem Eingangsabschnitt (51) eingegeben wurden, der gewunschten Transformation unterzogen werden, wobei die Bildverarbeitungsvorrichtung (50) aufweist:

a) eine Vergleichseinrichtung (60) zum Vergleich der von dem Ausgangsabschnitt ausgegebenen Bilddaten mit Linienbilddaten, die ein gewunschtes Linienbild anzeigen, wenn Bilddaten, die ein Teilbild eines willkürlich kleinen Bildbereiches des Eingangsbildes wiedergeben, zu dem Eingangsabschnitt eingegeben werden, und

b) eine Koeffizienten-Einstelleinrichtung zur Festlegung der Gewichtungskoeffizienten entsprechend den Zellen auf Grundlage der Vergleichsergebnisse von der Vergleichseinrichtung (60), wobei die Zellen in dem Eingangsabschnitt (51), dem Zwischenabschnitt (52) und dem Ausgangsabschnitt (53) die Teilbilddaten, die ein gegebenes Kleinbereichsbild des Eingangsbildes wiedergeben, in ein Linienbild wiedergebende Linienbilddaten unter Verwendung der Gewichtungskoeffizienten transformieren, die zuvor durch die Koeffizienten-Einstelleinrichtung eingestellt wurden.