DE69833836T2

DE69833836T2 - Verfahren und Gerät zur massstäblichen Umformung von Bildern

Info

Publication number: DE69833836T2
Application number: DE1998633836
Authority: DE
Inventors: Tetsujiro Shinagawa-ku Kondo
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-30
Filing date: 1998-07-29
Publication date: 2007-01-11
Anticipated expiration: 2018-07-30
Also published as: KR19990014287A; KR100591867B1; AU7858798A; JP4105257B2; ES2256921T3; DE69833836D1; US6278806B1; EP0895188B1; SG87004A1; HK1019254A1; CN1139897C; JPH1153529A; CN1208906A; EP0895188A3; AU749662B2; EP0895188A2

Description

Die vorliegende Erfindung bezieht sich auf eine Speichervorrichtung und Speicherverfahren, insbesondere auf eine Speichervorrichtung und ein Speicherverfahren, welche beispielsweise zur Vergrößerung eines Bildes verwendet werden.
Es ist ein Codierverfahren bekannt, bei dem hochauflösende Bilddaten als unterste Basisebene oder als erste Bilddatenebene festgesetzt werden, eine zweite Bilddatenebene aus einer kleineren Anzahl von Pixeln gebildet wird, und eine dritte Bilddatenebene mit einer weiteren kleineren Anzahl von Pixeln gebildet wird, auf die die Bildung einer vierten obersten Bilddatenebene folgt. Dieses Codieren wird als hierarchisches Codieren bezeichnet, und Bilddaten in jeder Ebene werden auf einem Monitor angezeigt, der eine Auflösung (Anzahl von Pixeln) entsprechend der Ebene hat. Folglich kann ein Benutzer Bilddaten in hierarchischcodierten Bilddaten entsprechend der Auflösung des Monitors eines Benutzers auswählen, um die entsprechenden Bilder zu betrachten.
Bei einem vor kurzem vorgeschlagenen hierarchischen Codierverfahren werden jedoch Ursprungsbilddaten als erste Bilddatenebene festgesetzt, und lediglich Bilddaten in höheren Ebenen bezogen auf eine kleinere Anzahl von Pixeln werden gebildet. Das heißt, durch das vor kurzem vorgeschlagene hierarchische Codierverfahren wird kein Bild mit einer Anzahl von Pixeln gebildet, die größer ist als die Anzahl von Pixeln der ursprünglichen Bilddaten.
Bei dem hierarchischen Codieren ist es angenehm, ein Verfahren zum Bilden eines Bilds mit einer Anzahl von Pixeln zu verwenden, die größer ist als die Anzahl von Pixeln der ursprünglichen Bilddaten (anschließend als Pixelmultiplikationsbild bezeichnet, wenn es die Gelegenheit erfordert), wenn beispielsweise elektronisches Zoomen durchgeführt wird.
Das heißt, wenn ein Bild mit einer Anzahl von Pixeln, die kleiner ist als die Anzahl von Pixeln der ursprünglichen Bilddaten, vorbereitet wird, kann das Bild bezüglich der Größe unmittelbar verkleinert werden, und, wenn ein Pixelmultiplikationsbild vorbereitet wird, kann das Bild bezüglich der Größe unmittelbar vergrößert werden.
Allgemein wird beim elektronischen Zoomen die Bildvergrößerungsfunktion häufiger als die Bildverkleinerungsfunktion verwendet. Das heißt, in einem Fall, wo ein Benutzer beispielsweise ein Bild betrachtet, welches von einem Aufzeichnungsträger übertragen oder reproduziert wird, ist es ziemlich wahrscheinlich, dass er wünscht, einen Teil oder das gesamte betrachtete Bild zu vergrößern.
Eine Hochgeschwindigkeits-Videodaten-Übertragungsvorrichtung ist in der US-A 5 585 864 offenbart und weist einen Videospeicher auf, um ein Bild zu speichern, einen FIFO, der entweder dazu dient, das Bild während der Übertragung der Bilddaten vom Videospeicher in den Video-RAM zur Anzeige zu vergrößern oder zu verkleinern.
Eine Videoumformungseinrichtung ist in der EP-A 0 577 337 offenbart und formt ein Bild durch adaptives Codieren eines Videosignals auf der Basis einer Auswahl, welche unter einer Anzahl von Vorhersagen hergenommen wird, von vorher codierten Bildern maßstäblich um und einer Auswahl von kompatibeln Abschnitten, welche vom Aufwärtsabtasten decodierter Bilder mit niedrigerer Auflösung der aktuell temporären Referenz erhalten werden.
Gemäß einem ersten Merkmal der Erfindung wird eine Speichervorrichtung zum Speichern eines Bilds bereitgestellt, die aufweist:
einen ersten Speicherabschnitt, in welchem Adressen durch zumindest erste und zweite Adresssignale, um ein Eingangsbild zu speichern, bezeichnet sind;
einen Bildungsabschnitt, um von dem Eingangsbild ein Pixel-Multiplikationsbild zu bilden, welches ein Bild ist, welches aus einer Anzahl von Pixeln gebildet ist, die größer ist als die Anzahl von Pixeln, die das Eingangsbild bilden;
einen zweiten Speicherabschnitt, in welchem Adressen durch zumindest die ersten und zweiten Adresssignale, um das Pixel-Multiplikationsbild zu speichern, bezeichnet sind; und
eine Adresszuführschaltung, die betreibbar ist, die ersten und zweiten Adresssignale zu sowohl dem ersten Speicherabschnitt als auch dem zweiten Speicherabschnitt zu liefern, um das Eingangsbild bzw. das Pixel-Multiplikationsbild zu speichern, und betreibbar ist, selektiv die ersten und zweiten Adresssignale entweder zum ersten Speicherabschnitt oder zum zweiten Speicherabschnitt zu liefern, um das Eingangsbild oder das Pixel-Multiplikationsbild entsprechend auszulesen.
Gemäß einem weiteren Merkmal der Erfindung wird ein Speicherverfahren bereitgestellt, welches folgende Schritte aufweist:
Bewirken, dass ein erster Speicherabschnitt ein Eingangsbild speichert, wobei im ersten Speicherabschnitt Adressen bezeichnet sind, durch zumindest erste und zweite Adresssignale, welches durch eine Adresslieferschaltung geliefert werden;
Bilden – aus dem Eingangsbild – eines Pixel-Multiplikationsbilds, welches ein Bild ist, welches aus einer Anzahl von Pixeln gebildet ist, die größer ist als die Anzahl der Pixel, welche das Eingangsbild bilden;
Bewirken, dass ein zweiter Speicherabschnitt das Pixel-Multiplikationsbild speichert, wobei der zweite Speicherabschnitt darin bezeichnete Adressen hat, durch zumindest die ersten und zweiten Adresssignale, welches durch die Adresslieferschaltung geliefert werden; und
Selektives Liefern – von der Adresslieferschaltung – zu einem vom ersten Speicherabschnitt oder vom zweiten Speicherabschnitt – der ersten und zweiten Adresssignale, um entsprechend das Eingangsbild oder das Pixel-Multiplikationsbild zu lesen.
Eine bevorzugte Ausführungsform der Erfindung, die anschließend beschrieben wird, stellt beispielsweise eine Speichervorrichtung und ein Speicherverfahren zum Speichern von Daten eines Bilds bereit, mit dem das Bild unmittelbar vergrößert werden kann.
Die Erfindung wird weiter mittels eines beispielhaften und nicht einschränkenden Beispiels mit Hilfe der beiliegenden Zeichnungen beschrieben, in denen:
1 ein Blockdiagramm ist, welches eine Ausführungsform einer Speichervorrichtung zeigt, für die die vorliegende Erfindung angewandt wird;
2 ein Diagramm ist, welches ein Eingabebild zeigt, das der Speichervorrichtung, welche in 1 gezeigt ist, zugeführt wird;
3 ein Diagramm ist, um die Verarbeitung in einer Pixelmultiplikations-Bildformungsschaltung 3 zu erläutern, die in 1 gezeigt ist;
4 ein Diagramm ist, welches ein Pixelmultiplikationsbild zeigt;
5 ein Blockdiagramm ist, welches eine erste ausführliche Anordnung für die in 1 gezeigte Speichervorrichtung zeigt;
6 ein Blockdiagramm ist, welches eine zweite Anordnung für die in 1 gezeigte Speichervorrichtung ausführlich zeigt;
7 ein Blockdiagramm ist, welches eine Anordnung für die Pixelmultiplikations-Bildbildungsschaltung 3, welche in 1 gezeigt ist, ausführlich zeigt;
8 ein Diagramm ist, um Verarbeitung in der Klassifikationsblock-Formungsschaltung 41 und der Vorhersagewert-Berechnungsblock-Formungsschaltung 42, welche in 7 gezeigt ist, zu erläutern;
9 ein Diagramm ist, um Klassifikationsverarbeitung zu erläutern;
10 ein Diagramm ist, um ADRC-Verarbeitung zu erläutern; und
11 ein Blockdiagramm ist, welches den Aufbau eines Bildprozessors zeigt, der Lernen zum Erhalten von Vorhersagekoeffizienten ausführt.
1 zeigt den Aufbau einer Ausführungsform einer Speichervorrichtung, für welche die vorliegende Erfindung angewandt wird.
Diese Speichervorrichtung besteht beispielsweise aus einem komplementären Metalloxid-Halbleiter (CMOS) in einem Chip oder dgl., und ist eingerichtet, ein Bild, welches diesem zugeführt wird, zu speichern und hierarchische Codierung durchzuführen, um ein Pixelmultiplikationsbild zu bilden und zu speichern, d.h., ein Bild, welches eine Anzahl von Pixeln hat, die größer ist als die Anzahl von Pixeln des zugeführten Bilds.
Eine Adresslieferschaltung 1 wird mit Horizontal- und Vertikaladressen beliefert, von denen jede eine Adresse ist, welche der Position in der horizontalen oder vertikalen Richtung eines Pixels entspricht, welches ein Bild (Eingangsbild) bildet, welches der Speichervorrichtung zugeführt wird.
Diese Ausführungsform wird in Bezug auf einen Fall beschrieben, wo ein Bild, welches einen Rahmen, der aus 512 Pixeln in der horizontalen Richtung und aus 512 Zeilen in der vertikalen Richtung gebildet ist, hat. Folglich wird die Gruppen mit horizontaler Adresse und die Gruppen mit vertikaler Adressen durch 9 (= log₂512) Bits dargestellt.
Die Adressenlieferschaltung 1 ist eingerichtet, Horizontal- und Vertikaladressen, welche zu ihr geliefert werden, gemäß der Notwendigkeit zu verarbeiten und Adressen zu einem Eingangsbildspeicher 2 und zu einem Pixelmultiplikations-Bildspeicher 4 zu liefern. Die Adresslieferschaltung 1 wird außerdem mit einem Takt (in 5 bis 7 nicht gezeigt), einem Lese- und Schreibsignal (R/W-Signal) und einem Auswahlflag sowie mit Horizontal- und Vertikaladressen beliefert. Die Adresslieferschaltung 1 ist eingerichtet, Adressen zum Eingangsbildspeicher 2 und zum Pixelmultiplikations-Bildspeicher 4 synchron mit dem Takt zu liefern. Die Adresslieferschaltung 1 ist außerdem eingerichtet, Horizontal- und Vertikaladressen, die zu ihr geliefert werden, gemäß dem R/W-Signal und dem Auswahlflag zu verarbeiten.
Das R/W-Signal ist ein Signal, um das Lesen von Bilddaten von der Speichervorrichtung oder das Schreiben der Bilddaten in die Speichervorrichtung zu bestimmen, und das Auswahlflag ist beispielsweise ein Flag mit einem Bit, um das Lesen eines Bilds zu bestimmen, welches in der Eingangsspeichereinrichtung 2 gespeichert ist, oder das Lesen eines Bilds, welches in der Pixelmultiplikations-Bildspeicher 4 gespeichert ist. Das Auswahlflag ist lediglich effektiv (signifikant), wenn das R/W-Signal das Lesen von Bilddaten bestimmt. Das heißt, da das Schreiben von Bilddaten in den Eingangsbildspeicher 2 und das Schreiben von Bilddaten in den Pixelmultiplikations-Bildspeicher 4 parallel miteinander (oder im Wesentlichen gleichzeitig miteinander) wie oben beschrieben durchgeführt werden, wird das Auswahlflag im Zeitpunkt des Schreibens ignoriert.
Der Eingangsbildspeicher 2 (erste Speichereinrichtung) ist eingerichtet, mit Adressen von der Adresslieferschaltung 1 Bilddaten, welche von einer Lesemodifizier-Schreibschaltung (RMW) 5 geliefert werden, zu speichern, und die Bilddaten, welche mit den Adressen gespeichert sind, zu lesen und an die RMW-Schaltung 5 auszugeben. Der Eingangsbildspeicher 2 speichert ein Bild, welches der Speichervorrichtung zugeführt wird (als Ursprungsbild bezeichnet, wenn die Gelegenheit es erfordert), ohne das Bild zu ändern. Außerdem kann der Eingangsbildspeicher 2 zumindest einen Rahmen eines Ursprungsbilds speichern, d.h., Bilddaten von 512 × 512 Pixeln, wie in 2 gezeigt ist. Außerdem haben Speicherzellen, die den Eingangsbildspeicher 2 bilden, zumindest eine Datenlänge entsprechend beispielsweise der Anzahl von Bits, die jedem der Pixel zugeordnet sind, welche ein Ursprungsbild bilden. Das heißt, wenn ein Pixel, welches ein Ursprungsbild darstellt, durch beispielsweise 8 Bits dargestellt wird, haben die Speicherzellen, die zumindest den Eingangsbildspeicher 2 bilden, zumindest eine Datenlänge von 8 Bits.
Eine Pixelmultiplikations-Bildformungsschaltung 3 (Formungseinrichtung) ist eingerichtet, ein Pixelmultiplikationsbild vom Ursprungsbild, welches im Eingangsbildspeicher 2 gespeichert ist, zu bilden, und liefert das Pixelmultiplikationsbild zum Pixelmultiplikations-Bildspeicher 4. Das heißt, in Bezug auf ein beobachtetes Pixel, welches ein Ursprungsbild bildet, beispielsweise ein Pixel A₁, wie in 3 gezeigt ist, bildet die Pixelmultiplikations-Bildformungsschaltung 3 neu ein Pixel a₁₂ zwischen dem beobachteten Pixel A₁ und einem Pixel A₂, welches benachbart auf der rechten Seite des beobachteten Pixels A₁ angeordnet ist, und einem Pixel a₁₃ zwischen dem beobachteten Pixel A₁ und einem Pixel A₃, welches benachbart unterhalb des beobachteten Pixels A₁ angeordnet ist, und bildet außerdem ein Pixel a₁₂₃₄ zwischen dem beobachteten Pixel A₁ und einem Pixel A₄, welches angrenzend weg von unten rechts vom beobachteten Pixel A₁ (zwischen Pixeln A₂ und A₃) angeordnet ist. Die Pixelmultiplikations-Bildformungsschaltung 3 führt diese Verarbeitung in Bezug auf jedes beobachtete Pixel aufeinanderfolgend ausgewählt von allen Pixeln, welche das Ursprungsbild bilden, durch, wodurch ein Bild gebildet wird, welches die Anzahl von Pixeln in der horizontalen und der vertikalen Richtung hat, die zwei Mal so groß ist wie die des Ursprungsbilds, d.h., ein Bild, welches 1024 × 1024 Pixel hat, als (Anzahl von Spalten) × (Anzahl von Reihen), wie in 4 gezeigt ist.
Als Verfahren zum Formen eines Pixelmultiplikationsbilds in der Pixelmultiplikations-Bildformungsschaltung 3 kann ein Verfahren verwendet werden, bei dem ein Pixel, welches ein Pixelmultiplikationsbild bildet, durch Durchführen von Wichtungsaddition unter Verwendung von mehreren Pixeln gebildet wird, die ein Ursprungsbild bilden und eine Korrelation mit einem Pixel haben. Das heißt, in einem solchen Fall kann in Bezug auf 3 ein Pixel a₁₂ eines Pixelmultiplikationsbildes beispielsweise der Durchschnitt von zwei Pixeln A₁ und A₂ des Ursprungsbilds benachbart zu einem Pixel a₁₂ in der horizontalen Richtung sein (erlangt durch Wichtungsaddition von A₁ und A₂ in Bezug auf das Gewicht von A₁ und A₂, welches auf 1 festgelegt ist). Außerdem kann das Pixel a₁₃ des Pixelmultiplikationsbilds der Durchschnitt von zwei Pixeln A₁ und A₃ des Ursprungsbilds benachbart zum Pixel a₁₃ in der vertikalen Richtung sein. Außerdem kann das Pixel a₁₂₃₄ des Pixelmultiplikationsbilds beispielsweise der Durchschnitt der beiden Pixel A₁, A₂, A₃ und A₄ des Ursprungsbilds sein, welches dem Pixel a₁₂₃₄ in diagonalen Richtungen benachbart ist. Außerdem kann in einem solchen Fall das Pixel A₁ des Ursprungsbilds beispielsweise ohne Änderung als das Pixel des Pixelmultiplikationsbilds an der entsprechenden Position verwendet werden.
Der Pixelmultiplikations-Bildspeicher 4 (zweite Speichereinrichtung) ist eingerichtet, Bilddaten, welche von der Pixelmultiplikations-Bildformungsschaltung 3 geliefert werden, d.h., ein Pixelmultiplikationsbild bei dieser Ausführungsform, mit Adressen von der Adresslieferschaltung 1, und um die Bilddaten, welche mit den Adressen gespeichert sind, zu lesen und diese an die RMW-Schaltung 5 auszugeben. Der Pixelmultiplikations-Bildspeicher 4 besitzt eine Speicherkapazität zum Speichern von zumindest einem Rahmen des Pixelmultiplikationsbilds, d.h. eines Bilds, welches aus 1024 × 1024 Pixel gebildet ist, wie bei dieser Ausführungsform in 4 gezeigt ist. Speicherzellen, welche den Pixelmultiplikations-Bildspeicher 4 bilden, haben zumindest eine Datenlänge, um in der Lage zu sein, die Pixel, welche das Pixelmultiplikationsbild bilden, welches vom Pixelmultiplikations-Bildformungsschaltung 3 geliefert wird, ohne Auslassung irgendeines Zeichens zu speichern. Außerdem kann die Datenlänge der Speicherzellen, welche den Pixelmultiplikations-Bildspeicher 4 bilden, beispielsweise auf 8 Bits festgelegt werden, d.h., die gleiche Datenlänge wie die des Eingangsbildspeichers 2.
Der Takt wird zum Eingangsbildspeicher 2, zur Pixelmultiplikations-Bildformungsschaltung 3 und zum Pixelmultiplikations-Bildspeicher 4 geliefert. Synchron mit dem Takt wird das Lesen oder Schreiben von Daten im Eingangsbildspeicher 2 und im Pixelmultiplikations-Bildspeicher 4 durchgeführt, und ein Pixelmultiplikationsbild wird in der Pixelmultiplikations-Bildformungsschaltung 3 gebildet.
Die RME-Schaltung 5 ist eingerichtet, Bilddaten, die als Ursprungsdaten zur Speichervorrichtung geliefert werden, in den Eingangsbildspeicher 2 zu schreiben. Die RMW-Schaltung 5 ist außerdem eingerichtet, Bilddaten, welche im Eingangsbildspeicher 2 gespeichert sind, zu lesen, oder Bilddaten, welche im Pixelmultiplikations-Bildspeicher 4 gespeichert sind, auszugeben. Der Takt, das R/W-Signal und das Auswahlflag werden zur RMW-Schaltung 5 geliefert. Die RMW-Schaltung 5 ist eingerichtet, verschiedene Arten an Verarbeitung synchron mit dem Takt und auf der Basis des R/W-Signals und des Auswahlflags durchzuführen.
5 zeigt eine erste Anordnung für die Speichervorrichtung, welche in 1 gezeigt ist, ausführlich.
Die Speichervorrichtung wird mit Hilfe eines Falls beschrieben, wo Bilddaten, in denen jeweils 512 × 512 Pixel durch 8 Bits dargestellt werden, als Ursprungsbild zur Speichervorrichtung, wie in 2 gezeigt ist, geliefert werden, und wo Bilddaten geliefert werden, welche in einer progressiven Abtastweise abgetastet werden.
Um die Erläuterung weiter zu vereinfachen, werden Pixel, welche ein Ursprungsbild bilden, in einer Weise ausgedrückt, dass das äußerst linke und das oberste Pixel gleich p(0, 0) sind, und das Pixel bei der (x+1)-ten Position von der äußerst linken Position und bei der (y+1)-ten Position von der obersten Position, die andere Pixel darstellen, gleich p(x, y) ist. Da ein Ursprungsbild aus 512 × 512 Pixeln wie oben beschrieben besteht, hat jedes x und y einen ganzzahligen Wert im Bereich von 0 bis 511 (= 2⁹-1).
Bei dieser Ausführungsform ist ein Pixelmultiplikationsbild, welches aus 1024 × 1024 Pixeln gebildet ist, wie in 4 gezeigt ist, von einem Ursprungsbild in der Pixelmultiplikations-Bildformungsschaltung 3 gebildet. Um die Erläuterung zu erleichtern, werden Pixel, die ein solches Pixelmultiplikationsbild bilden, in einer Weise ausgedrückt, dass das äußerst linke und das oberste Pixel gleich q (0, 0) ist, und das Pixel an der (m+1)-ten Position von der äußerst linken Position und an der n+1)-ten Position von der obersten Position, welche die anderen Pixel darstellen, gleich q(n, m) ist. Da ein Pixelmultiplikationsbild aus 1024 × 1024 Pixeln gebildet ist, hat jedes von m und n einen ganzzahligen Wert im Bereich von 0 bis 1023 (= 2¹⁰-1).
Weiter sei angenommen, dass in jeder Datenschreibperiode und Datenleseperiode Kombinationen (HA, VA) der Horizontaladresse HA und der Vertikaladresse VA synchron mit dem Takt in der folgenden Reihenfolge geliefert werden:
(0, 0), (1, 0) ..., (511, 0)
(0, 1), (1, 1), ... (511, 1)
(511, 0), (511, 1), ..., (511, 511), d.h., der Reihenfolge entsprechend dem progressiven Abtasten.
Wenn Bilddaten in die Speichervorrichtung geschrieben werden, wird ein Ursprungsbild zur RMW-Schaltung 5 geliefert, wobei es progressiv synchron mit dem Takt abgetastet wird. Mit dieser Bilddatenlieferung werden die Horizontaladresse HA und die Vertikaladresse VA zur Adresslieferschaltung 1 geliefert, wie oben beschrieben wurde.
Bei der in 5 gezeigten Ausführungsform ist die Adressschaltung 1 mit Verzögerungsschaltungen 11a, 11b, 11c und 11d gebildet, die darin enthalten sind. Die Verzögerungsschaltungen 11a, 11b, 11c und 11d sind so eingerichtet, um durch notwendige Zeitperioden die Horizontaladresse und die Vertikaladresse VA, welche zur Adresslieferschaltung 1 geliefert wird, zu verzögern, und die verzögerte Adresse zu Adressanschlüssen (AD) von Speichern 13a, 13b, 13c und 13d zu liefern, die den Pixelmultiplikations-Bildspeicher 4 bilden. Die Adresslieferschaltung 1 ist außerdem einrichtet, um unmittelbar zu den Adressanschlüssen (AD) des Eingangsbildspeichers 2 die Horizontaladresse HA und die Vertikaladresse VA zu liefern, welche zur Adresslieferschaltung 1 geliefert werden.
Die Pixelmultiplikations-Bildformungsschaltung 3 besteht aus Pixelformungsschaltungen 12a, 12b, 12c und 12d. Jede Pixelformungsschaltung 12a, 12b, 12c und 12d ist so eingerichtet, um eines oder mehrere Pixel zu lesen, die ein Ursprungsbild bilden, welches im Eingangsbildspeicher 2 gespeichert wurde, um anschließend ein oder mehrere Pixel zu bilden, die ein Pixelmultiplikationsbild bilden, von den Pixeln, die ausgelesen wurden, und entsprechend die geformten Pixel zu Speichern 13a, 13b, 13c und 13d zu liefern, welche den Pixelmultiplikations-Bildspeicher 4 bilden.
Die Pixelmultiplikations-Bildformungsschaltung 3 ist aus vier Pixelformungsschaltungen 12a bis 12d aus dem oben beschriebenen Grund gebildet. Das heißt, während ein Rahmen eines Ursprungsbilds aus 512 × 512 Pixeln gebildet ist, wird ein Rahmen eines Pixelmultiplikationsbilds aus 1024 × 024 Pixeln gebildet. Folglich, wenn diese Beziehung einfach betrachtet wird, entspricht ein Pixel eines Ursprungsbilds 4 Pixeln eines Pixelmultiplikationsbilds. Um dann vier Pixel eines Pixelmultiplikationsbilds in Bezug auf ein Pixel eines Ursprungsbilds zu bilden, wird die Pixelmultiplikations-Bildformungsschaltung 3 aus vier Pixelformungsschaltungen 12a bis 12d gebildet, um entsprechend vier Pixel zu formen.
Es sei hier angenommen, dass vier Pixel q(2x, 2y), q(2x+1, 2y), a(2x, 2y+1) und q(2x+1, 2y+1) eines Pixelmultiplikationsbilds auf ein Pixel p(x, y) eines Ursprungsbilds bezogen sind (beispielsweise in einem Fall, wo in bezug auf 3 das Pixel A₁ eines Ursprungsbilds ein beobachtetes Pixel ist, sind ein Pixel eines Pixelmultiplikationsbilds an der Position des Pixels A₁ und benachbarte Pixel a₁₂, a₁₃ und a₁₂₃₄ des Pixelmultiplikationsbilds gebildet) und das Pixel q(2x, 2y), q(2x+1, 2y), a(2x, 2y+1) und q(2x+1, 2y+1) des Pixelmultiplikationsbilds in den Pixelformungsschaltungen 12a bis 12d entsprechend erzeugt werden.
Der Pixelmultiplikations-Bildspeicher 4 ist aus vier Speichern 13a bis 13d gebildet, wie oben erläutert wurde. Die Speicher 13a bis 13d sind eingerichtet, entsprechend Pixeln q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) eines Pixelmultiplikationsbilds zu speichern, welche von Pixelformungsschaltungen 12a bis 12d geliefert werden, mit Adressen, welche von den Verzögerungsschaltungen 11a bis 11d geliefert werden. Folglich hat jeder der Speicher 13a bis 13d eine Kapazität, um 512 × 512 Pixel zu speichern.
Die Speicher 13a bis 13d sind außerdem eingerichtet, Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) eines Pixelmultiplikationsbilds, welches darin gespeichert ist, zu lesen, mit Adressen, welche von den Verzögerungsschaltungen 11a bis 11d geliefert werden, und die Pixel an die RMW-Schaltung 5 auszugeben.
Die Arbeitsweise dieser Speichervorrichtung wird anschließend beschrieben. Zunächst beliefert, wenn Bilddaten geschrieben werden, d.h., dass das R/W-Signal das Schreiben bestimmt, die Adresslieferschaltung 1 unmittelbar den Eingangsbildspeicher 2 mit der Horizontaladresse HA und der Vertikaladresse VA, die zur Adresslieferschaltung 1 geliefert werden. Dagegen schreibt die RMW-Schaltung 5 die Ursprungsbilddaten, die zu ihr geliefert werden. Die RMW-Schaltung 5 schreibt die Ursprungsbilddaten in die Speicherzellen (nicht gezeigt) des Eingangsbildspeichers 2, die durch Horizontaladressen HA und Vertikaladressen VA bestimmt werden. Die gleiche Verarbeitung wird wiederholt, um im Eingangsspeicher 2 einen Rahmen eines Ursprungsbilds zu speichern, welcher aus 512 × 512 Pixeln gebildet ist. Das heißt, in dieser Art und Weise werden Pixel (Pixelwerte) einer ersten Ebene
p(0, 0), p(1, 0), ..., p(511, 0),
p(0, 1), p(1, 1), ..., p(511, 1),
...
p(511, 0), p(511, 1), ..., p(511, 511) entsprechend im Eingangsbildspeicher 2 mit Adressen gespeichert:
(0, 0), (1, 0), ..., (511, 0),
(0, 1), (1, 1), ..., (511, 1),
...
(511, 0), (511, 1), ..., (511, 511)
Wenn die Pixel des Ursprungsbilds, die zum Erzeugen der Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) notwendig sind, die ein Pixelmultiplikationsbild formen, im Eingangsbildspeicher 2 gespeichert sind, werden die Pixel (Pixelwerte) des Ursprungsbilds zu den Pixelformungsschaltungen 12a bis 12d der Pixelmultiplikations-Bildformungsschaltung 3 gelesen, und die Pixelformungsschaltung 12a bis 12d erzeugen entsprechend Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) des Pixelmultiplikationsbilds und liefern entsprechend diese Pixel zu den Speichern 13a bis 13d.
Das heißt, das Pixel des Pixelmultiplikationsbilds an der Position des Pixels A₁ des Ursprungsbilds ist beispielsweise das Pixel A₁, wie oben mit Hilfe von 3 erwähnt wurde. Folglich liest, wenn das Pixel A₁ im Eingangsbildspeicher 2 gespeichert ist, die Pixelformungsschaltung 12a unmittelbar und liefert das Pixel A₁ zum Speicher 13a als Pixel q(2x, 2y) des Pixelmultiplikationsbilds.
Gemäß weiterhin nach 3 ist das Pixel a₁₂ des Pixelmultiplikationsbilds der Durchschnittswert von Pixeln A₁ und A₂ des Ursprungsbilds. Folglich liest die Pixelformungsschaltung 12b Pixel A₁ und A₂ nach Abschluss der Speicherung des Pixels A₂ in den Eingangsbildspeicher 2 im Anschluss an die Speicherung des Pixels A₁. Die Pixelformungsschaltung 12b berechnet dann den Durchschnitt von Pixeln A₁ und A₂ und gibt das Berechnungsergebnis an den Speicher 13b als Pixel q(2x+1, 2y) des Pixelmultiplikationsbilds aus.
Weiter ist in Bezug auf 3 das Pixel a₁₃ des Pixelmultiplikationsbilds der Durchschnitt von Pixeln A₁ und A₃ des Ursprungsbilds. Folglich liest die Pixelformungsschaltung 12c Pixel A₁ und A₃ nach Beendigung der Speicherung des Pixels A₃ in den Eingangsbildspeicher 2 mit Speicherung von Pixeln entsprechend einer Zeile (Pixel des Ursprungsbilds entsprechend einer Zeile) nachfolgend an die Speicherung des Pixels A₁. Die Pixelformungsschaltung 12c berechnet dann den Durchschnittswert von Pixeln A₁ und A₃ und gibt das Berechnungsergebnis an den Speicher 13c als Pixel q(2x, 2y+1) des Pixelmultiplikationsbilds aus.
Außerdem ist in Bezug ebenfalls auf 3 das Pixel a₁₂₃₄ des Pixelmultiplikationsbilds der Durchschnitt von Pixeln A₁ bis A₄ des Ursprungsbilds. Folglich liest die Pixelformungsschaltung 12d Pixel A₁ bis A₄ nach Abschluss der Speicherung dieser Pixel aus. Die Pixelformungsschaltung 12d berechnet dann den Durchschnitt der Pixel A₁ bis A₄ und gibt das Berechnungsergebnis an Speicher 13d als Pixel q(2y+1, 2y+1) des Pixelmultiplikationsbilds aus.
Dagegen werden in den Verzögerungsschaltungen 11a bis 11d der Adresslieferschaltung 1 die Horizontaladresse HA und die Vertikaladresse VA entsprechend um Zeitperi oden verzögert, welche durch die Pixelformungsschaltungen 12a bis 12d erforderlich sind, um Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) des Pixelmultiplikationsbilds zu erzeugen, und werden danach zu den Speichern 13a bis 13d entsprechend geliefert.
Als Ergebnis werden in den Speichern 13a bis 13d Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1), welche von den Pixelformungsschaltungen 12a bis 12d geliefert werden, entsprechend mit der gleichen Adresse (x, y) gespeichert.
Im Anschluss an den Lesezeitpunkt, d.h., wenn das R/W-Signal das Lesen bestimmt, und wenn das Auswahlflag das Ursprungsbild bestimmt, liefert die Adresslieferschaltung 1 unmittelbar zu den Adressanschlüssen des Eingangsbildspeichers 2 die Horizontaladresse HA und die Vertikaladresse VA, welche zur Adresslieferschaltung 1 geliefert werden. Danach liest die RMW-Schaltung 5 sequentiell die Pixel (Pixelwerte) des Ursprungsbilds, welches in den Speicherzellen des Eingangsbildspeichers 2 gespeichert sind, die durch die Horizontaladresse HA und die Vertikaladresse VA bestimmt werden.
Ein Rahmen des Ursprungsbilds, welches aus 512 × 512 Pixeln gebildet ist, wird vom Eingangsbildspeicher 2 in der oben beschriebenen Weise gelesen, um das Ursprungsbild auszugeben, welches somit progressiv abgetastet ist.
Wenn dagegen das Auswahlflag das Pixelmultiplikationsbild bestimmt, während das R/W-Signal das Lesen bestimmt, verzögert die Adresslieferschaltung 1 in den Verzögerungsschaltungen 11a bis 11d die Horizontaladresse HA und die Vertikaladresse VA, die zu ihr geliefert werden, um diese Beträge, dass das Pixelmultiplikationsbild in der Reihenfolge gemäß der progressiven Abtastung ausgegeben werden kann, und gibt die verzögerten Adressen an die Adressanschlüsse der Speicher 13a bis 13d aus.
Das heißt, dass die Speicher 13a bis 13d Pixel haben q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1), welche darin mit der gleichen Adresse (x, y) gespeichert sind. Um die Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) aus den Speichern 13a und 13d in der Reihenfolge gemäß der progressiven Abtastung zu lesen, ist es daher notwendig, in Bezug auf das Pixel q(2x, 2y) die Adresse (x, y) zum Speicher 13b mit einer Verzögerung entsprechend einem Pixel (1 Pixel des Pixelmultiplikationsbilds) von dem Moment an zu liefern, bei dem die Adresse (x, y) zum Speicher 13a geliefert wird. Es ist auch notwendig, die Adresse (x, y) zum Speicher 13c mit einer Verzögerung zu liefern, welcher einer Zeile entspricht (1024 Pixel des Pixelmultiplikationsbilds bei dieser Ausführungsform) von dem Moment an, bei dem die Adresse (x, y) zum Speicher 13a geliefert wird. Außerdem ist es notwendig, die Adresse (x, y) zum Speicher 13d mit einer Verzögerung entsprechend einer Zeile und einem Pixel (1025 Pixel des Pixelmultiplikationsbilds bei dieser Ausführungsform) von dem Moment an zu liefern, bei dem die Adresse (x, y) zum Speicher 13a geliefert wird.
In den Verzögerungsschaltungen 11a bis 11d wird daher jede der Kombinationen (HA, VA) der Horizontaladresse HA und der Vertikaladresse VA durch die oben beschriebenen Zeitperioden verzögert, bevor sie zu den Adressanschlüssen der Speicher 13a bis 13d geliefert werden.
Danach liest die RMW-Schaltung 5 sequentiell die Pixel des Pixelmultiplikationsbild aus, die in den Speicherzellen der Speicher 13a bis 13d gespeichert sind, welche durch Adressen von den Verzögerungsschaltungen 11a bis 11d bestimmt werden.
Damit wird ein Rahmen des Pixelmultiplikationsbilds, der aus 1024 × 1024 Pixel gebildet ist, vom Pixelmultiplikations-Bildspeicher 4 (Speicher 13a bis 13d) gelesen, wodurch das Pixelmultiplikationsbild, welches progressiv abgetastet ist, ausgegeben wird.
Wenn das Ursprungsbild und das Pixelmultiplikationsbild die gleiche Einrahmenperiode haben, ist die Anzahl von Pixeln, welche einen Rahmen des Pixelmultiplikationsbilds bilden, das Vierfache der Anzahl von Pixeln, welche einen Rahmen des Ursprungsbilds bilden. Im Lesezeitpunkt des Pixelmultiplikationsbilds ist es daher notwendig, zu bewirken, dass die Verzögerungsschaltungen 11a bis 11d und die RMW-Schaltung 5 synchron mit einem Takt arbeiten, dessen Frequenz das Vierfache der Frequenz des Normaltakts ist (anschließend als Vierfachtakt bezeichnet, wenn die Gelegenheit es erfordert). Beispielsweise kann der Vierfachtakt auf der Basis des Normaltakts durch eine PLL-Schaltung erzeugt werden, welche in der Adresslieferschaltung 1 oder der RMW-Schaltung 5 eingebaut ist.
Wie oben beschrieben wird ein Pixelmultiplikationsbild parallel mit einem Ursprungsbild gebildet und gespeichert, wobei das Pixelmultiplikationsbild durch Vergrößern der Anzahl von Pixeln des Ursprungsbilds gebildet wird. Daher kann in dem Fall, wo eine Vergrößerung des Ursprungsbilds erforderlich ist, beispielsweise beim elektronischen Zoomen oder dgl., ein Pixelmultiplikationsbild, welches als Ursprungsbild erlangt wird, welches durch Vergrößern des Ursprungsbilds gebildet wird, unmittelbar durch Lesen von dem Pixelmultiplikations-Bildspeicher 4 bereitgestellt werden.
6 zeigt ausführlich eine zweite Anordnung für die Speichervorrichtung, welche in 1 gezeigt ist. In 6 sind Teile, die denjenigen entsprechen, die in 5 gezeigt sind, mit den gleichen Bezugszeichen versehen.
Bei dieser Ausführungsform wird eine Adresslieferschaltung 1 mit einer Verzögerungsschaltung 11 und einem Zähler 21, der darin enthalten ist, gebildet. Die Verzögerungsschaltung 11 ist eingerichtet, Adressen zu verzögern, die zu ihr geliefert werden, durch eine notwendige Zeitperiode, und um danach die verzögerten Adressen zu Adressanschlüssen (AD) eines Speichers 22 zu liefern, der einen Pixelmultiplikations-Bildspeicher 4 bildet. Der Zähler 21 ist ein 2-Bit-Zähler oder dgl. und ist eingerichtet, beispielsweise einen Vierfachtakt zu zählen und einen 2-Bit-Zählwert auszugeben.
Außerdem ist die Adresslieferschaltung 1 eingerichtet, um eine 10-Bit-Horizontaladresse HA' zu bilden, wobei das niedrigwertigste Bit (zusätzliches Adresssignal) im 2-Bit-Zählwert, der vom Zähler 21 ausgegeben wird, zur 9-Bit-Horizontaladresse HA, welche zur Adresslieferschaltung 1 geliefert wird, hinzugefügt wird, wobei das hinzugefügte Bit als das niedrigwertigste Bit der Horizontaladresse gesetzt wird, und um die Horizontaladresse HA' zum Adressanschluss (AD) des Speichers 22 über die Verzögerungsschaltung 11 zu liefern. Außerdem ist die Adresslieferschaltung 1 eingerichtet, eine 10-Bit-Vertikaladresse VA' zu bilden, wobei das höchstwertige Bit (zusätzliches Adresssignal) im 2-Bit-Zählwert, welches durch den Zähler 21 ausgegeben wird, zur 9-Bit-Vertikaladresse VA hinzugefügt wird, die zur Adresslieferschaltung 1 geliefert wird, wobei das hinzugefügte Bit als das niedrigstwertige Bit der Vertikaladresse gesetzt wird, und um die Vertikaladresse VA' zu einem Adressanschluss (AD) des Speichers 22 über die Verzögerungsschaltung 11 zu liefern.
Bei der in 6 gezeigten Ausführungsform liefert daher, wenn die Adresse (x, y) zum Eingangsbildspeicher 2 geliefert wird, die Adresslieferschaltung 1 Adressen (2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1) zum Speicher 22 über die Verzögerungsschaltung 11.
Der Pixelmultiplikations-Bildspeicher 4 ist aus einem Speicher 22 gebildet wie oben beschrieben, und der Speicher 22 ist eingerichtet, mit Adressen (2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1), welche von der Verzögerungsschaltung 11 geliefert werden, Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) eines Pixelmultiplikationsbilds zu speichern, welche von den Pixelformungsschaltungen 12a bis 12d geliefert werden. Folglich hat der Speicher 22 eine Kapazität, um 1024 × 1024 Pixel zu speichern, welche einen Rahmen eines Pixelmultiplikationsbilds bilden.
Der Speicher 22 ist außerdem eingerichtet, von Adressen (2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1), welche von der Verzögerungsschaltung 11 geliefert werden, Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) eines Pixelmultiplikationsbilds zu liefern, welches mit diesen Adressen gespeichert ist, und die Pixel zur RMW-Schaltung 5 zu liefern.
Die Arbeitsweise dieser Ausführungsform wird anschließend beschrieben.
Wenn Bilddaten geschrieben werden, d.h., das R/W-Signal das Schreiben bestimmt, wird zunächst ein Ursprungsbild in den Eingangsbildspeicher 2 in der gleichen Weise wie bei der in 5 gezeigten Anordnung geschrieben.
Wenn die Pixel des Ursprungsbilds, die zum Erzeugen von Pixeln q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) notwendig sind, die ein Pixelmultiplikationsbild bilden, im Eingangsbildspeicher 2 gespeichert sind, erzeugen die Pixelformungsschaltungen 12a bis 12d des Pixelmultiplikationsbilds, welche die Schaltung 3 bilden, entsprechend Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) des Pixelmultiplikationsbilds in der gleichen Weise wie bei der Anordnung, welche in 5 gezeigt ist, und liefern diese Pixel zum Speicher 22.
Dagegen wird in der Adresslieferschaltung 1 das niedrigwertigste Bit oder das höchstwertige Bit im 2-Bit-Zählwert, welches vom Zähler 21 ausgegeben wird, der 9-Bit-Horizontaladresse Ha oder der Vertikaladresse VA, die von der Adresslieferschaltung 1 geliefert werden, hinzugefügt, wobei das hinzugefügte Bit als niedrigstwertiges Bit der Horizontaladresse oder Vertikaladresse gesetzt wird. Die 10-Bit-Horizontaladresse HA' und die 10-Bit-Vertikalasresse VA' werden hierdurch gebildet. Das heißt, es werden dadurch vier Adressen ((2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1) dadurch gebildet, wenn (x, y) zur Adresslieferschaltung 1 als eine Kombination (HA, VA) der Horizontaladresse HA und der Vertikaladresse VA geliefert wird. Diese Adressen (2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1) werden entsprechend in der Verzögerungsschaltung 11 durch Zeitperioden verzögert, welche durch die Formungsschaltungen 12a bis 12d erforderlich sind, um Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) des Pixelmultiplikationsbilds zu erzeugen, nachdem das Pixel p (x, y) des Ursprungsbilds im Eingangsbildspeicher 2 gespeichert wurde. Die verzögerten Adressen werden zum Speicher 22 geliefert.
Folglich werden im Speicher 2 Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1), die von den Pixelformungsschaltungen 12a bis 12d geliefert werden, entsprechend mit Adressen (2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1) gespeichert.
Anschließend wird im Lesezeitpunkt, d.h., wenn das R/W-Signal Lesen bestimmt und wenn das Auswahlflag das Ursprungsbild bestimmt, das Ursprungsbild vom Eingangsbildspeicher 2 in der gleichen Weise wie bei der in 5 gezeigten Anordnung gelesen, und das Ursprungsbild, welches progressiv abgetastet wurde, wird von der RMW-Schaltung 5 ausgegeben.
Wenn das Auswahlflag das Pixelmultiplikationsbild bestimmt, während das R/W-Signal Lesen bestimmt, bildet die Adresslieferschaltung 1 die 10-Bit-Horizontaladresse HA' und die 10-Bit-Vertikaladresse VA', d.h., Adressen ((2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1) in der oben beschriebenen Weise und gibt die Adressen an die Verzögerungsschaltung 11 aus. In der Verzögerungsschaltung werden die Adressen (2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1) verzögert, so dass das Pixelmultiplikationsbild in der Reihenfolge entsprechend der progressiven Abtastung ausgegeben werden kann, und sie werden danach zu den Adressanschlüssen des Speichers 22 geliefert.
Das heißt, wenn die Adressen (2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1) zum Speicher 22 geliefert werden, werden Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) gelesen. Um diese Pixel q(2x, 2y), q(2x+1, 2y), q(2x, 2y+1) und q(2x+1, 2y+1) in der Reihenfolge gemäß der progressiven Abtastung zu lesen, ist es notwendig, in Bezug auf das Pixel q(1x, 2y), welches mit der Adresse (2x, 2y) gespeichert ist, die Adresse (2x+1, 2y) mit einer Verzögerung entsprechend einem Pixel (1 Pixel des Pixelmultiplikationsbilds) von dem Moment an zu liefern, bei der die Adresse (2x, 2y) geliefert wird. Es ist außerdem notwendig, die Adresse (2x, 2y+1) mit einer Verzögerung entsprechend einer Zeile (1024 Pixel des Pixelmultiplikationsbilds in dieser Ausführungsform) von dem Moment an zuliefern, bei der die Adresse (2x, 2y) geliefert wird. Außerdem ist es notwendig, die Adresse (2x+1, 2y+1) mit einer Verzögerung entsprechend einer Zeile zu liefern, und ein Pixel (1025 Pixel des Pixelmultiplikationsbilds bei dieser Ausführungsform) von dem Moment an, bei dem die Adresse (2x, 2y) geliefert wird.
In der Verzögerungsschaltung 11 wird daher jede der Adressen (2x, 2y), (2x+1, 2y), (2x, 2y+1) und (2x+1, 2y+1) zu den Adressanschlüssen des Speichers 22 geliefert, nachdem sie mit der oben beschriebenen Zeitperiode in Bezug auf den Moment verzögert wurden, bei dem die Adresse (2x, 2y) ausgegeben wird.
Die RMW-Schaltung 5 liest die Pixel des Pixelmultiplikationsbilds, welche in den Speicherzellen des Speichers 22 gespeichert sind, die durch Adressen durch die Verzögerungsschaltung 11 bestimmt werden.
Somit wird ein Rahmen des Pixelmultiplikationsbilds, der aus 1024 × 1024 Pixeln gebildet ist, vom Pixelmultiplikations-Bildspeicher 4 (Speicher 22) gelesen, wodurch das Pixelmultiplikationsbild, welches progressiv abgetastet wurde, ausgegeben wird.
Auch bei der in 6 gezeigten Ausführungsform ist es, wenn das Ursprungsbild und das Pixelmultiplikationsbild die gleiche Einrahmenperiode haben, notwendig, zu bewirken, dass die Verzögerungsschaltung 11 und die RMW-Schaltung 5 synchron mit einem Vierfachtakt arbeitet, wenn das Pixelmultiplikationsbild gelesen wird.
Wie oben beschrieben wird bei der in 6 gezeigten Ausführungsform ein Pixelmultiplikationsbild ebenfalls gebildet und parallel mit einem Ursprungsbild gespeichert, wobei das Pixelmultiplikationsbild durch Vergrößern der Anzahl von Pixeln des Ursprungsbilds gebildet wird. Daher kann in einem Fall, wo eine Vergrößerung des Ursprungsbilds erforderlich ist, beispielsweise beim elektronischen Zoomen oder dgl., ein Pixelmultiplikationsbild, welches als Bild erhalten wird, welches durch Vergrößern des Ursprungsbilds gebildet wird, unmittelbar bereitgestellt werden, indem es von dem Pixelmultiplikations-Bildspeicher 4 gelesen wird.
In der Pixelmultiplikations-Bildformungsschaltung 3 wird in dem oben beschriebenen Fall ein Pixelmultiplikationsbild durch Durchführen einer Wichtungsaddition unter Verwendung eines Ursprungsbilds gebildet. Ein Pixelmultiplikationsbild kann jedoch durch ein anderes Verfahren gebildet werden. Beispielsweise kann ein Pixelmultiplikationsbild durch Klassifizierung und Adaptionsverarbeitung oder dgl. gebildet werden.
7 zeigt den Aufbau eines Beispiels der Pixelmultiplikations-Bildformungsschaltung 3 (jeder der Pixelformungsschaltungen 12a bis 12d) für einen Fall, wo ein Pixelmultiplikationsbild durch Klassifikation und Adaptionsverarbeitung gebildet wird.
Eine Klassifikationsblock-Formungsschaltung 41 und eine Vorhersagewert-Berechnungsblock-Formungsschaltung 42 werden mit Bilddaten eines Ursprungsbilds (ursprüngliche Bilddaten), welche im Eingangsbildspeicher 2 gespeichert sind, beliefert. Die Klassifikationsblock-Formungsschaltung 41 ist eingerichtet, von den ursprünglichen Bilddaten einen Klassifikationsblock über eines von ursprünglichen Bilddatenfeldern, die beobachtet wurden, (beobachteter Ursprungsbild-Datenposten), was eine Einheit zur Klassifikation der ursprünglichen Bilddaten ist, in vorher festgelegten Klassen gemäß Zeichen der ursprünglichen Bilddaten zu bilden.
Das heißt, wenn in Bezug auf 8, Ursprungsbilddaten an der i-ten Position von der obersten Position und bei der j-ten Position von der äußerst linken Position (ein Pixel (Pixelwert), der ein Ursprungsbild bildet) ein Bereich, der durch o in der Figur bezeichnet ist), gleich X_ij ist, bildet die Klassifikationsblock-Formungsschaltung 41 einen Klassifikationsblock von beispielsweise beobachteten Ursprungsbilddaten X_ij und 8 Pixeln X_(i-1)(j-1), X_(i-1)j, X_(i-1)(j+1), X_i(j-1), X_i(j+1), X_(i-1)(j-1), X_(i-1)j, und X_(i+1)(j+1), von denen jedes benachbart angeordnet ist weg nach oben links von oben, weg zur oberen rechten von auf die linke Seite von der rechten Seite, weg zur oberen linken Seite von unten oder weg zur unteren rechten Seite der beobachteten Ursprungsbilddaten X_ij, einer Gesamtzahl von 9 Pixeln. Dieser Klassifikationsblock wird zur Klassifikationsschaltung und zur Adaptionsverarbeitungsschaltung 43 geliefert.
In diesem Fall ist der Klassifikationsblock als Quadratblock gebildet, der aus 3 × 3 Pixeln besteht (Anzahl von Spalten × Anzahl von Reihen). Es ist jedoch nicht notwendig, die Form des Klassifikationsblocks auf ein Quadrat zu beschränken. Der Klassifikationsblock kann durch eine andere Form ausgebildet sein, beispielsweise eine Rechteckform oder Gitterform. Außerdem ist die Anzahl von Pixeln, welche den Klassifikationsblock bilden, nicht auf 9 Pixel in einer 3 × 3-Matrix beschränkt.
Die Vorhersagewert-Berechnungsblock-Formungsschaltung 42 ist eingerichtet, Ursprungsbilddaten in Vorhersagewert-Berechnungsblöcken zu bilden, wobei jeder über ein beobachtetes ursprüngliches Bilddatenfeld als eine Einheit zum Berechnen von Vorhersagewerten von Pixeln (Pixelwerten) definiert ist, die ein Pixelmultiplikationsbild bilden. Das heißt, wenn auf 8 bezuggenommen wird, werden 9 Pixel in einer 3 × 3-Matrix (gezeigt durch das Symbol x in der Figur) herum um ein ursprüngliches Bilddatenfeld X_ij (angezeigt durch das Symbol o in der Figur) dargestellt durch Y_ij(1), Y_ij(2), Y_ij(3), Y_ij(4), Y_ij(5), Y_ij(6), Y_ij(7), Y_ij(8), Y_ij(9) längs der Richtung von links nach rechts und längs der Richtung vom Kopf zum Boden, wonach die Vorhersagewert-Berechnungsblock-Bildungsschaltung 42 beispielsweise einen 5 × 5 Quadratvorhersagewert-Berechnungsblock herum um das ursprüngliche Bilddatenfeld X_ij zum Berechnen der Vorhersagewerte von Pixeln Y_ij(1) bis Y_ij(9), bildet, d.h., einen Block, der aus 25 Pixeln gebildet ist:
X_(i-2)(j-2), X_(i-2)(j-1), X_(i-2)j, X_(i-2)(j+1), X_(i-2)(j+2), X_(i-1)(j-2), X_(i-1)(j-1), X_(i-1)j, X_(i-1)(j+1), X_(i-1)(j+2), X_i(j-2), X_i(j-1), X_ij, X_i(j+1), X_i(j+2), X_(-1)(j-2), X_(i+1)(j-1), X_(i+1)j, X_(i+1)(j+1), X_(i+1)(j+2), X_(i+2)(j-2), X_(i+2)(j-1), X_(i+2)j, X_(i+2)(j+1), und X_(i+2)(j+2).
Insbesondere wird zur Berechnung von 9 Pixeln Y₃₃(1) bis Y₃₃(9) in einem Pixelmultiplikationsbild, welches durch ein Quadrat in 8 umgeben ist, ein Vorhersagewert-Berechnungsblock gebildet von Pixeln: X₁₁, X₁₂, X₁₄, X₁₅, X₂₁, X₂₂, X₂₃, X₂₄, X₂₅, X₃₁, X₃₂, X₃₃, X₃₄, X₃₅, X₄₁, X₄₂, X₄₄, X₄₅, X₅₁, X₅₂, X₅₃, X₅₄, and X₅₅ (X₃₃ = ein beobachtetes Ursprungsbilddatenfeld in diesem Fall). Der Vorhersagewert-Berechnungsblock, der durch die Vorhersagewert-Berechnungsblock-Formungsschaltung 42 erlangt wird, wird zur Klassifikations- und Adaptionsverarbeitungsschaltung 43 geliefert.
Die Anzahl von Pixeln und die Form des Vorhersagewert-Berechnungsblocks sind nicht auf die oben beschriebenen wie auf die Anzahl von Pixeln und die Form des Klassifikationsblocks beschränkt. Jedoch ist es wünschenswert, dass die Anzahl von Pixeln, welche den Vorhersagewert-Berechnungsblock bilden, größer ist als die Anzahl von Pixeln, welche den Klassifikationsblock bilden.
Beim Bilden von Blöcken in der oben beschriebenen Weise (auch bei Verarbeitungen abweichend von der Verarbeitung zum Bilden von Blöcken) besteht die Möglichkeit eines Nichtvorhandenseins von umformbaren Pixeln im Rahmenrand eines Bilds. In einem solchen Fall wird Verarbeitung unter der Annahme durchgeführt, dass die gleichen Pixel wie die, welche den Rahmenrand bilden, außerhalb des Rahmensrands existieren.
Die Klassifikations- und Adaptionsverarbeitungsschaltung 43 besteht aus einer adaptiven Dynamikbereichcodierungs-Verarbeitungsschaltung (ADRC)-Schaltung, einer Klassifikationsschaltung 45, einem Vorhersagekoeffizienten-ROM 46 und einer Vorhersageschaltung 47, und ist eingerichtet, Klassifikations- und Adaptionsverarbeitung auszuführen.
Die Klassifikations- und Adaptionsverarbeitung wird durchgeführt, um Eingangssignale in mehrere Klassen gemäß Zeichen der Eingangssignale zu klassifizieren und um Adaptionsverarbeitung durchzuführen, welche für jede Klasse geeignet ist, und besteht hauptsächlich aus Klassifikationsverarbeitung und Adaptionsverarbeitung.
Die Klassifikationsverarbeitung und die Adaptionsverarbeitung werden nun kurz beschrieben.
Zunächst wird die Klassifikationsverarbeitung beschrieben.
Wie beispielsweise in 9A gezeigt ist, bilden ein beobachtetes Pixel und drei benachbarte Pixel, welche dem beobachteten Pixel benachbart sind, einen Block aus 2 × 2 Pixel (Klassifikationsblock), und jedes Pixel wird durch ein Bit ausgedrückt (welches eine oder zwei Ebenen von 0 und 1 hat). In einer solchen Situation gibt es 16 (= (2¹)4) Muster für den Block, der aus 4 Pixeln geformt ist, in der 2 × 2-Matrix, die das beobachtete Pixel enthält, in Bezug auf Verteilungen der Ebenen der Pixel, wie in 9B gezeigt ist. In diesem Beispiel kann das beobachtete Pixel in eines von 16 Mustern klassifiziert werden. Die Klassifikation unter Verwendung dieser Muster wird als Klassifikationsverarbeitung in der Klassifikationsschaltung 45 durchgeführt.
Die Klassifikationsverarbeitung kann auch durch Betrachtung der Aktivität eines Bilds (Bild in einem Block) (Komplexität des Bilds) (die Intensität der Änderung) usw. durchgeführt werden.
Bei dieser Ausführungsform werden 8 Bits jedem der Pixel, welche ein Ursprungsbild bilden, zugeteilt. Auch bei dieser Ausführungsform wird ein Klassifikationsblock, der aus 9 Pixeln in einer 3 × 3-Matrix gebildet ist, verwendet, wie oben erwähnt. Wenn die Klassifikationsverarbeitung in Bezug auf einen solchen Klassifikationsblock durchgeführt wird, wird eine extrem größere Anzahl von Klassen, d.h., (2⁸)⁹ verwendet.
Bei dieser Ausführungsform wird daher die ADRC-Verarbeitung in der ADRC-Verarbeitungsschaltung 44 in Bezug auf einen Klassifikationsblock durchgeführt, so dass die Anzahl von Pixeln, welche den Klassifikationsblock bilden, reduziert wird, wodurch die Anzahl von Klassen reduziert wird.
Das heißt, um die Erläuterung zu erleichtern, wird die Verarbeitung eines Blocks, der beispielsweise aus vier Pixeln gebildet ist, die längs einer Zeile angeordnet sind, wie in 10A gezeigt ist, erläutert. Bei der ADRC-Verarbeitung dieses Blocks wird das Maximum MAX und das Minimum MIN der Pixelwerte ermittelt. Danach wird DR = MAX-MIN als ein lokaler dynamischer Bereich des Blocks gesetzt, und der Pixelwert jedes Pixels, welches den Block bildet, wird in K Bits auf der Basis dieses dynamischen Bereichs DR requantisiert.
Das heißt, der Minimalwert MIN wird von jedem Pixelwert im Block subtrahiert, und die Differenz, welche durch diese Subtraktion erlangt wird, wird durch DR/2^K dividiert. Der Pixelwert wird in einen Code (ADRC-Code) entsprechend dem Ergebnis dieser Teilung umgesetzt. Wenn beispielsweise K = 2, wird die Größe des unterteilten Werts in Bezug auf die definierten Domänen bestimmt, wobei der dynamische Bereich DR durch 4 (= 2²) unterteilt wird. Wie in 10B gezeigt ist, wird der Pixelwert in zwei Bits codiert, beispielsweise 00B, 01B, 10B oder 11B (B zeigt, dass der Wert binär ist), wenn der unterteilte Wert zu der Domäne, die den niedrigsten Pegel hat, gehört, zur Domäne, welche den zweiten Pegel vom niedrigsten her hat, zur Domäne, welche den dritten Pegel vom niedrigsten her hat, oder zur Domäne, die den höchsten Pegel hat. Das Decodieren dieses Codes wird in einer Weise durchgeführt, dass der ADRC-Code 00B, 01B, 10B oder 11B in den Mittelwert L₀₀ der untersten Pegeldomäne umgesetzt wird, in den Mittelwert L₀₁ der zweiten Pegeldomäne, den Mittelwert L₁₀ der dritten Pegeldomäne, oder den Mittelwert L₁₁ der höchsten Pegeldomäne, und der Minimalwert MIN wird zum umgesetzten Wert addiert.
Diese ADRC-Verarbeitung wird als Nicht-Rand-Anpassung bezeichnet. Die offengelegte japanische Patentveröffentlichung 53778/1991 der Anmeldung, die durch die Anmelderin der vorliegenden Erfindung getätigt wurde, und weitere Dokumente offenbaren Details dieser ADRC-Verarbeitung.
Wenn die ADRC-Verarbeitung zur Requantisierung durchgeführt wird, wobei eine Anzahl von Bits kleiner als die Anzahl von Bits ist, welche jedem Pixel, welches den Block bildet, zugeteilt sind, kann die Anzahl von Klassen wie oben beschrieben reduziert werden. Diese ADRC-Verarbeitung wird in der ADRC-Verarbeitungsschaltung 44 durchgeführt.
Bei dieser Ausführungsform wird die Klassifikationsverarbeitung in der Klassifikationsschaltung 45 auf der Basis des ADRC-Code durchgeführt, der von der ADRC-Verarbeitungsschaltung 44 ausgegeben wird. Die Klassifikationsverarbeitung kann jedoch durchgeführt werden, um Daten, welche beispielsweise einer Vorhersagecodierung (DPCM), einer Blockkürzungscodierung (BTC), einer Vektorquantisierung (VQ), einer diskreten Kosinustransformation (DTC), einer Hadamard-Transformation unterworfen wurden, oder dgl. zu verarbeiten.
Anschließend wird die Adaptionsverarbeitung beschrieben.
Ein Prozess wird beschrieben, bei dem beispielsweise ein Vorhersagewert E[y] eines Pixels (Pixelwert) y eines Bilds (entsprechend dem oben erläuterten Pixelmultiplikationsbild) unter Verwendung eines linearen Kommunikationsmodells erlangt wird, welches mit einer linearen Kombination von vorher festgelegten Vorhersagekoeffizienten w₁, w₂, ... und mehreren Pixeln (Pixelwerten) x₁, x₂, ..., welche ein anderes Bild bilden (ein Bild, welches eine kleinere Anzahl von Pixeln hat) (ein Bild entsprechend dem oben erläuterten Ursprungsbild), welches durch Ausdünnen der Pixel des oben erläuterten Bilds erlangt wird (anschließend als "Lerndaten", wenn es die Gelegenheit erfordert, bezeichnet) erlangt wird. In diesem Fall kann der Vorhersagewert E[y] durch die folgende Gleichung ausgedrückt werden: E[Y] = w1x1 + w2x2 (1)
Zur Verallgemeinerung sind eine Matrix W, welche aus einem Satz von Vorhersagekoeffizienten w gebildet ist, eine Matrix X, welche aus einem Satz von Lerndaten gebildet ist, und eine Matrix Y', welche aus einem Satz von Vorhersagewerten E[y] gebildet ist, wie folgt definiert:
Dann wird die folgende Observationsgleichung gebildet. XW = Y' (2)
Es wird das Berechnen des Vorhersagewerts E[y] in der Nähe des Pixelwerts y des Gesamtbilds durch Anwenden des Verfahrens der kleinsten Quadrate auf diese Beobachtungsgleichung betrachtet. In diesem Fall wird, wenn eine Matrix Y, welche aus einem Satz von Pixelwerten y des Gesamtbilds gebildet wird (anschließend als "Lehrerdaten" bezeichnet, wenn dies die Gelegenheit erfordert), und eine Matrix E, welche aus einem Satz von Restbeträgen e der Vorhersagewerte E[y] in Bezug auf die Pixelwerte y des Gesamtbilds definiert sind durch
wird die folgende Restgleichung aus der Gleichung (2) gebildet. XW = Y + E (3)
In diesem Fall können die Vorhersagekoeffizienten w_i zum Erlangen eines Vorhersagewerts E[y] in der Nähe des Pixelwerts y des Gesamtbilds durch Minimieren eines Quadratfehlers erlangt werden:
Wenn folglich das Ergebnis der Differenzierung des obigen Quadratfehlers in Bezug auf Vorhersagekoeffizienten w_i zu null wird, d.h., wenn die Vorhersagekoeffizienten w_i eine Gleichung, die unten gezeigt ist, erfüllen, sind die Vorhersagekoeffizienten w_i Optimalwerte zum Erlangen des Vorhersagewerts E[y] in der Nähe des Pixelwerts y des Gesamtbilds.
Die Gleichung (3) wird in Bezug auf Vorehrsagekoeffizienten w_i differenziert, um die folgenden Gleichungen zu bilden:
Die Gleichungen (6) werden aus den Gleichungen (4) und (5) erhalten
Außerdem werden durch Betrachtung der Beziehung zwischen Lerndaten x, einem Satz von Vorhersagekoeffizienten w, Lehrerdaten y und Resten e in der Gleichung (3) die folgenden Normalgleichungen aus den Gleichungen (6) erlangt.
Die gleiche Anzahl an Gleichungen (7) wie die Anzahl von Sätzen von Vorhersagekoeffizienten w, die zu erlangen sind, kann gebildet werden. Folglich kann ein Satz von Vorhersagekoeffizienten w durch Lösen der Gleichungen (7) erlangt werden. Um die Gleichungen (7) zu lösen, kann das Gauss-Jordan-Beseitigungsverfahren oder dgl. verwendet werden.
Wie oben beschrieben wird bei der Adaptionsverarbeitung ein Satz optimaler Vorhersagekoeffizienten w in Bezug auf jede Klasse erhalten, und der Vorhersagewert E[y] in der Nähe des Pixelwerts des Gesamtbilds wird durch die Gleichung (1) unter Verwendung des Satzes an Vorhersagekoeffizienten w erhalten. Diese Adaptionsverarbeitung wird durch den Vorhersagekoeffizienten-ROM 46 und die Vorhersageschaltung 47 durchgeführt.
Das heißt, der Vorhersagekoeffizienten-ROM 46 speichert Sätze an Vorhersagekoeffizienten in Bezug auf Klassen, die vorher durch Durchführen von Lernen (wird anschlie ßend beschrieben) erlangt werden. Der Vorhersagekoeffizienten-ROM 46 ist eingerichtet, Klasseninformation zu empfangen, welche von der Klassifikationsschaltung 45 ausgegeben wird, um den Satz an Vorhersagekoeffizienten zu lesen, die mit Adressen entsprechend der Klasseninformation gespeichert sind (den Satz an Vorhersagekoeffizienten entsprechend der Klasseninformation), und um den Satz an Vorhersagekoeffizienten zur Vorhersageschaltung 47 zu liefern.
Die Vorhersageschaltung 47 ist eingerichtet, die lineare Gleichung (1) unter Verwendung eines Vorhersagewert-Berechnungsblocks aus 5 × 5 Pixeln zu berechnen, die von der Vorhersagewert-Berechnungsblock-Bildungsschaltung 43 geliefert werden, und einem Satz von Vorhersagekoeffizienten, welche vom Vorhersagekoeffizienten-ROM 46 geliefert werden, um dadurch Vorhersagewerte von 3 × 3 Pixeln eines Pixelmultiplikationsbild zu erlangen.
Die Adaptionsverarbeitung unterscheidet sich gegenüber der Interpolationsverarbeitung wie die oben beschriebene Wichtungsaddition, dass Komponenten, die nicht in einem ausgedünnten Bild enthalten sind, sondern im Gesamtbild enthalten sind, reproduziert werden. Das heißt, die Adaptionsverarbeitung ist die gleiche wie die Interpolationsverarbeitung, welche ein Interpolationsfilter verwendet, wenn dies lediglich über die Gleichung (1) gesehen wird, wobei ein Satz an Vorhersagekoeffizienten w entsprechend den Anzapfungskoeffizienten des Interpolationsfilters durch eine Art an Lernen erlangt wird, unter Verwendung von Lehrerdaten y, um zu ermöglichen, dass die Komponenten, die Gesamtbild enthalten sind, reproduziert werden können. Wenn man diesen Punkt betrachtet, kann man ausführen, dass die Adaptionsverarbeitung eine Wirkung zum Bilden eines Bilds hat.
Die Verarbeitung in der Pixelmultiplikationsbild-Formungsschaltung 3, die in 7 gezeigt ist, wird anschließend beschrieben.
Zunächst wird in der Pixelmultiplikations-Bildformungsschaltung 3 der Block aus ursprünglichen Bilddaten gebildet. Das heißt, in der Klassifikationsblockformungsschaltung 41 werden Bilddaten in einen Klassifikationsblock von 3 × 3 Pixeln um ein beobachtetes Ursprungsbild-Datenfeld herum gebildet, und dieser Block wird zur Klassifikations- und Adaptionsverarbeitungsschaltung 43 geliefert. In der Vorhersagewert-Berechnungsblock-Formungsschaltung 42 werden Ursprungsbilddaten zu einem Vorhersagewert-Berechnungsblock von 5 × 5 Pixeln um das beobachtete Ursprungsbild-Datenfeld herum gebildet und dieser Block wird zur Klassifikations- und Adaptionsverarbeitungsschaltung 43 geliefert.
In der Klassifikations- und Adaptionsverarbeitungsschaltung 43 werden der Klassifikationsblock und der Vorhersagewert-Berechnungsblock zum ADRC-Verarbeitungsabschnitt 44 bzw. zur Adaptionsverarbeitungsschaltung 46 geliefert.
Wenn der Klassifikationsblock empfangen wird, verarbeitet die ADRC-Verarbeitungsschaltung 44 den Klassifikationsblock beispielsweise durch eine 1-Bit-ADRC-Verarbeitung (ADRC zur 1-Bit-Requantisierung), um die Ursprungsbilddaten in 1-Bit-Daten umzusetzen (zu codieren) und gibt die codierten Daten an die Klassifikationsschaltung 45 aus. In der Klassifikationsschaltung 45 wird der Klassifikationsblock, der durch ADRC-Verarbeitung verarbeitet wurde, einer Klassifikationsverarbeitung unterzogen. Das heißt, der Zustand der Pegelverteilung der Pixel, welche den Klassifikationsblock bilden, der durch ADRC-Verarbeitung verarbeitet wurde, wird ermittelt, und es wird die Klasse, zu der der Klassifikationsblock gehört, bestimmt. Das Ergebnis dieser Klassenbestimmung wird als Klasseninformation zum Vorhersagekoeffizienten-ROM 46 geliefert.
Bei dieser Ausführungsform unterliegen die Klassifikationsblöcke, die jeweils aus 9 Pixeln in einer 3 × 3-Matrix gebildet sind und die durch die 1-Bit-ADRC-Verarbeitung verarbeitet wurden, der Klassifikationsverarbeitung. Folglich wird jeder Klassifikationsblock in eine von 512 Klassen (= (2¹)⁹) klassifiziert.
Wenn der Vorhersagekoeffizienten-ROM 46 Klasseninformation empfängt, liest er einen Satz von Vorhersagekoeffizienten entsprechend der Klasseninformation von den Sätzen der Vorhersagekoeffizienten aus, welche in Bezug auf die Klassen gespeichert sind, und liefert die gelesenen Koeffizienten zur Vorhersageschaltung 47. In der Vorhersageschaltung 47 wird eine Adaptionsverarbeitung unter Verwendung des Satzes von Vorhersagekoeffizienten vom Vorhersagekoeffizienten-ROM 46 und dem Vorhersagewert-Berechnungsblock von der Vorhersagewert-Berechnungsblock-Formungsschaltung 42 durchgeführt, d.h., eine Berechnung, welche durch die Gleichung (1) gezeigt ist, wird durchgeführt, um Vorhersagewerte der Pixel eines Pixelmultiplikationsbilds zu erlangen.
11 zeigt den Aufbau eines Bildprozessors, der Lernen ausführt, um Sätze von Vorhersagekoeffizienten zu erlangen, welche im Vorhersagekoeffizienten-ROM 46, der in 7 gezeigt ist, gespeichert sind.
Die Lernbilddaten (ein lernendes Pixelmultiplikationsbild) zum Erlangen eines Satzes von Vorhersagekoeffizienten in Bezug auf jede Klasse werden zu einer Lernblock-Formungsschaltung 91 und einer Lehrerblock-Formungsschaltung 92 geliefert.
Die Lernblock-Formungsschaltung 91 extrahiert beispielsweise 5 × 5 Pixel in der Positionsbeziehung, welche durch Symbole o in 8 angezeigt sind (entsprechend den Pi xeln, die ein Ursprungsbild bilden), von den Bilddaten, die ihr zugeführt werden, und liefert als Lernblock den Block, der aus diesen 25 Pixeln gebildet ist, zu einer ADRC-Verarbeitung 93 und zu einem Lerndatenspeicher 96.
In der Lehrerblock-Formungsschaltung 92 wird ein Block, der beispielsweise aus 9 Pixeln in einer 3 × 3-Matrixx gebildet ist, von den zugeführten Bilddaten gebildet. Der Block, der aus 9 Pixeln gebildet wird, wird als Lehrerblock zu einem Lehrerdatenspeicher 98 geliefert.
In einem Fall, wo in der Lernblock-Formungsschaltung 91 ein Block, der aus 25 Pixeln in der Positionsbeziehung gebildet ist, welche durch die Symbole o in 8 angedeutet sind, d.h., Pixel ...
X₁₁, X₁₂, X₁₄, X₁₅, X₂₁, X₂₂, X₂₃, X₂₄, X₂₅, X₃₁, X₃₂, X₃₃, X₃₄, X₃₅, X₄₁, X₄₂, X₄₃, X₄₄, X₄₅, X₅₁, X₅₂, X₅₃, X₅₄, und X₅₅,
gebildet wird, wird ein Lehrerblock aus 3 × 3 Pixeln, die von einem Quadrat in 8 umgeben sind, in der Lehrerblock-Formungsschaltung 92 gebildet.
Die ADRC-Verarbeitungsschaltung 93 extrahiert beispielsweise zentrale 9 Pixel (3 × 3 Pixel) von 25 Pixeln, welche den Lernblock bilden, und verarbeitet diesen Block, der aus 9 Pixeln gebildet ist, durch die 1-Bit-ADRC-Verarbeitung, sowie es die ADRC-Verarbeitungsschaltung 44, die in 7 gezeigt ist, tut. Der Block aus 3 × 3 Pixeln, der durch ADRC-Verarbeitung verarbeitet wurde, wird zur Klassifikationsschaltung 94 geliefert. In der Klassifikationsschaltung 94 wird der Block von der ADRC-Verarbeitungsschaltung 93 einer Klassifikationsverarbeitung unterzogen, wie dies mit dem Block in der Klassifikationsschaltung 45, die in 7 gezeigt ist, geschieht. Die Klasseninformation, welche dadurch erhalten wird, wird zum Lerndatenspeicher 96 und zum Lehrerdatenspeicher 98 über einen Anschluss a eines Schalters 95 geliefert.
Im Lerndatenspeicher 96 oder im Lehrerdatenspeicher 98 wird der Lernblock von der Lernblock-Formungsschaltung 91 oder der Lehrerblock von der Lehrerblock-Formungsschaltung 92 mit der Adresse gespeichert, die der Klasseninformation entspricht, die zum Speicher geliefert wird.
Bei einem Fall, wo im Lerndatenspeicher 96 ein Block, der aus 5 × 5 Pixeln besteht, welche durch Symbole o in 8 angedeutet sind, d.h. Pixel X
X₁₁, X₁₂, X₁₄, X₁₅, X₂₁, X₂₂, X₂₃, X₂₄, X₂₅, X₃₁, X₃₂, X₃₃, X₃₄, X₃₅, X₄₁, X₄₂, X₄₃, X₄₄, X₄₅, X₅₁, X₅₂, X₅₃, X₅₄, und X₅₅,
als Lernblock mit einer bestimmten Adresse gespeichert sind, wird ein Block aus 3 × 3 Pixeln, die von einem Quadrat in 8 umgeben sind (angedeutet durch Symbole x in der Figur) als Lehrerblock im Lehrerdatenspeicher 98 mit der gleichen Adresse wie die im Lerndatenspeicher 96 gespeichert.
Die gleiche Verarbeitung wird in Bezug auf alle vorbereiteten Lernbilder wiederholt. Lernblöcke und Lehrerblöcke werden jeweils aus 9 Pixeln gebildet, um eine Berechnung von Vorhersagewerten in der in 7 gezeigten Pixelmultiplikations-Bildformungsschaltung 3 zu ermöglichen, wobei der Vorhersagewert-Berechnungsblock verwendet wird, der aus 25 ursprünglichen Bilddatenfeldern gebildet wird, die die gleiche Positionsbeziehung haben, wobei die 25 Pixel haben, welche den entsprechenden Lernblock bilden, mit den gleichen Adressen im Lerndatenspeicher 96 und im Lehrerdatenspeicher 98 gespeichert werden.
Der Lerndatenspeicher 96 und der Lehrerdatenspeicher 98 sind eingerichtet, mehrere Informationsfelder mit der gleichen Adresse zu speichern, wodurch ermöglicht wird, dass mehrere Lernblöcke und mehrere Lehrerblöcke mit der gleichen Adresse gespeichert werden können.
Nachdem Lernblöcke und Lehrerblöcke in Bezug auf alle Lernbilder im Lerndatenspeicher 96 und im Lehrerdatenspeicher 98 gespeichert sind, wird der Schalter 95, der den Anschluss a ausgewählt hat, auf einen Anschluss b umgeschaltet, um zu ermöglichen, dass ein Ausgangssignal von einem Zähler 97 als Adresse zum Lerndatenspeicher 96 und zum Lehrerdatenspeicher 98 geliefert wird. Der Zähler 97 zählt einen vorher festgelegten Takt und gibt einen Zählwert aus. Im Lerndatenspeicher 96 oder im Lehrerdatenspeicher 98 wird der Lerndatenblock oder der Lehrerdatenblock entsprechend dem Zählwert zu einer Berechnungsschaltung 99 geliefert.
Folglich werden ein Satz von Lernblöcken und ein Satz von Lehrerblöcken der Klasse entsprechend dem Zählwert des Zählers 97 zur Berechnungsschaltung 99 geliefert. Wenn die Berechnungsschaltung 99 einen Satz von Lernblöcken und einen Satz von Lehrerblöcken in Bezug auf eine bestimmte Klasse empfängt, berechnet sie mittels des Verfahrens der kleinsten Quadrate einen Satz von Vorhersagekoeffizienten, der den Fehler minimiert.
Das heißt, wenn beispielsweise die Pixelwerte der Pixel, welche einen Lernblock bilden, gleich x₁, x₂, x₃, ... sind und wenn die Vorehrsagekoeffizienten, die erlangt werden sollen, w₁, w₂, w₃, ... sind, ist es notwendig, dass die Vorhersagekoeffizienten w₁, w₂, w₃, ,,, die folgende Gleichung erfüllen, um den Pixelwert y eines Pixels zu erlangen, der den Lehrerblock bildet, durch lineare Kombination dieser Werte: y = w1x1 + w2x2 + w3x3 +...
In der Berechnungsschaltung 99 können Vorhersagekoeffizienten w₁, w₂, w₃, ..., welche den Quadratfehler des Vorehrsagewerts w₁x₁ + w₂x₂ + w₃x₃ + ... vom wirklichen wert y minimieren, aus Lernblöcken der gleichen Klasse erlangt werden, und entsprechende Lehrerblöcke durch Lösen der Normalgleichungen, welche durch Gleichungen (7) gezeigt sind, sind oben gezeigt. Folglich kann diese Verarbeitung in Bezug auf die Klassen durchgeführt werden, um Sätze an Vorhersagekoeffizienten in Bezug auf die Klassen zu bilden.
Der Satz an Vorhersagekoeffizienten, die in Bezug auf jede Klasse in der Berechnungsschaltung 99 erlangt werden, wird zu einem Speicher 100 geliefert. Ebenfalls zum Speicher 100 wird der Zählwert vom Zähler 97 wie auch der Satz an Vorhersagekoeffizienten von der Berechnungsschaltung 99 geliefert. Im Speicher 100 wird der Satz an Vorhersagekoeffizienten von der Berechnungsschaltung 99 mit Adressen gemäß dem Zählwert vom Zähler 97 gespeichert.
Damit wird der Satz an Vorhersagekoeffizienten, der für die Vorhersage von 3 × 3 Pixeln des Blocks jeder Klasse am meisten geeignet ist, im Speicher 100 mit der Adresse entsprechend der Klasse gespeichert.
Sätze an Vorhersagekoeffizienten, welche im Speicher 100 in Bezug auf Klassen in der oben beschriebenen Weise gespeichert sind, werden im Vorhersagekoeffizienten-ROM 46 gespeichert, wie in 7 gezeigt ist.
Bei dieser Ausführungsform wird ein Pixelmultiplikationsbild, bei dem die Anzahl von Pixeln in der horizontalen und der vertikalen Richtung zwei Mal so groß ist wie bei einem Ursprungsbild, im Pixelmultiplikations-Bildspeicher 4 gespeichert. Die Anzahl der Pixel, welche ein Pixelmultiplikationsbild bilden, welches im Pixelmultiplikations-Bildspeicher 4 gespeichert wird, ist jedoch nicht darauf beschränkt.
Mehrere Pixelmultiplikations-Bildspeicher 4 können vorgesehen sein, um Pixelmultiplikationsbilder zu speichern, welche eine unterschiedliche Anzahl von Pixeln haben, die jeweils größer ist als die eines Ursprungsbilds.
Bei dieser Ausführungsform werden Adressen, welche durch Verarbeitung der Horizontaladresse HA und der Vertikaladresse VA, die zum Eingangsbildspeicher 2 geliefert werden, zum Pixelmultiplikations-Bildspeicher 4 geliefert. Alternativ kann der Pixelmultiplikations-Bildspeicher 4 mit unabhängigen Adressen beliefert werden, die separat von der Horizontaladresse HA und der Vertikaladresse VA vorbereitet sind, die zum Eingangsbildspeicher 2 zu liefern sind, damit darauf zugegriffen werden kann.
Auch bei dieser Ausführungsform wird auf den Eingangsbildspeicher 2 und den Pixelmultiplikations-Bildspeicher 4 dadurch zugegriffen, dass dieser mit Horizontal- und Vertikal-Adressen entsprechend jeweils horizontalen und vertikalen Positionen von Pixeln, die ein Bild bilden, beliefert wird. Eine Adresse in Bezug auf die Zeit kann beispielsweise jedoch auch zu dem Eingangsbildspeicher 2 und zu dem Pixelmultiplikations-Bildspeicher 4 geliefert werden. In einem solchen Fall wird ein Pixelmultiplikationsbild unter Verwendung von Pixeln eines Ursprungsbilds gebildet, welche über die Zeit verteilt ist, wie auch Pixeln des Ursprungsbilds, welche in der horizontalen und vertikalen räumlichen Richtung verteilt sind.
Weiter ist es nicht notwendig, dass der Eingangsbildspeicher 2 und der Pixelmultiplikations-Bildspeicher 4 als Speicher gebildet sind, die real voneinander getrennt sind. Diese beiden Speicher können zu einem Speicher kombiniert sein. In einem derartigen Fall kann ein Speicherbereich eines Speichers dem Eingangsbildspeicher 2 und dem Pixelmultiplikations-Bildspeicher 4 zugeteilt werden.
Bei dieser Ausführungsform sind die Adresslieferschaltung 1, der Eingangsbildspeicher 2, die Pixelmultiplikations-Bildformungsschaltung 3, der Pixelmultiplikations-Bildspeicher 4 und die RMW-Schaltung 5 auf einem Chip gebildet. Es ist jedoch immer notwendig, diese Komponenten auf einem Chip zu bilden.
Bei dieser Ausführungsform ist lediglich ein Pixelmultiplikationsbild, welches durch Vergrößern der Anzahl von Pixeln eines Ursprungsbilds erlangt wird, gebildet. Jedoch kann ein Bild, welches durch Reduzieren der Anzahl von Pixeln des Ursprungsbilds erlangt wird, gleichzeitig mit dem Pixelmultiplikationsbild gebildet und gespeichert werden.
Die vorliegende Erfindung kann auf die Verarbeitung eines Bilds angewandt werden, welches in einer Nichtverschachtelungsweise abgetastet wird, sowie auf eine Verarbeitung eines Bilds, welches in einer Verschachtelungsweise abgetastet wird.
Bei dieser Ausführungsform ist die Speichervorrichtung in Form von Hardware realisiert. Die Speichervorrichtung nach der vorliegenden Erfindung kann jedoch dadurch realisiert werden, dass ein Computer ein Programm zum Durchführen der oben beschriebenen Verarbeitung durchführt.
Bei der in 6 gezeigten Ausführungsform ist der Pixelmultiplikations-Bildspeicher 4 aus einem Speicher 22 gebildet. Auch in der Anordnung, welche in 6 gezeigt ist, kann der Pixelmultiplikations-Bildspeicher 4 aus vier Speichern 13a bis 13d gebildet sein, wie dies bei der in 5 gezeigten Anordnung ist. In einem solchen Fall kann das Ausgangssignal des Zählers 21 als ein Signal zum Auswählen eines von den vier Speichern 13a bis 13d verwendet werden, d.h., eine Art eines Chipauswahlsignals, anstelle als das niedrigwertigste Bit der Horizontaladresse HA und der Vertikaladresse VA hinzugefügt zu werden.
Bei dieser Ausführungsform sind Pixel (Pixelwerte) beispielsweise in einem Speicher gespeichert, der durch einen RAM (Speicher mit wahlfreiem Zugriff) oder dgl. dargestellt wird. Alternativ können die Pixel auf einem Aufzeichnungsträger gespeichert (aufgezeichnet) sein, beispielsweise einer Magnetplatte, einer magneto-optischen Platte, einem Magnetband oder einer optischen Karte.
In der Speichervorrichtung und bei dem Speicherverfahren, die oben beschrieben wurden, wird ein Eingangsbild in einer ersten Speichereinrichtung gespeichert, in welcher Adressen durch zumindest erste und zweite Adresssignale bestimmt werden, und ein Pixelmultiplikationsbild, welches ein Bild ist, welches aus einer Anzahl von Pixeln gebildet ist, die größer ist als die Anzahl von Pixeln, die das Eingangsbild bilden, ist aus dem Eingangsbild gebildet, wobei das Pixelmultiplikationsbild in der zweiten Speichereinrichtung gespeichert wird, in welcher Adressen durch zumindest erste und zweite Adresssignal bestimmt werden. Folglich ist es möglich, unmittelbar ein Bild bereitzustellen, welches durch Vergrößern des Eingangsbilds erlangt wird.
Andere verschiedene Änderungen und Modifikationen der obigen Offenbarung sind vorstellbar, ohne den Rahmen der Erfindung zu verlassen, wodurch die Aufgabe der vorliegenden Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt ist.

Claims

Speichervorrichtung zum Speichern eines Bilds, welche aufweist: einen ersten Speicherabschnitt (2), in welchem Adressen durch zumindest erste und zweite Adresssignale, um ein Eingangsbild zu speichern, bezeichnet sind; einen Bildungsabschnitt (3), um von dem Eingangsbild ein Pixel-Multiplikationsbild zu bilden, welches ein Bild ist, welches aus einer Anzahl von Pixeln gebildet ist, die größer ist als die Anzahl von Pixeln, die das Eingangsbild bilden; einen zweiten Speicherabschnitt (4), in welchem Adressen durch zumindest die ersten und zweiten Adresssignale, um das Pixel-Multiplikationsbild zu speichern, bezeichnet sind; und eine Adresszuführschaltung (1), die betreibbar ist, die ersten und zweiten Adresssignale zu sowohl dem ersten Speicherabschnitt als auch dem zweiten Speicherabschnitt zu liefern, um das Eingangsbild bzw. das Pixel-Multiplikationsbild zu speichern, und betreibbar ist, selektiv die ersten und zweiten Adresssignale entweder zum ersten Speicherabschnitt oder zum zweiten Speicherabschnitt zu liefern, um das Eingangsbild oder das Pixel-Multiplikationsbild entsprechend auszulesen.
Speichervorrichtung nach Anspruch 1, wobei im zweiten Speicherabschnitt (4) Adressen durch zumindest die ersten und zweiten Adresssignale und durch ein zusätzliches Adresssignal, welches den ersten und zweiten Adresssignalen hinzugefügt ist, gespeichert sind.
Speichervorrichtung nach Anspruch 1, wobei der Bildungsabschnitt (3) ein Pixel, welches das Pixel-Multiplikationsbild bildet, durch Durchführen von Wichtungsaddition unter Verwendung mehrerer Pixel in den Pixeln, welche das Eingangsbild bilden, bildet.
Speichervorrichtung nach Anspruch 1, wobei der Bildungsabschnitt (3) das Pixel-Multiplikationsbild unter Verwendung von Vorhersagekoeffizienten bildet, um einen Vorhersagewert eines Pixels, der das Pixel-Multiplikationsbild bildet, durch lineare Kombination mit einigen der Pixel, welche das Eingangsbild bilden, zu berechnen.
Speicherverfahren, welches folgende Schritte aufweist: Bewirken, dass ein erster Speicherabschnitt (2) ein Eingangsbild speichert, wobei im ersten Speicherabschnitt (2) Adressen bezeichnet sind, durch zumindest erste und zweite Adresssignale, welches durch eine Adresslieferschaltung (1) geliefert werden; Bilden – aus dem Eingangsbild – eines Pixel-Multiplikationsbilds, welches ein Bild ist, welches aus einer Anzahl von Pixeln gebildet ist, die größer ist als die Anzahl der Pixel, welche das Eingangsbild bilden; Bewirken, dass ein zweiter Speicherabschnitt (4) das Pixel-Multiplikationsbild speichert, wobei der zweite Speicherabschnitt (4) darin bezeichnete Adressen hat, durch zu mindest die ersten und zweiten Adresssignale, welches durch die Adresslieferschaltung (1) geliefert werden; und Selektives Liefern – von der Adresslieferschaltung (1) – zu einem vom ersten Speicherabschnitt (2) oder vom zweiten Speicherabschnitt (4) – der ersten und zweiten Adresssignale, um entsprechend das Eingangsbild oder das Pixel-Multiplikationsbild zu lesen.
Speicherverfahren nach Anspruch 5, wobei – im Speicherschritt unter Verwendung des zweiten Speicherabschnitts (4) – im zweiten Speicherabschnitt Adressen durch zumindest die ersten und zweiten Adresssignale und durch ein zusätzliches Adresssignal, welches den ersten und zweiten Adresssignalen hinzugefügt ist, gespeichert werden.
Speicherverfahren nach Anspruch 5, wobei – im Bildungsschritt – ein Pixel, welches das Pixel-Multiplikationsbild bildet, durch Durchführen von Wichtungsaddition unter Verwendung mehrerer Pixel in den Pixeln, die das Eingangsbild bilden, gebildet ist.
Speicherverfahren nach Anspruch 5, wobei – im Bildungsschritt – das Pixel-Multiplikationsbild unter Verwendung von Vorhersagekoeffizienten gebildet ist, um einen Vorhersagewert eines Pixels, der das Pixel-Multiplikationsbild bildet, durch lineare Kombination mit einigen der Pixeln, welche das Eingangsbild bilden, zu berechnen.