DE69921608T2

DE69921608T2 - Verfahren und vorrichtung zum zoomen von digitalen bilddateien

Info

Publication number: DE69921608T2
Application number: DE69921608T
Authority: DE
Inventors: Aleksandar Zavaljevski; Joseph Christopher MUSSACK; Matthew David DEAVEN
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 1998-09-11
Filing date: 1999-08-31
Publication date: 2005-10-27
Anticipated expiration: 2019-09-01
Also published as: US6236766B1; EP1044430B1; EP1044430A1; DE69921608D1; WO2000016262A1; JP2002525723A

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf Bildgebungsverfahren und -einrichtungen und insbesondere auf ein Verfahren sowie eine Einrichtung, die ein Vergrößern oder "Zoomen" von einem Teil eines Bildes auf einer Anzeige erleichtern.
Die digitale Bildgebung ist von äußerster Wichtigkeit bei vielen verschiedenen Anwendungen. Zum Beispiel hat sich die digitale Bildgebung als von unschätzbarem Wert erwiesen auf dem Gebiet der medizinischen Bildgebung, wo riesige Datenmengen gesammelt und zur Erzeugung von Bildern benutzt werden für eine Überwachung auf einem Videomonitor oder einem Display. Obwohl sie nicht darauf beschränkt ist, wird im Interesse einer Vereinfachung dieser Erläuterung die vorliegende Erfindung im Zusammenhang mit der medizinischen Bildgebung beschrieben. Eine typische Anzeige bzw. Darstellung enthält ein zweidimensionales Raster von Pixeln. Obwohl Rasterpixel in irgendeiner von mehreren verschiedenen Konfigurationen angeordnet sein können, wird für die Zwecke dieser Erläuterung angenommen, dass die Pixel in verschiedenen Reihen und Spalten angeordnet sind.
Um Bilder auf dem Display zu erzeugen, sammelt ein Prozessor alle Bilddaten und erzeugt Intensitätssignale oder Pixelwerte für jedes Anzeigepixel. Die Pixelwerte werden für einen Videotreiber bereit gestellt, der jedes Pixel separat gemäß einem zugehörigen Pixelwert anregt. Aus einem Abstand wird der Kontrast zwischen den Intensitäten der Anzeigepixel als ein Bild gesehen.
In vielen verschiedenen Anwendungen wird eine Vergrößerung von digitalen Bildern in Echtzeit benötigt. Es kann zum Beispiel vorteilhaft sein, einen Ausschnitt aus einem medizinischen Bild zu vergrößern, das einen Tumor enthält. Für diesen Zweck ist Software entwickelt worden, die es einem Anwender erlaubt, einen Bildausschnitt für die Vergrößerung auszuwählen und dann den ausgewählten Ausschnitt zu vergrößern.
Ein Problem bei der Bildvergrößerung hat darin bestanden, die Pixelintensitäten in einem vergrößerten Bild so zu wählen, dass sie das Anfangs- bzw. Ausgangsbild wiedergeben und zu einem sauberen vergrößerten Bild führen. Man nehme zum Beispiel einen Intensitätsbereich zwischen 0 und 100 an, bei dem die ersten und zweiten benachbarten Pixelwerte den Intensitäten 55 und 92 entsprechen. Man nehme weiter an, dass die den ersten und zweiten Pixeln entsprechende Fläche zunimmt und 32 Pixel (z.B. jeweils 16 Pixel) bedeckt. Wenn in diesem Fall die 16 vergrößerten Pixel entsprechend dem ersten Pixel sowie die 16 vergrößerten Pixel entsprechend dem zweiten Pixel mit Intensitäten 55 bzw. 92 vorgesehen und alle anderen vergrößerten Pixel in gleicher Weise vergrößert werden, ist das Ergebnis ein sehr grobkörniges Bild, das in vielen Fällen nicht brauchbar ist für den beabsichtigten Zweck einer näheren Untersuchung.
Anstatt die Pixel in dem vergrößerten Bild in der oben angegebenen Weise anzuregen (d.h. mit beiden Intensitäten 55 oder 92), sind von der Industrie andere Lösungen mit unterschiedlichem Erfolg und zu unterschiedlichen Kosten übernommen worden. Die üblichsten Verfahren zum Berechnen neuer Pixel-Intensitäten sind Verfahren, die mit dem sog. nächsten Nachbarn, mit bilinearen und bikubischen Interpolationen arbeiten.
Beim Verfahren mit dem 'nächsten Nachbarn' gilt, wenn Punkte, die den ersten und zweiten benachbarten Pixeln auf einem Anfangsbild entsprechen, durch eine Vergrößerung getrennt werden, so dass die Anfangsbildpunkte dritten und vierten Pixeln entsprechen, die durch viele andere Pixel getrennt sind, wird die Intensität von jedem der anderen Pixel (zum Beispiel von den Pixeln zwischen dem dritten und vierten Pixel) eingestellt auf die Intensität von dem nächsten der dritten oder vierten Pixel. Diese Lösung weist den Vorteil auf, dass sie rechenmäßig einfach ist und deshalb in einfacher Weise unter Einsatz existierender Bildgebungs-Hardware implementiert werden kann. Leider verbessern Verfahren mit dem nächsten Nachbarn die Qualität des vergrößerten Bildes nur leicht und sind daher für viele Anwendungen nicht akzeptabel.
Bilineare Verfahren fügen im allgemeinen in linearer Weise Pixel-Intensitäten ein. Wo zum Beispiel, wie bei dem oben genannten Beispiel, die den ersten und zweiten benachbarten Pixeln entsprechenden Punkte auf einem Anfangsbild durch eine Vergrößerung getrennt werden, so dass die anfänglichen Bildpunkte den dritten und vierten Pixeln entsprechen, die durch drei andere Pixel getrennt sind, und wo die ersten und zweiten Pixel-Intensitäten 55 bzw. 92 waren, werden die anderen Pixel-Intensitäten in linearer Weise ermittelt und werden etwa 64, 73 und 83 sein. Die bilineare Bildvergrößerung mit hoher Geschwindigkeit ist derzeit allgemein verfügbar bei beschleunigter Graphik-Hardware. Leider gilt aber, dass, obwohl diese Lösung ein besseres Bild erzeugt als die Verfahren mit dem nächsten Nachbarn, diese Lösung viel mehr Prozessorzeit benötigt, um die notwendigen Berechnungen durchzuführen, und trotzdem noch nicht eine extrem genaue Vergrößerung liefert.
Bikubische Interpolationsverfahren berücksichtigen im allgemeinen die Intensitäten von mehr als gerade den ersten und zweiten benachbarten Pixeln, wenn sie die Intensitäten der Pixel in einem vergrößerten Bild ermitteln, die zwischen Bildpunkten liegen, welche den anfänglichen ersten und zweiten Pixeln entsprechen. Letzten Endes weisen diese Interpolationsverfahren auf mathematischem Wege die Pixel-Intensitäten auf einer oder mehreren Kurven aus, wobei die Kurven den nächsten anfänglichen Pixel-Intensitäten von verschiedenen Pixeln über eine Fläche entsprechen.
Diese Interpolationsverfahren sind extrem genau und erzeugen qualitativ gute vergrößerte Diagnosebilder. Leider erfordern diese Verfahren gewaltige Beträge an Prozessorzeit und können deshalb in vielen Fällen wegen der Prozessorbegrenzung nicht in Echtzeit durchgeführt werden. Aus diesem Grund steht eine bikubische Bildvergrößerung mit hoher Qualität nicht allgemein zur Verfügung.
Ein Weg, um die Berechnungen zu beschleunigen, besteht darin, eine spezielle Hardware vorzusehen, die besonders für die Durchführung spezieller Berechnungen ausgelegt ist. Zum Beispiel weisen viele Bildverarbeitungssysteme eine spezielle Hardware auf, um entweder eine ein- oder zweidimensionale hochschnelle Faltungsfilterung sowie lineare oder bilineare Interpolationsprozesse durchzuführen, die bei vielen Bildgebungsanwendungen erforderlich sind. Leider sind bisher noch keine Hardwarelösungen bereit gestellt worden, um eine bikubische Interpolation zu fördern.
Es würde deshalb vorteilhaft sein, ein Verfahren sowie eine Einrichtung zu besitzen, die mit existierender Hardware benutzt werden kann, um eine Bildvergrößerung zu erleichtern, wobei die resultierenden vergrößerten Bilder von einer Qualität sind, die im wesentlichen mit der von einer bikubischen Interpolation erreichbaren Qualität identisch sind, und wobei das Verfahren eine Vergrößerung in Echtzeit leistet.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Es wurde erkannt, dass eine spezielle Hardware, die bereits in vielen Arbeitsplatzrechnern für eine Bildgebung vorhanden ist, zum Nachbilden einer bikubischen Interpolation benutzt werden kann, womit man eine extrem genaue Bildvergrößerung zur Verfügung hat. Weil die von der Hardware geleisteten Funktionen und Berechnungen extrem rechenintensiv sind, ist es wichtig, dass die spezielle Hardware diese Funktionen und Berechnungen extrem schnell durchführt, wodurch sie den Anschein eines Zoomens oder einer Vergrößerung in Echtzeit bietet.
Im allgemeinen enthält die Hardware eine Einrichtung zum Falten, einen Interpolator sowie einen Prozessor für die Identifizierung von Faltungs-Koeffizienten. Nachdem die Koeffizienten identifiziert sind, faltet die Faltungseinrichtung die Pixelintensitäten für jedes Pixel in dem zu vergrößerndem ursprünglichen Bildbereich und erzeugt dabei mindestens zwei Zwischenwerte. Der Interpolator interpoliert die Zwischenwerte, um die ausgangsseitigen Pixel-Intensitäten zu erzeugen.
Im Einzelnen enthält gemäß einem eindimensionalen Verfahren zum Zoomen die Erfindung ein Verfahren sowie eine Einrichtung, das bzw. die mit einem digitalen Bildgebungssystem zu verwenden ist, um die Vergrößerung von einem interessierenden Bereich auf einem digitalen Anfangsbild zu erleichtern, wobei der interessierende Bereich eine Anzahl von interessierenden Pixeln enthält, wobei benachbarte Hälften von benachbarten interessierenden Pixeln Interpixel-Inervalle von Interesse bilden. Jedes interessierende Pixel ist durch eine Pixel-Intensität gekennzeichnet. Das System enthält ein Faltungsfilter sowie Interpolations-Hardware. Das Verfahren weist die Schritte auf: für jedes Interpixel-Inervall von Interesse Identifizieren von benachbarten Pixeln, und für jedes benachbarte Pixel: Identifizieren eines Faltungsfensters, und für jedes Fenster: Ermitteln eines Faltungsfilter-Koeffizienten für jedes Pixel in dem Fenster, Falten der Pixel-Intensitäten der Pixel in jedem Fenster unter Benutzung der Koeffizienten, um einen Zwischenwert zu generieren, und Interpolieren der Zwischenwerte, um interpolierte Pixel-Intensitäten zu generieren, wobei die interpolierten Pixel-Intensitäten zusammen ein interpoliertes Bild bilden.
Vorzugsweise ist entsprechend dem eindimensionalen Verfahren die Anfangspixelmatrix in y Spalten und x Reihen angeordnet, und der Schritt des Wählens enthält den Schritt, dass man für jedes Interpixel-Intervall von Interesse zwischen Pixeln in benachbarten Spalten erste und zweite Reihenfaltungsfenster wählt, die aus Pixeln bestehen, die in derselben Reihe wie das interessierende Intervall liegen, und wobei das Verfahren weiterhin die Schritte enthält: für jedes Interpixel-Intervall zwischen Pixeln in benachbarten Reihen auf dem interpolierten Bild, Wählen von ersten und zweiten getrennten Spaltenfaltungsfenstern auf dem interpolierten Bild, wobei jedes Spaltenfenster benachbarte Bildpixel innerhalb derselben Spalte wie und nahe dem interessierenden Interpixel-Intervall aufweist; für jedes Fenster: Ermitteln eines Faltungsfilter-Koeffizienten für jedes Pixel in dem Fenster und Falten der Pixel-Intensitäten in jedem Fenster unter Verwendung der Koeffizienten, um einen Zwischenwert zu generieren, und Interpolieren der Zwischenwerte, um eine endgültige Pixel-Intensität zu erzeugen, wobei die endgültigen Pixel-Intensitäten zusammen das endgültige Bild formen. Die Erfindung enthält ebenfalls ein zweidimensionales Verfahren sowie eine Einrichtung zum Zoomen, das bzw. die ähnlich ist zu dem eindimensionalen Verfahren und der entsprechenden Einrichtung.
In der Beschreibung wird Bezug genommen auf die beigefügten Zeichnungen, die einen Teil hiervon bilden, und in denen eine bevorzugte Ausführungsform der Erfindung gezeigt ist. Eine solche Ausführung repräsentiert nicht notwendig den vollen Umfang der Erfindung, und es wird deshalb für die Auslegung des Umfangs der Erfindung Bezug genommen auf die hier beigefügten Ansprüche.
KURZE BESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN IN DEN ZEICHNUNGEN
1 ist eine schematische Ansicht, welche eindimensionale Faltungsinterpolationsverfahren gemäß der vorliegenden Erfindung darstellt;
2 ist eine schematische Darstellung, welche ein Faltungsfenster gemäß einer zweiten Ausführung der vorliegenden Erfindung zeigt;
3 ist eine schematische Ansicht, welche eine Beziehung zwischen den Zwischenwerten der Intensität und allen Pixel-Intensitäten gemäß der zweiten Ausführung der Erfindung zeigt;
4 ist eine perspektivische Ansicht von einem Computersystem, das für die Ausführung der erfinderischen Verfahren benutzt wird;
5 ist eine schematische Darstellung der sowohl bei der ersten als auch bei der zweiten Ausführung der vorliegenden Erfindung benutzten Hardware;
6 ist eine schematische Darstellung, welche die für eine eindimensionale Faltungsversion der vorliegenden Erfindung benutzte Hardware zeigt;
7 ist eine schematische Darstellung, die einen interessierenden Bereich sowie einen expandierten interessierenden Bereich gemäß der vorliegenden Erfindung zeigt;
8 ist ähnlich zu 6, stellt jedoch die Hardware dar, die für ein zweidimensionales Faltungssystem gemäß der vorliegenden Erfindung benötigt wird;
9 ist ein Flussdiagramm, welches die Arbeitsweise der Hardware von 5 zeigt;
10 ist ein Flussdiagramm, welches die Arbeitsweise der Hardware von 6 zeigt und
11 ist ein Flussdiagramm, welches die Arbeitsweise der Hardware von 8 zeigt.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
A. THEORIE
Im Allgemeinen hat man erkannt, dass eine bikubische Interpolation ziemlich genau berechnet oder nachgebildet werden kann durch Ausführen einer zweidimensionalen Faltung der anfänglichen Pixel-Intensitäten, um Zwischenwerte zu erzeugen und sodann linear zwischen den Zwischenwerten zu interpolieren, um spezifische endgültige Bildpixel-Intensitäten zu generieren. Obwohl solche Faltungs- und Interpolationsverfahren rechenintensiv sind, enthalten viele Bildgebungssysteme heute eine Hardware, welche die erforderlichen Berechnungen extrem schnell ausführen kann, so dass die Rechenschritte so erscheinen, als wären sie in Echtzeit ausgeführt. Speziell enthält die Hardware Faltungsfilter und lineare oder bilineare Interpolatoren, die sehr schnell die gewünschten Funktionen bereit stellen, um die Pixel-Intensitäten abzuschätzen, die über eine Software-basierte bikubische Interpolation erzeugt werden würden.
Einige Systeme enthalten nur Hardware, die zur Durchführung entweder von einer ein- oder einer zweidimensionalen Faltung oder einer linearen oder bilinearen Interpolation benutzt werden kann. Die vorliegende Erfindung enthält ein erstes Verfahren, auf das hier als eine eindimensionale Faltung (ODC – One Dimensional Convolution) Bezug genommen wird, das mittels Hardware angewendet werden kann, die ihrerseits auf eine eindimensionale Faltung und eine lineare Interpolation zur Abschätzung der ausgangsseitigen Pixel-Intensitäten beschränkt ist. Zusätzlich enthält die vorliegende Erfindung ebenfalls ein zweites Verfahren, auf das hier als eine zweidimensionale Faltung (TDC – Two Dimensional Convolution) Bezug genommen wird, das mittels eine Hardware benutzt werden kann, die eine zweidimensionale Faltung und eine bilineare Interpolation für die Abschätzung der ausgangsseitigen Pixel-Intensitäten ausführen kann. Jedes von den ein- und zweidimensionalen Faltungsverfahren wird nachfolgend für sich beschrieben.
Bei jedem von den nachfolgenden Verfahren wird angenommen, dass Display- bzw. Anzeigepixel in x horizontalen Reihen und in y vertikalen Spalten angeordnet sind. Dazu wird angenommen, dass ein von einem Anwender erhaltener Befehl angibt, dass ein spezieller Bildbereich um einen Faktor n vergrößert werden sollte, wobei n gleich 5 ist (d.h. die Vergrößerung erfolgt um einen Faktor 5). Somit wird im allgemeinen das Feld von einem ersten Bild, das einem einzelnen Pixel entspricht, derart vergrößert werden, dass dasselbe Feld im endgültigen Bild einem Block von Pixeln mit den Dimensionen 5 × 5 entspricht. Auf den zu vergrößernden Bereich wird hier als den interessierenden Bereich hingewiesen, und auf jedes Pixel innerhalb des interessierenden Bereichs wird hingewiesen als ein interessierendes Pixel.
1. VERFAHREN DER EINDIMENSIONALEN FALTUNG (ODC)
Entsprechend dem ODC Verfahren wird, wenn ein Befehl zum Vergrößern eines interessierenden Bereichs um einen Faktor n erhalten wird, vor der Faltung und Interpolation ein expandierter interessierender Bereich ausgewählt, der den interessierenden Bereich sowie eine zusätzliche Anzahl von Reihen oberhalb und unterhalb des interessierenden Bereichs enthält. Die zusätzlichen Reihen in dem expandierten Bereich müssen in der x Dimension prozessiert werden, so dass Daten für die Verarbeitung in der x Dimension erzeugt werden. Dieses Erfordernis wird nachfolgend deutlicher werden.
Nachdem der expandierte Bereich gewählt worden ist, wird die Faltungs- und Interpolations-Hardware benutzt, um zunächst die Pixeldaten in der x (d.h. in der Zeilen-) Dimension zu modifizieren, um ein interpoliertes Bild zu erzeugen. Danach werden die interpolierten Bilddaten erneut in die Faltungs- und Interpolations-Hardware eingespeist, welche die Pixeldaten in der y (d.h. Spalten-) Dimension modifiziert, und dadurch ein endgültiges oder Ausgangsbild erzeugt. Jeder Durchlauf durch die Hardware weist einen Prozess mit zwei Schritten auf, und zwar entsprechend für jedes während des Durchlaufs prozessierten Pixels. In dem ersten Schritt wählt die Faltungs-Hardware für jedes Pixel in dem gerade prozessierten Bild ein separates Faltungsfenster auf dem gerade prozessierten Bild aus (d.h. auf dem Anfangsbild während des ersten Durchgangs und auf dem interpolierten Bild während des zweiten Durchgangs). Während des ersten Durchgangs befindet sich jedes Fenster (d.h. ein Reihenfenster) in derselben Reihe wie ein entsprechendes interessierendes Pixel, und während jedes zweiten Durchgangs befindet sich jedes Fenster (d.h. ein Spaltenfenster) in derselben Spalte wie ein entsprechendes endgültiges Pixel. Dazu enthält jedes Fenster zu dem interessierenden Pixel benachbarte Pixel. Die Anzahl von Pixeln in jedem Faltungsfenster hängt ab von einer Filtergröße m, wobei m in typischen Fällen eine Zahl von Pixeln (z.B. 5,7 etc.) darstellt. Nachfolgend wird hier m mit 5 angenommen, wenn das nicht anders angegeben ist.
Um besser die Faltungsfenster so wie das erfindungsgemäße ODC Verfahren zu verstehen, nehme man Bezug auf 1, in der sechs anfängliche Pixel P1 bis P6 dargestellt sind. Die Pixel P1 bis P6 sollen um einen Faktor 5 vergrößert werden. Für die Zwecke dieser Erklärung soll bei der Bezugnahme auf das ODC Verfahren der Ausdruck "Interpixel-Intervall" benutzt werden, um hinzuweisen auf benachbarte Hälften von benachbarten Pixeln. Zum Beispiel ist in 1 ein Interpixel-Intervall korrespondierend zu den Pixeln P3 und P4 schraffiert ausgewiesen als P34. In gleicher Weise befindet sich ein Interpixel-Intervall zwischen jeweils zwei anderen benachbarten Pixeln. Um die Pixel P1 bis P6 zu vergrößern, wird entsprechend dem ODC Verfahren jedes Interpixel-Intervall um einen Faktor 5 vergrößert. Zu diesem Zweck werden zwei Faltungsfenster enthaltend m Pixel gewählt, die zu jedem Intervall korrespondieren. Zum Beispiel sind die Fenster für das Intervall P34, wo eine Filtergröße m gleich 5 beträgt, ein erstes Fenster 10a enthaltend die Pixel P1 bis P5 sowie ein zweites Fenster 10b enthaltend die Pixel P2 bis P6. Die Intensitäten der Pixel P1 bis P6 sind bezeichnet als I₁ bis I₆.
Wenn die Aufforderung zur fünffachen Vergrößerung erhalten wird, wird in Wirklichkeit zunächst die Fläche in dem Anfangsbild korrespondierend zu jedem Interpixel-Intervall in der x Dimension expandiert, um fünf Pixel abzudecken. Zum Beispiel wird in 1 die Fläche entsprechend zum Interpixel-Intervall P34 expandiert in die interpolierten Pixel P1' bis P5' mit Intensitäten 01 bis 05, die einen ausgangsseitigen Pixelblock 12 bilden. In gleicher Weise werden die Intervallflächen zwischen anderen anfänglichen benachbarten Pixelpaaren P1 und P2, P2 und P3, P4 und P5 sowie P5 und Pq6 jeweils zu fünf verschiedenen interpolierte Pixel-Intensitäten ausgeweitet. Es werden somit zunächst die Pixel P1 bis P5 in der x Dimension expandiert, um 25 separate interpolierte Pixel (d.h. 5 Ausgangspixel entsprechend jedem Interpixel-Intervall) zu bilden, wobei jedes Ausgangspixel durch eine separate Intensität charakterisiert ist. Danach wird dieselbe Vorgehensweise in der y Dimension wiederholt, um fünf separate ausgangsseitige Pixel-Intensitäten für die Fläche zwischen jeweils zwei benachbarten interpolierten Pixeln vorzusehen.
Immer noch Bezug nehmend auf 1 werden zum Expandieren des Intervalls P34 in der x Dimension die Faltungsfenster 10a und 10b zunächst um die benachbarten Pixel P3 und P4 herum gewählt. Nachdem die Faltungsfenster 10a und 10b gewählt wurden, faltet die Faltungs-Hardware jedes von den Fenstern 10a und 10b separat, und erzeugt dadurch zwei Zwischenwerte b₁ bzw. b₂. Die Faltungsgleichungen für die Zwischenwerte b₁ und b₂ lauten wie folgt
und
Dabei bedeuten a_i Koeffizienten des Faltungsfilters, die abhängen von dem Vergrößerungsfaktor n, wobei in diesem Beispiel n gleich 5 ist.
Nachdem jeder der Zwischenwerte b₁ und b₂ ausgewiesen ist, werden die Zwischenwerte an die Hardware für die lineare Interpolation geliefert, welche die Intensitäten b₁ und b₂ über n Ausgangspixel interpoliert. Zu diesem Zweck führt die Interpolations-Hardware die folgenden Gleichungen aus, um die Intensitäten O_k der endgültigen Pixel P1', P2', P3', P4' und P5' zu ermitteln, wobei k von 1 bis n beträgt, in dem vorliegenden Beispiel von 1 bis 5. Wenn n ungerade ist, gilt:
und wenn n gerade ist:
Durch Einsetzen der Werte b₁ und b₂ aus den Gleichungen 1 und 2 in die Gleichungen 3 und 4 und indem man das Ergebnis vereinfacht, gilt für den Fall, dass n ungerade ist:
und wenn n gerade ist:
Die Gleichungen 5 und 6 können ausgedrückt werden zu:
Dabei bilden die Werte
eine Funktion der Koeffizienten mit korrespondierenden I Werten entweder aus der Gleichung 3 oder der Gleichung 4, und zwar abhängig davon, ob n ungerade oder gerade ist. Wenn zum Beispiel n ungerade ist und i₂ gleich 1 ist, ergibt sich
aus der Gleichung 3 oder zu:
Die einzigen Unbekannten in Gleichung 7 sind die Faltungsfilter-Koeffizienten
Wenn daher die Koeffizienten
für einen speziellen Vergrößerungsfaktor n ausgewiesen werden können, lassen sich die Gleichungen 1, 2 und 3 im Falle eines ungeraden Faktors n oder die Gleichungen 1, 2 und 4 im Falle eines geraden Faktors n ausführen, um die Intensitäten 01 – 05 der Pixel P1' – P5' zu ermitteln.
Um die Faltungsfilter-Koeffizienten
auszuweisen, wird ein Satz von Gleichungen ähnlich zu Gleichung 7 zunächst gemäß konventionellen bikubischen Interpolationsverfahren abgeleitet. Danach werden die gemeinsamen Koeffizienten der Gleichung 7 und der kubischen Gleichungen gleich gesetzt und für die Faltungsfilter-Koeffizienten gelöst. Zu diesem Zweck kann, wie wohl bekannt ist, wenn es vier äquidistante Punkte x₁, x₂, x₃ und x₄ auf einem Bild gibt und eine Funktion f die Intensitätswerte I₁, I₂, I₃ und I₄ jeweils von den vier Punkten definiert, der Intensitätswert der Funktion an einem Punkt x zwischen den Punkten x₂ und x₃ wie folgt ermittelt werden. Zunächst nehme man an, dx sei als der normalisierte Abstand definiert zu:
Mit dem so definierten Abstand dx können die folgenden kubischen Koeffizienten C₁ bis C₄ berechnet werden:
Der Intensitätswert O_k der Funktion f am Punkt x kann unter Einsatz der kubischen Interpolation daher ausgedrückt werden zu:
Vergleicht man die Gleichungen 7 und 14 und setzt die Koeffizienten gleich mit den entsprechenden Intensitäten I_i der Eingangspixel, lässt sich ein Satz von bis zu vier linearen Gleichungen für die Faltungsfilter-Koeffizienten a_i2 ausdrücken zu:
Alle vier kubischen Koeffizienten c_i können ermittelt werden durch Lösen der Gleichungen 10 bis 13, und es sind deshalb die einzigen unbekannten Werte in Gleichung 15 die fünf Koeffizienten a₁ bis a₅.
Um zusätzliche Gleichungen für die Ermittlung der Koeffizienten a₁ bis a₅ zu erzeugen, wird die Vorgehensweise von oben für jedes von den Ausgangspixeln wiederholt. Somit werden unter erneuter Bezugnahme auf 1, weil n gleich 5 ist und es deshalb fünf Ausgangspixel P1' bis P5' im Block 12 gibt, vier c_i Werte für jedes separate Pixel P1' bis P5' erzeugt, um zwanzig c_i Werte sowie passende Gleichungen wie Gleichung 15 zu generieren, und zwar eine separate Gleichung für jeden von den zwanzig c_j Werten. Somit werden zwanzig (d.h. 4n) kubische Gleichungen abgeleitet mit lediglich 5 (d.h. m) Unbekannte (d.h. a₁ bis a₅).
Es können weniger als vier Gleichungen sein, wenn die aus der von dem Faltungsfilter angewendeten bilinearen Interpolation erhaltenen Pixel keinerlei Beitrag von einigen Eingangspixeln I_i aufweisen. In diesem Fall wird die Anzahl von Gleichungen durch die Anzahl von solchen Pixeln reduziert.
Das System von 4n Gleichungen lässt sich in Matrixform ausdrücken als: C = ΛA (16)
Dabei ist C der Vektor der entsprechenden Koeffizienten c_i von den rechten Seiten der Gleichungen 15, Λ ist die Matrix der Koeffizienten λ_ij von diesen linearen Gleichungen, und A ist ein Vektor aus m Filter-Koeffizienten a_i. Für praktische Werte von Zoom-Faktoren n und Filtergrößen m stellt die Matrix von Gleichung 16 ein überbestimmtes System von linearen Gleichungen dar. In diesem Fall wird die Lösung für die Matrixgleichung 16 ermittelt durch Anwenden des linearen Fehlerquadratverfahrens, das die Form aufweist: A = (ΛTΛ)–1 ΛTC (17)
Das lineare Fehlerquadratverfahren und insbesondere die Gleichung 17 sind wohl bekannte mathematische Operationen und werden deshalb hier nicht im Einzelnen erläutert. Für eine allgemeine Erläuterung des linearen Fehlerquadratverfahrens sollte Bezug genommen werden auf irgendeine standardmäßige Algebra-Literatur, welche die Matrizen-Algebra lehrt.
Nach der Ermittlung der Koeffizienten a_i entsprechend zu dem anzuwendenden Faltungsfilter ist die gesamte Prozedur zum Zoomen von digitalen Bildern bestimmt.
2. VERFAHREN ZUR ZWEIDIMENSIONALEN FALTUNG (TDC)
Gemäß dem TDC Verfahren werden, wenn ein Befehl zum Vergrößern eines interessierenden Bereichs um einen Faktor n erhalten wird, ein zweidimensionales Hardware-Faltungsfilter sowie ein bilinearer Interpolator benutzt, um anfängliche Pixelintensitäten gleichzeitig sowohl in der x als auch in der y Dimension zu falten und zu interpolieren und um dadurch ein endgültiges Ausgangsbild zu erzeugen.
Im Unterschied zum ODC Verfahren, das zum Vergrößern zuerst die Werte in einer Dimension prozessiert und sodann die Werte in einer zweiten Dimension verarbeitet, prozessiert somit das TDC Verfahren gleichzeitig in beiden Dimensionen. Abgesehen von diesem Unterschied und der komplexeren Mathematik, die für die gleichzeitige zweidimensionale Verarbeitung benötigt wird, ist das TDC Verfahren sehr ähnlich zu dem ODC Verfahren.
Für Zwecke dieser Erläuterung wird bei Bezugnahme auf das TDC Verfahren der Ausdruck "Interpixel-Intervall" verwendet, um auf benachbarte Viertel von vier benachbarten Pixeln zu verweisen. Unter Bezugnahme auf 2 ist das allgemeine Pixelschema für die Anwendung des TDC Verfahrens auf einen interessierenden Bereich dargestellt. Der anfängliche interessierende Bereich enthält einen Pixelblock von (m + 1) (m + 1)Pixeln. In 2 bezeichnen I₁₁ bis I_{(m + 1)(m + 1}) Pixelintensitäten von dem Ursprungsbild entsprechend zu den interessierenden Pixeln P₁₁ bis P_{(m + 1)(m + 1);} b₁₁ bis b₂₂ bezeichnen Zwischenwerte, die erhalten werden durch Anwendung eines 2D Faltungsfilters auf die Intensitäten I₁₁ bis I_{(m + 1) (m +
1)}; die Ziffer 20 legt in Umrissen ein Faltungsfilterfenster enthaltend die Pixel P₁₁ bis P_mm dar, und O₁₁ bis O_nn stellen die Intensitäten der Ausgangspixel P'₁₁ bis P'_nn dar, die aus einer bilinearen Interpolation aus den Zwischenpixeln b₁₁, b₁₂, b₂₁ und b₂₂ erhalten wurden. Allgemein wird auf die Intensitäten I₁₁ bis I_mm Bezug genommen als I_ij.
Die Zwischenwerte b₁₁ bis b₂₂ werden erhalten durch Anwenden des m × m Faltungsfilters auf die Eingangspixel I_ij gemäß den folgenden Ausdrücken:
Dabei sind a_ij die Koeffizienten von dem zweidimensionalen Faltungsfilter.
Nachdem die Zwischenwerte b₁₁ bis b₂₂ ermittelt sind, wird die bilineare Interpolation angewendet, um die Ausgangsintensitäten O₁₁ bis O_nn zu erzeugen. 3 zeigt die Beziehung zwischen den Zwischenwerten b₁₁, b₁₂, b₂₁ und b₂₂ und den Ausgangspixeln O₁₁ bis O_nn. Jedes von den Ausgangspixeln O_ij belegt einen verschiedenen Ort relativ zu den Zwischenwerten b₁₁ bis b₂₂. Alle anderen durch die lineare Interpolation erzeugten Ausgangspixel belegen dieselben relativen Stellen zu einigen Zwischenpixeln. Die Werte von den Ausgangspixeln O₁₁ bis O_nn sind, was die Zwischenwerte betrifft, gegeben durch die folgenden Gleichungen:
und zwar für i, j = 1 ..., n(n ungerade) und
und zwar für i, j = 1 ..., n(n gerade).
Wenn die Ausdrücke für die Zwischenwerte b₁₁ bis b₂₂ aus den Gleichungen 18 bis 21 in Gleichung 22 eingesetzt werden, wird der folgenden Ausdruck erhalten:
der ausgedrückt werden kann zu:
dabei stellen
die konstanten Koeffizienten von den Gleichungen 22 dar. Ähnliche Ausdrücke können erhalten werden unter Benutzung der Gleichungen 23.
Wie auf dem Fachgebiet gut bekannt ist, können unter Anwendung von bekannten Ausdrücken für eine bikubische Interpolation alternierende Ausdrücke für die Pixelwerte O_kl erhalten werden, die kollektiv ausgedrückt werden können als:
Dabei stellen c_ij die aus den Ausdrücken für die bikubische Interpolation abgeleiteten Koeffizienten für den Fall einer Vergrößerung um den Faktor n dar. Durch Vergleich der Gleichungen 25 und 26 und Gleichsetzen der Koeffizienten mit den entsprechenden Eingangspixelwerten I_ij wird ein Satz von bis zu sechzehn linearen Gleichungen für die Filterkoeffizienten
erhalten, die kollektiv ausgedrückt werden können als:
Es können weniger als sechzehn Gleichungen sein, wenn die aus der von dem Faltungsfilter benutzten bilinearen Interpolation erhaltenen Pixel keinerlei Beitrag von einigen Eingangspixeln I_ij haben. In dem Fall wird die Anzahl von Gleichungen durch die Anzahl solcher Pixel verringert. Indem man diese Prozedur für alle Ausgangspixel O_ij (i,j = 1, ..., n) wiederholt, wird ein System von (16n) linearen Gleichungen für die Faltungsfilter-Koeffizienten erhalten, das in Matrixform ausgedrückt werden kann als: C = ΛA (28)
Dabei ist C ein Vektor von den entsprechenden Koeffizienten c_ij von der rechten Seite der Gleichungen 26, Λ ist die Matrix von Koeffizienten
von diesen linearen Gleichungen, und A ist der Vektor von m × m Filterkoeffizienten a₁₁ bis a_mm. Für praktische Werte von Zoom-Faktoren n sowie von Filtergrößen m × m stellt dies ein überbestimmtes System von linearen Gleichungen dar. In diesem Fall können die Koeffizienten a_ij ermittelt werden unter Einsatz des linearen Fehlerquadratverfahrens, wie es oben durch die Gleichung 17 angegeben ist.
Nach der Ermittlung der Koeffizienten a_ij des Faltungsfilters, das anzuwenden ist, ist die gesamte Vorgehensweise zum Zoomen von digitalen Bildern bestimmt.
B. HARDWARE UND BETRIEB
Nunmehr Bezug nehmend auf 4 ist ein konventioneller Arbeitsplatzrechner bzw. eine Workstation 30 dargestellt, die einen Computer 32, ein mit dem Computer 32 verbundenes Display bzw. Anzeigegerät 34 sowie zwei Schnittstellengeräte, eine Tastatur 36 sowie eine Maus 38, enthält. Die Tastatur 36 und die Maus 38 erlauben es einem Benutzer, Informationen an den Computer zu geben, einschließlich von Befehlen zum Steuern des Computers 32. Informationen einschließlich von Bildern werden für eine Beobachtung auf dem Display 34 zu Darstellung gebracht. Für die Zwecke dieser Erläuterung wird angenommen, dass ein Bild über das Display 34 angezeigt wird, und ein Benutzer des Arbeitsplatzrechners entweder die Tastatur 36 oder die Maus 38 benutzt, um einen interessierenden Bereich auf dem anfänglich dargestellten Bild auszuwählen, der um einen Faktor 5 (d.h. n = 5) vergrößert werden soll.
Zusätzlich zu anderer Verarbeitungs-Hardware muss der Computer 32 eine Hardware aufweisen, die entweder zur eindimensionalen Faltungsfilterung und linearen Interpolation oder zur zweidimensionalen Faltungsfilterung und bilinearen Interpolation in der Lage ist. Zu diesem Zweck weist unter Bezugnahme auf 5 der Computer einen Rechner 40 für den Interpolations-Koeffizienten auf, einen Rechner 42 für den kubischen Koeffizienten sowie einen linearen Fehlerquadratbestimmer 44. Ebenfalls Bezug nehmend auf 9 empfängt im Block 160 der Rechner 40 einen Vergrößerungsfaktor n und benutzt den Faktor n, um die Interpolations-Koeffizienten zu ermitteln. Zu diesem Zweck benutzt der Rechner 40 einerseits, wenn eine Hardware-basierte Faltungseinrichtung nur zur eindimensionalen Faltung in der Lage ist und ein Hardware-basierter Interpolator nur zur linearen Interpolation in der Lage ist, die Koeffizientenausdrücke aus den Gleichungen 5 und 6, um die Interpolations-Koeffizienten im Block 162 zu ermitteln. Wenn zum Beispiel n gleich 5 und m gleich 6 ist, lauten die vier Gleichungen entsprechend zur Gleichung 15 oben für das erste Ausgangspixel (d.h. n = 1):
Betrachtet man Gleichung 5 auf I hin, wobei i gleich 1 ist entsprechend zur Gleichung 29, dann gibt es lediglich einen einzigen Koeffizienten-Ausdruck für a₁, wobei der Ausdruck (n – k + 1)/n lautet und daher der Koeffizient λ₁₁ bekannt ist zu (n – k + 1)/n und wobei von allen anderen Koeffizienten λ₁₂, λ₁₃, λ₁₄ und λ₁₅ bekannt ist, dass sie Nullen sind. Wenn i gleich 2 ist entsprechend zur Gleichung 30, ist unter Bezugnahme auf Gleichung 5 der Koeffizient λ₂₁ gleich (k – 1)/n, der Koeffizient λ₂₂ beträgt gleich (n – k + 1)/n, und alle anderen λ Koeffizienten in Gleichung 30 sind null. Wenn i gleich 3 ist entsprechend zur Gleichung 31, ist der Koeffizient λ₃₁ gleich null, der Koeffizient λ₃₂ gleich (k – 1)/n, der Koeffizient λ₃₃ gleich (n – k + 1)/n, und alle anderen Koeffizienten λ in Gleichung 31 sind Nullen. Wenn i gleich 4 ist entsprechend zur Gleichung 32, sind die Koeffizienten λ₄₁ und λ₄₂ Nullen, der Koeffizient λ₄₃ beträgt gleich (k – 1)/n, der Koeffizient λ₄₄ ist (n – k + 1)/n, und alle anderen Koeffizienten sind Nullen. Der in jedem der Koeffizienten benutzte k Wert entspricht einem Ausgangspixel, und es werden Gleichungen wie die Gleichungen 29 bis 32 für jedes beabsichtigte Ausgangspixel untersucht, wobei man 4n Interpolations-Koeffizienten λ generiert, die an den Bestimmen 44 zur Verfügung gestellt werden.
Wenn andererseits die hardwaremäßige Faltungseinrichtung eine zweidimensionale Faltungseinrichtung ist und ein bilinearer Interpolator vorliegt, benutzt im Block 162 der Rechner 40 die Gleichungen 22 oder 23 abhängig davon, ob der Faktor n ungerade oder gerade ist, um die Interpolations-Koeffizienten λ_ijkl zu bestimmen, die an den Entscheiden bzw. Ermittler 44 zur Verfügung gestellt werden.
Noch auf die 5 und 9 Bezug nehmend erhält im Block 164 der Rechner 42 für den kubischen Koeffizienten ebenfalls den Faktor n und ermittelt die bikubischen Koeffizienten. In den Fällen, in denen die systemmäßige Faltungseinrichtung nur die eindimensionale Faltung leistet, benutzt der Rechner 42 die Gleichungen 9 und 10 bis 13 oder andere ähnliche Gleichungen, um für jedes separate Ausgangspixel die Koeffizienten c₁ bis c₄ zu ermitteln. In den Fällen, in denen das System die zweidimensionale Faltung leisten kann, erzeugt der Rechner 42 sechzehn Koeffizienten c₁ bis c₁₆ für jedes Ausgangspixel unter Einsatz von konventionellen bikubischen Gleichungen, die auf dem Fachgebiet wohl bekannt sind. Somit werden 16 n Koeffizienten erzeugt und an dem Bestimmer 44 zur Verfügung gestellt.
Zusätzlich zum Empfang der Interpolations-Koeffizienten λ und der kubischen Koeffizienten c, empfängt der Bestimmer 44 ebenfalls einen Wert m, der die Filterdimensionen angibt. In den Blöcken 166 und 168 bildet der Bestimmer 44 die von der Gleichung 17 angegebene Matrixgleichung und löst die Gleichung, um m oder m × m Koeffizienten a zu erzeugen, die entweder in den Gleichungen 1 und 2 oder in den Gleichungen 18, 19, 20 und 21 gebraucht werden. Die Koeffizienten a_i oder a_ij werden als ein Ausgang von dem Bestimmer 44 bereit gestellt.
Die übrige Hardware für den Fall des ODC Verfahrens ist in 6 dargestellt, während die übrige Hardware für den Fall des TDC Verfahrens in 7 gezeigt ist. Unter Bezugnahme auf 6 enthält der Rechner 32 (vgl. 5) zur Durchführung des ODC Verfahrens weiterhin eine 1D Faltungseinrichtung 56, einen linearen Interpolator 58 sowie ein Datenpuffer(speicher) 60.
Unter Bezugnahme ebenfalls auf 10 empfängt im Block 180 die Faltungseinrichtung 56 jede anfängliche Bildpixelintensität I_i, die dem expandierten interessierenden Bereich entspricht. Ebenfalls Bezug nehmend auf 7 enthält ein interessierender Bereich 80 (d.h. zu vergrößernder Bildbereich) A Reihen und B Spalten. Zum Falten und Interpolieren von Faltungsfenstern für jedes Intervall in dem interessierenden Bereich 80 in der x Dimension (d.h. horizontal) weisen die Fenster m + 1 Pixelintensitäten entsprechend den m + 1 Pixeln auf, die benachbart und in derselben Reihe wie das interessierende Intervall liegen. Für Intervalle auf den seitlichen Kanten des Bereichs 80 werden sich somit entsprechende Fenster lateral von dem interessierenden Bereich um bis zu m/2 Pixel erstrecken. Ein solches sich seitlich erstreckendes Fenster ist mit der Zahl 82 bezeichnet. Pixel, die mit Bezug auf den interessierenden Bereich 80 seitlich positioniert liegen, sind mit den Intervallen innerhalb des Bereichs 80 insofern gleich, dass sie noch nicht gefaltet und interpoliert worden sind. Deshalb enthalten Faltungsfenster, die sich seitlich ausweiten, während des ersten Durchgangs von einem Bild durch die Hardware nur nichtgefaltete Pixel.
Nachdem die Intervalle innerhalb eines interessierenden Bereichs in der x Dimension expandiert worden sind, sind jedoch die Pixel in Reihen direkt oberhalb und unterhalb des interessierenden Bereichs noch nicht expandiert. Somit können beim zweiten Durchgang von dem Bild durch die Hardware zum Expandieren der Intervalle in der y Dimension für Intervalle nahe der Spitze und dem Boden von dem Bereich, der bereits in der x Dimension expandiert worden ist, keine geeigneten Faltungsfenster gewählt werden. Es gilt zum Beispiel, für ein Intervall in der obersten Reihe eines in der x Dimension expandierten Bereichs, wenn ein Faltungsfenster mit 5 Pixeln gewählt wird, während die Pixel unterhalb des interessierenden Intervalls und innerhalb des Fensters in der x Dimension expandiert worden sind wie das interessierende Intervall, sind die Pixel oberhalb des interessierenden Intervalls nicht in gleicher Weise in der x Dimension expandiert und können daher nicht in geeigneter Weise benutzt werden, um das interessierende Intervall zu falten und zu interpolieren.
Um dieses Problem zu überwinden, wird unter Bezugnahme auf 7 der interessierende Bereich 80 expandiert, um m/2 Reihen von Pixeln oberhalb und m/2 Reihen von Pixeln unterhalb von dem anfänglichen interessierenden Bereich zu enthalten, was zu einem expandierten Bereich 84 führt. Anschließend kann nach der Expansion in der x Dimension eine Expansion in der y Dimension für Intervalle in den Reihen entsprechend zu dem ursprünglichen interessierenden Bereich durchgeführt werden, und zwar unter Benutzung der Faltungsfenster für an der Spitze und am Boden lokalisierte Pixel, die sich in den Bereich 84 oberhalb von dem Bereich 80 erstrecken sowie gleichermaßen in den Bereich unterhalb von dem Bereich 80.
Weiter Bezug nehmend auf die 6 und 10 empfängt im Block 180 die Faltungseinrichtung 56 zusätzlich zum Empfang von Intensitätssignalen I_j für jedes Pixel innerhalb von dem expandierten Bereich 84 ebenfalls Faltungsfilter-Koeffizienten a_i vom Bestimmer 44 (vgl. 5), sowie den Filtergrößenwert m und den Faktor n. Die Faltungseinrichtung 56 selektiert zuerst Pixelpaare benachbart zu jedem interessierenden Intervall und selektiert sodann ein separates Faltungsfenster für jedes benachbarte Pixel in dem expandierten interessierenden Bereich und bildet im Block 182 die Gleichungen 1 und 2, wobei sie Zwischenwerte b₁ und b₂ für die Fenster generiert.
Im Block 184 erhält der Interpolator 58 die Werte b₁ und b₂ sowie den Faktor n und löst entweder die Gleichung 3 oder die Gleichung 4 (abhängig davon, ob der Faktor n ungerade oder gerade ist), und zwar für jedes der k Ausgangspixel, um die Pixelintensitäten O₁ bis O_k zu ermitteln. Die Intensitäten O₁ bis O_k werden für jedes Intervall in dem ursprünglichen interessierenden Bereich 84 (vgl. 7) ermittelt, und zusammen definieren die Intensitäten O₁ – O_k ein interpoliertes Bild (d.h. den interpolierten Bereich expandiert in der x Dimension). Das interpolierte Bild wird zeitweilig im Puffer 60 gespeichert. Sobald das interpolierte Bild fertiggestellt worden ist, wird dieses Bild einschließlich aller Pixel-Intensitäten ein zweites Mal der Faltungseinrichtung 56 zur Verfügung gestellt. Im Block 186 identifiziert die Faltungseinrichtung 56 für jedes Intervall zwischen benachbarten Pixeln in benachbarten Reihen von dem interpolierten Bild, was den Reihen in dem anfänglichen interessierenden Bereich 80 (vgl. 7) entsprach, die benachbarten Pixel und selektiert ein Spaltenfaltungsfenster für jedes benachbarte Pixel und faltet die Intensitäten in den Fenstern gemäß den Gleichungen 1 und 2, wobei sie Zwischenwerte b₁ und b₂ erzeugt. Im Block 188 empfängt der Interpolator 58 die Werte b₁ und b₂, führt entweder die Gleichung 3 oder die Gleichung 4 aus (abhängig davon, ob n ungerade oder gerade ist) und erzeugt endgültige Ausgangsintensitäten, die zusammen das endgültige und vergrößerte Bild definieren. Der Computer 32 (vgl. 5) benutzt die Intensitäten O_k, um das Display 34 zur Darstellung des vergrößerten interessierenden Bereichs zu betreiben.
Bezugnehmend nunmehr auf 9 enthält die restliche Hardware zur Durchführung des TDC Verfahrens eine 2D Faltungseinrichtung 90 sowie einen bilinearen Interpolator 92. Unter Bezugnahme ebenfalls auf 11 empfängt im Block 150 die Faltungseinrichtung 90 die den interessierenden Bereich umfassenden Bildpixel-Intensitäten I_i die Faltungsfilter-Koeffizienten a_i den Faktor n sowie den Filterwert m. Die Faltungseinrichtung 90 selektiert vier benachbarte Pixel für jedes Interpixel-Intervall innerhalb des interessierenden Bereichs. Im Block 152 führt die Faltungseinrichtung 90 die Gleichungen 18 bis 21 aus, um Zwischenwerte b₁₁, b₁₂, b₂₁ und b₂₂ zu ermitteln. Im Block 152 empfängt der Interpolator 92 jeden der Werte b₁₁ bis b₂₂ sowie den Faktor n für jedes Intervall in dem interessierenden Bereich und interpoliert jeden Satz von vier Werten b₁₁ bis b₂₂, um n × n Pixel-Intensitäten O_ij zu erzeugen, und zwar durch Lösen entweder der Gleichung 22 oder der Gleichung 23, abhängig davon, ob der Faktor n ungerade oder gerade ist. Die Pixel-Intensitäten O_ij definieren das endgültige vergrößerte Ausgangsbild und können von dem Computer 32 (vgl. 5) verwendet werden, um das vergrößerte Bild auf dem Display 34 zur Darstellung zu bringen.
Es sollte darüber Einverständnis bestehen, dass die oben beschriebenen Verfahren und Einrichtungen lediglich beispielhaft sind und nicht den Umfang der Erfindung begrenzen, und dass von Fachleuten auf dem Gebiet verschiedene Modifikationen vorgenommen werden könnten, die in den Bereich der Erfindung fallen würden.
Um die Öffentlichkeit über den Schutzumfang dieser Erfindung in Kenntnis zu setzen, stellen wir die folgenden Ansprüche auf.

Claims

Verfahren, das mit einem digitalen Bildgebungssystem zu verwenden ist, um die Vergrößerung von einem interessierenden Bereich (P1–P6) auf einem digitalen Anfangsbild zu erleichtern, wobei der interessierende Bereich (P1–P6) eine Anzahl von interessierenden Pixeln (P₁–P₆) enthält, wobei benachbarte Abschnitte von benachbarten interessierenden Pixeln Interpixel-Intervalle (P34) von Interesse bilden und jedes interessierende Pixel durch eine Pixelintensität (I₁– I₆) gekennzeichnet ist, wobei das System ein Faltungs-Filter (56) und Interpolations-Hardware (58) aufweist, wobei das Verfahren die Schritte enthält: (A) für jedes Interpixel-Intervall (P34) von Interesse, Identifizieren benachbarter Pixel (P3, P4) und (B) für jedes benachbarte Pixel: (i) Wählen eines Faltungs-Fensters (10_a , 10_b ) und für jedes Fenster: (a) Ermitteln (168) eines Faltungsfilter-Koeffizienten für jedes Fensterpixel, (b) Falten (182) der Intensitäten der Pixel in dem Fenster als eine Funktion der Koeffizienten, um einen Zwischenwert (b₁, b₂) zu generieren, und (ii) Interpolieren (184) der Zwischenwerte, um wenigstens zwei interpolierte Pixel-Intensitäten zu generieren, wobei die interpolierten Pixel (01–05)-Intensitäten zusammen ein interpoliertes Bild bilden.
Verfahren nach Anspruch 1, wobei die Anfangspixelmatrix in y Spalten und x Reihen angeordnet ist, und wobei der Schritt des Wählens den Schritt enthält, dass, für jedes Interpixel-Intervall (P34) zwischen Pixeln in benachbarten Spalten, ein Reihenfaltungsfenster (10a, 10b) für jedes benachbarte Pixel gewählt wird, das aus Pixeln besteht, die in der gleichen Reihe wie das interessierende Interpixel-Intervall (P34) ist, und wobei, nachdem der Schritt (B)(ii) abgeschlossen ist, das Verfahren ferner die Schritte enthält: für jedes Interpixel-Intervall zwischen Pixeln in benachbarten Reihen auf dem interpolierten Bild (12), Wählen eines getrennten Spaltenfaltungsfensters für jedes benachbarte Pixel auf dem interpolierten Bild, wobei jedes Spaltenfenster Bildpixel innerhalb der gleichen Spalte wie und nahe dem interessierenden Interpixel-Intervall aufweist, für jedes Spaltenfenster: (i) Ermitteln (168) eines Faltungsfilter-Koeffizienten für jedes Fensterpixel, (ii) Falten (168) der Pixelintensitäten in jedem Fenster als eine Funktion der Koeffzienten, um einen Zwischenwert zu generieren, und (iii) Interpolieren (168) der Zwischenwerte, um eine endgültige Pixelintensität zu generieren, wobei die endgültigen Pixelintensitäten zusammen das endgültige Bild bilden.
Verfahren nach Anspruch 2, wobei n ein Vergrößerungsfaktor ist, der Interpolierungsschritt (184), um interpolierte Pixelintensitäten zu generieren, ein Interpolieren enthält, um n interpolierte Pixelintensitäten (01–05) zu generieren, und der Interpolierungsschritt (186), um endgültige Pixelintensitäten zu generieren, ein Interpolieren enthält, um n endgültige Intensitäten zu generieren.
Verfahren nach Anspruch 2, wobei das Fenster (10a) eine mx1 Matrix ist und wobei ein expandierter Bereich B von Interesse m/2 Pixelreihen oberhalb und unterhalb des Bereiches von Interesse enthält und der Schritt des Wählens von Reihenfaltungsfenstern für jedes interessierende Intervall enthält, dass Reihenfaltungsfenster für jedes Intervall in dem expandierten Bereich B von Interesse gewählt werden.
Verfahren nach Anspruch 1, wobei jedes Fenster (10a, 10b) die gleiche Anzahl von Pixeln (P1–P6) enthält.
Verfahren nach Anspruch 1, wobei das Bild um einen Faktor n zu vergrößern ist und der Schritt des Ermittelns von Faltungsfilter-Koeffizienten die Schritte enthält: Berechnen (162) linearer Interpolations-Koeffizienten, Berechnen (162) kubischer Interpolations-Koeffizienten und mathematisches Verknüpfen (166, 168) der kubischen Interpolations-Koeffizienten und linearen Interpolations-Koeffizienten, um die Filter-Koeffizienten zu ermitteln.
Verfahren nach Anspruch 6, wobei der Schritt des mathematischen Verknüpfens (166, 168) den Schritt des Lösens (168) der folgenden Gleichung enthält: A = (ΛTΛ)–1 ΛTCwobei A eine Filter-Koeffizienten-Matrix ist, Λ eine lineare Interpolations-Matrix ist und C ein Vektor ist, der den kubischen Interpolations-Koeffizienten entspricht.
Verfahren nach Anspruch 6, wobei das Bild um einen Faktor n zu vergrößern ist und der Interpolationsschritt (184) den Schritt enthält, dass jeder der Zwischenwerte (b₁, b₂) als eine Funktion des Faktors n mathematisch verknüpft wird.
Verfahren nach Anspruch 8, wobei der Schritt des mathematischen Verknüpfens den Schritt enthält, dass, wo n ungerade ist, die folgende Gleichung gelöst wird:
und, wo n ungerade ist, die folgende Gleichung gelöst wird:
Verfahren nach Anspruch 1, wo das Faltungsfenster (10a) eindimensional ist und m Pixel enthält und der Faltungsschritt (182) das Lösen der folgenden Gleichungen enthält:
und
wobei b₁ und b2 die Zwischenwerte sind, a_i die linearen Interpolations-Koeffizienten sind und I_i die anfänglichen Pixelintensitäten (I₁–I₆) der Pixel in dem Faltungsfenster (10a) sind.
Verfahren nach Anspruch 1, wobei die Hardware (90, 92) in der Lage ist, mit hoher Geschwindigkeit eine zweidimensionale Faltung und bilineare Interpolation auszuführen, der Schritt des Wählens von Faltungsfenstern den Schritt enthält, dass vier mxm Fenster (P_ii–P_mm) gewählt werden, wobei jedes Fenster das interessierende Intervall enthält.
Verfahren nach Anspruch 11, wobei der Faltungsschritt (152) das Lösen der folgenden Gleichungen enthält:
Verfahren nach Anspruch 12, wobei der Interpolierungsschritt (154) die Schritte enthält, dass, wo n ungerade ist, die folgende Gleichung gelöst wird:
und, wo n gerade ist, die folgende Gleichung gelöst wird:
Pulssequenzierungs-Programm, das mit einem digitalen Bildgebungssystem zu verwenden ist, um die Vergrößerung von einem interessierenden Bereich auf einem digitalen Anfangsbild zu erleichtern, wobei der interessierende Bereich eine Anzahl von interessierenden Pixeln enthält, wobei benachbarte Abschnitte von benachbarten interessierenden Pixeln Interpixel-Intervalle von Interesse bilden und jedes interessierende Pixel durch eine Pixelintensität gekennzeichnet ist, wobei das Sequenzierungsverfahren die Schritte enthält: (A) für jedes Interpixel-Intervall von Interesse, Identifizieren benachbarter Pixel und (B) für jedes benachbarte Pixel: (i) Wählen eines Faltungs-Fensters und für jedes Fenster: (a) Ermitteln eines Faltungsfilter-Koeffizienten für jedes Fensterpixel, (b) Falten der Intensitäten der Pixel in dem Fenster, wobei die Koeffizienten verwendet werden, um einen Zwischenwert zu generieren, und (ii) Interpolieren der Zwischenwerte, um wenigstens zwei interpolierte Pixel-Intensitäten zu generieren, wobei die interpolierten Pixel-Intensitäten zusammen ein interpoliertes Bild bilden.
Programm nach Anspruch 14, wobei die Anfangspixelmatrix in y Spalten und x Reihen angeordnet ist, und wobei der Schritt des Wählens den Schritt enthält, dass, für jedes Interpixel-Intervall zwischen Pixeln in benachbarten Spalten, ein Reihenfaltungsfenster für jedes benachbarte Pixel gewählt wird, das aus Pixeln besteht, die in der gleichen Reihe wie das interessierende Intervall ist, und wobei, nachdem der Schritt (B)(ii) abgeschlossen ist, das Programm ferner die Schritte enthält: für jedes Intervall zwischen Pixeln in benachbarten Reihen auf dem interpolierten Bild, Wählen eines getrennten Spaltenfaltungsfensters für jedes benachbarte Pixel auf dem interpolierten Bild, wobei jedes Spaltenfenster Bildpixel innerhalb der gleichen Spalte wie und nahe dem Intervall aufweist, für jedes Spaltenfenster: (i) Ermitteln eines Faltungsfilter-Koeffizienten für jedes Fensterpixel, (ii) Falten der Pixelintensitäten in jedem Fenster, wobei die Koeffizienten verwendet werden, um einen Zwischenwert zu generieren, und (iii) Interpolieren der Zwischenwerte, um eine endgültige Pixelintensität zu generieren, wobei die endgültigen Pixelintensitäten zusammen das endgültige Bild bilden.
Programm nach Anspruch 15, wobei n ein Vergrößerungsfaktor ist, der Interpolierungsschritt, um interpolierte Pixelintensitäten zu generieren, ein Interpolieren enthält, um n interpolierte Pixelintensitäten zu generieren, und der Interpolierungsschritt, um endgültige Pixelintensitäten zu generieren, ein Interpolieren enthält, um n endgültige Intensitäten zu generieren.
Programm nach Anspruch 15, wobei jedes Fenster eine mxl Matrix ist und wobei ein expandierter Bereich von Interesse m/2 Pixelreihen oberhalb und unterhalb des Bereiches von Interesse enthält und der Schritt des Wählens von ersten und zweiten Reihenfaltungsfenstern für jedes interessierende Intervall enthält, dass erste und zweite Reihenfaltungsfenster für jedes Intervall in dem expandierten Bereich von Interesse gewählt werden.
Programm nach Anspruch 14, wobei jedes Fenster die gleiche Anzahl von Pixeln enthält.
Programm nach Anspruch 14, wobei das Bild um einen Faktor n zu vergrößern ist und der Schritt des Ermittelns von Faltungsfilter-Koeffizienten die Schritte enthält: Berechnen linearer Interpolations-Koeffizienten, Berechnen kubischer Interpolations-Koeffizienten und mathematisches Verknüpfen der kubischen Interpolations-Koeffizienten und linearen Interpolations-Koeffizienten, um die Filter-Koeffizienten zu ermitteln.
Programm nach Anspruch 19, wobei der Schritt des mathematischen Verknüpfens den Schritt des Lösens der folgenden Gleichung enthält: A = (ΛTΛ)–1 ΛTCwobei A eine Filter-Koeffizienten-Matrix ist, Λ eine lineare Interpolations-Matrix ist und C ein Vektor ist, der den kubischen Interpolations-Koeffizienten entspricht.
Programm nach Anspruch 19, wobei das Bild um einen Faktor n zu vergrößern ist und der Interpolationsschritt den Schritt enthält, dass jeder der Zwischenwerte als eine Funktion des Faktors n mathematisch verknüpft wird.
Programm nach Anspruch 21, wobei der Schritt des mathematischen Verknüpfens den Schritt enthält, dass, wo n ungerade ist, die folgende Gleichung gelöst wird:
und, wo n gerade ist, die folgende Gleichung gelöst wird:
Programm nach Anspruch 14, wo das Faltungsfenster eindimensional ist und m Pixel enthält und der Faltungsschritt das Lösen der folgenden Gleichungen enthält:
wobei b₁ und b₂ die Zwischenwerte sind, a_i die linearen Interpolations-Koeffizienten sind und I_i die anfänglichen Pixelintensitäten der Pixel in dem Faltungsfenster sind.
Programm nach Anspruch 14, wobei die Hardware in der Lage ist, mit hoher Geschwindigkeit eine zweidimensionale Faltung und bilineare Interpolation auszuführen, der Schritt des Wählens von Faltungsfenstern den Schritt enthält, dass vier mxm Fenster gewählt werden, wobei jedes Fenster das interessierende Intervall enthält.
Programm nach Anspruch 23, wobei der Faltungsschritt das Lösen der folgenden Gleichungen enthält:
Einrichtung, die mit einem digitalen Bildgebungssystem zu verwenden ist, zum Erleichtern einer Vergrößerung um einen Faktor n von einem interessierenden Bereich auf einem digitalen Anfangsbild, wobei der interessierende Bereich eine Anzahl von interessierenden Pixeln enthält, wobei benachbarte Abschnitte von benachbarten interessierenden Pixeln Interpixel-Intervalle von Interesse bilden undjedes interessierende Pixel durch eine Pixelintensität gekennzeichnet ist, wobei die Einrichtung enthält: eine erste Recheneinheit, die, auf der Basis des Faktors n, kubische Koeffizienten generiert, eine zweite Recheneinheit, die, auf der Basis des Faktors n, Interpolations-Koeffizienten ermittelt, eine Ermittlungseinrichtung, die die kubischen und Interpolations-Koeffizienten mathematisch verknüpft, um mehrere Faltungsfilter-Koeffizienten zu ermitteln, eine Faltungseinrichtung, die für jedes Intervall von Interesse: Pixel benachbart zu Interpixel-Intervallen von Interesse identifiziert, für jedes benachbarte Pixel ein Faltungs-Fenster wählt, für jedes Faltungs-Fenster die Pixel-Intensitäten der Pixel in jedem Fenster faltet, wobei sie die Faltungs-Koeffizienten verwendet, um einen Zwischenwert zu generieren, und einen Interpolator, der die Zwischenwerte interpoliert, um wenigstens zwei interpolierte Pixelintensitäten zu generieren, wobei die interpolierten Pixelintensitäten zusammen ein interpoliertes Bild bilden.
Einrichtung nach Anspruch 26, wobei die Anfangspixelmatrix in y Spalten und x Reihen angeordnet ist und wobei beim Wählen die Faltungseinrichtung für jedes Intervall von Interesse zwischen Pixeln in benachbarten Spalten ein Reihenfaltungsfenster für jedes benachbarte Pixel wählt, das aus Pixeln besteht, die in der gleichen Reihe wie das interessierende Intervall sind, und wobei, nachdem das interpolierte Bild generiert worden ist, das interpolierte Bild an die Faltungseinrichtung geliefert wird, die, für jedes Intervall zwischen Pixeln in benachbarten Reihen auf dem interpolierten Bild, ein getrenntes Spaltenfaltungsfenster für jedes benachbarte Pixel auf dem interpolierten Bild wählt, wobei jedes Spaltenfenster benachbarte Bildpixel in der gleichen Spalte enthält wie, und nahe dem Intervall, für jedes Spaltenfenster, die Pixelintensitäten in jedem Fenster faltet, wobei die Koeffizienten verwendet werden, um einen Zwischenwert zu generieren, wobei die Zwischenwerte an den Interpolator geliefert werden, der die Zwischenwerte wieder interpoliert, um eine endgültige Pixelintensität zu generieren, wobei die endgültigen Pixelintensitäten zusammen das endgültige Bild bilden.
Einrichtung nach Anspruch 27, wobei jedes Fenster eine mxl Matrix aufweist und wobei ein expandierter Bereich von Interesse m/2 Reihen von Pixeln oberhalb und unterhalb des interessierenden Bereiches enthält und die Faltungseinrichtung erste und zweite Reihenfaltungsfenster für jedes Intervall in dem expandierten Bereich von Interesse wählt.
Einrichtung nach Anspruch 26, wobei jedes der ersten und zweiten Unterfenster n Pixel enthält.
Einrichtung nach Anspruch 26, wobei die Ermittlungseinrichtung mathematisch verknüpft, indem die folgende Gleichung gelöst wird: A = (ΛTΛ )–1 ΛTCwobei A eine Filter-Koeffizienten-Matrix ist, Λ eine lineare Interpolations-Matrix ist und C ein Vektor ist, der den kubischen Interpolations-Koeffizienten entspricht.
Einrichtung nach Anspruch 30, wobei die Faltungseinrichtung faltet, indem die folgenden Gleichungen gelöst werden:
und
wobei b₁ und b₂ die Zwischenwerte sind, a_i die linearen Interpolations-Koeffizienten sind und I_i die anfänglichen Pixelintensitäten der Pixel in dem Faltungsfenster sind.
Einrichtung nach Anspruch 31, wobei der Interpolator interpoliert, indem, wo n ungerade ist, die folgende Gleichung gelöst wird:
und, wo n gerade ist, die folgende Gleichung gelöst wird:
Einrichtung nach Anspruch 26, wobei die Faltungseinrichtung vier zweidimensionale Faltungsfilter mit den Dimensionen mxm wählt, wobei jedes Fenster das Intervall von Interesse enthält.
Einrichtung nach Anspruch 33, wobei die Faltungseinrichtung faltet, indem die folgenden Gleichungen gelöst werden:
Einrichtung nach Anspruch 34, wobei der Interpolator interpoliert, indem, wo n ungerade ist, die folgende Gleichung gelöst wird:
und wo n gerade ist, gelöst wird: