EP1430445A2

EP1430445A2 - Verfahren und anorndung zur signalverarbeitung, insbesondere der bildsignalverarbeitung

Info

Publication number: EP1430445A2
Application number: EP02772332A
Authority: EP
Inventors: Marco c/o Liesegang Electronics GmbH WINZKER
Original assignee: Silicon Optix Inc USA
Current assignee: Silicon Optix Inc USA
Priority date: 2001-09-20
Filing date: 2002-09-20
Publication date: 2004-06-23
Also published as: TWI233296B; AU2002337121A1; DE10146416A1; WO2003025857A3; WO2003025857A2; US20050047668A1

Abstract

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Signalverarbeitung, insbesondere der Bildsignalverarbeitung, wobei insbesondere für Abtastwerte von Eingangs- und/oder Ausgangswerten Polynome berechnet und ausgehend von Eingangskoorodinaten(x, y) Koordinatentransformationen durchgeführt und transformierte Koordinaten gebildet (F_OUT) werden. Erfindungsgemäss ist vorgesehen, dass die Berechnung eines Polynoms durch sukzessive Mulitplikationen erster Teilpolynome erfolgt und dass zweite Teilpolynome bei der Berechnung des Polynoms nicht verwendet werden. Die Anordnung weist konfigurierbare Verarbeitungseinheiten (PE) auf, mit denen die ersten Teilpolynome berechnet werden.

Description

Verfahren und Anordnung zur Signalverarbeitung, insbesondere der

Bildsignalverarbeitung

Technisches Gebiet

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Signalverarbeitung, insbesondere der Bildsignalverarbeitung nach dem Oberbegriff der Ansprüche 1 bzw. 5.

Transformierte Koordinaten werden benötigt, wenn eine diskrete Signalverarbeitung eine Verzerrung der räumlichen und/oder zeitlichen Dimension eines Signals erzeugen und/oder ausgleichen soll. Eine solche Signalverarbeitung arbeitet sequentiell mit variablen Koordinaten. Für diese Eingangskoordinaten müssen transformierte Koordinaten berechnet werden. Transformierte Koordinaten werden dazu verwendet, Daten für die Signalverarbeitung zu lesen und/oder Verarbeitungsergebnisse abzulegen.

Die Berechnung transformierter Koordinaten muss für jeden Abtastwert eines Eingangsoder Ausgangssignals erfolgen. Insbesondere bei Bilddaten ist hierfür eine sehr hohe Rechenleistung erforderlich. Diese hohe Rechenleistung kann durch eine arithmetische Verarbeitungseinheit effizient zur Verfügung gestellt werden.

Eine sehr flexible Definition einer Koordinatentransformation ist durch eine polynombasierte Formel möglich. Exemplarisch sei ein Polynom 4-ter Ordnung mit einer Eingangskoordinaten „x" dargestellt, welches wie folgt lautet:

f(x) = Co + ci-x + c₂ -x² + c₃-x³ +c₄-x⁴ (Gleichung 1 )

Die Koeffizienten "c" legen die Funktion des Polynoms fest. Für eine Transformation mehrerer Koordinaten "(x, y, z,...)" in transformierte Koordinaten "(x_t, y_t, z_t,...)" müssen mehrere Polynome mit unterschiedlichen Koeffizienten berechnet werden.

Stand der Technik

Eine direkte Umsetzung der Berechnung von Gleichung 1 ist sehr aufwendig. Insbesondere die hohe Anzahl an Multiplikationen führt zu einer sehr komplexen Schaltungsumsetzung.

Eine effizientere Berechnung ist möglich, wenn die Multiplikationen zur Berechnung der Potenzen der Eingangskoordinaten „x" mit den Multiplikationen der Koeffizienten "c_n" kombiniert werden. Dies stellt eine sukzessive Multiplikation von Teilpolynomen dar, entsprechend der Gleichung:

f(x) = C₀ + X- (Ci + X- ( C₂ + X- (C₃ + X- C₄ ) ) )

(Gleichung 2)

Praktische Aufgabenstellungen, insbesondere der Bildverarbeitung, erfordern jedoch selbst bei einer Schaltungsumsetzung entsprechend Gleichung 2 einen sehr hohen Aufwand.

Aufgabe

Aufgabe der Erfindung ist es, ein Verfahren und eine Anordnung der eingangs genannten Art anzugeben, die den erforderlichen Rechenaufwand verringern.

Lösung

Die Lösung dieser Aufgabe wird mit den Merkmalen der Ansprüche 1 und 5 gelöst. Dabei wird die Koordinatentransformation durch sukzessive Multiplikation von Teilpolynomen durchgeführt; durch Ausnutzen von Symmetrien werden einige Koeffizienten zu Null gesetzt.

Die Erfindung ist mit einer Mehrzahl von Vorteilen verbunden.

Die Anzahl der erforderlichen Multiplikationen wird gering gehalten und die Komplexität der erfindungsgemäßen Schaltungsanordnung wird verringert. Zugleich wird die Koordinatentransformation praktisch universell konfigurierbar ausgestaltet, so dass eine Vielzahl von Anwendungen unterstützt wird.

Die Erfindung wird nun anhand der Figuren beschrieben.

Es zeigt

Figur 1 eine Schaltungsanordnung zur Berechnung eines Polynoms 3-ter Ordnung nach dem Stand der Technik;

Figur 2 ein Untermodul einer erfindungsgemäßen Schaltungsanordnung nach Figur 3 oder Figur 4;

Figur 3 ein erstes Ausführungsbeispiel einer erfindungsgemäßen Schaltungsanordnung; und

Figur 4 ein zweites Ausführungsbeispiel einer erfindungsgemäßen Schaltungsanordnung.

Ausführungsbeispiel

Für die Berechnung einer Koordinatentransformation mit zwei Eingangskoordinationen

"x" und "y" und einem Polynom 3-ter Ordnung gilt die Gleichung:

f(x,y) = coo + corx + Cιo -y + co2-x^{2 +} cιrx- y + c₂o-y^{2 +} c₀3-x³ + C12 -x² -y + C2i-x- y² + c₃₀-y³

(Gleichung 3)

Diese kann mit folgender Berechnungsweise effizienter umgesetzt werden:

f(x,y) = coo +

X-( C₀1 + X- (C₀2 + X" C₀3 ) ) +

+ y ^•( c₂₀ + x-ci2 + y-c₃₀ ) )

(Gleichung 4) Eine Schaltungsarchitektur, die diese Berechnung direkt umsetzt, ist in Figur 1 dargestellt. Die mit MULT gekennzeichneten Module führen eine Multiplikation, die mit ADD gekennzeichneten Module eine Addition durch. Besonders aufwendig sind die Module MULT zur Multiplikation. Zur Berechnung von Gleichung 4 werden neun Multiplikations- module benötigt.

Anwendungen der Bildverarbeitung enthalten oftmals eine ihnen innewohnende Symmetrie. Diese Symmetrie ergibt sich zum Beispiel durch Projektion oder Bilderfassung mittels eines Linsensystems. Dabei gibt es eine optische Achse, die sich in der Mitte der Linse und damit in der Mitte des Bildes befindet. Störungen durch die Linse sind dann symmetrisch zu dieser Achse. Eine Symmetrie-Achse kann sich auch aus der Anordnung eines Projektionssystems zu der Fläche, auf die projektiert werden soll, ergeben. Diese Symmetrie bzw. Redundanz wird genutzt und die Anzahl der Multiplikationen reduziert. Dazu kann es erforderlich sein, die Eingangskoordinaten derart zu verschieben, dass die Symmetrieachse mit dem Nullpunkt der Koordinaten zusammenfällt.

Die Bestimmung der Symmetrien kann auch rechnerisch erfolgen, wobei bestimmt wird, welche Koeffizienten c auf Null gesetzt werden, so dass die entsprechenden („zweiten") Teilpolynome bei der Berechnung eines Polynoms nicht verwendet werden.

Als Beispiel diene Gleichung 5, zu deren Berechnung drei Multiplikationen nötig sind.

f(x, y) = 20 - 2 x - 10 -y+ 2-x-y = 20 + x ^•(- 2 + 2 -y) - 10 -y (Gleichung 5)

Gleichung 5 enthält eine Symmetrie bezüglich x = 5 und y = 1. Durch Subtraktion dieser Werte ergibt sich folgende äquivalente Gleichung:

f(x, y) = 10 + 2-(x-5)-(y-1)

(Gleichung 6)

Zur Berechnung von Gleichung 6 sind lediglich zwei (statt drei) Multiplikationen (wie in Gleichung 5) erforderlich, so dass eine Einsparung des Schaltungsaufwandes erzielt wird. Die Verschiebung der Koordinaten durch Subtraktion kann gemeinsam für jede Verwendung einer Koordinate erfolgen. Dies bedeutet, dass zunächst verschobene Koordinaten „x_s" und „y_s" berechnet werden. Das Polynom zur Koordinatentransformation basiert dann auf diesen verschobenen Koordinaten. Für das Beispiel aus Gleichung 6 ergibt sich damit Gleichung 7

f(Xs, y_s) = 10 + 2-x_s-y_s mit x_s = x -5; y_s = y -1 (Gleichung 7)

Eine effiziente Schaltungsarchitektur zur Berechnung polynombasierter mehrdimensionaler Koordinatentransformationen basiert auf einem PE genannten Untermodul, welches in Figur 2 dargestellt ist.

Das Untermodul PE erhält als Eingang die auf die Symmetrieachsen verschobenen Koordinaten, in der Figur für zwei Koordinaten „x_s" und „y_s" dargestellt. Über einen Multi- plexer (MUX) wird eine Koordinate ausgewählt und als Multiplikand einem Multiplikationsuntermodul (MULT) zur Verfügung gestellt. Der Multiplikator wird mit einem Addierer (ADD) aus der Summe anderer Eingange gebildet. Diese Eingänge sind eine feste Konstante (const) sowie Ausgangssignale vorangegangener Stufen.

Figur 3 stellt die Schaltungsarchitektur zur Berechnung von Koordinatentransformationen dar. Die Schaltungsarchitektur besteht aus Subtrahierern (OFFSET) zur Berechnung der verschobenen Koordinaten X_S, Y_S als Differenz der Eingangskoordinaten X, Y und einer programmierbaren Konstante D_X, D_Y. Die verschobenen Koordinaten werden an Untermodule PE geführt, die kaskadiert angeordnet sind (stage 0, stage 1, stage 2, stage n-1, stage n). Die Ausgänge eines Untermoduls PE sind dabei mit den Eingängen eines Untermoduls oder mehrerer Untermodule PE einer nachfolgenden Stufe verbunden. Ist ein Untermodul PE mit mehreren nachfolgenden Untermodulen PE verbunden, können diese Verbindungsleitungen über Schalter (SWITCH) konfiguriert werden. Die Schalter (SWITCH) leiten Ausgangssignale eines PE weiter oder ersetzen sie durch den Wert Null. Die Ergebnisse der letzten Stufe an Untermodulen PE (stage 1) werden mit einem abschließenden Addierer (ADD_F) zusammen mit einer anderen Konstanten (const) zusammengefasst (stage 0) und bilden die transformierte Koordinate F_OUT.

Die Anzahl der Stufen bestimmt den Grad des Polynoms, der mit der Gesamtschaltung berechnet werden kann. Die Anzahl der Untermodule PE je Stufe bestimmt die Anzahl der Koeffizienten ungleich Null, die pro Grad des Polynoms gewählt werden können, und damit die Anzahl „erster Teilpolynome", die berechnet werden. „Zweite Teilpolynome", für die die Koeffizienten gleich Null gesetzt werden, werden aufgrund von Symmetrien nicht berechnet.

In Figur 4 ist eine Architektur dargestellt, welche ein Polynom 5-ter Ordnung, entsprechend Gleichung 8 berechnet. f(x_s,ys) = coo + C01 -x_s + cι₀-ys ⁺ c₀₂-x_s ² + Cn x_s -y_s + c₂₀-ys^{2 +}

C₀₃-Xs³ + C12 -Xs²-ys + C21 -Xs-ys² + C3θ-y_S ³ + co4-^χ _s ⁴ + C13 -^χ _s ³-ys + c₂2-^χs²-ys² + c₃ι-χ_s-y_s ^{3 +} c₄₀-ys⁴ + c₀₅-^χs⁵ + C14 -^χ _s ³-y_s ⁺ c₃2-^χ _s ³-ys² + c₂3-^χ _s ²-ys^{3 +} c₄rx⁵-y_s ⁴ + c₅₀-ys⁵ mit x_s= x - d_x ; y_s = y - d_y

(Gleichung 8)

Die unterste Stufe (stage 0) verarbeitet die Ergebnisse der vorangegangenen Stufe und addiert die Konstante c₀o aus Gleichung 8.

Die Stufe "stage 1" enthält zwei Untermodule PE, welche die Terme 1-ten Grades (x_s, y_s) entsprechend c₀ι und cι₀ berechnen.

Die Stufe "stage 2" enthalt drei Untermodule PE, welche die Terme 2-ten Grades (x_s ², x_s-y_s, y_s ²) entsprechend c₀₂, cn, c₂o berechnen.

Die Stufe "stage 3" enthält zwei Untermodule PE, welche die Terme 3-ten Grades (x_s ³, x_s ²-y_s, Xs7s² y_s ³) entsprechend c₀ , c«, Q21, c₃o berechnen. Da lediglich 2 Untermodule PE vorhanden sind, können nur 2 der Koeffizienten dieses Grades frei gewählt werden, es werden also 2 „erste Teilpolynome" berechnet. Die anderen Koeffizienten werden zu Null gewählt („zweite Teilpolynome).

Die Stufe "stage 4" enthalt zwei Untermodule PE, welche die Terme 4-ten Grades (x_s ⁴, Xs^3-y_s, x_s ^2,ys². sΥs³, y_s ⁴) entsprechend c₀₄₍ Cι₃, C22, c₃₁, c₄o berechnen. Da wie in der vorangegangenen Stufe (stage 2) lediglich 2 Untermodule PE vorhanden sind können nur 2 der Koeffizienten frei gewählt werden (2 „erste Teilpolynome"); während die anderen Koeffizienten zu Null gewählt werden („zweite Teilpolynome").

Die Stufe "stage 5" enthalt drei Untermodule PE, welche die Terme 5-ten Grades (x_s ⁵, x_s ⁴-y_s, _s ³-ys², x_s ²-y_s ³, Xs'y_s ⁴,y_s ⁵) entsprechend c₀5, Cι₄, c₂3, c 2, c₄ι, c₅o berechnen. Mit den 3 Untermodulen PE können 3 der Koeffizienten zu Werten ungleich Null gewählt werden (drei „erste Teilpolynome"). Da dieser Stufe keine weitere Stufe vorangeht, werden die unbenutzten Eingange des Untermoduls PE mit dem Wert Null verbunden. Die Addierer der Untermodule PE können dann entfallen und das Signal, das die Konstante bezeichnet, wird dem Multiplikationsuntermodul des Untermoduls direkt zugeführt.

Durch die mit "bypass" gekennzeichnete Verbindung kann ein Untermodul PE aus der Stufe "stage 5" nicht nur mit dem Eingang eines Untermoduls PEβ aus der direkt nachfolgenden Stufe (stage 4), sondern auch mit Untermodul(PE)-Eingängen weiterer nachfolgender Stufen (in Figur 3, "stage 3" und "stage 2") verbunden werden. Anstelle eines Termes 5-ter Ordnung kann damit ein weiterer Term 4-ter oder 3-ter Ordnung implementiert werden.

Die vorstehend anhand der Figuren 3 und 4 beschriebene Anordnung bzw. Schaltungsanordnung ist in der Weise steuerbar, dass die Berechnung eines Polynoms durch sukzessive Multiplikationen erster Teilpolynome erfolgt, und zweite Teilpolynome bei der Berechnung des Polynoms nicht verwendet werden.

Die vorstehend beschriebene Anordnung bzw. Schaltungsanordnung kann Teil („CT") der in der DE 100 52 263 A1 (Anmelder: Liesegang electronics GmbH, Hanno- ver/Deutschland) offenbarten Anordnung zur Bildverarbeitung mit gleichzeitiger Koordinatentransformation sein.

Bezuαszeichenliste

x, y Eingangskoordinaten ^χ _s, y_s Verschobene Koordinaten

F_ OUT Transformierte Koordinaten cO, ... Koeffizienten const feste Konstante

D_X, D_Y programmierbare Konstante

MULT Multiplikationsmodul

ADD Additionsmodul

MUX Multiplexer

OFFEST Subtrahierer

PE Untermodul stage 0, ... Untermodulstufe U_m¬

SWITCH schalter

Claims

Patentansprüche

1. Verfahren zur Signalverarbeitung, insbesondere der Bildsignalverarbeitung, wobei insbesondere für Abtastwerte von Eingangs- und/oder Ausgangswerten Polynome berechnet und ausgehend von Eingangskoordinaten (x, y) Koordinatentransformationen durchgeführt und transformierte Koordinaten gebildet (F_OUT) werden, dadurch gekennzeichnet, dass a) die Berechnung eines Polynoms durch sukzessive Multiplikationen erster Teilpolynome erfolgt, und b) zweite Teilpolynome bei der Berechnung des Polynoms nicht verwendet werden.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die zweiten Teilpoly- nome aufgrund von Symmetrien des Polynoms bestimmt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Eingangskoordinaten (x, y) durch Subtraktionen von Konstanten (const, D_X; D_Y) verschoben werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass für jede Eingangskoordinate (x, y) jeweils die gleiche Konstante (const) subtrahiert wird und die Subtraktionen zusammengefasst werden.

5. Anordnung zur Signalverarbeitung, insbesondere der Bildsignalverarbeitung, nach einem Verfahren der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Anordnung in der Weise steuerbar ist, dass die Berechnung eines Polynoms durch sukzessive Multiplikationen erster Teilpolynome erfolgt, und dass zweite Teilpolynome bei der Berechnung des Polynoms nicht verwendet werden.

6. Anordnung nach Anspruch 5, dadurch gekennzeichnet, dass die Anordnung konfigurierbare Verarbeitungseinheiten (PE) aufweist, mit denen die ersten Teilpolynome berechnet werden.

7. Anordnung nach Anspruch 6, dadurch gekennzeichnet, dass die konfigurierbaren Verarbeitungseinheiten (PE) in mindestens zwei Stufen (stage 0, stage 1 , stage 2, stage n-1 , stage n) kaskadiert sind und in der Weise angeordnet sind, dass Ausgangssignale einer Stufe in einer oder in mehreren nachgeschalteten Stufen weiterverarbeitet werden.

8. Anordnung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass eine konfigurierbare Verarbeitungseinheit (PE) eine Multiplexereinrichtung (MUX), eine Additionseinrichtung ( ADD) und eine Multiplikationseinrichtung (MULT) aufweist, dass die Multiplexereinrichtung (MUX) eine Koordinate (X_S, Y_S) auswählt; dass die Additionseinrichtung (ADD) mindestens ein Ausgangssignal mindestens einer vorgeschalteten Stufe und mindestens eine Konstante (const) addiert, und dass die Multiplikationseinrichtung (MULT) Ausgangssignale der Multiplexereinrichtung (MUX) und der Additionseinrichtung (ADD) multipliziert.

9. Anordnung nach Anspruch 8, dadurch gekennzeichnet, dass der konfigurierbaren Verarbeitungseinheit (PE) eine Subtrahiereinrichtung (OFFSET) vorgeschaltet ist, die aus einer Eingangskoordinate (x, y) und aus einer programmierbaren Konstante (D_X, D_Y) die von der Multiplexereinrichtung (MUX) auszu- wählende Koordinate (X_S, Y_S) bildet.

10. Anordnung nach einem oder mehreren der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass Ausgangssignale mindestens einer Stufe durch Schalter (SWITCH) nicht durchgeschaltet werden.

11. Anordnung nach einem oder mehreren der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass sie weniger konfigurierbare Verarbeitungseinheiten (PE) ausweist, als zur Berechnung eines vollständigen Polynoms benötigt werden.