-
Verfahren
zur Registrierung von Abscheidungsmustern
-
Die
Erfindung betrifft Verfahren zum Überdecken eines Paars ein-
oder zweidimensionaler Trennmuster, zum Beispiel solcher Muster,
wie man sie durch ein- oder zweidimensionale Elektrophorese erhält.
-
Routinemäßig erfolgt
die Trennung einer solubilisierten Mischung von Molekülen in ihre
Komponenten, indem die Mischung gezwungen wird, durch ein poröses Fest-
oder Fluidmedium zu wandern, das als "Matrix" bezeichnet wird. Die Matrix und andere
relevante Faktoren sind so ausgewählt, daß die verschiedenen Moleküle der Mischung
unterschiedliche Wanderungsgeschwindigkeiten in der Matrix nach
einem speziellen Kriterium haben. Dadurch trennt sich die Mischung
in ihre Komponenten, wenn sie die Matrix durchquert. Bedingungen
können
so gewählt
sein, daß die
Wanderungsgeschwindigkeit eines Moleküls beispielsweise von seinem
Molekulargewicht oder seiner elektrischen Ladung abhängt.
-
Am
Ende der Trennung werden die Komponenten durch verschiedene Verfahren
entweder in der Matrix oder bei ihrem Eluieren aus der Matrix visualisiert,
wodurch ein eindimensionales Trennmuster erzeugt wird, das aus einer
Anordnung von Tüpfeln
bzw. Punkten besteht. Jeder Punkt in der Anordnung enthält all jene
Moleküle
in der Mischung, die mit einer speziellen Geschwindigkeit durch
die Matrix wanderten. Die Moleküle
in einem bestimmten Punkt können
alle identisch sein. Eher enthält
der Punkt aber noch eine Mischung unterschiedlicher Moleküle. Wurden
beispielsweise die Moleküle
nach Molekulargewicht getrennt, so enthält ein bestimmter Punkt all
die Moleküle
in der Ausgangsmischung mit etwa dem gleichen Molekulargewicht.
-
Die
Gelelektrophorese ist eine Festphasen-Trenntechnik. In diesem Fall
ist die Matrix eine Gelplatte, normalerweise aus Polyacrylamid,
und die Mischung wird veranlaßt,
unter dem Einfluß eines
elektrischen Felds durch das Gel zu wandern. In einer Anwendung
trennen sich solche Moleküle
wie Proteine oder Nucleotide nach ihrem Molekulargewicht. In einer
weiteren Anwendung, die als isoelektrische Fokussierung bekannt ist,
trennen sich Moleküle
nach ihrem isoelektrischen Punkt (der pH-Wert, an dem ein bestimmtes
Molekül elektrisch
neutral ist). Zu anderen Festphasen-Trenntechniken zählen Dünnschichtchromatographie,
Papierchromatographie und Flüssigchromatographie.
Zu anderen Trenntechniken gehört
die Massenspektroskopie.
-
Da
ein bestimmter Punkt in einem eindimensionalen Trennmuster immer
noch eine Mischung unterschiedlicher Moleküle sein kann, unterzieht man
die Punkte im Muster gewöhnlich
einem zweiten Trenndurchgang, in dem die Moleküle veranlaßt werden, in einer Richtung
senkrecht zu der im ersten Durchgang zu wandern. Im zweiten Durchgang
sind Bedingungen so ausgewählt,
daß die
Molekularkomponenten jedes Punkts nach einem anderen Kriterium als
dem im ersten Durchgang verwendeten getrennt werden. Nach dem zweiten Trenndurchgang
werden die Moleküle
visualisiert, was ein zweidimensionales Trennmuster erzeugt. Jeder Punkt
im Muster enthält
die Moleküle,
die mit den gleichen Geschwindigkeiten in beiden Trenndurchgängen durch
die Matrix wanderten. In den meisten Fällen enthält jeder Punkt eine einzelne
Molekülspezies.
-
Zum
Beispiel kann eine Mischung aus Proteinen durch Gelelektrophorese
zuerst nach ihrem isoelektrischen Punkt getrennt und das resultierende
eindimensionale Trennmuster einem zweite Elektrophoresedurchgang
nach Molekulargewicht unterzogen werden. Mehr als 5000 Proteine
lassen sich auf einem einzelnen Gel durch diese Art von zweidimensionaler
Elektrophorese auflösen.
-
Oft
ist es interessant, zwei oder mehr zweidimensionale Trennmuster
zu vergleichen. Verglichen werden kann zum Beispiel ein zweidimensionales
Elektropherogramm von Blutplasmaproteinen zweier Individuen. Entsprechende
Punkte in den beiden Mustern mit unterschiedlichen Größen (als
Hinweis auf eine unterschiedliche Häufigkeit eines Proteins in
den beiden Proben) oder Punkte mit unterschiedlichen Lagen in den Mu stern
(als Hinweis auf ein mutiertes Protein) werden identifiziert. Solche
Unterschiede können
die molekulare Grundlage einer Erkrankung widerspiegeln.
-
Um
geänderte
Punkte in zwei Trennmustern zu identifizieren, müssen die beiden Muster zunächst in Überdeckung
gebracht werden. Dazu gehört
das Identifizieren von Paaren entsprechender Punkte in den beiden
Mustern. Eine 1 : 1-Entsprechung zwischen Punkten in den beiden
Mustern (hierin als Überdeckung
bezeichnet) zu erzeugen, wird dadurch kompliziert, daß entsprechende
Punkte unterschiedliche Lagen und unterschiedliches Aussehen in
den beiden Mustern nicht nur wegen den Ausgangsproben innewohnender
Unterschiede, sondern auch wegen unvermeidlicher Variabilität bei Probenherstellung,
Matrixherstellung, Durchlaufbedingungen, Visualisierung des Musters
und körperlicher
Verwerfung der Matrix haben können.
-
In
der Technik sind Algorithmen bekannt, die ein Trennmusterpaar überdecken
sollen, z. B. MelanieTM und PDQuestTM, vertrieben von Bio-Rad Laboratories,
und Bio ImageTM, vertrieben von Bio Image
U.K. In diesen Algorithmen werden Punkte in digitalen Bildern der
Muster detektiert. Dies ergibt eine "Punktdatei" für
jedes Muster, die aus einer Liste der detektierten Punkte, ihren
Mitten, Grenzen und ihrem Volumen besteht. Danach werden die beiden
Bilder dem Benutzer auf einem Kontrollbildschirm nebeneinander angezeigt,
und die beiden Listen werden interaktiv justiert. Der Benutzer wird
aufgefordert, Paare entsprechender Punkte anzuzeigen, was oft mühsam und
zeitraubend ist.
-
Die
US-A-5073963 (Sammons
et al.) offenbart ein computergestütztes Verfahren zum Überdecken von
Punkten in einem Paar zweidimensionaler Gel-Elektropherogramme.
Ihr Verfahren nutzt technisch bekannte Koordinatentransformationstechniken.
Man erhält
eine Punktdatei für
jedes Muster, und es wird nach einer Transformation einer vorbestimmten
Art gesucht, die eine 1 : 1-Entsprechung zwischen den Punkten in einer
Datei und denen der anderen mit minimaler Verzerrung der Muster
in der Messung durch ein vorbestimmtes Verzerrungskriterium erzeugt.
-
Pratt,
W. K., "Digital
Image Processing" Second
Edition 1991, John Wiley & sons,
Inc., New York/Chinchester/Toronto, und Flusser, J., "A moment-based Approach
to Registration of Images with Affine Geometric Distortion", IEEE Transactions
on Geoscience and Remote Sensing, US, IEEE Inc New York, offenbaren
Verfahren zum Überdecken
von Bildern. Das Bewerten von Bildern durch die Verfahren dieser
Veröffentlichungen beinhaltet
keinen Vergleich eines Pixels in einem Bild mit Nachbarpixeln. Zum
Beispiel verwendet Pratt eine Bewertung, die auf einer Kreuzkorrelation
der beiden Bilder beruht. Die Kreuzkorrelation beinhaltet keinen
Vergleich der Intensitäten
an zwei Nachbarpixeln in den Bildern. Unterzieht man die Pixel in
beiden Bildern der gleichen Neuordnung, würde sich die Kreuzkorrelation
zwischen den beiden Bildern nicht ändern (d. h. die Bewertung
wird nicht beeinflußt),
obwohl die Neuordnung der Pixel die Nachbarn eines Pixels ändert.
-
Im
Kontext der Erfindung werden zwei ausdrücklich beschriebene, berechenbare
oder meßbare
Variablen berücksichtigt,
die zueinander äquivalent
sind, wenn die beiden Variablen proportional zueinander sind.
-
Die
Erfindung stellt ein Verfahren zum Überdecken digitaler Bilder
zweier Trennmuster mit der gleichen Dimensionalität bereit.
Ein Pixel ist ein Vektor mit der gleichen Dimensionalität wie das
Muster. Das erste und zweite digitale Bild werden mit mittels an
einer Pixelmenge definierter Grauwertfunktionen f1 bzw.
f2 beschrieben, die die Intensität des Bilds
an jedem Pixel beschreiben. Ein Bereich der Pixelmenge ist eine
Teilmenge der Pixelmenge. Das Aussehen eines Bereichs in einem digitalen
Bild ist die Einschränkung
seiner Grauwertfunktion auf den Bereich.
-
Erfindungsgemäß beschrieben
wird die Überdeckung
mit Hilfe einer Transformation T, als globale Überdeckungstransformation bezeichnet,
die mindestens eine Teilmenge der Pixelmenge in die Pixelmenge abbildet.
Dies steht im Gegensatz zu bekannten Verfahren, bei denen die Überdeckung
durch Anwenden von Transformationstechniken auf die aus den digitalen
Bildern abgeleiteten Punktlisten erfolgt. Die vorliegende Erfindung
nutzt also eine größere Menge
verfügbarer
Daten für das Überdeckungsverfahren
als die Verfahren des Stands der Technik. Zu den genutzten Daten
gehören
nicht nur die Lage und genaue Struktur der Punkte der visualisierten
Moleküle,
sondern auch reproduzierbares Anfärben in den Mustern als Ergebnis
anderer Quellen, z. B. Striche und Punktformen.
-
Erfindungsgemäß wird die
globale Überdeckungstransformation
wie folgt erhalten. Mindestens ein Anteil der Pixelmenge wird in
m Bereiche R1,..., Rk,...
Rm aufgeteilt. Für jeden Bereich Rk wird
eine endliche Folge von nk Transformationen
Sk,1, ..., Sk, j, ..., Sk, nk ausgewählt, wobei
jede Transformation Sk,j Rk in
die Pixelmenge abbildet. Dies erzeugt eine Folge von nk Bereichen
in der Pixelmenge, die durch Sk,j (Rk) (j = 1, ... nk)
bezeichnet ist. Für
jeden der nk Bereiche Sk,j (Rk) wird eine Ähnlichkeitsbewertung berechnet,
die die Ähnlichkeit
des Aussehens von Rk im ersten digitalen
Bild und des Aussehens von Sk,j(Rk) im zweiten digitalen Bild bewertet. Eine optimale
Transformation Sk wird unter den nk Transformationen Sk,1, ..., Sk,j, ...
Sk,nk ausgewählt, für die die Ähnlichkeitsbewertung
von Sk (Rk) unter
den Ähnlichkeitsbewertungen
von Sk,j (Rk) maximal ist.
-
Nun
wird die globale Transformation T wie folgt bestimmt. In jedem Bereich
Rk wird ein Pixel pk ausgewählt. Beispielsweise
kann pk der Schwerpunkt von Rk sein.
Danach wird eine globale Transformation T auf der Grundlage mindestens
einiger der Sk(pk)
für k =
1 ... m ermittelt.
-
Das
erste Bild kann in eine beliebige Anzahl m von Bereichen partitioniert
werden. Als Extrembeispiele kann es in einen einzelnen Bereich partitioniert
werden, oder jedes Pixel im Bild kann als separater Bereich betrachtet
werden. Die Bereiche können
jede Form haben, z. B. Quadrate, Rechtecke, Kreise, Ellipsen oder unregelmäßige Formen.
Die Bereiche in einer Partition können alle die gleiche Form
haben, oder sie können Bereiche
in der Partition mit unterschiedlichen Formen sein. Die Bereiche
können
sich überlappen
oder nicht überlappen.
Das Bild kann in eine regelmäßige Anordnung
identischer Bereiche partitioniert werden. Die Partition kann unter
Berücksichtigung
der Verteilung von Punkten im Trennmuster gebildet werden. Zum Beispiel kann
eine Partition so gebildet werden, daß keine Bereiche in der Partition
frei von Punkten sind, während
Flächen
im Muster mit vielen in eine große Anzahl kleiner Bereiche
aufgeteilt werden.
-
In
einer bevorzugten Ausführungsform
werden die Bereiche Rk so gewählt, daß jeder
mindestens zwei Punkte und am stärksten
bevorzugt drei oder vier Punkte des ersten digitalen Bilds enthält. Enthält ein Bereich Rk zu viele Punkte, wird er möglicherweise
durch eine der Transformationen Sk,j in der Einschätzung durch die Ähnlichkeitsbewertungen
nicht zufriedenstellend transformiert. Andererseits können Bereiche,
die zu wenige Punkte haben, eine geometrische Signatur haben, die
nicht ausreichend eindeutig ist, wobei in diesem Fall mehrere der
Transformationen Sk,j hohe Ähnlichkeitsbewertungen
haben können.
Zum Beispiel kann ein Bereich, der nur einen Punkt enthält, potentiell
jedem anderen Einpunktbereich entsprechen. Punkte können durch
technisch bekannte Verfahren detektiert werden. Beispielsweise kann
die Grenze eines Punkts in einem digitalen Bild als Stelle erkannt
werden, an der der Laplace-Operator der Grauwertfunktion des Musters
einen Schwellwert übersteigt.
So können
z. B. die Anzahl von Punkten im ersten digitalen Bild bestimmt und
die mittlere Fläche
eines vier Punkte enthaltenden Bereichs berechnet werden. Ein Bereich
dieser Fläche
wird um jeden Punkt im ersten Muster konstruiert, und eine Bewertung
wird für
jeden der Bereiche berechnet, die die Anzahl von Punkten im Bereich,
ihren Kontrast und ihre Fläche
berücksichtigt.
Für jedes
Paar stark überlappender
Bereiche wird der mit der niedrigsten Bewertung verworfen.
-
Gemäß einer
weiteren Ausführungsform
werden Bereiche in der Pixelmenge erst festgelegt und dann geordnet.
Zum Beispiel wird eine Bewertung für jeden der Bereiche berechnet,
die die Anzahl von Punkten im Bereich im ersten Bild, ihren Kontrast
und ihre Fläche
berücksichtigt.
Ein Bereich R1 wird als Bereich mit einer hohen
Bewertung nahe der Mitte des ersten digitalen Bilds ausgewählt. Danach
werden die übrigen
Bereiche nach zunehmender Entfernung vom ersten Bereich nacheinander
geordnet.
-
In
noch einer weiteren Ausführungsform
sind die Transformationen Sk, j Translationen
der Form Sk, j (x) =
x + ak, j, wobei
ak, j Translationsvektoren
sind. Die Translationsvektoren können
z. B. unter Gitterpunkten der Form ls für eindimensionale Bilder und
ls1 + hs2 für zweidimensionale
Bilder ausgewählt
werden, wobei s, s1 und s2 Vektoren
sind. s1 und s2 sind
linear unabhängig,
und 1 und h sind ganze Zahlen, die |1| < d1 und |h| < d2 für vorbestimmten
Konstanten d1 und d2 erfüllen. Am
stärksten
bevorzugt werden die Vektoren s oder die Vektoren s1 und
s2 so gewählt, daß ihre Größen etwa gleich dem Radius
des kleinsten erwarteten Punkts im digitalen Bild und normalerweise
rund 3 Pixel sind. Im Schutzumfang der Erfindung sind auch andere
Arten von Transformationen Sk,j erwogen,
u. a. lineare Transformationen und affine Transformationen. Die
Transformationen Sk,j können zerrissene Teile oder
Verwerfung der Matrix berücksichtigen,
z. B. durch Verwendung von Modellen verformbarer Membranen, die
beispielsweise bei Singh et al., 1998, offenbart sind.
-
Die Ähnlichkeitsbewertung
soll differentielle Ausprägung,
unterschiedliche Anfärbungsqualitäten oder -techniken
und andere Unregelmäßigkeiten
in den beiden Bildern berücksichtigen.
z. B. künstliche
Anfärbung, Kontamination,
Luftblasen usw. Die Bewertungsfunktion vergleicht das Aussehen eines
Bereichs Rk im ersten Bild mit dem jedes
der nk Bereiche Sk, j(Rk) im zweiten
Bild. Somit verwenden die Bewertungsfunktionen nahezu alle in den
beiden Bildern enthaltenen Informationen. Dies steht im starken
Gegensatz zu Überdeckungsverfahren
des Stands der Technik, die nur die Liste angenäherter Punktprofile oder Gaußprofile
der Bilder verwenden.
-
Die Ähnlichkeitsbewertung
von Rk im ersten Bild und Sk, j(Rk) im zweiten
Bild kann als Funktion beschrieben werden, die z. B. die Form ΣG (x, Sk, j (x)) hat, wobei
die Summe über
alle x ∈ Rk ermittelt wird. G ist eine Funktion, die
vorzugsweise steigt, wenn der Kontrast bei x und Sk, j(x) im ersten bzw. zweiten Bild jeweils einen
vorbestimmten minimalen Kontrast übersteigt. G kann weiter erhöht werden,
wenn z. B. der Kontrast bei x und Sk ,j (x) jeweils über einem zweiten höheren vorbestimmten
Wert liegt. Dies favorisiert das Anpassen star ker Punkte gegenüber dem
Anpassen schwacher Punkte oder Punkte mit ungleichartigem Kontrast.
Außerdem
kann die Bewertung einen Vergleich des Skalarprodukts der beiden
Intensitätsgradientvektoren
berücksichtigen.
Damit erhalten Punkte einen zusätzlichen
Bonus, die etwa die gleiche Größe und Form
haben. Dieser Beitrag rührt
von den Kantenpixeln des Punkts her. In Fällen, in denen sich die Kanten überlappen
und ähnlich
orientiert sind, wird die Bewertung erhöht. Liegt keine Korrelation
oder negative Korrelation vor, verringert sie sich. Dieser Beitrag
bildet einen Teil der Verarbeitung durch das menschliche Auge nach,
wenn versucht wird, Gelbilder anzupassen. Vernünftigerweise wird eine Transformation,
die Punkte mit ähnlichem
Kontrast, ähnlicher
Größe und Form
anpaßt,
gegenüber
einer bevorzugt, die stark differierende Punkte anpaßt.
-
Die
Auswahl der optimalen Transformation S1,...,
Sk, ..., Sm kann
iterativ durchgeführt
werden. Sobald z. B. die optimalen Transformationen S1,...,
Sk–1 ausgewählt wurden,
kann eine Ähnlichkeitsbewertung
verwendet werden, die eine Sk bevorzugt,
die einer oder mehreren beliebigen der S1,...,
Sk–1 ähnelt.
-
Die
globale Transformation T kann aus der Sk(pk) durch mehrere unterschiedliche Verfahren
erhalten werden, die in der Technik bekannt sind. Ist die Anzahl
von Bereichen (m) 1, 2 oder 3, kann T als eindeutige Translation,
lineare Transformation bzw. affine Transformation definiert werden,
die durch die Grenzen T (pk) = Sk (pk) für k = 1
... m bestimmt ist. Auch wenn m groß ist, kann eine Translation
zufriedenstellend sein, wenn beispielsweise die beiden Bilder aus
unterschiedlichen Abtastungen desselben Trennmusters erhalten wurden.
Stammen die Bilder aus unterschiedlichen Mustern, aber hat die Trenntechnik
bekanntermaßen
sehr enge geometrische Toleranzen (z. B. durch Verwendung einer
Matrix mit einem starren Träger),
kann eine affine Transformation zufriedenstellend sein. Eine affine
Transformation kompensiert Verschiebung, Rotation, Skalierung und
Schiefe von Achsen, kompensiert aber keine anderen Arten von Verformung,
z. B. Verwerfung der Matrix. In Fällen wie diesen kann T eine
radiale Basisfunkti onstransformation sein, beispielsweise die in Poggio
und Girosi 1989, Poggio und Girosi 1990 oder Girosi et al. 1995
offenbarte, oder eine Delaunay-Triangulationstransformation, z.
B. die in Kanaganathan et al. 1991 oder Baker 1987 offenbarte. Sobald
die globale Transformation ermittelt wurde, kann das Bild auf einem
von mehreren bekannten Wegen transformiert werden, z. B. durch Interpolation
des nächsten
Nachbarn, bilineare oder bikubische Interpolation.
-
Sobald
eine globale Transformationsfunktion erfindungsgemäß erhalten
wurde, kann sie überarbeitet werden,
beispielsweise mittels optischer Strömungsgleichungen, die z. B.
in Aggarwal et al. 1988 oder Huang et al. 1994 offenbart sind. In
diesem Verfahren wird ein erwünschter
Korrekturvektor w(x) ermittelt, indem der Ausdruck ∈(∇g·w – dg)2 minimiert wird, wobei ∇g der Gradientvektor der Intensität bei x
und dg die Grauwertdifferenz zwischen x und T(x) ist. Dieses Minimum
läßt sich
leicht mit Hilfe von Anpassungstechniken kleinster mittlerer Quadrate
ermitteln, die z. B. in Press et al. 1992 offenbart sind. Dann wird
T(x) durch T(x) + w(x) ersetzt. Diese Überarbeitung verbessert die
Robustheit und Genauigkeit und kann mehrmals wiederholt werden.
-
Die
Ergebnisse der Überdeckung
können
einem Benutzer präsentiert
werden, indem die beiden digitalen Bilder auf einem Kontrollbildschirm
so überlagert
werden, daß ein
Pixel in einem digitalen Bild seinem Bild unter der Transformation
im anderen überlagert
wird. Die beiden digitalen Bilder können mit Falschfarben versehen
werden. Sind z. B. die Punkte in einem Bild blau falschgefärbt und
die im anderen digitalen Bild gelb falsch gefärbt, so erscheinen alle überlagerten
Punkte in der Überlagerung
grün.
-
Die
Erfindung kann eingesetzt werden, jedes von mehreren Trennmustern
mit einem speziellen Trennmuster zu vergleichen, das man als "Bezugs-" oder "Originalmuster" bezeichnet. Das
Originalmuster kann mit Anmerkungen versehen werden, indem Informationen über die
Zusammensetzung jedes Punkts im Muster zusammengetragen werden.
Zum Beispiel kann ein zweidimensionales Elektropherogramm von Blutplasmaproteinen
eines gesunden Individuums erstellt und als Originalmuster verwendet werden.
Testelektropherogramme anderer Individuen werden dann mit dem Originalmuster überdeckt.
Betrachtet man danach das digitale Bild eines Testmusters, das mit
dem Originalmuster in Überdeckung
gebracht wurde, auf einem Kontrollbildschirm, kann ein Punkt im
Testmuster ausgewählt
werden, und die zusammengetragenen Informationen über den
Punkt können
dem Benutzer angezeigt werden.
-
Die
Erfindung kann auch dazu dienen, zeitabhängige Änderungen der Molekülzusammensetzung
zu verfolgen. Zum Beispiel können
Blutplasmaproben von Proteinen aus einer individuellen fortlaufenden
medizinischen Behandlung zu verschiedenen Zeiten erhalten und ein
zweidimensionales Trennmuster jeder Probe erstellt werden. Jedes
Trennmuster kann mit einem Originalmuster oder dem vorherigen Muster
in der Folge in Überdeckung
gebracht werden. Danach können
die überdeckten
Muster auf einem Kontrollbildschirm zeitlich aufeinanderfolgend
angezeigt werden, um zeitabhängige Änderungen
der Zusammensetzungen der Probe in Animation darzustellen.
-
Verständlich wird
auch sein, daß die
Erfindung die Verwendung eines computerlesbaren Computerprogramms
zum Ausführen
des Verfahrens der Erfindung erwägt.
Ferner erwägt
die Erfindung einen maschinenlesbaren Speicher, der ein Programm
von Befehlen faßbar
verkörpert,
die durch die Maschine zum Durchführen des Verfahrens der Erfindung
ausführbar
sind.
-
Somit
stellt die Erfindung in ihrem ersten Aspekt ein Verfahren zum Überdecken
eines ersten und zweiten digitalen Bilds eines ersten bzw. zweiten
Trennmusters bereit, wobei die digitalen Bilder durch Grauwertfunktionen
f1 bzw. f2 beschrieben
sind, die an einer Pixelmenge definiert sind, wobei das Verfahren
die folgenden Schritte aufweist:
a Aufteilen mindestens eines
Anteils der Pixelmenge in m Bereiche R1,
..., Rk, ... Rm,
wobei die m Bereiche jeweils ein Aussehen im ersten Bild haben;
b
für jeden
Bereich Rk erfolgendes
ba Auswählen einer
endlichen Folge von nk Transformationen
Sk,1, ..., Sk,j,
... Sk, nk, wobei
jede Transformation Rk in die Pixelmenge
des zweiten Bilds abbildet;
bb Erzeugen von nk Bereichen
Sk,j (Rk) für j = 1,
... nk in der Pixelmenge, wobei die nk Bereiche jeweils ein Aussehen im zweiten
digitalen Bild haben;
be Berechnen einer Ähnlichkeitsbewertung für jeden
der nk Bereiche Sk,j (Rk) für
j = 1, ... nk, wobei die Ähnlichkeitsbewertung
die Ähnlichkeit
des Aussehens von Rk im ersten digitalen
Bild und des Aussehens Sk,j(Rk)
im zweiten digitalen Bild bewertet;
bd Auswählen einer Transformation Sk unter den nk Transformationen
Sk,1,..., Sk,j,
... Sk,nk, für die die Ähnlichkeitsbewertung von Sk(Rk) unter den Ähnlichkeitsbewertungen
der Sk,j (Rk) für
j = 1, ... nk maximal ist; und
be Auswählen eines
Pixels pk in Rk;
c
Definieren einer globalen Transformation T, die mindestens einen
Anteil der Pixelmenge in die Pixelmenge des zweiten Bilds auf der
Grundlage mindestens einiger der Sk (pk) abbildet; wobei die Transformation T eine Umkehrung
T–1 hat,
wobei
das zweite digitale Bild ein Bild unter T–1 hat;
und d Erhalten des Bilds des zweiten Bilds unter T–1,
um ein modifiziertes zweites Bild zu erzeugen, das zur Überdeckung
mit dem ersten Bild zu verwenden ist.
-
In
ihrem zweiten Aspekt stellt die Erfindung eine maschinenlesbare
Programmspeichervorrichtung bereit, die ein Programm von Befehlen
faßbar
verkörpert,
die durch die Maschine ausführbar
sind, um Verfahrensschritte zum Überdecken
eines ersten und zweiten digitalen Bilds eines ersten bzw. zweiten
Trennmusters durchzuführen,
wobei die digitalen Bilder durch Grauwertfunktionen f1 bzw.
f2 beschrieben sind, die an einer Pixelmenge
definiert sind, wobei das Überdecken
die folgenden Schritte aufweist:
a Aufteilen mindestens eines
Anteils der Pixelmenge in m Bereiche R1,
..., Rk, ... Rm,
wobei die m Bereiche jeweils ein Aussehen im ersten Bild haben;
b
für jeden
Bereich Rk erfolgendes
ba Auswählen einer
endlichen Folge von nk Transformationen
Sk,1, ..., Sk,j,...
Sk,nk, wobei jede Transformation Rk in die Pixelmenge des zweiten Bilds abbildet;
bb
Erzeugen von nk Bereichen Sk,j (Rk) für
j = 1, ... nk in der Pixelmenge, wobei die
nk Bereiche jeweils ein Aussehen im zweiten
Bild haben;
bc Berechnen einer Ähnlichkeitsbewertung für jeden
der nk Bereiche Sk,j (Rk) für
j = 1, ... nk, wobei die Ähnlichkeitsbewertung
die Ähnlichkeit
des Aussehens von Rk im ersten Bild und
des Aussehens Sk,j(Rk)
im zweiten Bild bewertet; und
bd Auswählen einer Transformation Sk unter den nk Transformationen
Sk,1, ..., Sk,j,
... Sk,nk, für die die Ähnlichkeitsbewertung von Sk(Rk) unter den Ähnlichkeitsbewertungen
der Sk,1 (Rk) für j = 1,
... nk maximal ist;
be Auswählen eines
Pixels pk in Rk;
c
Definieren einer globalen Transformation T, die mindestens einen
Anteil der Pixelmenge in die Pixelmenge des zweiten Bilds auf der
Grundlage mindestens einiger der Sk (pk) abbildet; wobei die Transformation T eine Umkehrung
T–1 hat,
wobei das zweite Bild ein Bild unter T–1 hat;
und
d Erhalten des Bilds des zweiten Bilds unter T–1,
um ein modifiziertes zweites Bild zu erzeugen, das zur Überdeckung
mit dem ersten Bild zu verwenden ist.
-
In
ihrem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt
mit darin verkörpertem computerlesbarem
Programmcode zum Überdecken
eines ersten und zweiten digitalen Bilds eines ersten bzw. zweiten
Trennmusters bereit, wobei die digitalen Bilder durch Grauwertfunktionen
f1 bzw. f2 beschrieben
sind, die an einer Pixelmenge definiert sind, wobei das Überdecken
die folgenden Schritte aufweist:
a Aufteilen mindestens eines
Anteils der Pixelmenge in m Bereiche R1,
..., Rk, ... Rm,
wobei die m Bereiche jeweils ein Aussehen im ersten Bild haben;
b
für jeden
Bereich Rk erfolgendes
ba Auswählen einer
endlichen Folge von nk Transformationen
Sk,1, ..., Sk,j,
... Sk, nk, wobei
jede Transformation
Rk in die Pixelmenge
des zweiten Bilds abbildet;
bb Erzeugen von nk Bereichen
Sk,j (Rk) für j = 1,
...
nk im zweiten digitalen Bild, wobei nk Bereiche jeweils ein Aussehen im zweiten
Bild haben;
be Berechnen einer Ähnlichkeitsbewertung für jeden
der nk Bereiche Sk,j (Rk) für
j = 1, ..., nk, wobei die Ähnlichkeitsbewertung
die Ähnlichkeit
des Aussehens von Rk im ersten Bild und
des Aussehens von Sk,j (Rk)
im zweiten Bild bewertet;
bd Auswählen einer Transformation Sk unter den nk Transformationen
Sk, 1, ..., Sk,j, ... Sk, nk, für
die die Ähnlichkeitsbewertung
von Sk(Rk) unter
den Ähnlichkeitsbewertungen
der Sk,j (Rk) für j = 1,
... nk maximal ist;
c Definieren einer
globalen Transformation T, die mindestens einen Anteil der Pixel
in der Pixelmenge in die Pixelmenge des zweiten Bilds auf der Grundlage
mindestens einiger der Sk(pk)
abbildet, wobei die Transformation T eine Umkehrung T–1 hat,
wobei das zweite digitale Bild ein Bild unter T–1 hat;
und
d Erhalten des Bilds des zweiten Bilds unter T–1,
um ein modifiziertes zweites Bild zu erzeugen, das zur Überdeckung
mit dem ersten Bild zu verwenden ist.
-
In
ihrem vierten Aspekt stellt die Erfindung eine maschinenlesbare
Programmspeichervorrichtung bereit, die ein Programm von Befehlen
faßbar
verkörpert,
die durch die Maschine ausführbar
sind, um Verfahrensschritte zum Überdecken
einer Folge von n digitalen Bildern I1,
... In von jewei1s n Trennmustern durchzuführen, wobei
die digitalen Bilder durch Grauwertfunktionen beschrieben sind,
die an einer Pixelmenge definiert sind, wobei das Verfahren die
folgenden Schritte aufweist:
a Überdecken der digitalen Bilder
I1 und I2 nach einem
der Ansprüche
1 bis 17; um ein Bild I'2 zu erzeugen; das das modifizierte Bild
von I2 ist;
b Überdecken von I'k und
Ik+ 1 für alle k
von 2 bis n –1
nach einem der Ansprüche
1 bis 17, um ein Bild I'k + 1 zu erzeugen, wobei I'k und
I'k
+ 1 die modifizierten Bilder von Ik bzw.
Ik + 1 sind.
-
In
ihrem fünften
Aspekt stellt die Erfindung ein Computerprogrammprodukt mit einem
computerverwendbaren Medium mit darin verkörpertem computerlesbarem Programmcode
zum Überdecken
einer Folge von n digitalen Bildern I1,
... In von jeweils n Trennmustern bereit,
wobei die digitalen Bilder durch Grauwertfunktionen beschrieben
sind, die an einer Pixelmenge definiert sind, wobei das Computerprogrammprodukt aufweist:
a
computerlesbaren Programmcode zum Veranlassen, daß der Computer
die digitalen Bilder I1 und I2 nach
einem der Ansprüche
1 bis 17 überdeckt;
um ein Bild I'2 zu erzeugen, das das modifizierte Bild
von I2 ist;
b computerlesbaren Programmcode
zum Veranlassen, daß der
Computer I'k und Ik + 1 für
alle k von 2 bis n –1 nach
einem der Ansprüche
1 bis 17 überdeckt,
um ein Bild Ik + 1 zu
erzeugen, wobei I'k und I'k + 1 die modifizierten Bilder
von Ik bzw. Ik + 1 sind.
-
In
ihrem sechsten Aspekt stellt die Erfindung eine maschinenlesbare
Programmspeichervorrichtung bereit, die ein Programm von Befehlen
faßbar
verkörpert,
die durch die Maschine ausführbar
sind, um Verfahrensschritte zum Überdecken
einer Folge von n digitalen Bildern I1,
... In von jeweils n Trennmustern durchzuführen, wobei
die digitalen Bilder durch Grauwertfunktionen beschrieben sind,
die an einer Pixelmenge definiert sind, wobei das Verfahren den
Schritt des Überdeckens
eines Originalmusters und des Bilds Ik nach
einem der Ansprüche
1 bis 17 aufweist, um ein Bild I'k zu erzeugen, wobei I'k das modifizierte
Bild von Ik für alle k von 1 bis n ist.
-
In
ihrem siebenten Aspekt stellt die Erfindung eine maschinenlesbare
Programmspeichervorrichtung bereit, die ein Programm von Befehlen
faßbar
verkörpert,
die durch die Maschine ausführbar
sind, um Verfahrensschritte zum Anzeigen einer Folge von n digitalen
Bildern I1, ... In von
jeweils n Trennmustern durchzuführen,
wobei die digitalen Bilder durch Grauwertfunktionen beschrieben
sind, die an einer Pixelmenge definiert sind, wobei das Verfahren
die folgenden Schritte aufweist:
a Überdecken der Folge von Bildern
nach Anspruch 36, um eine zweite Folge von Bildern I'1,
I'2 ...
I'n zu
erzeugen, wobei I'1 das Bild I1 ist
und I'k das
modifizierte Bild von Ik für k von
2 bis n ist; und
b aufeinanderfolgendes Anzeigen der zweiten
Folge von Bildern I'1, ... I'n auf einer Anzeige.
-
In
ihrem achten Aspekt stellt die Erfindung ein Computerprogrammprodukt
mit einem computerverwendbaren Medium mit darin verkörpertem
computerlesbarem Programmcode zum Anzeigen einer Folge von n digitalen
Bildern I1, ... In von
jeweils n Trennmustern bereit, wobei die digitalen Bilder durch
Grauwertfunktionen beschrieben sind, die an einer Pixelmenge definiert
sind, wobei das Computerprogrammprodukt aufweist:
a computerlesbaren
Programmcode zum Veranlassen, daß der Computer die Folge von
Bildern nach Anspruch 36 überdeckt,
um eine zweite Folge von Bildern I'1, I'2 ...
I'n zu
erzeugen, wobei I'1 das Bild I1 ist
und I'k das
modifizierte Bild von Ik für k von
2 bis n ist; und
b computerlesbaren Programmcode zum Veranlassen,
daß der
Computer- die zweite Folge von Bildern I'1, ... I'n nacheinander
auf einer Anzeige anzeigt.
-
In
ihrem neunten Aspekt stellt die Erfindung eine maschinenlesbare
Programmspeichervorrichtung bereit, die ein Programm von Befehlen
faßbar
verkörpert,
die durch die Maschine ausführbar
sind, um Verfahrensschritte zum Anzeigen einer Folge von n digitalen
Bildern I1, ... In von
jeweils n Trennmustern durchzuführen,
wobei die digitalen Bilder durch Grauwertfunktionen beschrieben
sind, die an einer Pixelmenge definiert sind, wobei das Verfahren
die folgenden Schritte aufweist:
a Überdecken der Folge von Bildern
nach Anspruch 37, um eine zweite Folge von Bildern I'1,
I'2 ...
I'n zu
erzeugen, wobei I'k das modifizierte Bild von Ik ist;
und
b aufeinanderfolgendes Anzeigen der zweiten Folge von Bildern
I'1,
... I'n auf
einer Anzeige.
-
In
ihrem zehnten Aspekt stellt die Erfindung ein Computerprogrammprodukt
mit einem computerverwendbaren Medium mit darin verkörpertem
computerlesbarem Programmcode zum Anzeigen einer Folge von n digitalen
Bildern I1, ... In von
jeweils n Trennmustern bereit, wobei die digitalen Bilder durch
Grauwertfunktionen beschrieben sind, die an einer Pixelmenge definiert
sind, wobei das Computerprogrammprodukt aufweist:
a computerlesbaren
Programmcode zum Veranlassen, daß der Computer die Folge von
Bildern nach Anspruch 37 überdeckt,
um eine zweite Folge von Bildern I'1, I'2 ...
I'n zu
erzeugen, wobei I'k das modifizierte Bild von Ik ist;
und
b computerlesbaren Programmcode zum Veranlassen, daß der Computer
die zweite Folge von Bildern I'1, ... I'n nacheinander auf einer Anzeige anzeigt.
-
Um
die Erfindung zu verstehen und zu erkennen, wie sie in der Praxis
durchgeführt
werden kann, werden im folgenden bevorzugte Ausführungsformen lediglich durch
nicht einschränkende
Beispiele anhand der beigefügten
Zeichnungen beschrieben. Es zeigen:
-
1a und 1b ein digitales Bild eines ersten bzw.
zweiten zweidimensionalen Trennmusters, 1d eine Überlagerung der Muster gemäß 1a und 1b und 1c die Überdeckung
der beiden Bilder gemäß einer
Ausführungsform
der Erfindung;
-
2a und 2b ein digitales Bild eines ersten bzw.
zweiten zweidimensionalen Trennmusters, 2d eine Überlagerung der Muster gemäß 2a und 2b und 2c die Überdeckung
der beiden Bilder gemäß einer
zweiten Ausführungsform
der Erfindung; und
-
3a und 3b ein digitales Bild eines ersten bzw.
zweiten zweidimensionalen Trennmusters, 3d eine Überlagerung der Muster gemäß 3a und 3b und 3c die Überdeckung
der beiden Bilder gemäß einer
dritten Ausführungsform
der Erfindung.
-
Erste Ausführungsform:
Globales affines Transformationsmodell
-
Die
erste Ausführungsform
wird in Relation zu einem Paar zweidimensionaler Bilder demonstriert.
Die Pixelmenge wird in einen einzelnen Bereich (die gesamte Pixelmenge)
partitioniert, und die Identitätstransformation
wird als lokale Transformation S
1 verwendet.
Die globale Transformation T ist eine affine Transformation der
Form
T wird wie folgt bestimmt:
x
1, ... x
n seien
die n Pixel in der Pixelmenge, wobei x
k =
(x
k 1, x
k 2). T
0 sei als Identitätstransformation
an der Pixelmenge definiert, und die Grauwertfunktion g
0 sei
durch g
0 (x
k) =
f
1 (x
k) für jedes
Pixel x
k in der Pixelmenge definiert, wobei
f
1 die Grauwertfunktion des ersten Bilds
ist. Sobald T
i und g
i ermittelt
sind, werden T
i + 1 und g
i
+ 1 wie folgt bestimmt : Mit ∇ (x
k)
= (∇
1(x
k), ∇
2(x
k)) = (∇(g
i(x
k) + ∇(f
2(x
k)))/2 sei der
mittlere Gradientvektor der beiden Grauwertfunktionen g
i und
f
2 bezeichnet, wobei f
2 die
Grauwertfunktion des zweiten Bilds ist. T
i + 1 ist
eine affine Transformation, deren sechs Parameter a
1,1,
a
1,2, a
2,1, a
2,2, b
1 und b
2 durch Lösen des
folgenden überbestimmten
Systems linearer Gleichungen ermittelt werden:
-
Dann
wird gi + l durch gi +
1 (xk) = gi(Ti(xk)) definiert.
Eine Transformation Ai wird als Zusammensetzung von
T1 zu Ti, Ai = Ti? Ti – 1?
... T1 definiert. Das Verfahren ist abgeschlossen,
wenn eine Ai erhalten wird, für die der
Anteil von Pixeln xk in der Pixelmenge,
für die
der Abstand zwischen xk und Ai(xk) einen vorbestimmten Abstand übersteigt
(z. B. 10 Pixel), klein ist (beispielsweise unter 10% aller Pixel
in der Pixelmenge). Dann wird die globale Transformation T als T
= A. definiert.
-
Ist
in einem beliebigen Stadium die Transformation T
i in
dem Sinne groß,
daß Bereiche
des ersten Bilds über
große
Entfernungen im zweiten Bild bewegt werden, so können die Bilder vorab unscharf
gemacht und dezimiert werden. Dies kann durch technisch bekannte
Verfahren geschehen, z. B. die in E. Adelson, et al. 1984 beschriebenen.
Der bevorzugte Weg zum Unscharfmachen und Dezimieren des Bilds besteht
darin, jede 3 × 3-Teilanordnung
von Pixeln der Bilder zu einem Pixel des dezimierten/unscharf gemachten
Bilds zu mitteln. Danach kann das Bild durch einen Binomialoperator
der Form
weiter unscharf gemacht werden.
Dann kann T
i modifiziert werden, indem man
b
1 und b
2 durch
3b
1 und 3b
2 ersetzt
.
-
1a und 2a zeigen schematisch ein erstes bzw.
zweites digitales Bild zweidimensionaler Elektropherogramme von
Urinproteinen. Getrennt wurden die Proteine erst in waagerechter
Richtung nach ihrem isoelektrischen Punkt und dann in senkrechter
Richtung nach ihrem Molekulargewicht. In 1a und 1b ist
jeder Punkt schematisch durch eine schwarze Kurve dargestellt, die
seine Grenze beschreibt. Das Innere jedes Punkts ist durch Schraffierung
dargestellt, die senkrecht in 1a und
waagerecht in 1b ist. 1d zeigt eine Überlagerung
der Bilder. Eine globale Transformation T zwischen den beiden Trennmustern
wurde gemäß dieser
Ausführungsform
erhalten und ist in 1c gezeigt.
In 1c wurde das Aussehen
eines Pixels x im ersten digitalen Bild dem Aussehen seines Bilds
T(x) im zweiten Bild überlagert. Überlappungsbereiche
von Punkten in den beiden Bildern erscheinen in 1c und 1d durch
senkrechte Schraffierung in Überlagerung auf
waagerechter Schraffierung. Die Überlappungsmenge
ist in 1c wesentlich
größer verglichen
mit 1d.
-
Zweite Ausführungsform:
Zweidimensionale Spline-Transformation
-
Die
zweite Ausführungsform
wird anhand eines Paars zweidimensionaler Bilder demonstriert. Die
Pixelmenge wird in ein Raster aus Rechtecken Rk partitioniert,
die alle die gleichen Maße
haben, deren Mitten auf einem Gitter liegen, das durch zwei linear
unabhängige
Vektoren s1 und s2 überspannt
ist. Die lokalen Transformationen Sk sind
Translationen, und die globale Transformation T ist ein Spline.
-
Die
Breite w und Höhe
h der Rechtecke können
vorbestimmte Konstanten oder für
jeden Fall heuristisch bestimmt sein. Zum Beispiel kann ein Punkt
mit dem Durchmesser d (in Pixeln) im ersten Bild ausgewählt werden,
und die Parameter können
durch w = h = |sl| = |s2|
= 10d erhalten werden.
-
Hintergrundkontrastbilder
(BCI) B1 und B2 werden
für das
erste bzw. zweite Bild berechnet. Das BCI ist eine Funktion der
Pixel in einem Bild, deren Wert 0 für Pixel beträgt, die
nicht zu einem Punkt gehören.
Für Pixel
in einem Punkt reflektiert der Wert des BCI den Kontrast des Punkts.
Für zwei
Pixel x und y wird die Pixelbewertungsfunktion Psf(x, y) wie folgt
definiert: Ist B1(x) oder B2(y)
null, so ist Psf(x, y) = 0. Ansonsten liegt x in einem Punkt im
ersten Bild, und y liegt in einem Punkt im zweiten Bild und Psf
(x, Y) = 1 + α min
(B1(x) , B2 (y))
+ β(∇(f1(x)), ∇(f2(y)))1/2, wobei
(∇(f1(x)), ∇(f2(y))) den Absolutwert des Skalarprodukts
der beiden Gradientvektoren ∇(f1(x)) und ∇(f2(y))
anzeigt. Diese Formel ermöglicht
einen festen Beitrag (1) zur Bewertung, wenn x und y beide zu einem
Punkt gehören.
Dies ermöglicht
die Anpassung von Punkten, die unterschiedlich ausgeprägte Proteine
darstellen. Einen "Bonus" gibt es auch für Fälle, in
denen beide Punkte hohen Kontrast haben, indem die Bewertung in
Korrelation zum Minimum der beiden Kontrastwerte erhöht wird.
Dies fördert
das Anpassen starker Punkte gegenüber dem Anpassen schwacher
Punkte oder Punkte mit verschiedenartigem Kontrast. Außerdem gibt
es einen Beitrag aus dem Skalarprodukt der beiden Gradientvektoren.
Damit erhalten Punkte einen zusätzlichen
Bonus, die die gleiche Größe und Form
haben. Besteht keine Korrelation oder negative Korrelation, ist
die Bewertung gering. Dies bildet einen Teil der Verarbeitung durch
das menschliche Auge nach, wenn versucht wird, Bilder anzupassen.
Die Konstanten α, β sind Gewichtungsfaktoren,
die den Relativbeitrag der drei Summanden in der Definition von
Psf darstellen. Normalerweise wird α auf den Wert des für einen
Punkt erforderlichen minimalen Kontrasts gesetzt. Typische Werte
für α und β sind α = β = 0,1.
-
Die
lokalen Transformationen Sk,j sind Translationen
der Form Sk,j(x) = x + ak,j für j = 1,
... nk. Die ak,j werden so ausgewählt, daß die Mitten
der Bereiche Sk,j(Rk)
im zweiten Bild ein Gitter mit einem typischen Abstand von s Pixeln
zwischen Nachbarn bilden, wobei s der Radius des kleinsten erwarteten
Punkts auf dem Gel ist. Dies verringert die Rechenlast um s2 (normalerweise ist s = 3). Außerdem werden
die ak,j so ausgewählt, daß die Bereiche Sk,j(Rk) eine ausreichend große Fläche abdecken, so daß Sk(Rk) fern von der
Grenze der Vereinigung aller Bereiche Sk,j(Rk) liegt. Die Bewertungsfunktion für Sk,j ist die Summe der psf (x, Sk,j(x))
für alle
x in Rk. Anschließend wird eine Sk,j mit
maximaler Bewertung ausgewählt
und als Sk festgelegt. Wie in der ersten
Ausführungsform
kann diese Auswahl von Sk verfeinert werden,
beispielsweise durch optische Strömungsgleichungen, die z. B.
in Aggarwal et al. 1988, Huang et al. 1994 offenbart sind. Alternativ
kann Sk unter Berücksichtigung der Bewertungen
von Rechtecken in der Nachbarschaft des ausgewählten und Bestimmung der optimalen
Verschiebung verfeinert werden. Sobald eine Sk erhalten
ist, kann sie geprüft
werden. Liegt sie zum Beispiel auf der Grenze der ursprünglichen
Suchfläche
oder liegt ihre Bewertung unter einem vorbestimmten Schwellwert
oder weicht sie wesentlich von ihren nächsten Nachbarn ab, kann sie
verworfen werden.
-
Die
globale Transformation in dieser Ausführungsform ist ein zweidimensionales
Spline, das anhand der Transformationen Sk durch
in der Technik bekannte Verfahren berechnet wird, z. B. den in de
Boor, 1978 offenbarten. Da ak,j entlang
einem Raster berechnet wird, kann das Spline zuerst auf den waagerechten
Linien und dann auf den senkrechten Linien berechnet werden.
-
2a und 2b zeigen schematisch ein erstes bzw.
zweites digitales Bild zweidimensionaler Elektropherogramme von
Urinproteinen. Getrennt wurden die Proteine erst in waagerechter
Richtung nach ihrem isoelektrischen Punkt und dann in senkrechter
Richtung nach ihrem Molekulargewicht. In 2a und 2b ist
jeder Punkt schematisch durch eine schwarze Kurve dargestellt, die
seine Grenze beschreibt. Das Innere jedes Punkts ist durch Schraffierung
dargestellt, die in 2a senkrecht
und in 2b waagerecht
ist. 2d zeigt eine Überlagerung
der Bilder. Das erste Trennmuster ist in Rechtecke aufgeteilt, deren
Mitten auf einem Gitter liegen. Eine globale Transformation T zwischen
den beiden Trennmustern wurde gemäß dieser Ausführungsform
erhalten und ist in 2c gezeigt.
In 2c ein Pixel x im
ersten digitalen Bild seinem Bild T(x) im zweiten Bild überlagert. 2c zeigt auch das System
von Rechtecken, das in diesem Beispiel verwendet wurde. Überlappungsbereiche
von Punkten in den beiden Bildern erscheinen in 2c und 2d durch
senkrechte Schraffierung in Überlagerung
auf waagerechter Schraffierung. Die Überlappungsmenge ist in 2c wesentlich größer verglichen
mit 2d.
-
Dritte Ausführungsform:
Delaunay-Triangulationstransformationsmodell
-
Im
folgenden wird die dritte Ausführungsform
in Relation zu einem Paar zweidimensionaler Bilder beschrieben.
Wie in der zweiten Ausführungsform
wird in dieser Ausführungsform
die Pixelmenge in Rechtecke Rk partitioniert.
Jedoch werden die Rechtecke in Übereinstimmung
mit den Daten ausgewählt
und bilden nicht unbedingt ein Raster. Die lokalen Transformationen
Sk sind Translationen, und die globale Transformation
T ist ein Spline.
-
Die
Rechteckfolgebestimmung verläuft
wie folgt: Zuerst wird eine Punktliste des ersten Bilds durch in der
Technik bekannte Verfahren aufgestellt, z. B. die in Gonzales et
al., 1977 oder Pratt, 1991 beschriebenen. Die mittlere Fläche S eines
Rechtecks (in Pixeln), das vier Punkte enthält, beträgt S = 4A/n, wobei A die Anzahl von
Pixeln in der Pixelmenge und n die Gesamtanzahl von Punkten im Bild
ist. Ein Rechteck wird mit einer Fläche A um jeden Punkt konstruiert.
In jedem Rechteck werden alle Punkte mit einem Kontrast über einem bestimmten
Schwellwert ermittelt. Eine Bewertung s wird für das Rechteck durch s = a[n]·c berechnet,
wobei n die Anzahl von Punkten im Rechteck, c der mittlere Kontrast
der Punkte und a[n] eine Gewichtungsfunktion ist, die Rechtecke
präferiert,
die eine Anzahl von Punkten nahe einer vorbestimmten Anzahl enthalten.
In einer bevorzugten Ausführungsform
werden Rechtecke präferiert,
in denen die Anzahl von Punkten rund 3 beträgt. In diesem Fall kann a zum
Beispiel durch 0, 10, 15, 20, 15, 12, 10, 8, 7, 6, 5, 4, 3, 2, 1
für n gleich
0 bis 14 und a[n] = 0 für
n größer als
14 definiert werden. Für
jedes Paar stark überlappender
Rechtecke wird das mit der höheren
Bewertung beibehalten und das mit der niedrigeren Bewertung gelöscht.
-
Nun
werden die Rechtecke geordnet. Ein Rechteck R1 mit
einer hohen Bewertung wird nahe der Bildmitte ermittelt. Die übrigen Rechtecke
werden anschließend
nach zunehmender Entfernung von R1 geordnet.
-
Die
globale Transformation in dieser Ausführungsform ist eine affine
Transformation und eine Delaunay-Interpolationstriangulationstransformation.
Die affine Transformation erhält
man wie in der ersten Ausführungsform,
und danach wird die Delaunay-Interpolation für die Differenzen zwischen
der Sk und der affinen Transformation verwendet. Dies sorgt für eine stabile
und robuste Transformation, die sich leicht extrapolieren läßt, sowie
für ein
Verfahren zur Behandlung relativ kleiner und ungleichmäßiger Störungen.
-
Die
globale Transformation in jedem der Rk erhält man in
einem Verfahren, das dem der ersten Ausführungsform ähnelt. Allerdings wird in dieser
Ausführungsform
die globale Transformation neu berechnet, nachdem jede Sk ermittelt wurde. Da anfangs möglicherweise
unzureichende Parameter vorhanden sind, um die affine Transformation
zu berechnen, werden einfachere Transformationen in den ersten drei
Schritten berechnet (Identität,
Translation, lineare Transformation). Auf jeder Stufe wird Sk beim Erhalten des Verschiebungsvektors
ak + 1 von Sk + 1 verwendet.
-
Eine
Delaunay-Triangulation wird durch technisch bekannte Verfahren erhalten,
z. B. den in Kanaganathan et al., 1991 beschriebenen. Die Delaunay-Triangulation
dient dazu, die globale Transformation T im konvexen Rumpf der Triangulationsspitzen
zu interpolieren. An den vier Ecken des Bilds wird die Delaunay-Triangulation
auf null gesetzt, so daß an
den Ecken des Bilds die globale Transformation T nur affin ist.
-
3a und 3b zeigen schematisch ein erstes bzw.
zweites digitales Bild zweidimensionaler Elektropherogramme von
Urinproteinen. Getrennt wurden die Proteine erst in waagerechter
Richtung nach ihrem isoelektrischen Punkt und dann in senkrechter
Richtung nach ihrem Molekulargewicht. In 3a und 3b ist
jeder Punkt schematisch durch eine schwarze Kurve dargestellt, die
seine Grenze beschreibt. 3d zeigt
eine Überlagerung
der Bilder. Das Innere jedes Punkts ist durch Schraffierung dargestellt,
die in 3a senkrecht und
in 3b waagerecht ist.
Die Pixelmenge wurde in Rechtecke unterschiedlicher Größen so aufgeteilt,
daß jedes
Rechteck etwa die gleiche Anzahl von Punkten hat. Eine globale Transformation
T wurde gemäß dieser Ausführungsform
erhalten und ist in 3c gezeigt.
In 3c ist das Aussehen
eines Pixels x im ersten digitalen Bild dem Aussehen seines Bilds
T(x) im zweiten Bild überlagert. 3 zeigt auch das System
von Rechtecken, das in diesem Beispiel verwendet wurde. Überlappungsbereiche
von Punkten in den beiden Bildern erscheinen in 3c und 3d durch
senkrechte Schraffierung in Überlagerung
auf waagerechter Schraffierung. Die Überlappungsmenge ist in 3c wesentlich größer verglichen
mit 3d.
-
In
den nachfolgenden Verfahrensansprüchen dienen zur Bezeichnung
der Verfahrensschritte verwendete alphabetische Zeichen nur der
Zweckmäßigkeit
und implizieren keine spezielle Reihenfolge für die Durchführung der
Schritte.
-
Literatur
-
- Adelson, E. et al. RCA Engineer 29, No.6, Nov/Dec 1984,
pp 33–41.
- Aggarwal J. K., and Nandhakumar N., "On the computation of motion from sequences
of images – A
review", Proceedings
of the IEEE, 76(8), pp. 917–935,
1988.
- Baker T.J., "Three
dimensional mesh generation by triangulation of arbitrary point
sets" AIAA 8th Computational
Fluid Dynamics Conference 1987.
- de Boor, C., "A
Practical Guide to Splines",
Springer-Verlag,
New-York, NY, 1978.
- Girosi, F., Jones, M. and Poggio, T., "Regularization Theory and Neural Networks
Architectures",
Neural Computation, Vol. 7, 219–269,
1995.
- Gonzalez, R.C. and Woods, R.E., Digital Image Processing, Addison-Wesley,
1992.
- Gonzalez, R.C. and Wintz, P.A., "Digital Image Processing", Reading, MA., Addison-Wesley
1977.
- Huang, T.S., and Netravali, A.N., "Motion and Structure from Feature Correspondences:
A Review", Proceedings
of the IEEE, 82(2, pp. 252–268,
1994.
- Kanaganathan S., and Goldstein N.B., "Comparison of four point adding algorithms
for Delaunay type three dimensional mesh generators", IEEE Transactions
on magnetics, Vol 27, No 3, May 1991.
- Poggio T. and Girosi F, "A
Theory of Networks for Approximation and Learning", AI memo 1140, July
1989.
- Poggio, T. and Girosi, F., "Networks
for Approximation and Learning",
Proceedings of the IEEE, vol. 78, no. 9, pp. 1481–1497, September
1990.
- Press W.H., Flannery B.P., Teukolsky S.A., and Vetterling W.T., "Numerical Recipes
In C (Second Edition)", Cambridge
University Press, Cambridge, 1992.
- Pratt, W.K., "Digital
Image Processing (Second Edition)". New York, Wiley 1991.
- Singh, A., Goldgof, D., and Teraopoulos, D., "Deformable Models
in Medical Image Analysis",
IEEE Computer Society, 1998.