EP2047424A1 - Verfahren zur erstellung von panorama-bildern des augenhintergrundes - Google Patents

Verfahren zur erstellung von panorama-bildern des augenhintergrundes

Info

Publication number
EP2047424A1
EP2047424A1 EP07786178A EP07786178A EP2047424A1 EP 2047424 A1 EP2047424 A1 EP 2047424A1 EP 07786178 A EP07786178 A EP 07786178A EP 07786178 A EP07786178 A EP 07786178A EP 2047424 A1 EP2047424 A1 EP 2047424A1
Authority
EP
European Patent Office
Prior art keywords
images
determined
areas
image
anchor image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07786178A
Other languages
English (en)
French (fr)
Inventor
Axel Doering
Michael Trost
Daniel Baumgarten
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Publication of EP2047424A1 publication Critical patent/EP2047424A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the invention relates to a method for generating or calculating panoramic images of the fundus, in particular from images of a fundus camera.
  • composition margins also referred to as panoramic image
  • various eye diseases such as diabetic retinopathy.
  • solid angles> 50 ° Due to optical and physiological limitations, it is not possible to record solid angles> 50 ° with conventional fundus cameras. To create composition spaces that cover a larger solid angle, therefore overlapping fields are recorded and assembled properly.
  • the disadvantage of these methods is their low robustness, since the detected landmarks must satisfy certain criteria which are influenced by the recording quality (focusing, exposure) and the image detail. Furthermore, a uniform distribution of certain landmarks on the fields is not guaranteed. This can lead to only individual (structurally rich) image areas being included in the determination of the transformation, and e.g. Scaling in the periphery is disregarded. The number of landmarks that can be used to determine the transformation is image-dependent and therefore generally unpredictable.
  • JP 11-332832 it is proposed to store the recording parameters such as direction and magnification for each sub-picture and thus to produce panorama images analytically and without the use of the image content.
  • the object of the invention is to overcome the described disadvantages of the prior art and to provide an effective, automatically effetvigas method for producing Panoramabildem the fundus.
  • This object is achieved according to the invention in a method for producing panoramic images of the ocular fundus, wherein a plurality of initial images, which show different sections of the ocular fundus, are present in digital form, achieved in that
  • a pre-positioning is carried out in which a first variable for the relative geometric assignment of the images is determined among one another, an anchor image is determined to which the first quantities for the relative geometric assignment are related,
  • the pre-positioning is carried out by calculating a two-dimensional cross-correlation between the output images, whereby preferably a downscaling or a resolution reduction of the output images is carried out beforehand.
  • a downscaling or a resolution reduction of the output images is carried out beforehand.
  • an anchor image is determined from the pre-positioning by the number of common areas and / or the distances of the common areas of the output images are evaluated.
  • the block-matching algorithm is applied essentially only to regions of the respective output images for which the pre-positioning gives rise to a possible overlap of the output images.
  • a determination of sub-regions which are particularly suitable for the block matching is carried out by structural analysis, the block matching algorithm preferably being applied to these subregions.
  • This structural analysis may e.g. by determining a maximum information entropy or standard deviation of the image pixels in the subareas.
  • Fig. 1 shows a flowchart of this preferred method.
  • a pre-positioning is determined and evaluated between all possible pairs of the individual images.
  • the mostly high-resolution output images for example about 2000x2000 pixels
  • the mostly high-resolution output images are scaled down, for example to 250x250 pixels, in order to save computing time.
  • it has been found helpful to have existing structures in the images e.g. To emphasize blood vessels by corresponding algorithms known per se (eg, Chaudhuri et al .: "Detection of blood vesicles in retinal images using two-dimensional matched filters" IEEE Transactions on Medical Imaging, Vol. 8 (1989), No.
  • C () is the cross-correlation coefficient
  • a () and B () the two images to be compared are. From the maximum of the cross-correlation coefficient results in a known manner, the 2-dimensional displacement of the images with each other. If no pronounced maximum of the cross-correlation coefficient results, this is an indication that the two images do not overlap. Determination of the anchor image and the calculation order:
  • an anchor image and the order of computation of the transformations of the sub-images are determined.
  • the image selected is the anchor image, which has an overlap area with most of the other images. If several images are the same in this case, it is advisable to determine and compare the sum of the displacements of the potential candidates for the anchor image to all other images, and the one in which this sum is the lowest is chosen as the anchor image.
  • the other images are preferably ordered by the order of the amount of the shift and started with the smallest shift.
  • the second step is the objective, feature-independent determination of the control point pairs by a (preferably hierarchical) block matching method.
  • a block selection criterion a suitable similarity measure, z. B. the correlation coefficient is used.
  • the information entropy for example, the information entropy
  • each overlap area subblocks of e.g. 25x25 pixels are formed and those sub-blocks are formed for which the entropy or the standard deviation are maximal. With these subblocks selected in this way, the matching between the images is then carried out, the computing time being limited by a corresponding limitation of the number of subblocks. You can also select the matching subblocks from the geometric point of view, so as to ensure the most even distribution in the overlapping area. Again, the correlation algorithm may be preferred as the matching algorithm
  • the u, v are the coordinate values in the anchor image (or, in the case where the viewed image has no overlap with the anchor image, the output image) and the x, y are the corresponding coordinate values of the corresponding points in the other viewed image.
  • the a, b are a total of 12 parameters for the transformation between the two images which, together with the corresponding equations for the other control points in the overlapping area between the images, now form an overdetermined system of equations which is e.g. solved by the least squares method (or another suitable numerical method).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erstellung bzw. Berechnung von Panorama-Bildem des Augenhintergrundes insbesondere aus Bildern einer Funduskamera. Das Verfahren ist dadurch charakterisiert, dass - eine Vorpositionierung vorgenommen wird, bei der eine erste Größe für die relative geometrische Zuordnung der Bilder untereinander bestimmt wird, - ein Ankerbild bestimmt wird, auf welches die ersten Größen für die relative geometrische Zuordnung bezogen werden, - mittels eines Block-Matching Algorithmus einander zugeordnete Gebiete im Ankerbild und den anderen Bildern bestimmt werden, - aus der gegenseitigen Lage dieser einander zugeordneten Gebiete Transformationsparameter für eine geometrische Transformation zwischen dem Ankerbild und den anderen Bildern bestimmt werden und - die anderen Bilder mit diesen Transformationsparametem auf das Ankerbild transformiert und mit diesem und untereinander überlagert werden.

Description

Verfahren zur Erstellung von Panorama-Bildem des Augenhintergrundes
Die Erfindung betrifft ein Verfahren zur Erstellung bzw. Berechnung von Panorama-Bildern des Augenhintergrundes insbesondere aus Bildern einer Funduskamera.
Die Erstellung großflächiger Kompositionsaumahmen (auch als Panorama-Bild bezeichnet) des Augenhintergrundes ist für die Befiαndung und Verlaufskontrolle verschiedener Augenkrankheiten, beispielsweise der Diabetischen Retinopathie, notwendig. Aufgrund optischer und physiologischer Begrenzungen ist die Aufnahme von Raumwinkeln >50° mit üblichen Funduskameras nicht möglich. Zur Erstellung von Kompositionsaumahmen, die einen größeren Raumwinkel abdecken, werden daher überlappende Teilbilder aufgenommen und geeignet zusammengesetzt. Dazu müssen die Bilder einander exakt geometrisch zugeordnet werden, außerdem ist häufig eine Anpassung der Intensitäten und/oder Farben erforderlich. Teilweise werden Position und Reihenfolge der Teilbilder durch klinische Protokolle (z.B. ETDRS = Early Treatment Diabetic Retinopathy Study) vorgegeben.
In der analogen Fundusfotografie werden Abzüge der Teilbilder ausgeschnitten, gegeneinander versetzt und verdreht und zu einem Kompositionsbild zusammengeklebt. Der Bearbeiter versucht dabei, maikante Punkte (meist Blutgefäße des Augenhintergrundes mit charakteristischen Krümmungen oder Kreuzungen) möglichst gut in Überdeckung zu bringen. Dieses Verfahren ist zeitaufwändig, auf translatorische und rotatorische Korrekturen beschränkt und von begrenzter Reproduzierbarkeit. Aufgrund unterschiedlicher Belichtungsverhältnisse heben sich die Grenzen der Teilbilder im Allgemeinen deutlich an, was eine Befundung des Kompositionsergebnisses erschwert.
Liegen die Teilbilder in elektronischer Form vor, so können durch manuelle Markierung korrespondierender Punkte in verschiedenen Teilbildern Transformationen bestimmt werden, die eine optimale Komposition (im Allgemeinen im Sinne einer Minimierung der Restfehler an den korrespondierenden Punkten nach Ausführung der Transformationen) erzeugen.
Diese Verfahren erfordern eine erhebliche, zeitaufwändige Interaktion des Bedieners. Zunächst muss die grobe Anordnung der Teilbilder bestimmt werden. Danach müssen in jedem Teilbild markante Punkte („Landmarken", z.B. Gefaßkreuzungen) festgelegt und die korrespondierenden Punkte in wenigstens einem anderen Teilbild markiert werden. Meist muss der Bediener dabei zwischen verschiedenen Auflösungsstufen der Darstellung umschalten. Durch Auswertung der korrespondierenden Punkte können - abhängig von der Anzahl der Landmarken - verschiedene geometrische Transformationen berechnet werden. Die Überlagerung der entsprechend transformierten Teilbilder ergibt ein (digitales) Kompositionsbild.
Es ist auch vorgeschlagen worden, die korrespondierenden Landmarken automatisch (d. h. rechnergestützt) zu bestimmen. Im Artikel von Chanwimaluang et al „Hybrid Retinal Image Registration" IEEE Transactions on Information Technology in Biomedicine 10(1): 129-142 (2006) werden ausgehend von „Landmarken-Kandidaten" eines Teilbildes korrespondierende Landmarken in anderen Teilbildern auf Grundlage verschiedener Ähnlichkeitsmaße und statistischer Auswertungen bestimmt. Der weitere Ablauf (Berechnung optimaler Transformationen, Überlagerung der Teilbilder) gestaltet sich analog zum oben beschriebenen halbautomatischen Vorgehen. Zur Reduzierung des Rechenaufwandes wird ein zweistufiges Verfahren vorgeschlagen, bei dem vor der Passpunktregistrierung die Verschiebung zwischen zwei Bildern berechnet wird. Dies geschieht mit Hilfe der Transinformation und verschiedener Optimierungstechniken.
Der Nachteil dieser Verfahren besteht zum einen in der geringen Robustheit, da die detektierten Landmarken bestimmten, von der Aufhahmequalität (Fokussierung, Belichtung) und dem Bildausschnitt beeinflussten Kriterien genügen müssen. Weiterhin ist eine gleichmäßige Verteilung der bestimmten Landmarken auf die Teilbilder nicht sichergestellt. Dies kann dazu führen, dass nur einzelne (strukturreiche) Bildbereiche in die Bestimmung der Transformation einbezogen werden und z.B. eine Skalierung in der Peripherie unberücksichtigt bleibt. Die Anzahl der zur Transformationsbestimmung verwendbaren Landmarken ist bildabhängig und daher generell nicht vorhersagbar.
Andere vorgeschlagene Verfahren wie z.B. die Rekonstruktion der Blutgefäße des Augenhintergrundes in Form eines geometrischen Baumes sind außerordentlich rechenaufwändig (z.B. Chanwimaluang et al „An efficient blood vessel detection algorithm for retinal images using local entropy threshol- ding" ISCAS (5) 2003: 21-24).
In der Japanischen Patentanmeldung JP 11-332832 wird vorgeschlagen, zu jedem Teilbild die Aufnahmeparameter wie Richtung und Vergrößerung abzuspeichern und damit analytisch und ohne Nutzung des Bildinhaltes Panoramabilder zu erzeugen.
Es ist bekannt, z.B. aus US-Patent 4,715,703 eine Funduskamera mit einer Aperturmaske (Feldblende) zu versehen, um unerwünschtes Streulicht auszublenden.
In der US-Patentanmeldung 2004/0254477 wird vorgeschlagen, statt der realen Feldblende eine virtuelle Feldblende durch Nutzereingabe des Durchmessers zu definieren und die Grauwerte bzw. Pixel des (rechteckigen) Digitalbildes so zu manipulieren, dass der Eindruck einer Aufnahme mit Feldblende entsteht.
Aufgabe der Erfindung ist es die dargestellten Nachteile des Standes der Technik zu überwinden und ein effektives, automatisch durchfuhrbares Verfahren zur Herstellung von Panoramabildem des Augenhintergrundes anzugeben.
Diese Aufgabe wird erfindungsgemäß bei einem Verfahren zur Erstellung von Panorama-Bildem des Augenhintergrundes, wobei mehrere Ausgangsbilder, welche verschiedene Ausschnitte des Augenhintergrundes zeigen, digital vorliegen, dadurch gelöst, dass
- eine Vorpositionierung vorgenommen wird, bei der eine erste Größe für die relative geometrische Zuordnung der Bilder untereinander bestimmt wird, - ein Ankerbild bestimmt wird, auf welches die ersten Größen für die relative geometrische Zuordnung bezogen werden,
- mittels eines Block-Matching Algorithmus einander zugeordnete Gebiete im Ankerbild und den anderen Bildern bestimmt werden,
- aus der gegenseitigen Lage dieser einander zugeordneten Gebiete Transformationsparameter für eine geometrische Transformation zwischen dem Ankerbild und den anderen Bildern bestimmt werden und
- die anderen Bilder mit diesen Transformationsparametem auf das Ankerbild transformiert und mit diesem und untereinander überlagert werden.
Dabei ist es besonders vorteilhaft, wenn in den Ausgangsbildem eine Feldmaske bestimmt oder eingegeben wird und die außerhalb der Feldmaske liegenden Bildteile ausgefiltert werden und nur mit Bildteilen der einzelnen Ausgangsbilder welche innerhalb der Feldmaske liegen die weiteren Berechnungen durchgeführt werden.
Erfindungsgemäß erfolgt die Vorpositionierung durch Berechnung einer zweidimensionalen Kreuzkorrelation zwischen den Ausgangsbildern, wobei vorzugsweise vorher eine Herunterskalierung bzw. Auflösungsverringerung der Ausgangsbilder durchgeführt wird. Dabei wurden besonders gute Ergebnisse erzielt, wenn in den Bildern vorhandene Strukturen wie Blutgefäße o.a. vorher z.B. bzgl. ihres Kontrastes verstärkt oder auf andere Art und Weise hervorgehoben wurden.
Vorteilhaft wird aus der Vorpositionierung ein Ankerbild bestimmt, indem die Zahl der gemeinsamen Bereiche und/oder die Abstände der gemeinsamen Bereiche der Ausgangsbilder bewertet werden.
Von besonderem Vorteil ist es, wenn der Block-Matching Algorithmus im wesentlichen nur auf Gebiete der jeweiligen Ausgangsbilder angewandt wird, für welche die Vorpositionierung eine mögliche Überdeckung der Ausgangsbilder erwarten lässt.
Erfindungsgemäß wird in den Gebiete der jeweiligen Ausgangsbilder, für welche die Vorpositionierung eine mögliche Überdeckung der Ausgangsbilder erwarten lässt, mittels Strukturanalyse eine Bestimmung von für das Block-Matching besonders geeigneten Teilgebieten durchgeführt, der Block- Matching Algorithmus vorzugsweise auf diese Teilgebiete angewendet wird. Diese Strukturanalyse kann z.B. durch Bestimmung einer maximalen Informationsentropie oder Standardabweichung der Bildpixel in den Teilgebieten durchgeführt werden.
Besonders bewährt hat sich, wenn die Transformationsparameter zwischen dem Ankerbild und den anderen Ausgangsbildern nach einem quadratischen Ansatz bestimmt werden, wobei insbesondere auch die Transformationsparameter zwischen gemeinsame Gebiete aufweisenden anderen Ausgangsbildem bestimmt werden und vorzugsweise durch Optimierung ein für alle Ausgangsbilder geeigneter Transformationsparametersatz bestimmt wird.
Ganz besonders vorteilhaft ist es wenn bei der Überlagerung der anderen Bilder auf das Ankerbild und untereinander eine Anpassung der Helligkeit und / oder Farbe der Bilder aneinander vorgenommen wird. Diese kann besonders gut dadurch vorgenommen werden, wenn in den Bildern hell erscheinenden Strukturen wie Blutgefäße aufeinander angepasst werden.
Die Erfindung wird im Folgenden an Hand eines bevorzugten Ausfuhrungsbeispiels beschrieben. Die Fig. 1 zeigt einen Ablaufplan dieses bevorzugten Verfahrens.
Automatische Bestimmung der Feldmaske:
Vor Beginn des eigentlichen Registrierungsverfahrens erfolgt in allen Einzelbildern eine automatische Bestimmung der Feldblende anhand eines Flächenkriteriums und einer Auswertung des Histogramms über das gesamte Bild. Da das Gebiet außerhalb der Feldmaske per Definition abgeblendet und damit dunkler als der eigentliche Bildinhalt lässt sich aus dem Histogramm (= Häufigkeitsverteilung der Grau- bzw. Farbwerte der Pixel über das gesamte Bild) leicht eine Schwelle bestimmen, welche die Pixelzugehörigkeit zu den beiden Bereichen trennt. Um eventuelle Ausreißer zu eliminieren wird ein an sich bekanntes Erosionsverfahren angewendet, welches im Ergebnis dazu führt, dass der eigentliche Bildinhalt in einem zusammenhängenden Gebiet vorliegt. Ein Beispiel für ein solches Ergebnis zeigt Fig.2, wobei der eigentliche Bildinhalt 1 von dem diskriminierten Bereich 2 der Feldblende umgeben ist.
1. Vorpositionierung:
Im ersten Schritt wird zwischen allen möglichen Paaren der Einzelbilder eine Vorpositionierung bestimmt und bewertet. Dazu werden die meist hochaufgelösten Ausgangsbilder (z.B. ca. 2000x2000 Pixel) herunterskaliert, beispielsweise auf 250x250 Pixel, um Rechenzeit zu sparen. Außerdem hat es sich als hilfreich erwiesen, in den Bildern vorhandene Strukturen wie z.B. Blutgefäße durch entsprechende an sich bekannte Algorithmen hervorzuheben (z.B. Chaudhuri et al.: „Detection of blood ves- sels in retinal images using two-dimensional matched filters" IEEE Transactions on Medical Imaging, Bd. 8 (1989), Nr. 3, S. 263-269; Chanwimaluang et al.: „An efϊicient blood vessel detection algorithm for retinal images using local entropy thresholding" Proceedings International Symposium on Circuits and Systems, Bd. 5 (2003), S. 21-24). Die vorläufige Bestimmung der gegenseitigen Position der Bilder erfolgt flächenbasiert, z.B. durch eine zweidimensionale Kreuzkorrelation
(M-I) (N-))
C(UJ) = ∑ ∑A(m,n)-B(m + i,n + j) m=0 n=0 wobei die C( ) die Kreuzkorrelationskoeffizienten, A( ) und B( ) die beiden zu vergleichenden Bilder sind. Aus dem Maximum des Kreuzkorrelationskoeffizienten ergibt sich in bekannter Art und Weise die 2-dimensionale Verschiebung der Bilder untereinander. Ergibt sich kein ausgeprägtes Maximum des Kreuzkorrelationskoeffizienten ist dies ein Indiz dafür, dass sich die beiden Bilder nicht überlappen. Bestimmung des Ankerbildes und der Berechnungs-Reihenfolge:
Auf Grundlage dieser ermittelten Verschiebungen werden ein Ankerbild sowie die Berechnungsreihenfolge der Transformationen der Teilbilder festgelegt. Als Ankerbild wird das Bild ausgewählt, welches mit den meisten der anderen Bilder einen Überlappungsbereich aufweist. Sollten mehrere Bilder hierbei gleich sein empfiehlt es sich die Summe der Verschiebungen der potentiellen Kandidaten für das Ankerbild zu allen anderen Bildern zu bestimmen und zu vergleichen, dasjenige bei dem diese Summe am geringsten ist wird als Ankerbild gewählt. Um zur Berechnungsreihenfolge zu kommen werden bevorzugt die anderen Bilder nach der Reihenfolge des Maßes der Verschiebung geordnet und mit der kleinsten Verschiebung begonnen.
2. Passpunktregistrierung:
Den zweiten Schritt bildet die objektive, merkmalsunabhängige Bestimmung der Passpunktpaare durch ein (vorzugsweise hierarchisches) Block-Matching-Verfahren. Dabei werden ein Blockauswahlkriterium, ein geeignetes Ähnlichkeitsmaß, z. B. der Korrelationskoeffizient verwendet. Als Blockauswahlkriterium kann beispielsweise die Informationsentropie
H = P, logp, oder die Standardabweichung
X ~\)2
"-l £f benutzt werden um Gebiete festzulegen, welche genügend „Struktur" aufweisen um beim Matching zu ausreichenden Ergebnissen zu führen. Dazu werden in jedem Überlappungsgebiet Teilblöcke von z.B. 25x25 Pixel gebildet und diejenigen Teilblöcke gebildet, für die die Entropie oder die Standardabweichung maximal sind. Mit diesen so ausgewählten Teilblöcken wird dann das Matching zwischen den Bildern durchgeführt, wobei durch entsprechende Begrenzung der Zahl der Teilblöcke die Rechenzeit in Grenzen gehalten wird. Ebenfalls kann man die für das Matching Teilblöcke nach geometrischen Gesichtspunkten auswählen, um so für eine möglichst gleichmäßige Verteilung im Überlappungsgebiet zu sorgen. Als Matching-Algorithmus kann wiederum bevorzugt der Korrelationsalgorithmus
∑∑(Λmn -Ä)(Bmn -B) eingesetzt werden, aber auch andere flächenbasierte Algorithmen sind möglich.
Das Ergebnis des Matching sind Koordinatenwerte einander entsprechender Punkte in den verschiedenen Bildern. 3. Parameterberechnung
Die Transformationsparameter zur geometrischen Anpassung der Bilder untereinander werden nach einem quadratischen Ansatz ermittelt:
1 *1 b2 b3 bΛ b5
Dabei sind die u , v die Koordinatenwerte im Ankerbild (oder für den Fall, dass das betrachtete Bild keine Überlappung mit dem Ankerbild hat, das Ausgangsbild) und die x, y die entsprechenden Koordinatenwerte der entsprechenden Punkte in dem anderen betrachteten Bild. Die a,, b, sind insgesamt 12 Parameter für die Transformation zwischen den zwei Bildern, welche jetzt zusammen mit den entsprechenden Gleichungen für die anderen Passpunkte im Überlappungsbereich zwischen den Bildern ein überbestimmtes Gleichungssystem bilden, welches z.B. nach der Methode der kleinsten Quadrate (oder einem anderen geeigneten numerischen Verfahren) gelöst wird.
Nachdem diese Rechnung für alle mit dem Ankerbild verbundenen Bilder sowie für den Fall nicht mit dem Ankerbild verbundener Bilder mit diesen benachbarten Bildern durchgeführt wurde steht ein kompletter Satz von Transformationsparametern zur Verfügung mit dem alle Bilder in das Koordinatensystem des Ankerbildes transformiert werden können (auch diese die keine Verbindung zum Ankerbild haben).
4. Transformation und Überlagerung der Bilder
Mit diesen Transformationsparametern werden jetzt alle Bilder in das Koordinatensystem des Ankerbildes überführt. Da es durch unterschiedliche Beleuchtung zwischen den verschiedenen Bildern im gemeinsamen Bild zu störenden Strukturen kommen kann, wird jetzt noch eine Grauwert- oder Farbanpassung in an sich bekannter Art und Weise durchgeführt. Dabei hat es sich als vorteilhaft herausgestellt, primär die helleren Teile der Bilder (Blutgefäße o.a.) aufeinander anzupassen und erst anschließend den strukturlosen Hintergrund anzugleichen.
Mit dem vorgestellten neuen Verfahren lassen sich automatisch geometrisch und photometrisch fehlerfreie Panoramabilder herstellen.
Die Erfindung ist nicht an das beschriebene bevorzugte Ausführungsbeispiel gebunden, fachmännische Abwandlungen führen nicht zum Verlassen des durch die Ansprüche definierten Schutzumfangs.

Claims

Patentansprüche
1. Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes, wobei mehrere Ausgangsbilder, welche verschiedene Ausschnitte des Augenhintergrundes zeigen, digital vorliegen, gekennzeichnet dadurch, dass
- eine Vorpositionierung vorgenommen wird, bei der eine erste Größe für die relative geometrische Zuordnung der Bilder untereinander bestimmt wird,
- ein Ankerbild bestimmt wird, auf welches die ersten Größen für die relative geometrische Zuordnung bezogen werden,
- mittels eines Block-Matching Algorithmus einander zugeordnete Gebiete im Ankerbild und den anderen Bildern bestimmt werden,
- aus der gegenseitigen Lage dieser einander zugeordneten Gebiete Transformationsparameter für eine geometrische Transformation zwischen dem Ankerbild und den anderen Bildern bestimmt werden und
- die anderen Bilder mit diesen Transformationsparametern auf das Ankerbild transformiert und mit diesem und untereinander überlagert werden.
2. Verfahren zur Erstellung von Panorama-Bildem des Augenhintergrundes nach Anspruch 1, wobei in den Ausgangsbildem eine Feldmaske bestimmt oder eingegeben wird und die außerhalb der Feldmaske liegenden Bildteile ausgefiltert werden.
3. Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes nach Anspruch 2, wobei die Verfahrensschritte des Anspruchs 1 nur mit Bildteilen der einzelnen Ausgangsbilder welche innerhalb der Feldmaske liegen, durchgeführt werden.
4. Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes nach Anspruch 1, 2 oder 3, gekennzeichnet dadurch, dass die Vorpositionierung durch Berechnung einer zweidimensionalen Kreuzkorrelation zwischen den Ausgangsbildern realisiert wird, wobei vorzugsweise vorher eine Herunterskalierung bzw. Auflösungsverringerung der Ausgangsbilder durchgeführt wird.
5. Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes nach Anspruch 1, 2, 3 oder 4, gekennzeichnet dadurch, dass aus der Vorpositionierung ein Ankerbild bestimmt wird, indem die Zahl der gemeinsamen Bereiche und/oder die Abstände der gemeinsamen Bereiche der Ausgangsbilder bewertet werden.
6. Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes nach einem der Ansprüche 1 bis 5, gekennzeichnet dadurch, dass der Block-Matching Algorithmus im wesentlichen nur auf Gebiete der jeweiligen Ausgangsbilder angewandt wird, für welche die Vorpositionierung eine mögliche Überdeckung der Ausgangsbilder erwarten lässt.
7. Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes nach einem der Ansprüche 1 bis 6, gekennzeichnet dadurch, dass in den Gebiete der jeweiligen Ausgangsbilder, für welche die Vorpositionierung eine mögliche Überdeckung der Ausgangsbilder erwarten lässt, mittels Strukturanalyse eine Bestimmung von für das Block-Matching besonders geeigneten Teilgebieten erfolgt, und dass der Block-Matching Algorithmus vorzugsweise auf diese Teilgebiete angewendet wird.
8. Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes nach einem der Ansprüche 1 bis 7, gekennzeichnet dadurch, dass die Transformationsparameter zwischen dem Ankerbild und den anderen Ausgangsbildern nach einem quadratischen Ansatz bestimmt werden, wobei insbesondere auch die Transformationsparameter zwischen gemeinsame Gebiete aufweisenden anderen Ausgangsbildern bestimmt werden und vorzugsweise durch Optimierung ein für alle Ausgangsbilder geeigneter Transformationsparametersatz bestimmt wird.
9. Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes nach einem der Ansprüche 1 bis 8, gekennzeichnet dadurch, dass bei der Überlagerung der anderen Bilder auf das Ankerbild und untereinander eine Anpassung der Helligkeit und / oder Farbe der Bilder aneinander vorgenommen wird.
EP07786178A 2006-07-28 2007-07-19 Verfahren zur erstellung von panorama-bildern des augenhintergrundes Withdrawn EP2047424A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006034911.3A DE102006034911B4 (de) 2006-07-28 2006-07-28 Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes
PCT/EP2007/006406 WO2008012021A1 (de) 2006-07-28 2007-07-19 Verfahren zur erstellung von panorama-bildern des augenhintergrundes

Publications (1)

Publication Number Publication Date
EP2047424A1 true EP2047424A1 (de) 2009-04-15

Family

ID=38515709

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07786178A Withdrawn EP2047424A1 (de) 2006-07-28 2007-07-19 Verfahren zur erstellung von panorama-bildern des augenhintergrundes

Country Status (5)

Country Link
US (1) US8224050B2 (de)
EP (1) EP2047424A1 (de)
JP (1) JP2009544377A (de)
DE (1) DE102006034911B4 (de)
WO (1) WO2008012021A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5590831B2 (ja) * 2009-07-13 2014-09-17 キヤノン株式会社 画像処理装置及び画像処理方法
US20110103655A1 (en) * 2009-11-03 2011-05-05 Young Warren G Fundus information processing apparatus and fundus information processing method
JP5434621B2 (ja) * 2010-01-19 2014-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
AU2013273657B2 (en) 2013-12-18 2016-11-10 Canon Kabushiki Kaisha Ophthalmic reference image selection
JP6588462B2 (ja) * 2013-12-23 2019-10-09 アールエスビーブイ，リミティド ライアビリティ カンパニー 広視野網膜画像取得システム及び方法
WO2015114621A1 (en) * 2014-02-02 2015-08-06 Trax Technology Solutions Pte. Ltd. System and method for panoramic image processing
JP6438216B2 (ja) * 2014-05-22 2018-12-12 キヤノン株式会社 画像生成装置および画像生成方法
US10402777B2 (en) 2014-06-18 2019-09-03 Trax Technology Solutions Pte Ltd. Method and a system for object recognition
JP6750842B2 (ja) * 2015-09-15 2020-09-02 キヤノン株式会社 画像生成装置、画像生成方法及びプログラム
US10512395B2 (en) 2016-04-29 2019-12-24 Carl Zeiss Meditec, Inc. Montaging of wide-field fundus images
EP3664689B1 (de) 2017-08-11 2025-04-16 Carl Zeiss Meditec, Inc. Systeme und verfahren zur verbesserten ophthalmischen bildgebung
US11000187B2 (en) 2017-09-07 2021-05-11 Carl Zeiss Meditec, Inc. Systems and methods for improved montaging of ophthalmic imaging data
KR102575371B1 (ko) * 2020-06-12 2023-09-08 서울대학교병원 광각 안저영상을 생성하기 위해 복수의 안저영상을 정합하는 방법 및 이를 수행하는 장치
KR102575370B1 (ko) * 2020-06-12 2023-09-08 서울대학교병원 안저영상의 종단적 분석을 위한 안저 변화 검출 방법 및 이를 수행하는 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4715703A (en) * 1982-10-12 1987-12-29 Rodenstock Instrument Corporation Ocular-fundus analyzer
JPH07152895A (ja) * 1993-11-29 1995-06-16 Canon Inc 画像処理方法及び装置
US6082859A (en) * 1997-09-17 2000-07-04 Kabushiki Kaisha Topcon Ophthalmological photographing apparatus
JP3645727B2 (ja) 1999-01-28 2005-05-11 株式会社日立製作所 超音波診断装置およびパノラマ画像を合成するプログラムおよびその記録媒体
JPH11332832A (ja) * 1999-04-09 1999-12-07 Topcon Corp 眼科装置
WO2001028405A2 (en) * 1999-10-20 2001-04-26 The Trustees Of The University Of Pennsylvania Enhancement of images for ophthalmic disgnosis
US6830336B2 (en) * 2002-11-01 2004-12-14 Inoveon Corporation Automated generation of fundus images based on processing of acquired images
JP4095494B2 (ja) * 2003-05-30 2008-06-04 キヤノン株式会社 眼科画像処理装置及び処理方法
US8126289B2 (en) * 2006-06-20 2012-02-28 Ophthalmic Imaging Systems Device, method and system for automatic montage of segmented retinal images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008012021A1 *

Also Published As

Publication number Publication date
US8224050B2 (en) 2012-07-17
WO2008012021A1 (de) 2008-01-31
DE102006034911B4 (de) 2017-10-26
JP2009544377A (ja) 2009-12-17
US20110058715A1 (en) 2011-03-10
DE102006034911A1 (de) 2008-01-31

Similar Documents

Publication Publication Date Title
EP2047424A1 (de) Verfahren zur erstellung von panorama-bildern des augenhintergrundes
EP1191476B1 (de) Vorrichtung und Verfahren zur Berechnung einer zwei Abbildungen verbindenden Transformation
DE602004002939T2 (de) Methode zur dreidimensionalen modellierung von rohrförmigen strukturen
DE19916354B4 (de) Verfahren und Vorrichtung zur Analyse von Bildstrukturen
DE60036216T2 (de) Verfahren und gerät zur bestimmung einer tonquelle
DE102018211477B4 (de) Roadmap-Verfahren, Computerprogramm, Datenspeicher und entsprechendes bildgebendes Gerät
EP2082687A1 (de) Überlagerte Darstellung von Aufnahmen
EP0880109A2 (de) Verfahren zur Ermittlung der Transformation zwischen einem Objekt und seiner dreidimensionalen Darstellung und Anordnung zur Durchführung des Verfahrens
DE102006036933B4 (de) Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern
DE102006027670A1 (de) Bildbasierte Artefaktreduktion bei der PET/CT Bildgebung
EP3089106A1 (de) Verfahren zur reflexionskorrektur von abbildungen und diesbezügliche vorrichtungen
DE112020004854T5 (de) Medizinische Bildverarbeitungsvorrichtung, medizinisches Bildverarbeitungsprogramm, medizinische Vorrichtung und Behandlungssystem
EP1498851A1 (de) Bestimmung einer dreidimensionalen Form eines Körpers, insbesondere einer anatomischen Struktur, aus zweidimensionalen Projektionsbildern
DE69839400T2 (de) Röntgenstrahl-bildverarbeitung
DE102016215831A1 (de) Automatische Generierung synthetischer Projektionen
DE102006037423B4 (de) Verfahren und System zum Bestimmen eines aus einer Gruppe von Projektionsbildern konstruierten scharfen panoramischen Bildes
DE102006025929A1 (de) Verfahren zur automatischen Blickfeldeinstellung und -wiederherstellung entlang der inneren Grenzen des Brustkorbs auf einem CT-Topogram
DE102005021001A1 (de) Bildbasiertes Verfahren zum Detektieren und Entfernen von kleinen Fragmenten in segmentierten dreidimensionalen Volumina
DE102009006765B4 (de) Verfahren zur Ansteuerung einer Bildausgabeeinrichtung, Verfahren zur Ermittlung von tangentialen Schnittebenen, Ansteuerungsmodul und Schnittebenenermittlungseinheit
DE102021210314A1 (de) Verfahren zur Aufnahme einer Wirbelsäulen-Röntgenaufnahme, insbesondere einer Skoliose-Röntgenaufnahme
DE10145608A1 (de) Modellbasierte Objektklassifikation und Zielerkennung
DE60207569T2 (de) Anpassung der energiefunktion in der berechnung in echtzeit von konturen zur bildsegmentierung
DE102018212652B4 (de) Deckenkartenerstellungsverfahren, deckenkartenerstellungsvorrichtung und deckenkartenerstellungsprogramm
DE60207745T2 (de) Intensitätskorrektur bei zusammengesetzten mosaikbildern in der computer-radiographie
EP4151139A1 (de) Verfahren und vorrichtung zur videoendoskopie mit fluoreszenzlicht

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090116

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

17Q First examination report despatched

Effective date: 20120105

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150203