DE19752341A1 - Verfahren zur Bearbeitung von Bildobjekten - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Bearbeitung von Bildobjekten in dreidi­ mensionale Darstellungen, wobei ein Bildobjekt durch ein Bilderzeugungsmittel in einem virtuellen Bildraum dargestellt wird, Bildpunkte des dreidimensionalen Bild­ raums durch eine Auswahleinrichtung erreichbar sind und dem Bildobjekt durch einen Rechner der Position entsprechende Koordinatenwerte zugeordnet wer­ den.

Es sind verschiedene Verfahren zur Bilddarstellung dreidimensionaler Bildobjekte bekannt. Bei der Anaglyphentechnik werden Perspektiven für das rechte und linke Auge in den Farben rot bzw. grün dargestellt. Zur Erzielung der räumlichen Wirkung ist eine Rot/Grün-Brille erforderlich. Die Anaglyphentechnik erlaubt jedoch keine Farbdarstellung.

Weiterhin ist die Shuttertechnik bekannt, bei der die jeweiligen Perspektiven für die beiden Augen nacheinander dargestellt werden. Die Kanalisierung in Bezug auf ein Auge erfolgt über eine Brille, die die Perspektiven augenrichtig zuschaltet.

Bekannt ist auch die autostereoskopische Darstellung, bei der keine zusätzliche Brille erforderlich ist. Beide Perspektiven werden gleichzeitig dargestellt. Die Ka­ nalisierung erfolgt durch optische Mittel, wie Linsen oder Prismen. Die Betrach­ terbewegung wird erfaßt und über die optischen Mittel dem jeweiligen Auge zu­ geführt. Beide Perspektiven sind abwechselnd in den LCD-Spalten eines Bild­ schirms enthalten. Über Prismenmasken des Bildschirms werden die Perspekti­ ven dem rechten bzw. dem linken Auge zugeführt. Das dreidimensionale Bild scheint vor dem Bildschirm zu schweben.

Es sind auch Auswahleinrichtungen für die Bildbearbeitung bekannt, beispiels­ weise eine Computer-Maus, über die einzelne Bildpunkte der Darstellung er­ reichbar sind. Jedoch liegt dabei die Darstellung in zweidimensionaler oder quasi dreidimensionaler Form vor, so daß die Anwahl eines Bildpunktes erschwert ist. Man behilft sich dabei durch Drehen des Bildobjekts, bis eine dahinterliegende Schicht eines dreidimensionalen Bildobjekts auf dem zweidimensionalen Bild­ schirm so angeordnet ist, daß der gewünschte Bildpunkt auswählbar ist. Im Zusammenhang mit den genannten dreidimensionalen Darstellungsverfahren ist diese Art der Bildbearbeitung jedoch umständlich, zeitaufwendig und ungenau.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zu Bearbeitung von Bildobjekten in dreidimensionalen Darstellungen anzugeben, das die Bildbear­ beitung bei der Analyse und Diagnose in Technik, Biologie und in der Medizin erleichtert.

Diese Aufgabe wird erfindungsgemäß durch die Merkmale des Anspruchs 1 ge­ löst. Danach wird zumindest ein räumlicher Teilbereich des Bildobjekts durch die Auswahleinrichtung für die Bearbeitung markiert.

Erfindungsgemäß wurde erkannt, daß bei dreidimensionaler, ein Bildvolumen er­ zeugender Darstellung die Markierung eines Bildobjekts im Bildraum selbst erfol­ gen kann. Im Gegensatz dazu erfolgt die Markierung bei herkömmlichen Bild­ schirmen mit der üblichen zweidimensionalen Darstellung durch Drehen des Kör­ pers oder Verändern seiner Lage und anschließender zweidimensionaler oder quasi dreidimensionaler Markierung. Erfindungsgemäß wird ein in den Raum projeziertes Bildobjekt direkt in dem virtuellen Bildraum markiert. Infolge dessen kann der Bediener die Markierung des räumlichen Teilbereichs entweder durch Verändern der Position des Betrachters oder durch Verändern der Lage des Kör­ pers einfach beobachten. Ein Rechner mit einer Vektorgrafik und verschiedenen Ein- und Ausgabegeräten unterstützt dabei die dreidimensionale, insbesondere autostereoskopische Darstellung, berechnet die Position der Markierung im Bild­ objekt und zeigt die markierten Teilbereiche des Bildobjekts in der dreidimensio­ nalen Darstellung an.

Das erfindungsgemäße Verfahren läßt sich besonders vorteilhaft bei der Objek­ terkennung und Vermessung in der Molekularphysik, bei der Inspektion und Qua­ litätssicherung in der Halbleiterindustrie, in der Metallurgie und der Metallverar­ beitung einsetzen. Auch die Anwendung bei CAD-Verfahren, in Verbindung mit der Objekterkennung, Bilderfassung, Rekonstruktion, Darstellung und Vermes­ sung von Bildobjekten ist vorteilhaft. Das Verfahren läßt sich für das virtuelle Prototyping (mock up) sowie in der virtuellen Werkstatt einsetzen. Weitere An­ wendungsgebiete sind in der Mikrobiologie die Segmentation und Vermessung räumlicher Anordnungen, wie Zellkernstrukturen, Chromosomen usw. und in der Medizin die Zytologie, die Ophthalmologie, die Neurodiagnostik und die Angio­ graphie.

Bei besonders vorteilhafter Weiterbildung der Erfindung wird das markierte Bild­ objekt in Bezug zu anderen, im Bildraum dargestellten Bildobjekten segmentiert. Das Bildobjekt wird dabei in einzelne Abschnitte untergliedert, wobei der Rechner jeweils die Begrenzungsbereiche der Abschnitte im dreidimensionalen Raum und Daten für die Zuordnung eines Abschnitts bei der Segmentation abspeichert. Die Segmentation ist Grundlage für die bildanalytische Weiterverarbeitung der drei­ dimensionalen Darstellung. Dabei werden Bildvolumina in der dreidimensionalen Darstellung abgegrenzt und in Abschnitte unterteilt, die unterschiedlichen Bildbe­ arbeitungsvorgängen zugänglich sind. Dabei wird insbesondere die Morphome­ trie, d. h. die Segmentation und Vermessung von 3D-Bildobjekten in dreidimen­ sionalen Bildern, unterstützt.

Bei der Markierung oder der Segmentierung wird die Auswahleinrichtung im vir­ tuellen Bildraum auf das Bildobjekt gerichtet oder entlang der Begrenzungsberei­ che des Bildobjekts geführt. Das auf diese Weise markierte Bildobjekt kann her­ vorgehoben, insbesondere gefärbt oder vergrößert werden. Dadurch ist der aus­ gewählte räumliche Teilbereich in der dreidimensionalen Darstellung besser er­ kennbar.

Bei einer anderen Weiterbildung der Erfindung wird der markierte räumliche Teil­ bereich des Bildobjekts vermessen. Gerade im medizinischen Bereich, wo ver­ schiedene bildgebende Verfahren wie die Laser-Tomographie, die Röntgen-To­ mographie und die MR-Tomographie oder Darstellungen aus der Mikroskopie verwendet werden, lassen sich daraus dreidimensionale Darstellungen erzeugen. Um Bildobjekte im Bildraum zu vermessen, müssen zumindest zwei Bildpunkte oder vorzugsweise räumliche Teilbereiche eines Bildobjekts markiert werden. Auf diese Weise können die Einzelinformationen der bekannten zweidimensionalen oder quasi dreidimensionalen Darstellungen in der dreidimensionalen Darstellung verwendet werden und mit Hilfe der autostereoskopischen Darstellung unter ge­ ringem Aufwand im Bildraum vermessen werden. Vorteilhaft wird die Genauigkeit bei der Vermessung erhöht und der Analyse- bzw. Diagnosevorgang objektiviert. Bevorzugt kann der markierte Teilbereich des Bildobjekts aus der dreidimensio­ nalen Darstellung ausgeschnitten und gesondert dargestellt werden.

Das Bildobjekt kann durch Verarbeitungsprozeduren des Rechners automatisch segmentiert und/oder vermessen werden; dazu werden Daten bevorzugt zur Er­ zeugung von Referenzobjekten in einer Speichervorrichtung des Rechners ab­ gelegt. Aufgrund der Referenzobjekte wird dann eine automatische Segmentation und Vermessung relevanter Bildobjektbereiche im dreidimensionalen Bildraum durchgeführt. Bei der Segmentation, Vermessung oder Auswahl eines spezifi­ schen Bildobjekts in der Darstellung können bildanalytische, kognitive und wis­ sensbasierte Systeme, insbesondere auch Neuronale Netze, eingesetzt werden. Durch die automatische Segmentation, beispielsweise der Segmentierung einer Leber innerhalb einer medizinischen, dreidimensionalen Darstellung eines Pati­ entenkörpers, kann die Performance erhöht und der Analyse-/Diagnoseprozeß objektiviert werden.

Die manuelle Segmentation bzw. Vermessung relevanter Teilbereiche eines Bildobjekts im dreidimensionalen Bildraum kann zur Vorbereitung des automati­ sierten Verfahrens oder zur Verifikation herangezogen werden. Bei der automati­ schen Segmentation aufgrund von Referenzobjekten, beispielsweise Objekten einer bestimmten Größe, Schattierung oder Form, kann eine Vorauswahl in der dreidimensionalen Darstellung durch Verarbeitungsprozeduren des Rechners erfolgen und eine manuelle Nachbearbeitung mit Hilfe der Auswahleinrichtung oder über die Tastatur des Rechners durchgeführt werden.

Der Rechner kann Verarbeitungsprozeduren wie ein Vorverarbeiten durch Filtern, Bilddatenerzeugung oder Bilddatenkomprimierung bereitstellen. Ebenso können die Verarbeitungsprozeduren ein kognitives Modellieren, Kalibrieren oder mor­ phometrisches Auswerten der dreidimensionalen Darstellung vorsehen. Durch die Verarbeitungsprozeduren kann die dreidimensionale Darstellung derart ver­ ändert werden, bis für das spezielle Wissen eines Experten eine zufriedenstel­ lende, formalisierte Darstellung vorliegt, beispielsweise aufgrund von Ausgangs­ signalen Neuronaler Netze oder wissensbasierter Systeme.

Bei einer anderen Weiterbildung der Erfindung werden Basis-Verarbeitungspro­ zeduren zur Bearbeitung der Bildobjekte und für die Anwendung des Verfahrens und Spezifische Analyse-, Diagnose-, Kalibrierungs- und Schnittstellen-Prozedu­ ren, insbesondere auf dem Rechner, bereitgestellt. Kern des Verfahrens ist die Kopplung eines durch autostereoskopische Visualisierung gestützten Prozesses, der durch Basisverarbeitungsprozeduren wie Alignment, Filtern, Dekonvolution, Bitmapping, usw. vorverarbeitet wird. Spezifische Verarbeitungsprozeduren er­ möglichen die 3D-Manipulation, die manuelle Segmentation, Vermessung und die morphometrische Auswertung. Über eine in die dreidimensionale Darstellung eingeblendete Menüführung ist eine dialogorientierte, interaktive Kopplung von manuellen und automatischen Teilprozessen möglich, um ein Analyse und Dia­ gnosemodell mit ausreichender Performance zu erstellen.

Bei einer besonders vorteilhaften Weiterbildung der Erfindung erfolgt die dreidi­ mensionale Darstellung autostereoskopisch, wobei das Bilderzeugungsmittel ein Bildschirm ist, vor dem die dreidimensionale Darstellung im Bildraum zu schwe­ ben scheint. Die Auswahleinrichtung ist ein 3D-Pointer oder ein Zeigestift, über den ein bestimmter Bildpunkt im virtuellen Bildraum angezeigt und über einen Taster am Zeigestift ausgewählt werden kann.

Weitere vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen und der Beschreibung. Drei Ausführungsbeispiele der Erfin­ dung werden nachfolgend beschrieben.

Bei einem ersten Ausführungsbeispiel der Erfindung wird das Verfahren bei der Diagnose von Hirntumoren, Epilepsien oder ähnlichen Krankheiten in der Medizin eingesetzt. Über Computer-Tomographie, Magnetspin-Tomographie oder Rönt­ genverfahren wird der Kopf eines Patienten analysiert und die Ergebnisse für die dreidimensionale Darstellung herangezogen. Bei dem Verfahren können bei­ spielsweise Tumore über ihre Schattierung in den Röntgenaufnahmen automa­ tisch durch wissensbasierte Systeme lokalisiert und vermessen werden. Mit Hilfe des Pointers können auch interessierende Bildobjekte, d. h. Bereiche in denen ein Tumor zu vermuten ist, segmentiert, ausgeschnitten und mit Fremdfarben vergrößert dargestellt werden. Auf diese Weise läßt sich die medizinische Diagnose wesentlich verbessern.

Bei einem zweiten Ausführungsbeispiel der Erfindung wird ein Tomogramm mit­ tels Positronenemissions-Tomographie (PET) erstellt und daraus eine dreidimen­ sionale Darstellung erzeugt. Bei der manuellen Segmentation und Vermessung wird zu der Beurteilung der Topologie des Tumors das rekonstruierte Bild auto­ stereoskopisch dargestellt. Die für die Prüfung relevanten Objektbereiche werden manuell segmentiert, die morphologischen Merkmale ermittelt und vermessen. Außerdem entstehen daraus Referenzobjekte für eine Lernmenge im Rahmen eines kognitiven Modells des Analyse- oder Diagnoseproblems. Bei der automa­ tischen Segmentation und Vermessung erfolgt die Beurteilung auf der Basis des zuvor ermittelten Diagnosemodells. Dies schließt die automatische Segmentation und Vermessung relevanter Teilbereiche im Bildobjekt ein. Interaktiv kann über einen manuellen Teilprozeß das Diagnosemodell, z. B. unter Zuhilfenahme eines Neuronalen Netzes, ermittelt und schritthaltend aktualisiert werden.

Ein drittes Ausführungsbeispiel des erfindungsgemäßen Verfahrens betrifft die Qualitätssicherung bei der Produktion von elektronischen Geräten. Zur automati­ schen Inspektion von Lötstellen mit einem Durchsatz von einigen Tausend Löt­ stellen/min sind übliche Prüfkriterien die Lotverteilung, Lotmenge, Bauteilpositio­ nierung und Fehler im Lotvolumen. Über einen mit einem Rechner verbundenen Bildschirm wird eine autostereoskopische, im Bildraum vor dem Bildschirm schwebende dreidimensionale Darstellung erzeugt. Die 3D-Grafik ist eine Vek­ torgrafik, wodurch die Lötstellen mit hoher Auflösung darstellbar sind. Mit Hilfe eines 3D-Pointers wird die dreidimensionale Darstellung segmentiert und ver­ messen. Zur Beurteilung der Qualitätsmerkmale wird das aus Röntgenaufnah­ men oder einer Tomographie ermittelte dreidimensionale Bild autostereoskopisch dargestellt. Die für die Prüfung relevanten Objektbereiche werden manuell seg­ mentiert, die morphologischen Merkmale werden ermittelt und vermessen. Ver­ messene Bildobjekte können als Referenzobjekte für Lernmengen im Speicher des Rechners abgelegt werden. So können beispielsweise Eingangsdaten für Neuronale Netze ermittelt werden mit dem Ziel einer automatischen Segmentie­ rung oder Vermessung auf der Basis eines Diagnosemodells, beispielsweise ei­ ner Kombination von wissensbasierten Systemen und Neuronalen Netzen. Die automatische Segmentation und/oder Vermessung kann mit der manuellen Seg­ mentation und/oder Vermessung interaktiv verbunden sein. Ebenso ist es mög­ lich artifizielle Bildobjekte, wie z. B. eine gewünschte Lotverteilung, mit dem Stift als Referenzobjekte in den dreidimensionalen Bildraum zu zeichnen.

Claims (16)

1. Verfahren zur Bearbeitung von Bildobjekten in dreidimensionalen Darstel­ lungen, wobei ein Bildobjekt durch ein Bilderzeugungsmittel in einem virtuellen Bildraum dargestellt wird, Bildpunkte des dreidimensionalen Bildraums durch eine Auswahleinrichtung erreichbar sind und dem Bildobjekt durch einen Rechner der Position entsprechende Koordinatenwerte zugeordnet werden, dadurch gekennzeichnet, daß zumindest ein räumlicher Teilbereich des Bildobjekts durch die Auswahleinrichtung für die Bearbeitung markiert wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das markierte Bildobjekt in bezug zu anderen, im Bildraum dargestellten Bildobjekten segmen­ tiert wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Auswahl­ einrichtung zur Segmentierung im virtuellen Bildraum auf das Bildobjekt gerichtet oder entlang der Begrenzungsbereiche des Bildobjekts geführt wird.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß das markierte Bildobjekt hervorgehoben, insbesondere gefärbt oder vergrößert wird.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der markierte Teilbereich des Bildobjekts vermessen wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß der Teilbereich des Bildobjekts aus der dreidimensionalen Dar­ stellung ausgeschnitten und gesondert dargestellt wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß das Bildobjekt durch Verarbeitungsprozeduren des Rechners segmentiert und/oder vermessen wird und Daten zur Erzeugung von Referenz­ objekten in einer Speichervorrichtung des Rechners abgelegt werden.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß insbesondere aufgrund von Referenzobjekten, eine automatische Segmentation und Vermessung relevanter Bildobjektbereiche im dreidimensio­ nalen Bildraum durchgeführt werden.

9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß bei der Segmentation, Vermessung oder Auswahl eines spezifi­ schen Bildobjekts in der Darstellung bildanalytische, kognitive und wissensba­ sierte Systeme, insbesondere auch Neuronale Netze, eingesetzt werden.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß eine manuelle Segmentation bzw. Vermessung relevanter Teilbe­ reiche des Bildobjekts oder auch die Gestaltung artifizieller Bildobjekte im dreidi­ mensionalen Bildraum durchgeführt wird.

11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß der Rechner Verarbeitungsprozeduren vorsieht, wie Vorverarbeiten durch Filtern oder Bilddatenkomprimierung.

12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß der Rechner Verarbeitungsprozeduren vorsieht, wie morphometri­ sches Auswerten, Kalibrieren oder kognitives Modellieren.

13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß zur Bearbeitung der Bildobjekte Basis-Verarbeitungsprozeduren und für die Anwendung des Verfahrens spezifische Analyse-, Diagnose-, Kalibrie­ rungs- und Schnittstellen-Prozeduren, insbesondere auf dem Rechner, bereitge­ stellt sind.

14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß die dreidimensionale Darstellung eine autostereoskopische Dar­ stellung ist, wobei das Bilderzeugungsmittel ein Bildschirm ist, vor dem die drei­ dimensionale Darstellung im Bildraum zu schweben scheint.

15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn­ zeichnet, daß die Auswahleinrichtung eine Zeigestift ist, über den ein bestimmter Bildpunkt im virtuellen Bildraum angezeigt und, insbesondere über einen Taster am Zeigestift, ausgewählt werden kann.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß mit der Aus­ wahleinrichtung artifizielle Bildobjekte im virtuellen Bildraum, z. B. als Referenz­ objekte, gestaltet werden.