-
Die
vorliegende Erfindung betrifft eine Vorrichtung zur Aufnahme von
Bildinformationen zum Erstellen eines dreidimensionalen Bildes gemäß Patentanspruch
1 und eine Methode zur Aufnahme von Bildinformationen zum Erstellen
eines dreidimensionalen Bildes gemäß Patentanspruch 9.
-
Von
einem dreidimensionalen Objekt können beispielsweise
mittels einer Kamera zweidimensionale Aufnahmen erstellt werden.
Diesen Abbildungen fehlt jedoch eine exakte Tiefeninformation, welche beispielsweise
bei Aufnahmen im medizinischen Bereich von hoher Bedeutung ist.
Es besteht daher die Notwendigkeit einer entsprechenden Vorrichtung
und eines Verfahrens, durch welches aus zweidimensionalen Abbildungen
ein dreidimensionales Bild erstellt werden kann.
-
Bei
einer manokularen Kamera wird um aus nur einem bildgebenden Sensor
3D-Informationen zu ermitteln, über
einen vorgegebenen Aufnahmezeitraum der Kamerafokus kontinuierlich über einen
bestimmten Bereich verstellt. Durch eine anschließende Analyse
der Schärfe
bestimmter Bildbereiche der Bildfolge und dem Vergleich mit dem
jeweils eingestellten Fokus kann auf die Entfernung des Bildbereichs
geschlossen werden. Zusätzlich
werden Sensoren für
Infrarot- oder Ultraschallmessungen verwendet. Zum Gelingen dieses
Vorgehens ist jedoch ein möglichst
gut strukturiertes Objekt mit Idealerweise vielen Kanten und eine
gute Ausleuchtung notwendig.
-
Bei
binokularen Systemen wird ein Objekt aus zwei unterschiedlichen
Blickwinkeln aufgenommen. Dadurch kann seine dreidimensionale Position durch
Suche nach korrespondierenden Bildpunkten in beiden Bildern ermittelt
werden. Bei binokularen Systemen werden beispielsweise zwei Kameras
verwendet o der die Kamera muss geschwenkt werden, so dass das Objekt
aus unterschiedlichen Blickwinkeln aufgenommen werden kann. Zum
Gelingen einer solchen 3D-Positionsbestimmung ist eine rechenintensive
Korrespondenzsuche auf beiden Bildern notwendig um sicherzustellen,
dass jeweils ein Pixel in beiden Bildern vom gleichen Zielpunkt
herrührt.
Ist das zu untersuchende Objekt nicht genügend strukturiert, misslingt
ein plausibler Match und es kann kein sinnvoller Entfernungswert
ermittelt werden. Darüber
hinaus ist die Verwendung zweier Kameras sowie das Schwenken bei
Verwendung von nur einer Kamera aufwändig und umständlich.
-
Dokument
DE 198 82 939 T1 offenbart
ein System zum Erzeugen eines dreidimensionalen Bildes. Das System
umfasst eine Kamera, welche ein erstes Bild eines ersten Ortes und
ein zweites Bild eines zweiten Ortes aufzeichnet. Ein Bewegungsdetektor
erfaßt
die Bewegung der Kamera, um eine dem ersten Ort entsprechende Position
der Kamera und eine dem zweiten Ort entsprechende zweite Position
zu berechnen. Ein Prozessor verwendet das erste und das zweite Bild
und den ersten und den zweiten Ort, um ein dreidimensionales Bild
zu erzeugen.
-
Die
Patentschrift
DE 101
32 399 C1 offenbart eine Panoramakamera. Hierbei besitzt
eine Zeilenkamera auf einem drehbaren Aufsatz wenigstens zwei parallel
zueinander angeordnete Zeilensensoren, so dass das objektseitige
Strahlenbündel
jedes der beiden Zeilensensoren tangential zu einer gedachten Kreisbahn
um die Drehachse herum in, bezogen auf die Drehrichtung des Aufsatzes,
entgegengesetzte Richtungen umgelenkt wird und aus den Einzelsignalen
der beiden Zeilensensoren je ein Stereohalbbild getrennt zur Aufzeichnung
gelangt.
-
In
der Offenlegungsschrift
DE
196 37 629 A1 wird eine elektronische Kamera offenbart
bestehend aus einem Objektiv zum Abbilden eines Gegenstandes auf
eine Bildebene, Mittel zur Auswahl mindestens eines Gegenstandsbereiches
und einen Mikrocomputer zum Ermitteln der Verstellparameter. Somit ist
der ausgewählte
Gegenstandsbereich scharf auf die Bildebene abbildbar. In der Bildebene
der Kamera ist ein Bildsensor vorgesehen, der nach 5 Freiheitsgraden
bewegbar ist. Ferner sind Stellmittel vorgesehen, die aufgrund der
vom Mikrocomputer ermittelten Verstellparameter automatisch betätigbar sind,
wodurch der Bildsensor derart bewegbar ist, dass eine scharfe Abbildung
des gewählten
Gegenstandsbereiches erzielbar ist.
-
Dokument
DE 694 19 006 T2 offenbart
ein System zur sequentiellen Farbvideo-Bildgebung. Hierbei wird
ein Objekt mittels Rot-, Grün-
und Blaulichtquellen in einer vorbestimmten Wiederholungssequenz
von Rot- und Grün-,
Rot- und Blau-Licht-Beleuchtungsperioden
beleuchtet und das von dem Objekt reflektierte Licht wird durch
einen Zwischenzeilen-Videosensor mit einem Bildfeld von horizontalen und
vertikalen fotosensitiven Elementen und einem entsprechenden Speicherfeld
von Videodaten-Speicherelementen aufgenommen. Hierbei werden die während jeder
Beleuchtungsperiode aufgenommenen Videodaten von dem Bildfeld zu
dem Speicherfeld verschoben. Eine Prozessoreinrichtung transformiert
anschließend
die in dem Speicherfeld befindlichen Videodaten in eine entsprechende
Sequenz von Luminanz- und Chrominaz-Videosignalen, welche das durch
das Kamerasystem betrachtete Objekt darstellen.
-
Aufgabe
der vorliegenden Erfindung ist es deshalb, eine Vorrichtung und
Methode zur Aufnahme von Bildinformationen zum Erstellen eines dreidimensionalen
Bildes zu schaffen, welche weniger aufwändig ist als die bereits bekannten
monukularen und binokularen Systeme und welche auch bei ungünstigen
Bildbedingungen, beispielsweise einer schlechten Ausleuchtung oder
geringen Farbtiefe, wirklichkeitsgetreue dreidimensionale Bilder
erstellen können.
-
Die
Aufgabe wird erfindungsgemäß durch die
in Patentanspruch 1 gekennzeichnete Vorrichtung und die in Patentanspruch
9 gekennzeichnete Methode gelöst.
Die Erfindung wird in ihren Unteransprüchen weitergebildet.
-
Gemäß der vorliegenden
Erfindung wird eine Vorrichtung zur Aufnahme von Bildinformationen zum
Erstellen eines dreidimensionalen Bildes beschrieben mit einer Linse
zum Erstellen eines reellen Bildes von einem dreidimensionalen Objekt
und einem Sensor zur selektiven Aufnahme von Bildsignalen auf der
Basis des reellen Bildes. Hierbei ist der Sensor in seiner relativen
Position zur Linse verschiebbar, ist eine Steuereinheit vorgesehen
zur Steuerung der Position des Sensors in Abhängigkeit von den aufgenommenen
Bildsignalen und der Sensor ist geeignet, Bildsignale in Form von
Luminanzwerten aufzunehmen.
-
Des
weiteren wird gemäß der vorliegenden Erfindung
eine Methode zur Aufnahme von Bildinformationen zum Erstellen eines
dreidimensionalen Bildes beschrieben, welche die folgenden Schritte
umfasst: Erstellen eines reellen Bildes von einem dreidimensionalen
Objekt durch eine Linse und selektives Aufnehmen von Bildsignalen
auf der Basis des reellen Bildes durch einen Sensor. Hierbei umfaßt die Methode
die Schritte: Verschieben des Sensors in seiner relativen Position
zur Linse, Steuern der Position des Sensors in Abhängigkeit
von den aufgenommenen Bildsignalen durch eine Steuereinheit und das
Aufnehmen von Bildsignalen in Form von Luminanzwerten.
-
Durch
die Verwendung eines verschiebbaren Sensors ist es möglich, Aufnahmen
des dreidimensionalen Objektes aus verschiedenen Blickwinkeln zu erstellen,
wodurch eine dreidimensionale Rekonstruktion möglich ist.
-
Weiter
erlaubt die Steuerung der Position des Sensors in Abhängigkeit
von den bereits aufgenommenen Bildsignalen eine optimale Anpassung
an die gegebenen Aufnahmebedingungen, wodurch eine hohe Bildqualität bei der
Erstellung des dreidimensionalen Bildes erreicht wird.
-
Gemäß einem
bevorzugten Ausführungsbeispiel
der Erfindung ist der Sensor entlang dreier zueinander orthogonaler
Achsen verschiebbar.
-
Vorzugsweise
ist die Ebene des Sensors relativ zur Lage der optischen Achse kippbar.
-
Desweiteren
ist der Sensor vorteilhafterweise geeignet, Bildsignale in Form
von Chrominanzwerten aufzunehmen.
-
Steuereinheit
kann die vom Sensor aufgenommenen Bildsignale nach vorgegebenen
Parametern überprüfen.
-
Vorzugsweise
nimmt der Sensor Bildsignale zur Bestimmung der Kanten des dreidimensionalen Objektes
auf.
-
Desweiteren
nimmt der Sensor vorteihafterweise Bildsignale auf zur Bestimmung
der Tiefenlage der Kanten des dreidimensionalen Objekts.
-
Die
Steuereinheit kann die aufgenommenen Bildsignalen an einen HF-Sender
mit einer Antenne übermitteln.
-
Die
Erfindung wird im Folgenden anhand von Figuren näher erläutert. Dabei zeigen:
-
1 ein
schematisches Blockdiagramm der erfindungsgemäßen Vorrichtung,
-
2 ein
Flussdiagramm für
den Prozess der Kantenbestimmung und
-
3 ein
Flussdiagramm für
den Prozess der Tiefenbestimmung.
-
1 zeigt
ein schematisches Blockdiagramm eines bevorzugten Ausführungsbeispiels
der erfindungsgemäßen Vorrichtung mit
einer Kamera 1 zur Aufnahme von Bildern der Umgebung. Hierbei kann
es sich um Personen, Gegenstände,
Räume, Außenbereiche
oder für
medizinische Zwecke um Körperinnenräume handeln,
in welchen sich ein oder mehrere dreidimensionale Objekte 2a befinden. Durch
eine Linse 3 wird ein reelles Bild 2b des dreidimensionalen
Objektes 2a erstellt. Bei der Linse 3 kann es
sich im einfachsten Falle um eine konkave Abbildungslinse handeln
oder um ein Linsensystem bestehend aus mehreren Linsen. Ein Sensor 4 dient zur
Aufnahme von Bildsignalen des dreidimensionalen Objekts 2a auf
Basis des durch die Linse 3 in die Kamera 1 projizierten
reellen Bildes 2b. Der Sensor 4 ist hierbei kleiner
als das reelle Bild 2b innerhalb der Kamera 1 und
kann in Richtung dreier zueinander orthogonaler Achsen verschoben
werden. Darüber hinaus
kann auch die Ebene des Sensors 4 in Bezug auf die Lage
der optischen Achse 8 verändert werden. Hierbei ist der
Sensor 4 geeignet, Bildsignale in Form von Luminanz- oder
Chrominanzwerten aufzunehmen. Durch die Bewegung des Sensors 4 kann das
dreidimensionale Objekt 2a aus unterschiedlichen Blickwinkeln
und unter unterschiedlichen Bedingungen aufgenommen werden, wodurch
Kanten und Schattierungen ausfindig gemacht werden können und
so ein dreidimensionales Bild mit Tiefeninformationen erstellt werden
kann. Der Sensor 4 übermittelt
die aufgenommenen Bildsignale an eine Steuereinheit 5,
welche nach vorgegebenen Parametern die empfangenen Bildsignale überprüft und entsprechend
der bei dieser Überprüfung gewonnenen
Ergebnisse die Position des Sensors 4 verändert. Die Steuereinheit 5 übermittelt
die vom Sensor 4 übertragenen
Bildsignale an einen HF-Sender 6 mit einer Antenne 7 zur Übertragung
der Bildsignale an eine externe Bildverarbeitungseinheit (nicht
dargestellt) zur Konstruktion eines dreidimensionalen Bildes aufgrund
der übermittelten
Bildsignale. Alternativ kann statt des HF-Senders 6 und
der Antenne 7 die Bildverarbeitungseinheit direkt in die
Kamera 1 implementiert sein mit einem ebenfalls in die
Kamera integrierten Bildschirm, auf welchem das fertige dreidimensionale
Bild dargestellt wird. Die Steuerung des Sensors 4 durch
die Steuereinheit 5 kann über ein elektromechanisches,
piezo-elektrisches oder mechanisches System erfolgen.
-
Der
genaue Prozess zur Kanten- und Tiefenbestimmung sowie die Rekonstruktion
eines dreidimensionalen Bildes aus den einzelnen selektiven durch
den Sensor 4 gewonnenen Bildsignalen ist in den 2 und 3 dargestellt.
Der Ablauf umfasst hierbei sowohl das Aufnehmen von Luminanz und Chrominanz
durch den Sensor 4, das Überprüfen der aufgenommenen Bildsignale
nach vorgegebenen Parametern durch die Steuereinheit 5 und
die Auswertung und Berechnung zur Erstellung des dreidimensionalen
Bildes durch die nicht dargestellte Bildverarbreitungseinheit. Hierbei
können
die Aufgaben der Parameterüberprüfung, Steuerung
des Sensors und abschließender
Berechnungen und Bildkonstruktionen je nach gewünschter Anwendung der Kamera 1 unterschiedlich
verteilt sein. Im Falle einer besonders kleinen Kamera 1,
wie sie beispielsweise für medizinische
Zwecke verwendet wird, wird die Steuereinheit 5 lediglich
die Bildsignale nach bestimmten Parametern überprüfen und die Bildsignale über den HF-Sender 6 und
die Antenne 7 an eine externe Bildverarbeitungseinheit
senden. Wird jedoch eine sofortige Ansicht der Bilder gewünscht, so
kann die Bildverarbeitungseinheit in die Kamera implementiert sein
oder mit der Steuereinheit zusammenfallen, so dass die Bilder direkt
in der Kamera nachbearbeitet werden.
-
Der
in den 2 und 3 dargestellte Prozessablauf
basiert auf dem Mechanismus der menschlichen visuellen Wahrnehmung,
wobei Tiefe, Bewegung, Farbe und Helligkeit aufgenommen werden,
um ein tiefenwirksames Bild zu erstellen, und bei welchem die aufgenommenen
Kanten, Flächen, Objekte
und Farb- bzw. Helligkeitsabstufungen
nach bestimmten Regeln zu einem dreidimensionalen Bild zusammengesetzt
werden.
-
Im
Falle von Objekten, welche sich nicht bewegen, erfolgt zunächst die
Kantenbestimmung entsprechend des Flussdiagramms wie es in 2 dargestellt
ist. In einem Schritt S1 wird das Objekt fokussiert und der Sensor 4 nimmt
die Luminanz und die Chrominanz auf. Die aufgenommenen Bildsignale werden
an die Steuereinheit 5 übermittelt,
welche in einem Schritt S2 überprüft, ob die
Luminanz gering ist. Kriterium hierfür ist, ob es bei der vorliegenden Szene
den menschlichen Auge möglich
wäre, das Objekt
zu erkennen und aufzulösen.
Falls die Luminanz nicht gering ist, können sofort in einem Schritt S6
die Kanten berechnet werden, da diese sich deutlich abzeichnen.
Falls jedoch die Luminanz zu gering ist, um aus einer oder wenigen
selektiven Aufnahmen die Kanten zu berechnen, wird der Wert der
Luminanz und der Chrominanz an der eben aufgenommenen Position gespeichert
und die Steuereinheit 5 verändert die Position des Sensors 4.
In einem nächsten Schritt
S4 wird durch den Sensor 4 an der neuen Position erneut
die Luminanz und Chrominanz aufgenommen. In dem folgenden Schritt
S5 überprüft die Steuereinheit 5,
ob ausreichend Werte für
Luminanz und Chrominanz vorhanden sind, um die Kanten bestimmen
zu können,
d.h. ob eine Rekonstruktion auf Basis der bereits aufgenommenen
Werte möglich
ist. Falls dies nicht der Fall ist, kehrt der Prozessablauf erneut
zu Schritt S3 zurück
und durchläuft
die Schritte S3 bis S5. Falls im Schritt S5 durch die Steuereinheit 5 entschieden
wird, dass ausreichend Werte für Luminanz
und Chrominanz vorhanden sind, werden in dem folgenden Schritt S6
die Kanten berechnet. In einem Nachbereitungsschritt S7 wird durch
die Steuereinheit 5 überprüft, ob für ein bestimmtes
Objekt oder eine bestimmte Szenerie eine besonders hohe Genauigkeit
notwendig ist. Beispielsweise muss im medizinischen Bereich eine
höhere
Genauigkeit erzielt werden und eine höhere Auflösung erreicht werden als bei
der Verwendung der Kamera in einem Mobiltelefon für Schnappschüsse oder ähnliches. Falls
dies der Fall ist, wird der Sensor 4 durch die Steuereinheit 5 an
weitere Positionen bewegt bis genügend Werte für eine sehr
genaue Konstruktion vorhanden sind. Es werden dann in einem Schritt
S10 die Kanten berechnet. Falls keine hohe Genauigkeit notwendig
ist oder nach der Aufnahme von weiteren Werten für eine hohe Genauigkeit wird
in einem Schritt S8 der Prozessablauf mit Schritt S11 zur Tiefenbestimmung
fortgeführt.
-
3 zeigt
den Prozessablauf zur Tiefenbestimmung. Im Schritt S11 wird der
Sensor entlang der X-Richtung bewegt, welche der optischen Achse 8 entspricht,
und es werden an verschiedenen Positionen die Luminanz und Chrominanz
aufgenommen. Im Schritt S12 überprüft die Steuereinheit 5,
ob für die
aufgenommenen Bildsignale die Luminanz und Chrominanz gering ist.
Kriterium hierfür
ist ebenfalls wieder, ob es dem menschlichen Auge in der vorliegenden
Szene möglich
wäre, die
Objekte zu erkennen und aufzulösen.
Falls dies nicht der Fall ist, werden in einem Schritt S13 die Kanten
mittels Interpolation ermittelt und in einem Endschritt S18 die
Tiefenlage der Kanten berechnet. Falls im Schritt S12 die Steuereinheit 5 entscheidet,
dass die Luminanz und Chrominanz gering sind, wird der Sensor auch
in Y- und Z-Richtung bewegt, welches den beiden zur X-Achse orthogonalen
Richtungen entspricht. Nach Aufnahme von verschiedenen Werten in
Y- und Z-Richtung wird durch die Steuereinheit 5 im Schritt S15 überprüft, ob die
Werte für
die Rekonstruktion ausreichen. Falls dies nicht der Fall ist, werden
noch weitere Werte durch den Sensor 4 an verschiedenen Positionen
aufgenommen und durch eine Farbanalyse schließlich in einem Schritt S18
die Tiefenlagen der Kanten berechnet. Falls die Werte für eine Rekonstruktion
in Schritt S15 ausreichen, werden die Kanten berechnet in Schritt
S16 und es werden biologische Wahrnehmungsbedingungen angewendet. Hierbei
handelt es sich um Regeln, nach welchen das menschliche Gehirn die
wahrgenommenen Kanten und Flächen
zu dreidimensionalen Objekten zusammensetzt.
-
Die
in 2 und 3 beschriebenen Prozessabläufe können in
dieser Form für
Objekte und Szenen, welche sich nicht bewegen, angewendet werden.
Im Falle sich bewegender Objekte, wird in Schritt S1 von 2 von
einer Position das Objekt mehrmals oder über einen bestimmten Zeitraum,
bei welchem es sich um einige Millisekunden ms handelt, aufgenommen
und ne ben der Luminanz und Chrominanz, welche durch den Sensor 4 aufgenommen wird,
durch die externe Bildverarbeitungseinheit die Frequenz in der Bildänderung
bestimmt. Ebenso wird die Frequenzänderung in den Schritten S4
in 2, S11 in 3 und S14
und S17 in 3 bestimmt. Durch Überprüfung von
Matches von Kanten, Flächen
oder Formen wird aus den einzelnen aufgenommenen Bildern die Bewegung
jeweils einen bestimmten Objektes rekonstruiert. Anschließend werden
die Relativbewegungen der verschiedenen Objekte zueinander und relativ
zum Hintergrund berechnet und anschließend die Tiefenlage der Kanten
bestimmt.
-
Die
erfindungsgemäße Vorrichtung
und die erfindungsgemäße Methode
können
in den unterschiedlichsten Bereichen Anwendung finden. So kann die
Vorrichtung in eine Digitalkamera integriert sein, welche entweder
eine spätere
Nachbearbeitung an einer externen Bearbeitungseinheit wie z. B.
an einem PC ermöglicht,
indem die Digitalkamera die empfangenen Bildsignale an diese externe
Bearbeitungseinheit sendet, oder die Bildbearbeitung kann bereits
in die Kamera integriert sein. Eine weitere Möglichkeit ist die Implementierung
der Vorrichtung in ein Mobiltelefon zur drahtlosen Kommunikation.
-
Für den medizinischen
Bereich kann die erfindungsgemäße Vorrichtung
und Methode in ein Endoskopiegerät
implementiert sein. Endoskope dienen zur Untersuchung des Gastrointestinaltraktes
und können
als verschluckbare Kapseln ausgebildet sein. In diesem Falle werden
die durch den Sensor 4 aufgenommenen Bildsignale durch
die Steuereinheit 5, den HF-Sender 6 und die Antenne 7 an
eine externe Bildverarbeitungseinheit übermittelt, da im Falle eines
verschluckbaren Endoskopiegerätes
platzsparend gearbeitet werden muss. Besonders im Falle der verschluckbaren
Kapsel bietet die erfindungsgemäße Vorrichtung
und Methode gegenüber
binokularen System den Vorteil, mit nur einer Kamera zu arbeiten,
sowie gegenüber
monokularen Kameras nötiges
Schwenken zu vermeiden.