DE112015005073B4

DE112015005073B4 - Abbildungssystem, enthaltend eine Linse mit longitudinaler chromatischer Aberration, Endoskop und Abbildungsverfahren

Info

Publication number: DE112015005073B4
Application number: DE112015005073.6T
Authority: DE
Inventors: Markus Kamm; Paul Springer; Thimo EMMERICH; Zoltan Facius
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-11-06
Filing date: 2015-08-11
Publication date: 2020-08-06
Anticipated expiration: 2035-08-12
Also published as: WO2016071020A1; US20170237960A1; DE112015005073T5; JP2017536171A; JP6496940B2; US10334216B2

Abstract

Abbildungssystem, umfassend:eine optische Einheit, die dafür eingerichtet ist, von einer Szene erste Bilder in verschiedenen Wellenlängenbereichen aufzunehmen, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweite Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist;eine Tiefenverarbeitungseinheit, die dafür eingerichtet ist, eine Tiefeninformation auf der Basis der zweiten Bilder zu erzeugen; undeine Schärfeverarbeitungseinheit, die dafür eingerichtet ist, ein Ausgabebild basierend auf der Tiefeninformation und den ersten Bildern zu erzeugen.

Description

HINTERGRUND
Gebiet der Offenbarung
Die vorliegende Offenbarung bezieht sich auf ein Abbildungssystem, das eine Tiefeninformation nutzt, um eine Schärfeinformation unter Bildern verschiedener Wellenlängenbereiche auszutauschen. Die Offenbarung bezieht sich ferner auf ein Endoskop sowie ein Abbildungsverfahren.
Beschreibung der verwandten Technik
In digitalen Abbildungssystemen fangen optische Systeme Licht von 3D-Szenen auf und projizieren das aufgefangene Licht auf einen 2D-Bildsensor, der in einer Bildebene angeordnet ist. Eine Tiefenschärfe, innerhalb der hohe Ortsfrequenzen erhalten werden können, um ein scharfes Bild zu erhalten, hängt unter anderem von den physikalischen Abmessungen des optischen Systems ab. Einige Anwendungen für Abbildungssysteme, z.B. industrielle Endoskope für eine zerstörungsfreie Inspektion von Hohlräumen wie etwa Brennkammern oder medizinische Endoskope für Diagnostik und minimal-invasive Chirurgie, bilden Objekte, die in sehr geringer Distanz zu einem Linsensystem des optischen Systems gelegen sind, unter beschränkten physikalischen Abmessungen sowie einer Apertur und Brennweite des optischen Systems ab und weisen eine geringe Tiefenschärfe auf.
Es besteht ein Bedarf an Abbildungssystemen, die kleine optische Systeme mit hoher Schärfe und großer Tiefenschärfe kombinieren. Die Aufgabe der vorliegenden Ausführungsformen wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Die abhängigen Ansprüche definieren weitere Ausführungsformen.
Aus der Druckschrift US 2011/0 057 930 A1 ist ein System und ein Verfahren zum Bereitstellen von dreidimensionalen Bildern mit hoher Geschwindigkeit und hoher Auflösung für die Endoskopie, insbesondere einer Gewebeoberfläche an einem Ort für medizinische Eingriffe, bekannt.
Aus der Druckschrift WO 2012/095 322 A1 ist die Verwendung einer Linseneinheit einer Bildeinheit bekannt, wobei die Linseneinheit eine chromatische Aberration in Längsrichtung aufweist.
Aus der Druckschrift US 2006/0 268 153 A1 ist eine topografische Konstruktion, die fotografische und strukturierte Lichtinformationen kombiniert, bekannt.
ZUSAMMENFASSUNG
Die vorangehenden Abschnitte wurden im Sinne einer allgemeinen Einführung gegeben und sollen den Umfang der vorliegenden Ansprüche nicht beschränken. Die beschriebenen Ausführungsformen, zusammen mit weiteren Vorteilen, werden am besten unter Bezugnahme auf die folgende detaillierte Beschreibung verstanden, die in Verbindung mit den beiliegenden Zeichnungen vorgenommen wird.
Gemäß einer Ausführungsform umfasst ein Abbildungssystem eine optische Einheit, die dafür eingerichtet ist, von einer Szene erste Bilder verschiedener Wellenlängenbereiche aufzunehmen, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweite Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist. Eine Tiefenverarbeitungseinheit erzeugt eine Tiefeninformation. Eine Schärfeverarbeitungseinheit nutzt Tiefeninformation, um ein Ausgabebild durch Kombinieren der ersten Bilder zu erzeugen.
Gemäß einer anderen Ausführungsform umfasst ein Endoskop einen Rohrteil und einen Spitzenteil, der an einer Endfläche des Rohrteils angebracht ist. Der Spitzenteil umfasst eine optische Einheit, um von einer Szene erste Bilder verschiedener Wellenlängenbereiche aufzunehmen, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweite Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird. Eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration ist zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist.
Gemäß einer weiteren Ausführungsform umfasst ein Abbildungsverfahren ein Aufnehmen, von einer Szene, erster Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweiter Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist. Eine Tiefeninformation wird auf der Basis der zweiten Bilder erzeugt. Ein Ausgabebild wird durch Verwenden der Tiefeninformation und Kombinieren der ersten Bilder erzeugt.
Gemäß noch einer weiteren Ausführungsform umfasst ein Abbildungssystem erste Mittel, die in einem Gerät, z.B. einem Scangerät, angeordnet sind, um von einer Szene erste Bilder verschiedener Wellenlängenbereiche aufzunehmen, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweite Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei die ersten und zweiten Bilder aufgenommen werden, indem eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration genutzt wird. Zweite Mittel erzeugen eine Tiefeninformation auf der Basis der zweiten Bilder, wobei die zweiten Mittel mit den ersten Mitteln in Bezug auf eine Signalübertragung verbunden sind. Dritte Mittel erhalten ein Ausgabebild durch Verwenden der Tiefeninformation, wobei die ersten Bilder kombiniert werden. Die dritten Mittel sind mit den ersten und zweiten Mitteln in Bezug auf eine Signalübertragung verbunden.
Figurenliste
In den folgenden Zeichnungen bezeichnen gleiche Bezugsziffern identische oder entsprechende Teile in all den verschiedenen Ansichten. Die Elemente der Zeichnungen sind nicht notwendigerweise zueinander maßstabsgetreu. Merkmale der veranschaulichten Ausführungsformen können miteinander kombiniert werden, um noch weitere Ausführungsformen auszubilden.

1 ist ein schematisches Blockdiagramm eines Abbildungssystems gemäß einer Ausführungsform.
2A ist ein schematisches Blockdiagramm einer Ausführungsform einer optischen Einheit des Abbildungssystems von 1.
2B ist ein schematisches Diagramm von Emissionsspektren von Beleuchtungseinheiten zum Diskutieren von Effekten von Ausführungsformen, die eine Schmalbandbeleuchtung betreffen.
3A ist ein schematisches Diagramm, das Details einer Abbildungseinheit der optischen Einheit in 2A gemäß einer Ausführungsform zeigt.
3B ist eine schematische Querschnittsansicht der Abbildungseinheit von 3A.
4A ist ein schematisches Diagramm, das Details einer Projektionseinheit der optischen Einheit in 2A gemäß einer Ausführungsform zeigt.
4B ist eine schematische Draufsicht eines optischen Elements der Projektionseinheit in 4A und zeigt ein Schattenmuster gemäß einer Ausführungsform.
5A ist ein schematisches Blockdiagramm, das funktionale Blöcke der Tiefenverarbeitungseinheit in 1 gemäß einer Ausführungsform veranschaulicht.
5B ist ein schematisches Diagramm zum Veranschaulichen des Effekts eines Skalierungsfaktors, der in der Tiefenverarbeitungseinheit in 5A verwendet wird.
6 ist ein schematisches Blockdiagramm, das funktionale Blöcke der Schärfeverarbeitungseinheit in 1 gemäß einer Ausführungsform veranschaulicht.
7 ist ein schematisches funktionales Blockdiagramm eines Prozessorsystems gemäß einer weiteren Ausführungsform.
8 ist eine schematische perspektivische Ansicht eines Endoskops gemäß einer weiteren Ausführungsform.
9 ist ein vereinfachtes Flussdiagramm eines Abbildungsverfahrens gemäß einer weiteren Ausführungsform.
10A ist ein Diagramm, das die Unschärfefunktionen von Farbkanälen einer Linse mit korrigierter chromatischer Aberration zum Diskutieren von Effekten der Ausführungsformen grafisch darstellt.
10B ist ein Diagramm, das die Unschärfefunktionen von Farbkanälen einer hyperchromatischen Linse zum Diskutieren von Effekten der Ausführungsform grafisch darstellt.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
1 zeigt ein Abbildungssystem 500 einer Abbildungsvorrichtung, z.B. einer Kamera, eines industriellen Inspektionssystems oder eines medizinischen Endoskops für Diagnostik und/oder minimal-invasive Chirurgie, z.B. ein Laparoskop. Gemäß einer Ausführungsform beträgt ein Aperturdurchmesser des Abbildungssystems weniger als 5 mm, z.B. 3 mm. Das Abbildungssystem 500 enthält eine optische Einheit 100, die zwei oder mehr erste Bilder RImg, GImg, BImg aufnimmt, die verschiedenen Wellenlängenbereichen zugeordnet sind, wenn eine Szene 900 mit nicht strukturiertem Licht vollständig beleuchtet wird. Die optische Einheit 100 nimmt zweite Bilder RPat, GPat, BPat der gleichen verschiedenen Wellenlängenbereiche auf, wenn die gleiche Szene 900 mit strukturiertem Licht beleuchtet wird. Die optische Einheit 100 ist steuerbar, um die ersten Bilder und die zweiten Bilder abwechselnd aufzunehmen. Im optischen Weg 101 der optischen Einheit 100 ist eine Abbildungslinseneinheit 112 mit longitudinaler chromatischer Aberration zwischen der Szene 900 und eine Abbildungssensoreinheit 118 angeordnet, die das auftreffende Licht in elektrische Signale oder digitale Information umwandelt, die die ersten und zweiten Bilder RImg, GImg, BImg, RPat, GPat, BPat repräsentiert.
Eine Tiefenverarbeitungseinheit 200 empfängt die durch eine Beleuchtung mit strukturiertem Licht erhaltenen zweiten Bilder RPat, GPat, BPat und empfängt oder hält ferner eine Musterinformation PI, die ein Schattenmuster beschreibt, das während einer Beleuchtung der Szene 900 mit dem strukturierten Licht verwendet wurde. Durch Anwenden einer optischen Triangulation gewinnt die Tiefenverarbeitungseinheit 200 eine Tiefeninformation DI betreffend Bilddetails, Objekte, einzelne Pixel oder Pixelgruppen in den zweiten Bildern RPat, GPat, BPat. Die Tiefenverarbeitungseinheit 200 ist ein funktionaler Block, z.B. ein Softwareprogramm, eine elektronische Schaltung oder eine Kombination eines Softwareprogramms und einer elektronischen Schaltung, wobei das Softwareprogramm ein Programmcode ist, der in einem Prozessor oder Controller ausgeführt wird.
Eine Schärfeverarbeitungseinheit 300 empfängt die ersten Bilder RImg, GImg, BImg sowie die Tiefeninformation DI und kann die Tiefeninformation DI verwenden, um eine Schärfeinformation unter den ersten Bildern RImg, GImg, BImg auszutauschen, um verbesserte Versionen der ersten Bilder RImg, GImg, BImg zu erhalten. Die Schärfeverarbeitungseinheit 300 kombiniert ferner die verbesserten Versionen der ersten Bilder RImg, GImg, BImg, um ein Ausgabebild OImg zu erzeugen, wobei die Tiefeninformation DI verwendet werden kann. Die Schärfeverarbeitungseinheit 300 ist ein funktionaler Block, z.B. ein Softwareprogramm, eine elektronische Schaltung oder eine Kombination eines Softwareprogramms und einer elektronischen Schaltung. Die Tiefen- und Schärfeverarbeitungseinheiten 200, 300 können in verschiedenen integrierten Schaltungen oder in der gleichen integrierten Schaltung integriert sein.
Für gegebene Abmessungen einer optischen Einheit verbessert das Abbildungssystem 500 eine Bildqualität über eine große Tiefenschärfe und vermeidet eine Verschlechterung der Auflösung, welche gewöhnlich durch die aperturabhängige Unschärfe beschränkt ist. Außerdem gewinnt das Abbildungssystem 500 eine Tiefeninformation DI, welche über das komplette Sichtfeld vom Bildinhalt nahezu unabhängig ist. Die Tiefeninformation DI kann verwendet werden, um einen Nutzer der Abbildungsvorrichtung mit weiterer Information, was die Szene betrifft, zu versorgen. Beispielsweise kann die Tiefeninformation DI für eine 3D-Darstellung der Szene 900 auf einem Monitor oder einer Anzeige genutzt werden.
2A und 2B beziehen sich auf Details der optischen Einheit 100. Eine Beleuchtungseinheit 190 beleuchtet die Szene vollständig während einer Aufnahme der ersten Bilder RImg, GImg, BImg, wobei während einer Aufnahme der ersten Bilder RImg, GImg, BImg das die Szene 900 beleuchtende Licht nicht strukturiert ist. Eine Projektionseinheit 150 beleuchtet die Szene während einer Aufnahme der zweiten Bilder RPat, GPat, BPat mit strukturiertem Licht. Die Beleuchtungseinheit 190 und die Projektionseinheit 150 sind abwechselnd aktiv. Eine Abbildungseinheit 110 enthält die Abbildungslinseneinheit 112, mit longitudinaler chromatischer Aberration und effektiv als eine hyperchromatische Linse, sowie die Abbildungssensoreinheit 118, die die ersten und zweiten Bilder RImg, GImg, BImg, RPat, GPat, BPat aufnimmt.
Gemäß einer Ausführungsform enthält die Beleuchtungseinheit 190 einen oder mehrere Lichtwellenleiter 195 mit einer Austrittsfläche(n) 191, die zur Szene 900 orientiert ist (sind), und Verbindungsfläche(n) 192, die mit einer externen Lichtquelle verbindbar ist (sind). Während einer Aufnahme der ersten Bilder RImg, GImg, BImg wird durch die Lichtwellenleiter 195 weißes Licht oder eine Vielzahl schmaler Wellenlängenbereiche in einem Wellenlängenbereich, der sichtbares Licht, UV-(ultraviolette)Strahlung und IR-(infrarote)Strahlung enthält, der Szene 900 zugeführt.
Gemäß einer anderen Ausführungsform enthält die Beleuchtungseinheit 190 eine oder mehrere aktive Lichtquellen wie etwa LEDs (lichtemittierende Dioden), die in einem die optische Einheit 100 umhüllenden Gehäuse integriert sind. Die Lichtquelle kann weißes Licht oder eine Vielzahl schmaler Wellenlängenbereiche in einem sichtbares Licht, UV-Strahlung und IR-Strahlung enthaltenden Wellenlängenbereich emittieren.
Die Beleuchtungseinheit 190 ist eingerichtet, um die Szene 900 mit Strahlung zumindest in einem Wellenlängenbereich zu bestrahlen, der von der Abbildungssensoreinheit 118 genutzt wird. Falls beispielsweise die Abbildungssensoreinheit 118 rote, grüne und blaue Wellenlängenbereiche erfasst, beleuchtet die Beleuchtungseinheit 190 die Szene 900 in zumindest den roten, grünen und blauen Wellenlängenbereichen, z.B. in einem Wellenlängenbereich von zumindest rotem Licht bis zumindest blauem Licht. Falls die Abbildungssensoreinheit 118 für IR-Strahlung empfindlich ist, beleuchtet die Beleuchtungseinheit 190 die Szene auch in dem IR-Band.
Die Projektionseinheit 150 enthält eine Projektionsbeleuchtungseinheit 158, eine Projektionslinseneinheit 152, die zwischen der beleuchteten Szene 900 und der Projektionsbeleuchtungseinheit 158 angeordnet ist, und ein optisches Element 154 im optischen Weg der Projektionseinheit 150.
Die Projektionsbeleuchtungseinheit 158 kann einen oder mehrere Lichtwellenleiter 195 mit Austrittsfläche(n) 191, die zur Szene 900 orientiert ist (sind), sowie Verbindungsfläche(n) 192 enthalten, die mit einer externen Lichtquelle verbindbar ist (sind). Gemäß einer anderen Ausführungsform enthält die Projektionsbeleuchtungseinheit 158 eine oder mehrere aktive Lichtquellen wie etwa LEDs, die in einem die optische Einheit 100 umhüllenden Gehäuse integriert sind. Die Projektionsbeleuchtungseinheit 158 kann Strahlung der gleichen spektralen Verteilung wie die Beleuchtungseinheit 190 emittieren. Gemäß einer weiteren Ausführungsform ist ein gemeinsamer Lichtwellenleiter, ein Lichtwellenleiterbündel oder eine aktive Lichtquelle als die Beleuchtungseinheit 190 und die Projektionsbeleuchtungseinheit 158 z.B. mit Hilfe eines schaltbaren Lichtgatters oder Deflektors abwechselnd wirksam.
Die Projektionslinseneinheit 152 kann ein Linsensystem mit einer longitudinalen chromatischen Aberration sein. Gemäß einer Ausführungsform zeigt die Projektionslinseneinheit 152 die gleichen Charakteristiken einer longitudinalen chromatischen Aberration wie die Abbildungslinseneinheit 112.
Das optische Element 154 im optischen Weg 105 zwischen der Projektionsbeleuchtungseinheit 158 und der beleuchteten Szene 900 wirkt wie eine Strichplatte mit einem Graustufenmuster, welches Teile der Szene 900 definiert, die zumindest teilweise beschattet, d.h. während einer Aufnahme der zweiten Bilder RPat, GPat, BPat nicht vollständig beleuchtet, sind.
Die Abbildungslinseneinheit 112 und die Abbildungssensoreinheit 118 der Abbildungseinheit 110 sind entlang einer optischen Achse 101 angeordnet, welche mit einer optischen Achse 105 der Projektionseinheit 150 nicht identisch ist. Die optischen Achsen 101, 105 der Abbildungseinheit 110 und der Projektionseinheit 150 können sich schneiden. Gemäß einer anderen Ausführungsform können die optischen Achsen 101, 105 parallel zueinander sein, wobei eine Distanz zwischen den optischen Achsen 101, 105 durch den Durchmesser der optischen Einheit 100 beschränkt ist, welche den Zwischenraum zwischen der Abbildungslinseneinheit 112 und der Projektionslinseneinheit 152 so beschränkt, dass diese Distanz den Durchmesser der optischen Einheit 100 selbst nicht überschreiten kann. Gemäß einer Ausführungsform beträgt die Distanz zwischen den optischen Achsen 101, 105 höchstens 2,5 mm.
Gemäß einer Ausführungsform haben die Abbildungs- und Projektionseinheiten 110, 150 das gleiche Sichtfeld und können in einer Anordnung nebeneinander oder übereinander zueinander ausgerichtet sein. Beide optischen Systeme weisen eine geringe intraokulare Distanz von weniger als 2,5 mm, z.B. in einem Bereich von 2 mm bis 2,5 mm, auf und die kompletten Systemabmessungen können mit aktuellen laparoskopischen Vorrichtungen beispielsweise vergleichbar sein.
Das Diagramm von 2B bezieht sich auf eine Ausführungsform, die schmalbandige Laserstrahlung zum Beleuchten einer Szene mit strukturiertem und nicht strukturiertem Licht nutzt. Beispielsweise beleuchten sowohl die Beleuchtungseinheit 190 als auch die Projektionsbeleuchtungseinheit 158 die Szene mit rotem, grünem und blauem Laserlicht 194a, 194b, 194c, wie im Diagramm veranschaulicht ist, welches zusätzlich die Farbfiltertransmissionscharakteristiken 119a, 119b, 119c für rote, grüne und blaue Farbfilterabschnitte 114a wie in 3B veranschaulicht zeigt. Die Verwendung quasi-diskreter Wellenlängen ergibt schärfere erste und zweite Bilder, da keine wellenlängenabhängige Vergrößerung die ersten und zweiten Bilder verwischen bzw. unscharf machen kann.
3A und 3B zeigen die Abbildungseinheit 110 detaillierter. Während einer Aufnahme der Szene gelangt Strahlung, die sichtbares Licht, UV-Strahlung und IR-Strahlung enthalten kann und die ein Bild der Szene beschreibt, durch eine Apertur 111a einer Apertureinheit 111 sowie durch die Abbildungslinseneinheit 112 und fällt auf eine Abbildungssensoreinheit 118. Die Größe der Apertur 111a kann fixiert oder steuerbar sein.
Die Abbildungslinseneinheit 112 zeigt eine longitudinale chromatische Aberration und kann z.B. infrarote Strahlung in einer ersten Brennebene FIR, sichtbares rotes Licht in einer Brennebene FR, grünes Licht in einer Brennebene FG und blaues Licht in einer Brennebene FB abbilden. Die Abbildungslinseneinheit 112 kann ein Mikrolinsen-Array sein, das eine Vielzahl von Segmenten enthält, wobei jedes Linsensegment der Abbildungslinseneinheit 112 einem einzigen Pixelsensor 118a der Abbildungssensoreinheit 118 und einem Farbfilterabschnitt 114a einer Farbfiltereinheit 114 zugeordnet sein kann.
Gemäß einer Ausführungsform kann die Abbildungslinseneinheit 112 eine Verbundlinse sein, die aus einem hochdispersiven Material wie Glas oder Kunststoff geschaffen ist, wobei der Brechungsindex eine Funktion der Wellenlänge des einfallenden Lichts ist, so dass die Brennweite als eine Funktion der Wellenlänge variiert. Die Abbildungslinseneinheit 112 kann Kompensationselemente enthalten, die sphärische und/oder feldabhängige Aberrationen kompensieren, so dass die Abbildungslinseneinheit 112 keine oder nur vernachlässigbare sphärische und feldabhängige Aberrationen zeigt. Die Abbildungslinseneinheit 112 kann ferner dafür ausgelegt sein, verschiedene Vergrößerungsverhältnisse in den verschiedenen Brennebenen zu kompensieren.
Aufgrund der longitudinalen chromatischen Aberration der Abbildungslinseneinheit 152 bildet die Farbe einen blauen, grünen, roten und infraroten Fokus in verschiedenen Distanzen von Nah bis Fern ab. Durch Austauschen einer Schärfe unter den Farbbildern wird der Arbeitsbereich der Abbildungseinheit 110 erweitert. Im Folgenden wird auf Teilbereiche des sichtbaren Spektrums sowie Wellenlängenbereiche neben dem sichtbaren Spektrum, wie etwa IR und UV, als „Farbe“ verwiesen, ungeachtet dessen ob der Wellenlängenbereich für das menschliche Auge wahrnehmbar ist oder nicht. Zum Beispiel kann ein „Farbfilter“ auch ein Filter sein, der nur Strahlung im IR- oder UV-Spektralbereich durchlässt.
Die Abbildungssensoreinheit 118 enthält eine Vielzahl von Pixelsensoren 118a, wobei jeder Pixelsensor 118a einen Fotosensor enthält, der ein Fotosignal von dem einfallenden Licht in ein elektronisches Signal umwandelt. Die Pixelsensoren 118a können in einem Halbleitersubstrat in einer Ebene oder in verschiedenen Ebenen ausgebildet sein. Eine Pitch-(Mitte-zu-Mitte-)Distanz der Pixelsensoren kann in einem Bereich von 0,5 µm bis 2 µm liegen. Gemäß einer Ausführungsform kann die Abbildungssensoreinheit 118 ein HD-(Hochauflösungs-)Bildsensor mit einer Auflösung von etwa 2 MP sein.
Beispielsweise kann die Abbildungssensoreinheit 118 eine vertikal integrierte Fotodiodenstruktur mit tiefen Fotodioden aufweisen, die in einem Substratabschnitt einige Mikrometer unterhalb der Oberfläche ausgebildet sind, oder Fotodioden, welche entlang einer Substratoberfläche eines Halbleitersubstrat ausgebildet sind. Sichtbares Licht wird in dem Oberflächenabschnitt des Halbleitersubstrats absorbiert, wohingegen infrarote Strahlung tiefer in das Halbleitersubstrat eindringt. Folglich empfangen die tiefen Fotodioden nur Infrarotstrahlung. Gemäß einer anderen Ausführungsform kann die Abbildungssensoreinheit 118 eine lateral integrierte Fotodiodenstruktur aufweisen, wobei die Fotodioden in einem Array angeordnet sind.
Eine Farbfiltereinheit 114 kann zwischen der Abbildungslinseneinheit 112 und der Abbildungssensoreinheit 118 oder zwischen der Apertureinheit 111 und der Abbildungslinseneinheit 112 angeordnet sein. Die Farbfiltereinheit 114 kann in engem Kontakt mit bzw. nahe der Abbildungssensoreinheit 118 angeordnet sein und kann eine Vielzahl von Farbfilterabschnitten 114a umfassen, wobei jeder Farbfilterabschnitt 114a eine Filterfarbe, zum Beispiel Grün, Rot, Blau, Magenta, Gelb, Weiß, IR oder UV, aufweist.
Jeder Farbfilterabschnitt 114a kann einem einzelnen Pixelsensor 118a zugeordnet sein, so dass jeder Pixelsensor 118a eine farbspezifische Bildinformation empfängt. Zum Beispiel können die Farbfilterabschnitte 114a matrixartig in Spalten und Reihen angeordnet sein. Farbfilterabschnitte 114a, die verschiedenen Filterfarben zugeordnet sind, können sich entlang der Reihenrichtung und der Spaltenrichtung in regelmäßiger Art und Weise abwechseln. Beispielsweise kann jede Gruppe von vier Farbfilterabschnitten 114a, die eine 2x2-Matrix bilden, ein Bayer-Mosaikmuster bilden, wobei Farbfilterabschnitte 114a mit der Filterfarbe „Grün“ auf einer ersten Diagonale der 2x2-Matrix angeordnet sind und ein Farbfilterabschnitt 114a mit einer Filterfarbe „Rot“ und ein Farbfilterabschnitt 114a mit der Filterfarbe „Blau“ auf der anderen Diagonale der 2x2-Matrix angeordnet sind. Bei dem Bayer-Mosaikmuster ist die Abtastrate für eine Filterfarbe „Grün“ die doppelte derjenigen der Filterfarben „Rot“ und „Blau“, um zu berücksichtigen, dass die Farbe Grün die meiste Luminanzinformation für das menschliche Auge trägt.
Gemäß einer anderen Ausführungsform können die Farbfilterabschnitte 114a so angeordnet sein, dass sie ein RGBE-Mosaikmuster mit „Emerald“ als einer vierten Filterfarbe bilden, ein CYYM-Mosaikmuster mit einem Cyan-, zwei Gelb- und einem Magenta-Farbfilterabschnitt 114a oder ein CYGM-Mosaikmuster mit einem Cyan-, einem Gelb-, einem Grün- und einem Magenta-Farbfilterabschnitt 114a, die in 2x2-Einheitsmatrizen angeordnet sind, welche innerhalb der Farbfiltereinheit 114 wiederholt angeordnet sind. Gemäß einer anderen Ausführungsform umfasst die Farbfiltereinheit 114 ein Mosaik von Einheitsmatrizen mit drei Farbfilterabschnitten drei verschiedener Filterfarben und einem transparenten Filterabschnitt ohne Farbfiltereigenschaften und transparent für alle Farben innerhalb des sichtbaren Spektrums. Die transparenten und die Farbfilterabschnitte 114a können beispielsweise so angeordnet sein, dass sie ein RGBW-Mosaikmuster, zum Beispiel ein 4x4- oder 2x4-RGBW-Mosaikmuster, bilden.
Gemäß einer Ausführungsform enthält der Farbfilter 114 zumindest einen Farbfilterabschnitttyp, der für IR- oder UV-Strahlung transparent ist. Beispielsweise ist der Farbfilter 114 ein RGBIR-Filter, wobei jede 2x2-Einheitsmatrix einen roten, einen grünen, einen blauen und einen infraroten Farbfilterabschnitt 114a enthält und wobei die Einheitsmatrizen regelmäßig angeordnet sind, so dass sie ein Mosaikmuster bilden. Die vier Farben R, G, B und IR können gemäß einer beliebigen Permutation innerhalb der 2x2-Matrizen angeordnet sein.
Die IR- und/oder UV-Strahlung kann die Farbfiltereinheit 114 in für IR-Strahlung oder UV-Strahlung transparenten Filterabschnitten 114a zwischen den Farbfilterabschnitten 114a passieren. Gemäß anderen Ausführungsformen enthält die Farbfiltereinheit 114 keine Abschnitte, die den tiefen Fotodioden zugeordnet sind, da die Farbfilterabschnitte 114a für einen Teil des Frequenzbereichs von Infrarotstrahlung transparent sein können.
4A zeigt eine Projektionseinheit 150 mit einer Projektionslinseneinheit 152 und einem optischen Element 154, das zwischen einer Projektionsbeleuchtungseinheit 158 und der Projektionslinseneinheit 152 angeordnet ist. Gemäß der veranschaulichten Ausführungsform ist die Projektionsbeleuchtungseinheit 158 eine aktive Lichtquelle 196, z.B. eine LED oder ein LED-Array. Die Projektionslinseneinheit 152 kann die gleiche optische Leistung wie die Abbildungslinseneinheit 112 einschließlich der gleichen longitudinalen chromatischen Aberration aufweisen. Mit einer hyperchromatischen Projektionslinseneinheit 152 kann das strukturierte Lichtmuster zuverlässiger detektiert und verarbeitet werden, da es in zumindest einem Farbkanal scharf ist. Außerdem kann eine hyperchromatische Projektionslinseneinheit 152 die laterale chromatische Aberration und Verzerrung der Abbildungslinseneinheit 112 invers kompensieren.
4B zeigt Details des optischen Elements 154 in 4A. Das optische Element 154 kann eine mikrostrukturierte Strichplatte mit einem Schattenmuster sein, das auf einer Oberfläche der Strichplatte aufgeprägt sein kann. Das Schattenmuster umfasst nicht beschattende (weiße) Teile und beschattende Teile, wobei die Letztgenannten entweder vollständig beschatten (schwarz) oder teilweise beschatten (Grauskala). Gemäß einer Ausführungsform kann die Grauskala oder der Grauwert der beschattenden Teile codiert sein, um Unklarheiten in der Abbildung zwischen dem ursprünglichen Muster und dem projizierten Muster zu vermeiden. Beispielsweise können vier verschiedene Grauskalenwerte zwölf verschiedene Sorten von Rändern in dem strukturierten Lichtmuster codieren, die sich aus einem Projizieren des Schattenmusters des optischen Elements 154 auf dem abgebildeten Objekt ergeben.
Die teilweise beschattenden Teile können ein ID-Muster bilden, z.B. ein Streifenmuster mit Variationen entlang einer Richtung, oder ein 2D-Muster, z.B. ein Punktmuster oder ein Gitter mit Variationen entlang zwei orthogonalen Richtungen. Das Schattenmuster kann ein grau-codiertes Verbundmuster sein, um mögliche Unklarheiten während einer Wiederherstellung eines strukturierten Lichtmusters zu reduzieren.
Das Schattenmuster 810, das in 4B veranschaulicht ist, umfasst gemusterte horizontale Linien 812, welche durch weiße Linien 814 mit einem Grauwert Weiß WS getrennt sein können. Die horizontalen Linien umfassen ein sich wiederholendes Muster 820, das zwölf Felder 821 von vier verschiedenen Grauwerten GA, GB, GC, GD zwischen Schwarz und Weiß umfassen kann, so dass das Schattenmuster insgesamt fünf verschiedene Grauwerte umfasst.
Wenn auf die Szene 900 projiziert wird, verzerren die verschiedenen Distanzen von Objekten in der Szene 900 das projizierte strukturierte Lichtmuster für einen zur optischen Achse 105 der Projektionseinheit 150 entfernten Beobachter. Durch Vergleichen entsprechender Punkte in dem projizierten strukturierten Lichtmuster und dem aufgeprägten Schattenmuster, das durch eine Musterinformation PI beschrieben wird, kann eine Tiefeninformation DI von den zweiten Bildern RPat, GPat, BPat zumindest für Pixel auf Rändern des strukturierten Lichtmusters abgeleitet werden.
5A veranschaulicht funktionale Blöcke der Tiefenverarbeitungseinheit 200 sowie einen Prozess zur Tiefenerfassung, welcher von der Tiefenverarbeitungseinheit 200 durchgeführt werden kann. Jeder der funktionalen Blöcke 210, 220, 230, 240, 250 kann einer elektronischen Schaltung, z.B. einer integrierten Schaltung, einem FPGA (feldprogrammierbarem Gate-Array), einer ASICs (anwendungsspezifischer integrierter Schaltung) oder einem DSP (Digitalsignalprozessor), oder einer Programmroutine, die in einem digitalen Signalprozessor ausgeführt werden kann, oder einer Kombination von beiden entsprechen.
Ein erster funktionaler Block 210 der Tiefenverarbeitungseinheit 200 empfängt die zweiten Bilder, die von der optischen Einheit 100 während einer Beleuchtung einer Szene mit strukturiertem Licht erhalten werden, unter anderem zum Beispiel ein Bild RPat, das in dem roten Wellenlängenbereich aufgenommen wurde und das projizierte Schattenmuster enthält. Das strukturierte Licht kann strukturiertes weißes Licht oder strukturiertes Licht von zumindest zwei getrennten schmalen Wellenlängenbereichen in einem IR-Strahlung, sichtbares Licht und UV-Strahlung umfassenden Spektralbereich sein.
Der erste funktionale Block 210 kann Weißlichtinformation nutzen, um einen Skalierungsfaktor zum Wiederherstellen des projizierten Schattenmusters in den zweiten Bildern RPat, GPat, BPat zu gewinnen, um eine Genauigkeit und Robustheit der Tiefenabschätzung zu erhöhen. Gemäß einer Ausführungsform wird basierend auf einem 2D-Schattenmuster und unter ausschließlicher Verwendung einer Ortsinformation der Skalierungsfaktor aus den weißen (nicht beschatteten) Teilen der aktuellen zweiten Bilder RPat, GPat, BPat bestimmt.
5B zeigt eine Berechnung und Verwendung eines Skalierungsfaktors sf für einen bewegungslosen Fall durch Verwenden von Pixelwerten wI1, wI2 in einem ersten Bild WL, das durch Beleuchtung mit nicht strukturiertem Licht erhalten wird, entsprechender Pixelwerte x1, x2 in einem zweiten Bild SL, das durch Beleuchtung mit strukturiertem Licht erhalten wird, mit Feldern von Grauwerten sI1, sI2, sI3 und entsprechender Pixelwerte wI1nxt, wI2nxt in einem nachfolgenden Bild WLnxt, das durch Beleuchtung mit nicht strukturiertem Licht erhalten wird.
Der Skalierungsfaktor sf kann erhalten werden, indem die Pixelwerte in den zeitlich benachbarten Bildern beobachtet werden, die durch Beleuchtung mit nicht strukturiertem Licht erhalten werden, verzerrt werden und der reziproke Wert des Ergebnisses der Verzerrung gebildet wird. Gemäß einer Ausführungsform kann der Skalierungsfaktor sf[x1) 255/((wIl+wIlnxt)/2) sein.
Der Skalierungsfaktor sf wird mit dem entsprechenden Pixelwert x1, x2 in dem durch Beleuchtung mit strukturiertem Licht erhaltenen Bild multipliziert, um eine kompensierte Version des durch Beleuchtung mit dem strukturiertem Licht erhaltenen Bildes zu erhalten. Auf diese Weise kann der Skalierungsfaktor sf verwendet werden, um das strukturierte Lichtmuster aus den durch Beleuchtung mit strukturiertem Licht erhaltenen Bildern wiederzugewinnen, welche eine durch das strukturierte Licht beleuchtete Szeneninformation enthalten.
Gemäß einer anderen Ausführungsform, basierend auf einem 1D- oder 2D-Schattenmuster und unter Verwendung einer bewegungsadaptiven zeitlich-räumlichen Information, erhält der erste funktionale Block 210 den Skalierungsfaktor aus den aktuellen zweiten Bildern RPat, GPat, BPat sowie den vorhergehenden und/oder den nachfolgenden ersten Bildern RImg, GImg, BImg, die durch Beleuchtung mit nicht strukturiertem Licht erhalten werden. Gemäß einer weiteren Ausführungsform, basierend auf einem 1D- oder 2D-Schattenmuster und unter Verwendung einer bewegungskompensierten zeitlich-räumlichen Information, erhält der erste funktionale Block 210 den Skalierungsfaktor aus den aktuellen zweiten Bildern RPat, GPat, BPat sowie bewegungskompensierten Versionen der vorhergehenden und/oder nachfolgenden ersten Bilder RImg, GImg, BImg.
Ein zweiter funktionaler Block 220 bestimmt Pixel oder Pixelgruppen (Tiefenpunkte), die für eine Tiefenabschätzung in den aktuellen zweiten Bildern RPat, GPat, BPat geeignet sind. Gemäß einer Ausführungsform detektiert der zweite funktionale Block 220 Randpositionen mit Subpixelgenauigkeit und wählt Pixel oder Pixelgruppen an Rändern des detektierten Streifenmusters als Tiefenpunkte aus.
Basierend auf den Grauskalenwerten benachbarter Streifen kann ein dritter funktionaler Block 230 den Tiefenpunkten Markierungen zuweisen.
Ein vierter funktionaler Block 240 wendet eine optische Triangulation auf die markierten Tiefenpunkte in den zweiten Bildern RPat, GPat, BPat und ihre Gegenstücke in dem unverzerrten Schattenmuster an, das durch die Musterinformation PI beschrieben wird, um die Tiefenwerte für die Tiefenpunkte zu bestimmen. Gemäß einer Ausführungsform beurteilt der vierte funktionale Block 240 ferner die Qualität jedes Triangulationsergebnisses, indem die Verlässlichkeit unter Verwendung des Skalierungsfaktors und eines Maßes für die Schärfe an dem jeweiligen Tiefenpunkt gemessen wird, um Fehler in den Triangulationsergebnissen zu reduzieren. Zum Beispiel ist ein geeignetes Maß einer Schärfe an dem jeweiligen Tiefenpunkt die Randbreite, welche die Breite eines Randes ist, der die jeweilige Markierung definiert. Es ist ein pro Farbkanal abgeleiteter Parameter.
Ein fünfter funktionaler Block 250 nutzt einen Tiefenfortpflanzungsalgorithmus, um Tiefenwerte für Pixel oder Pixelgruppen zwischen den Tiefenpunkten zu erhalten, und gibt eine Tiefeninformation DI aus, die eine dichte Tiefenkarte 250b sein oder eine solche enthalten kann, die jedem Pixel in den zweiten Bildern RPat, GPat, BPat Tiefenwerte zuweist. Diese Ergebnisse können in Echtzeit für Einzelbildraten von mindestens 30 Hz erhalten werden, so dass die Ergebnisse auf die anschließend aufgenommenen ersten Bilder angewendet werden können. In 5A sind die Tiefenwerte der Tiefenkarte 250b zu Veranschaulichungszwecken farbcodiert.
6 veranschaulicht funktionale Blöcke der Schärfeverarbeitungseinheit 300 sowie einen Prozess eines Schärfetransfers, welcher von der Schärfeverarbeitungseinheit 300 durchgeführt werden kann. Wieder kann jeder der funktionalen Blöcke 310, 320 einer elektronischen Schaltung, z.B. einer integrierten Schaltung wie etwa einem FPGA, einer ASIC oder einem DSP, oder einer Programmroutine, die in einer elektronischen Schaltung, z.B. einem DSP, ausgeführt wird, oder einer Kombination von beidem entsprechen.
Ein erster funktionaler Block 310 der Schärfeverarbeitungseinheit 300 kann für einzelne Pixel, Pixelgruppen und/oder Objekte in den ersten Bildern RImg-, GImg-, BImg-Werte vergleichen, die eine Schärfe in dem jeweiligen Bildteil beschreiben, z.B. einen Gehalt an hohen Ortsfrequenzen, und identifiziert durch Verwenden der Tiefeninformation DI den einen, welcher die schärfste Information über das betreffende einzelne Pixel, die Pixelgruppe oder das Objekt enthält.
Ein zweiter funktionaler Block 320 kann die Schärfeinformation von diesem ersten Bild, das die höchsten Ortsfrequenzen in dem Bereich von Interesse trägt, zu den anderen ersten Bildern RImg, GImg, BImg transportieren, um verbesserte Versionen vRImg, vGImg, vBImg der ersten Bilder zu erhalten, wobei der zweite funktionale Block 320 die Tiefeninformation DI verwenden kann, um den schärfsten Kanal zu identifizieren und hohe Ortsfrequenzen des schärfsten der ersten Bilder RImg, GImg, BImg für den jeweiligen Bildbereich zu den anderen ersten Bildern RImg, GImg, BImg zu kopieren. Beispielsweise kann zu jedem unscharfen Teilbereich von einem der ersten Bilder RImg, GImg, BImg eine mit Hochpass gefilterte Version des schärfsten ersten Bildes RImg, GImg, BImg für den jeweiligen Teilbereich addiert oder überlagert werden. Die Stärke des Hochpasses kann gemäß einer tatsächlichen Tiefe eingestellt werden, da eine A-Priori-Kenntnis über die Linseneigenschaften besteht.
Ein dritter funktionaler Block 330 kombiniert die verbesserten ersten Bilder, um ein nahezu vollständig im Fokus dargestelltes Ausgabebild OImg zu erhalten, welches ein Farb- oder Grauskalenbild sein kann. Gemäß einer Ausführungsform kann ein vierter funktionaler Block 340 ferner das Ausgabebild OImg mit der Tiefeninformation DI kombinieren, um ein verbessertes Ausgabebild OAdv zu erzeugen, das eine Tiefeninformation für jedes Pixel, z.B. durch eine farbcodierte 2D-Darstellung oder eine 3D-Darstellung, visualisiert.
Das Ausgabebild OImg oder das verbesserte Ausgabebild OAdv kann in einem nichtflüchtigen Speicher des Abbildungssystems zum Beispiel als ein Satz digitaler Werte gespeichert werden, die eine Grauskala oder ein Farbbild repräsentieren. Alternativ dazu oder zusätzlich können die Ausgabebilder OImg oder die verbesserten Ausgabebilder OAdv auf einer Anzeigevorrichtung des Abbildungssystems angezeigt werden, können an ein anderes System, das durch einen verdrahteten oder drahtlosen Kommunikationskanal mit dem Abbildungssystem verbunden ist, ausgegeben werden oder können einem Verarbeitungssystem oder einer Anwendung zum weiteren Verarbeiten der in den Ausgabebildern OImg enthaltenen Information bereitgestelt werden.
7 ist ein Blockdiagramm eines Verarbeitungssystems 400, das Aspekte dieser Offenbarung verkörpert, einschließlich Aspekte, die mit einem Computer verbunden sind, der ein Ausgabebild auf der Basis von Bildern erzeugt, die durch eine eine hyperchromatische Linseneinheit enthaltende optische Einheit erhalten werden. Die Prozesse, Algorithmen und elektronisch angesteuerten Systeme, die hierin beschrieben werden, können über eine getrennte Steuerungsvorrichtung oder ein Berechnungssystem, passend zum Verarbeitungssystem 400, implementiert sein.
Das Verarbeitungssystem 400 kann unter Verwendung eines Mikroprozessors oder dessen Pendants wie etwa einer zentralen Verarbeitungseinheit 481 (CPU) oder zumindest eines anwendungsspezifischen Prozessors ASP implementiert sein. Der Mikroprozessor nutzt ein computerlesbares Speichermedium wie etwa einen Speicher 461 (z.B. ROM, EPROM, EEPROM, Flash-Speicher, statischer Speicher, DRAM, SDRAM und deren Pendants), die den Mikroprozessor steuern, um das Abbildungsverfahren durchzuführen und/oder zu steuern. Andere Speichermedien können über einen Controller wie etwa einen Disk-Controller 462, gesteuert werden, welcher ein Festplattenlaufwerk oder ein Laufwerk für eine optische Platte steuert. Ein zentrales Bussystem 470 kann Komponenten des Verarbeitungssystems 400 miteinander verbinden und schafft zumindest einen Pfad für eine digitale Kommunikation zwischen ihnen.
Ein Video-Controller 460 kann das Ausgabebild abbilden oder kann die Tiefeninformation nutzen, um ein 3D-Bild zu rendern, das auf einem Monitor 450 angezeigt werden kann. Der Video-Controller 460 kann eine grafische Verarbeitungseinheit für eine verbesserte Berechnungseffizienz enthalten. Außerdem kann eine I/O-(Eingabe/Ausgabe-)Schnittstelle 482 Eingabedaten von einer Tastatur 490 oder einer Zeigevorrichtung 491 zum Steuern von Parametern der verschiedenen Prozesse und Algorithmen dieser Offenbarung oder zum Steuern von Anzeigecharakteristiken empfangen. Der Monitor 450 kann eine berührungsempfindliche Schnittstelle zu einer Befehls/Anweisungsschnittstelle enthalten. Andere Peripheriegeräte können eingebunden sein, einschließlich eines Scanners oder einer Webcam, wenn eine bildgestützte Dateneingabe genutzt wird.
Die Komponenten des Verarbeitungssystems 400 können mit einem Netzwerk 485 wie etwa dem Internet oder einem lokalen Intranet über eine Netzwerkschnittstelle 480 für die Sendung oder den Empfang von Daten einschließlich steuerbarer Parameter gekoppelt sein. Das Netzwerk 485 kann einen Kommunikationspfad zu einer mobilen Vorrichtung bereitstellen, welche mit Hilfe von Datenpaketen versorgt werden kann.
Gemäß einer Ausführungsform kann das Verarbeitungssystem 400 die ersten und zweiten Bilder von der optischen Einheit über die I/O-Schnittstelle 482 empfangen. Gemäß einer anderen Ausführungsform kann das Verarbeitungssystem 400 die ersten und zweiten Bilder über die Netzwerkschnittstelle 480 von der optischen Einheit empfangen.
8 zeigt einen Teil eines Scangeräts wie etwa eines Endoskops 501, das beispielsweise in industriellen Anwendungen, für Diagnostik und für minimal-invasive Chirurgie verwendet werden kann. Ein zylindrischer Spitzenteil 510 ist an einer Endfläche eines starren oder biegsamen Rohrteils 520 angebracht, der Lichtwellenleiter und elektrische Verdrahtungen enthalten kann. Der Spitzenteil 510 enthält eine optische Einheit 100 wie im Vorhergehenden im Detail beschrieben wurde. Ein Gehäuse 530 mit einer transparenten Stirnfläche und einer opaken Zylinderoberfläche kann die optische Einheit 100 einkapseln.
Die optische Einheit 100 nimmt erste Bilder verschiedener Wellenlängenbereiche von einer Szene auf, wenn die Szene vollständig beleuchtet wird. Die optische Einheit 100 nimmt ferner zweite Bilder verschiedener Wellenlängenbereiche von der Szene auf, wenn die Szene mit strukturiertem Licht beleuchtet wird. Die Abbildungseinheit 110 mit der Abbildungssensoreinheit 118 ist in einem ersten Halbzylinder des Spitzenteils 510 und die Projektionseinheit 150 mit dem optischen Element 154, das das Schattenmuster enthält, in einem zweiten Halbzylinder angeordnet.
Ein Durchmesser des Spitzenteils 510 kann in einem Bereich von 3 mm bis 5 mm liegen. Eine Apertur der Abbildungseinheit 110 kann F/4 oder kleiner sein. Das Endoskop 501 kann Szenen in einem Arbeitsbereich von 20 mm bis 200 mm ohne Schärfeverschlechterung abbilden.
9 veranschaulicht ein Abbildungsverfahren. Erste Bilder verschiedener Wellenlängenbereiche werden unter Verwendung einer hyperchromatischen Abbildungslinseneinheit aufgenommen, wenn eine Szene vollständig beleuchtet wird (702). Zweite Bilder der gleichen Wellenlängenbereiche werden aufgenommen, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei die gleiche hyperchromatische Abbildungslinseneinheit verwendet wird (704). Auf der Basis der zweiten Bilder wird eine Tiefeninformation erhalten, indem eine optische Triangulation von Bildteilen genutzt wird, die durch ein Schattenmuster des strukturierten Lichts identifiziert werden (706). Unter Verwendung der erhaltenen Tiefeninformation wird ein Ausgabebild erzeugt, indem die ersten Bilder nach Austauschen einer Schärfeinformation unter den ersten Bildern kombiniert werden (708).
10A und 10B veranschaulichen die Expansion des Arbeitsbereichs durch Verwendung einer hyperchromatischen Linse durch Diagramme, die einen Unschärfedurchmesser BD als eine Funktion einer Objektdistanz OD grafisch darstellen. Ein Unschärfedurchmesser BLim gibt den akzeptablen Unschärfedurchmesser an und legt die Grenzen OD1, OD2 der Arbeitsbereiche für die blauen, grünen und roten Unschärfefunktionen 801, 802, 803 fest.
In 10A ist die chromatische Aberration einer Linse perfekt korrigiert, so dass alle Farben von Interesse in der gleichen Ebene fokussieren. Die Unschärfefunktionen 801, 802, 803 für Blau, Grün und Rot fallen zusammen, und ihre Arbeitsbereiche WB, WG, WR überlappen miteinander.
In 10B ist die longitudinale chromatische Aberration einer Linse nicht korrigiert oder sogar ausgeprägter als in einer nicht korrigierten Linse, so dass die Farben in verschiedenen Ebenen fokussieren und die betreffenden Farbunschärfefunktionen 801, 802, 803 sowie ihre Arbeitsbereiche WB, WG, WR zueinander verschoben sind. Beispielsweise ist der Arbeitsbereich WB des blauen Kanals zu kürzeren Distanzen verschoben, wohingegen der Arbeitsbereich WR des roten Kanals zu längeren Distanzen verschoben ist. Die Arbeitsbereiche WB, WG, WR der Farben von Interesse hängen aneinander, und durch Austauschen der Schärfe unter allen Farbkanälen kann ein expandierter Gesamtarbeitsbereich Wtotal erreicht werden.
Folglich offenbart und beschreibt die vorhergehende Diskussion nur beispielhafte Ausführungsformen der vorliegenden Offenbarung. Wie sich für den Fachmann versteht, kann die vorliegende Offenbarung in anderen spezifischen Formen verkörpert werden, ohne von deren Geist oder wesentlichen Eigenschaften abzuweichen. Dementsprechend soll die vorliegende Offenbarung den Umfang der Offenbarung, ebenso wie andere Ansprüche, veranschaulichen, nicht aber beschränken. Die Offenbarung, einschließlich jeglicher leicht erkennbarer Varianten der Lehren hierin, definiert teilweise den Umfang der vorangehenden Anspruchs - terminologie.
Die vorliegende Technologie kann auch wie im Folgenden beschrieben ausgestaltet sein.

(1) Ein Abbildungssystem, umfassend:
- eine optische Einheit, die dafür eingerichtet ist, von einer Szene erste Bilder in verschiedenen Wellenlängenbereichen aufzunehmen, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweite Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist;
- eine Tiefenverarbeitungseinheit, die dafür eingerichtet ist, eine Tiefeninformation auf der Basis der zweiten Bilder zu erzeugen; und
- eine Schärfeverarbeitungseinheit, die dafür eingerichtet ist, ein Ausgabebild basierend auf der Tiefeninformation und den ersten Bildern zu erzeugen.
(2) Abbildungssystem nach (1), wobei die optische Einheit eine Projektionseinheit umfasst, die dafür eingerichtet ist, die Szene mit strukturiertem Licht zu beleuchten, wobei die Projektionseinheit eine steuerbare Projektionsbeleuchtungseinheit und eine Projektionslinseneinheit mit einer longitudinalen chromatischen Aberration aufweist, die zwischen der Projektionslichtquelle und der Szene angeordnet ist.
(3) Abbildungssystem nach (2), wobei optische Achsen der Abbildungseinheit und der Projektionseinheit parallel zueinander sind.
(4) Abbildungssystem nach einem von (1) bis (3), wobei die Schärfeverarbeitungseinheit dafür eingerichtet ist, das Ausgabebild basierend auf den ersten Bildern nach Austauschen einer Schärfeinformation unter den ersten Bildern zu erzeugen.
(5) Abbildungssystem nach (4), wobei die Abbildungslinseneinheit und die Projektionslinseneinheit die gleiche longitudinale chromatische Aberration aufweisen.
(6) Abbildungssystem nach einem von (2) bis (3), wobei die Projektionseinheit ein optisches Element umfasst, das transparente und zumindest teilweise opake Merkmale enthält, die ein Schattenmuster bilden.
(7) Abbildungssystem nach (6), wobei das Schattenmuster ein grauskalen-codiertes Muster ist.
(8) Abbildungssystem nach einem von (1) bis (7), wobei die optische Einheit dafür eingerichtet ist, die ersten Bilder und die zweiten Bilder abwechselnd aufzunehmen.
(9) Abbildungssystem nach einem von (1) bis (8), ferner umfassend eine Beleuchtungseinheit, die dafür eingerichtet ist, die Szene mit nicht strukturiertem Licht während einer Aufnahme der ersten Bilder zu beleuchten.
(10) Abbildungssystem nach (9), wobei die Beleuchtungseinheit einen oder mehrere Lichtwellenleiter mit Austrittsflächen, die zu der Szene orientiert sind, und Verbindungsflächen, die mit einer externen Lichtquelle verbindbar sind, umfasst.
(11) Abbildungssystem nach einem von (9) oder (10), wobei die Beleuchtungseinheit dafür eingerichtet ist, die Szene mit einem breitbandigen Emissionsspektrum zu beleuchten, das zumindest den Spektralbereich von sichtbarem Licht abdeckt.
(12) Abbildungssystem nach einem von (9) oder (10), wobei die Beleuchtungseinheit dafür eingerichtet ist, die Szene mit zwei oder mehr getrennten schmalbandigen Emissionsspektren zu beleuchten.
(13) Abbildungssystem nach einem von (1) bis (12), wobei die Tiefenverarbeitungseinheit dafür eingerichtet ist, die Tiefeninformation aus den zweiten Bildern durch optische Triangulation zu erzeugen.
(14) Abbildungssystem nach einem von (1) bis (13), wobei die Schärfeverarbeitungseinheit dafür eingerichtet ist, Ortsfrequenzverteilungen der ersten Bilder als Schärfeinformation zu erhalten, hohe Frequenzkomponenten der Ortsfrequenzverteilungen von zumindest einem der ersten Bilder zu extrahieren, die extrahierten hohen Frequenzkomponenten zu den verbleibenden ersten Bildern zu addieren, um korrigierte erste Bilder zu erzeugen, und das Ausgabebild durch Kombinieren der korrigierten ersten Bilder unter Verwendung der Tiefeninformation zu erzeugen.
(15) Endoskopsystem, umfassend das Abbildungssystem nach einem von (1) bis (14).
(16) Endoskop, umfassend:
- einen Rohrteil; und
- einen Spitzenteil, der an einer Endfläche des Rohrteils angebracht ist und eine optische Einheit umfasst, die dafür eingerichtet ist, von einer Szene erste Bilder verschiedener Wellenlängenbereiche aufzunehmen, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweite Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist.
(17) Endoskop nach (16), ferner umfassend eine Beleuchtungseinheit, die dafür eingerichtet ist, die Szene während einer Aufnahme der ersten Bilder zu beleuchten.
(18) Endoskop nach einem von (16) oder (17), wobei die optische Einheit eine Projektionseinheit umfasst, die dafür eingerichtet ist, die Szene mit strukturiertem Licht zu beleuchten, wobei die Projektionseinheit eine steuerbare Projektionsbeleuchtungseinheit und eine Projektionslinseneinheit mit longitudinaler chromatischer Aberration umfasst, die zwischen der Projektionsbeleuchtungseinheit und der Szene angeordnet ist.
(19) Abbildungsverfahren, umfassend:
- Aufnehmen, von einer Szene, erster Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweiter Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist;
  - Erzeugen einer Tiefeninformation auf der Basis der zweiten Bilder; und
  - Erzeugen, durch Verwenden der Tiefeninformation, eines Ausgabebildes, indem die ersten Bilder kombiniert werden.
(20) Abbildungsverfahren nach (19), wobei eine Tiefeninformation durch Verwenden einer optischen Triangulation von Bildteilen erzeugt wird, die durch ein Schattenmuster des strukturierten Lichts identifiziert werden.
(21) Abbildungssystem, umfassend:
- erste Mittel, die in einem Gerät angeordnet sind, zum Aufnehmen, von einer Szene, erster Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweiter Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei die ersten und zweiten Bilder durch Verwenden einer Abbildungslinseneinheit mit longitudinaler chromatischer Aberration aufgenommen werden;
- zweite Mittel zum Erzeugen einer Tiefeninformation auf der Basis der zweiten Bilder, wobei die zweiten Mittel mit den ersten Mitteln in Bezug auf eine Signalübertragung verbunden sind, und
- dritte Mittel zum Erzeugen, durch Verwenden der Tiefeninformation, eines Ausgabebildes durch Kombinieren der ersten Bilder, und wobei die dritten Mittel mit den ersten und zweiten Mitteln in Bezug auf eine Signalübertragung verbunden sind.

Claims

Abbildungssystem, umfassend: eine optische Einheit, die dafür eingerichtet ist, von einer Szene erste Bilder in verschiedenen Wellenlängenbereichen aufzunehmen, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweite Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist; eine Tiefenverarbeitungseinheit, die dafür eingerichtet ist, eine Tiefeninformation auf der Basis der zweiten Bilder zu erzeugen; und eine Schärfeverarbeitungseinheit, die dafür eingerichtet ist, ein Ausgabebild basierend auf der Tiefeninformation und den ersten Bildern zu erzeugen.
Abbildungssystem nach Anspruch 1, wobei die optische Einheit eine Projektionseinheit umfasst, die dafür eingerichtet ist, die Szene mit strukturiertem Licht zu beleuchten, wobei die Projektionseinheit eine steuerbare Projektionsbeleuchtungseinheit und eine Projektionslinseneinheit mit einer longitudinalen chromatischen Aberration aufweist, die zwischen der Projektionslichtquelle und der Szene angeordnet ist.
Abbildungssystem nach Anspruch 2, wobei optische Achsen der Abbildungseinheit und der Projektionseinheit parallel zueinander sind.
Abbildungssystem nach Anspruch 1, wobei die Schärfeverarbeitungseinheit dafür eingerichtet ist, das Ausgabebild basierend auf den ersten Bildern nach Austauschen einer Schärfeinformation unter den ersten Bildern zu erzeugen.
Abbildungssystem nach Anspruch 4, wobei die Abbildungslinseneinheit und die Projektionslinseneinheit die gleiche longitudinale chromatische Aberration aufweisen.
Abbildungssystem nach Anspruch 2, wobei die Projektionseinheit ein optisches Element umfasst, das transparente und zumindest teilweise opake Merkmale enthält, die ein Schattenmuster bilden.
Abbildungssystem nach Anspruch 6, wobei das Schattenmuster ein grauskalen-codiertes Muster ist.
Abbildungssystem nach Anspruch 1, wobei die optische Einheit dafür eingerichtet ist, die ersten Bilder und die zweiten Bilder abwechselnd aufzunehmen.
Abbildungssystem nach Anspruch 1, ferner umfassend eine Beleuchtungseinheit, die dafür eingerichtet ist, die Szene mit nicht strukturiertem Licht während einer Aufnahme der ersten Bilder zu beleuchten.
Abbildungssystem nach Anspruch 9, wobei die Beleuchtungseinheit einen oder mehrere Lichtwellenleiter mit Austrittsflächen, die zu der Szene orientiert sind, und Verbindungsflächen, die mit einer externen Lichtquelle verbindbar sind, umfasst.
Abbildungssystem nach Anspruch 9, wobei die Beleuchtungseinheit dafür eingerichtet ist, die Szene mit einem breitbandigen Emissionsspektrum zu beleuchten, das zumindest den Spektralbereich von sichtbarem Licht abdeckt.
Abbildungssystem nach Anspruch 9, wobei die Beleuchtungseinheit dafür eingerichtet ist, die Szene mit zwei oder mehr getrennten schmalbandigen Emissionsspektren zu beleuchten.
Abbildungssystem nach Anspruch 1, wobei die Tiefenverarbeitungseinheit dafür eingerichtet ist, die Tiefeninformation aus den zweiten Bildern durch optische Triangulation zu erzeugen.
Abbildungssystem nach Anspruch 1, wobei die Schärfeverarbeitungseinheit dafür eingerichtet ist, Ortsfrequenzverteilungen der ersten Bilder als Schärfeinformation zu erhalten, hohe Frequenzkomponenten der Ortsfrequenzverteilungen von zumindest einem der ersten Bilder zu extrahieren, die extrahierten hohen Frequenzkomponenten zu den verbleibenden ersten Bildern zu addieren, um korrigierte erste Bilder zu erzeugen, und das Ausgabebild durch Kombinieren der korrigierten ersten Bilder unter Verwendung der Tiefeninformation zu erzeugen.
Endoskopsystem, umfassend das Abbildungssystem nach Anspruch 1.
Endoskop, umfassend: einen Rohrteil; und einen Spitzenteil, der an einer Endfläche des Rohrteils angebracht ist und eine optische Einheit umfasst, die dafür eingerichtet ist, von einer Szene erste Bilder verschiedener Wellenlängenbereiche aufzunehmen, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweite Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist.
Endoskop nach Anspruch 16, ferner umfassend eine Beleuchtungseinheit, die dafür eingerichtet ist, die Szene während einer Aufnahme der ersten Bilder zu beleuchten.
Endoskop nach Anspruch 16, wobei die optische Einheit eine Projektionseinheit umfasst, die dafür eingerichtet ist, die Szene mit strukturiertem Licht zu beleuchten, wobei die Projektionseinheit eine steuerbare Projektionsbeleuchtungseinheit und eine Projektionslinseneinheit mit longitudinaler chromatischer Aberration umfasst, die zwischen der Projektionsbeleuchtungseinheit und der Szene angeordnet ist.
Abbildungsverfahren, umfassend: Aufnehmen, von einer Szene, erster Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweiter Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei eine Abbildungslinseneinheit mit longitudinaler chromatischer Aberration zwischen der Szene und einer Abbildungssensoreinheit angeordnet ist; Erzeugen einer Tiefeninformation auf der Basis der zweiten Bilder; und Erzeugen, durch Verwenden der Tiefeninformation, eines Ausgabebildes, indem die ersten Bilder kombiniert werden.
Abbildungsverfahren nach Anspruch 19, wobei eine Tiefeninformation durch Verwenden einer optischen Triangulation von Bildteilen erzeugt wird, die durch ein Schattenmuster des strukturierten Lichts identifiziert werden.
Abbildungssystem, umfassend: erste Mittel, die in einem Gerät angeordnet sind, zum Aufnehmen, von einer Szene, erster Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit nicht strukturiertem Licht beleuchtet wird, und zweiter Bilder verschiedener Wellenlängenbereiche, wenn die Szene mit strukturiertem Licht beleuchtet wird, wobei die ersten und zweiten Bilder durch Verwenden einer Abbildungslinseneinheit mit longitudinaler chromatischer Aberration aufgenommen werden; zweite Mittel zum Erzeugen einer Tiefeninformation auf der Basis der zweiten Bilder, wobei die zweiten Mittel mit den ersten Mitteln in Bezug auf eine Signalübertragung verbunden sind, und dritte Mittel zum Erzeugen, durch Verwenden der Tiefeninformation, eines Ausgabebildes durch Kombinieren der ersten Bilder, und wobei die dritten Mittel mit den ersten und zweiten Mitteln in Bezug auf eine Signalübertragung verbunden sind.