-
Die Erfindung betrifft ein Verfahren zum Übertragen eines Rohbilddatenstromes eines Bildsensors über eine Datenübertragungsverbindung zwischen einem Sender und einem Empfänger.
-
Derartige Verfahren sind an sich bekannt und werden beispielsweise in der Endoskopie eingesetzt, um ein aufgenommenes Bild mit möglichst geringem Datenverlust zu übertragen.
-
Die Datenübertragungsverbindung kann dabei drahtlos oder drahtgebunden, optisch oder auf sonstige Weise ausgebildet sein. Prinzipiell kann die Datenübertragungsverbindung durch Umwelteinflüsse gestört oder beeinträchtigt sein, beispielsweise durch Magnetfelder oder Interferenzen.
-
Diese Störungen können zur Folge haben, dass die Bandbreite der Datenübertragungsverbindung reduziert wird, so dass der Rohbilddatenstrom nur noch mit einer größeren Latenz übertragbar ist. Insbesondere in der chirurgischen Endoskopie sind solche Latenzen zu vermeiden.
-
Im Stand der Technik ist es daher bekannt, nicht den Rohbilddatenstrom, sondern einen komprimierten Videobilddatenstrom zu übertragen. Dabei kann die Kompressionsrate so angepasst werden, dass eine Latenz verringert oder auf einem konstanten Niveau gehalten wird. Der Rohbilddatenstrom unterscheidet sich dabei von einem Videobilddatenstrom durch die fehlende Erzeugung des Farbbildes.
-
Bei dieser Erzeugung des Farbbildes wird das Sensormuster oder Muster des Sensors oder Farbfilters, beispielsweise ein Bayer-Muster, verwendet, um aus einem Graustufenbild oder einem Datenfeld die unterschiedlichen Farbkanäle des Farbbildes zu erzeugen.
-
Dafür ist es jedoch notwendig, dass das Videobild im Kamerakopf des Endoskops erzeugt wird, wofür aufwändige und leistungsfähige Hardware notwendig ist. Darüber hinaus sind manche Bildbearbeitungen nur mit Rohbilddaten möglich, so dass der Kamerakopf auch diese Bildbearbeitungshardware aufweisen muss. Dadurch steigen jedoch die Kosten und der Energiebedarf des Kamerakopfs.
-
Die Erfindung stellt sich somit die Aufgabe Latenzen bei der Übertragung von Rohbilddatenströmen zu verringern oder konstant zu halten.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruch 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruch 11 gelost.
-
Das erfindungsgemäße Verfahren ist demnach gekennzeichnet durch die Schritte:
- Ermitteln der aktuellen Latenz der Datenübertragungsverbindung, und
- Anpassen der Datenrate des Rohbilddatenstromes am Sender in Abhängigkeit der ermittelten Latenz.
-
Es wird also nicht wie im Stand der Technik ein Videobild stärker oder schwächer komprimiert, sondern der Rohbilddatenstrom wird senderseitig so angepasst, also verändert, dass die zu übertragende Datenrate reduziert wird. Dadurch steht empfängerseitig immer noch ein Rohbilddatenstrom zur Verfügung, der als Grundlage für alle Bildbearbeitungen dienen kann. Diese können dann empfängerseitig ausgeführt werden. Demnach kann die aufwendige Bildbearbeitungshardware im Empfänger angeordnet sein. Dies hat den Vorteil, dass im Sender, beispielsweise einem Kamerakopf eines Endoskops, keine Bildbearbeitungshardware notwendig ist. Dadurch wird auch die Leistungsaufnahme des Senders verringert. Der Sender kann somit einfacher und billiger hergestellt werden.
-
Das Anpassen der Datenrate in Abhängigkeit der ermittelten Latenz kann beispielsweise eine Reduzierung der Latenz unter einen Latenzgrenzwert und/oder das Konstanthalten der Latenz auf eine vorgegebene Ziellatenz umfassen.
-
Das Ermitteln der Latenz kann beispielsweise durch Messen der Bandbreite erfolgen. Es kann auch eine Laufzeitmessung, beispielsweise durch eingebettete Zeitstempel im Rohbilddatenstrom, durchgeführt werden. Daneben sind noch weitere Verfahren zur Ermittlung der Latenz bekannt.
-
In einer Ausführung wird die Datenrate reduziert, wenn die Latenz einen Latenzgrenzwert überschreitet. Somit kann sichergestellt werden, dass eine vorgegebene, kritische Latenz nicht überschritten wird. Der Latenzgrenzwert kann dabei je nach Anwendung variieren. Beispielsweise kann der Latenzgrenzwert während einer chirurgischen Endoskopie geringer sein als in einer diagnostischen Endoskopie.
-
In einer Ausführung wird die Datenrate mit steigender Latenz weiter reduziert. So kann sichergestellt werden, dass der Latenzgrenzwert eingehalten wird.
-
Vorzugsweise erfolgt bei sinkender Latenz auch eine Anpassung der Datenrate, so dass diese wieder vergrößert wird.
-
In einer Ausführung wird das Verfahren regelmäßig oder kontinuierlich wiederholt. Dies hat den Vorteil, dass auf verändernde Latenzen reagiert werden kann. Insbesondere bei drahtlosen Datenübertragungsverbindungen kann sich die Latenz durch Interferenzen und andere Einflüsse schnell ändern. Die Latenz kann beispielsweise in festen Intervallen ermittelt werden, wobei Intervallzeiten typischerweise kleiner als 10 Sekunden gewählt werden können. Dabei kann die Latenz beispielsweise im Abstand der Intervallzeit anhand eines Einzelbildes ermittelt werden. Es kann aber auch der ganze oder ein Teil der Intervallzeit beobachtet werden, so dass ein über die Intervallzeit gemittelter Latenzwert ermittelt werden kann.
-
Prinzipiell kann die Latenz am Sender oder am Empfänger ermittelt werden.
-
In einer bevorzugten Ausführung wird die Latenz am Empfänger ermittelt.
-
Zwischen Sender und Empfänger kann dann eine Kontrollverbindung bestehen, über die der Empfänger Kontrolldaten an den Sender überträgt und das Anpassen der Datenrate am Sender aufgrund der Kontrolldaten erfolgt. Dadurch kann auf eine aufwändige Elektronik im Sender verzichtet werden, so dass im Empfänger eine einfache Ermittlung möglich ist. Darüber hinaus tritt die Latenz im Empfänger auf und somit ist der ermittelte Wert auch der tatsächliche Wert.
-
Die Kontrolldaten können die ermittelte Latenz und/oder Steuerdaten umfassen. Der Sender kann dabei beispielsweise einen Prozessor aufweisen, der aus der übermittelten Latenz entsprechende Steuerbefehle für beispielsweise einen Bildsensor erzeugt.
-
Insbesondere vorteilhaft ist es jedoch, wenn diese Steuerbefehle bereits im Empfänger erzeugt und als Kontrolldaten an den Sender übertragen werden. Somit kann sendeseitig ein einfacher Mikrocontroller zum Weiterleiten der Steuerbefehle ausreichend sein. Dadurch kann eine weitere Reduzierung des Hardwareaufwands im Sender erzielt werden.
-
In einer Ausführung erfolgt das Anpassen der Datenrate durch Ändern der Auflösung, der Farbtiefe und/oder der Bildrate des Rohbilddatenstromes. Dabei kann definiert sein welcher Parameter bevorzugt angepasst wird. Beispielsweise könnte zunächst die Auflösung bis zu einer bestimmten ersten Auflösung reduziert werden. Sofern eine weitere Reduzierung der Datenrate notwendig ist kann danach die Farbtiefe bis zu einer ersten Farbtiefe reduziert werden und erst danach die Auflösung weiter verringert werden. Insgesamt sind hier viele verschiedene Strategien möglich, die je nach Anwendungsfall variieren können. So kann es bei manchen Anwendungen wichtiger sein, die volle Auflösung zu haben, bei möglicherweise geringerer Farbtiefe. Bei einer anderen Anwendung kann die volle Farbauflösung entscheidend sein, aber die Bildrate unwichtig, da eine eher statische Situation vorliegt.
-
In einer Ausführung wird das Ändern im Bild lokal gewichtet. Dabei kann beispielsweise in unwesentlichen Bildteilen eine stärkere Reduzierung erfolgen.
-
Vorzugsweise können solche Reduzierungsstrategien vorkonfigurierbar sein und als Voreinstellungen, beispielsweise im Empfänger, abspeicherbar sein.
-
In einer Ausführung kann das Anpassen der Auflösung nach der Digitalisierung der Bildsensordaten erfolgen. Dazu können softwareseitig einzelne Pixel zusammengefasst werden, so dass sich die Anzahl der zu übertragenden Pixel verringert.
-
In einer vorteilhaften Ausführung erfolgt das Anpassen der Auflösung durch Rekonfigurieren eines Bildsensors, insbesondere durch Pixel-Binning. Dabei wird bereits vor der Digitalisierung der Bildsensorwerte die Anzahl der Pixel reduziert, so dass keinerlei Rechenaufwand entsteht.
-
In einer Ausführung erfolgt das Anpassen der Farbtiefe nach der Digitalisierung softwareseitig, etwa in einem System on Chip (SoC), im Sender erfolgen, wobei die Farbtiefe beliebig reduziert werden kann. Die Bildsensorwerte können beispielsweise mit 12 Bit digitalisiert werden. Somit kann die Farbtiefe nachträglich auf 11, 10, 9, 8 oder weniger Bit reduziert werden.
-
In einer Ausführung kann das Anpassen der Farbtiefe durch Digitalisierung der Farbwerte mit geringerer Bitanzahl erfolgen. Dabei kann beispielsweise ein variabler Analog-Digital-Wandler verwendet werden. Auf diese Weise ist kein nachträglicher Rechenaufwand zur Reduzierung der Farbtiefe mehr möglich, weshalb beispielsweise auf ein SoC im Sender verzichtet werden kann.
-
In einer Ausführung kann das Anpassen der Farbtiefe vom Sender durch Abschneiden eines oder mehrerer niederwertigen Bits pro Farbwert erfolgen. Beispielsweise können bei einem 12-Bit Wert die niederwertigsten drei Bit abgeschnitten werden, so dass nur die neun höherwertigen Bit übertragen werden. Da die abgeschnitten Bit in der Regel Rauschen enthalten entsteht dadurch nur ein geringer Verlust der Bildqualität. Vom Empfänger werden die fehlenden Bits mit virtuellem Rauschen angefügt. Der Vorteil dabei besteht, dass im oben genannten Beispiel tatsächlich eine 12-Bit Auflösung erzielt wird aber nur neun Bit übertragen werden müssen. Selbstverständlich können auch mehr oder weniger niederwertige Bit abgeschnitten werden und/oder es kann eine höhere oder geringere ursprüngliche Farbtiefe vorhanden sein, etwa 14 Bit.
-
In einer Ausführung erfolgt das Anpassen der Datenrate durch Zusammenfassen von im Pixelmuster charakteristisch redundant vorkommender Pixel.
-
Dies kann beispielsweise bei Vorhandensein mehrerer gleichartiger Farbwerte pro Pixel durch Übertragung nicht aller, insbesondere nur eines, der gleichartigen Farbwerte pro Pixel erfolgen. Beispielsweise kann bei einem RCCC-Farbfilter nur ein C-Farbwert oder zwei C-Farbwerte anstelle von allen drei C-Farbwerten übertragen werden. Dadurch kann eine variable Reduktion der Datenrate erzielt werden.
-
In einer beispielhaften Ausführung besitzt der Bildsensor einen Bayer-Filter. Ein Bayer-Filter besitzt pro Pixel ein rotes, ein blaues, aber zwei grüne Subpixel. Das Anpassen der Datenrate kann hier durch Übertragung nur eines Grünwerts pro Pixel erfolgen. Wenn nur der Wert eines dieser Subpixel übertragen wird, werden pro Pixel nur drei anstelle von vier Farbwerten übertragen. Der Qualitätsverlust ist dabei gering. Dazu kann beispielsweise einer der beiden Grünwerte oder ein Mittelwert aus den beiden Grünwerten übertragen wird.
-
In einer Ausführung ist die Datenübertragungsverbindung eine drahtlose Datenverbindung, insbesondere eine WiFi-Verbindung. Solche WiFi-Verbindungen können sehr hohe Datenraten übertragen und sind einfach durch Standardbauteile implementierbar.
-
Eine eventuell vorhandene Kontrollverbindung kann ebenfalls drahtlos oder drahtgebunden sein, insbesondere kann die Kontrollverbindung dieselbe Übertragungstechnik wie die Datenübertragungsverbindung benutzen. Sie kann jedoch auch eine andere Übertragungstechnik benutzen, wie beispielsweise Bluetooth, da hier nur geringe Datenmengen übertragen werden müssen.
-
In einer Ausführung kann die Reduzierung der Datenrate zusätzlich auch bei einem geringen Akkustand des Senders erfolgen. Die geringere Datenrate erfordert einen geringeren Energiebedarf, so dass die Restlaufzeit verlängert werden kann. Dabei kann die Reduzierung der Datenrate aufgrund des Akkustands automatisch oder nur nach Nutzerbestätigung erfolgen.
-
Die Erfindung umfasst auch eine Vorrichtung zur Übertragung eines Rohbilddatenstromes eines Bildsensors über eine Datenübertragungsverbindung zwischen einem Sender und einem Empfänger, gekennzeichnet durch Mittel zum Ermitteln der aktuellen Latenz der Datenübertragungsverbindung, und Mittel zum Anpassen der Datenrate des Rohbilddatenstromes am Sender in Abhängigkeit der ermittelten Latenz.
-
In einer Ausführung ist das Mittel zum Ermitteln der Latenz am Empfänger angeordnet, und zwischen Sender und Empfänger besteht eine Kontrollverbindung, über die der Empfänger Kontrolldaten an das Mittel zum Anpassen der Datenrate übertragen kann, insbesondere wobei die Kontrolldaten die ermittelte Latenz und/oder Steuerdaten umfassen.
-
In einer Ausführung weist der Sender einen Bildsensor auf, wobei der Bildsensor anhand der Kontrolldaten konfigurierbar ist. Auf diese Weise lassen sich beispielsweise Pixel-Binning oder eine andere Reduzierung der Auflösung oder eine geringere Farbtiefe auf Bildsensor-Ebene konfigurieren, also noch vor der Digitalisierung der Bildsensorwerte. Dadurch kann der Sender sehr einfach aufgebaut sein und benötigt nur wenig Elektronik, beispielsweise einen kostengünstigen Mikrocontroller. Jegliche Bildverarbeitung und Bildbearbeitung sowie die Erzeugung der Kontrolldaten erfolgen somit im Empfänger.
-
Eine vorteilhafte Ausgestaltung der erfindungsgemäßen Vorrichtung kann vorsehen, dass Mittel zum Ausführen eines erfindungsgemäßen Verfahrens, insbesondere wie zuvor beschrieben und/oder nach einem der auf ein Verfahren gerichteten Ansprüche ausgebildet sind. Somit lassen sich beispielsweise die beschriebenen Vorteile des beanspruchten Verfahrens bei der beanspruchten Vorrichtung nutzen.
-
Der Bildsensor kann ein beliebiger Sensor zur Erfassung von elektromagnetischer Strahlung sein. Vorzugsweise ist der Bildsensor zur ortsaufgelösten Erfassung von elektromagnetischer Strahlung geeignet. Ein solcher Bildsensor ist beispielsweise eine Einzelphoton-Avalanche-Diode (SPAD), ein Photomultiplizierer, ein Infrarotsensor, ein Charged-Coupled Device (CCD) oder ein CMOS-Bildsensor. Der Bildsensor kann beispielsweise ein RGB-, Monochrom- oder HSI-Sensor sein.
-
In einer Ausführung weist der Sender mehr als einen Bildsensor, insbesondere zwei Bildsensoren, auf. Diese können beispielsweise zur Stereodarstellung konfiguriert sein oder verschiedene Spektralbereiche abdecken.
-
Die Erfindung ist nachfolgend anhand von Beispielen mit Bezug auf die beiliegenden Zeichnungen näher erläutert.
-
Es zeigt:
- 1 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens,
- 2a eine erfindungsgemäße Vorrichtung mit einem Sender mit einem Bildsensor und einem Empfänger,
- 2b eine erfindungsgemäße Vorrichtung mit einem Sender mit zwei Bildsensoren und einem Empfänger,
- 3 eine schematische Darstellung der Verringerung der Auflösung durch Pixel-Binning,
- 4 eine schematische Darstellung der Reduzierung der Farbtiefe durch selektives Weglassen von Farbdaten, und
- 5 eine schematische Darstellung zur Reduzierung der Farbtiefe durch Abschneiden von niederwertigen Bits pro Farbkanal.
-
Die 1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur Übertragung eines Rohbilddatenstromes von einem Sender zu einem Empfänger über eine Datenübertragungsverbindung. In einem ersten Schritt S1 wird die aktuelle Latenz der Datenübertragungsverbindung ermittelt. Dies kann beispielsweise durch Bestimmung der Übertragungsrate oder über Zeitstempel erfolgen.
-
In chirurgischen Anwendungen ist es wichtig, dass die Latenz geringer als 80 ms ist. Für einen Anwender kann es jedoch ebenfalls störend sein, wenn sich die Latenz häufig ändert oder schwankt. Dies kann auch dann störend sein, wenn die Latenz insgesamt gering ist, also beispielsweise sich innerhalb von 40 ms und 80 ms ständig ändert.
-
In einem zweiten Schritt S2 wird nun die ermittelte Latenz mit einem Latenzgrenzwert verglichen. Ist die ermittelte Latenz größer als der Latenzgrenzwert, wird in einem dritten Schritt S3 die Datenrate des Rohbilddatenstromes verringert und das Verfahren mit dem ersten Schritt fortgesetzt.
-
Ist die ermittelte Latenz geringer als der Latenzgrenzwert, wird ebenfalls mit dem ersten Schritt S1 fortgefahren.
-
Alternativ kann dabei überprüft werden, ob die Datenrate bereits reduziert wurde und die Datenrate wieder vergrößert werden.
-
Zur Änderung der Datenrate des Rohbilddatenstromes kann dessen Auflösung, Farbtiefe und/oder Bildrate geändert werden. Tabelle 1 zeigt beispielhaft die Datenrate pro Sekunde in Abhängigkeit dieser drei Parameter und somit das Potential zur Reduzierung der Datenrate. Die maximalen Werte für Auflösung, Farbtiefe und Bildrate können dabei je nach Bildsensor abweichen und sind daher in keiner Weise einschränkend zu verstehen. So gibt es beispielsweise auch Bildsensoren mit 14 Bit Farbtiefe und/oder höherer Auflösung, etwa 4K. Tabelle 1
| Auflösung | Farbtiefe | Bildrate | Datenrate |
| 1920 | 1080 | 12 | 60 | 1.492.992.000 |
| 1920 | 1080 | 10 | 60 | 1.244.160.000 |
| 1920 | 1080 | 8 | 60 | 995.328.000 |
| 1920 | 540 | 12 | 60 | 746.496.000 |
| 960 | 540 | 12 | 60 | 373.248.000 |
| 480 | 1080 | 12 | 60 | 373.248.000 |
| 480 | 270 | 12 | 60 | 93.312.000 |
| 1920 | 1080 | 12 | 30 | 746.496.000 |
| 1920 | 1080 | 12 | 15 | 373.248.000 |
| 480 | 270 | 8 | 15 | 15.552.000 |
-
Die 2a zeigt eine erfindungsgemäße Vorrichtung 1 mit einem Sender 2 und einem Empfänger 3, die über eine Datenübertragungsverbindung 4 und eine Kontrollverbindung 5 miteinander verbunden sind.
-
Die Vorrichtung kann beispielsweise ein Endoskop sein, wobei der Sender 2 ein Kamerakopf und der Empfänger eine Kamerakontrolleinheit (CCU) sein kann.
-
Die Datenübertragungsverbindung 4 und die Kontrollverbindung 5 können drahtgebunden, optisch oder drahtlos ausgebildet sein. Im Beispiel sind beide als WiFi-Verbindung ausgebildet. Alternativ kann die Kontrollverbindung 5 auch als separate drahtlose Verbindung ausgebildet sein, etwa als Bluetooth-Verbindung oder als WiFi-Verbindung auf einem anderen Band oder einer anderen Frequenz als die Datenübertragungsverbindung 4, um für diese die volle Bandbreite zur Verfügung zu haben.
-
Der Empfänger 3, etwa die CCU eines Endoskops, weist eine Bildverarbeitungseinheit 10 auf, die den Rohbilddatenstrom 8 empfängt und diesen in ein Videobilddatenstrom 11 umwandelt für eine Bildanzeigeeinheit, etwa ein Monitor. Die Bildverarbeitungseinheit 10 kann auch zur Erzeugung der Kontrolldaten und/oder Steuerbefehle 9 ausgebildet sein.
-
Der Empfänger 3 weist zudem erfindungsgemäß Mittel zur Bestimmung der Latenz der Datenübertragungsverbindung 4 auf. Dieses Mittel kann beispielsweise in der Bildverarbeitungseinheit 10 integriert sein, und beispielsweise zur Auswertung von Zeitstempeln im Rohbilddatenstrom ausgebildet sein.
-
Der Sender 2, beispielsweise der Kamerakopf eines Endoskops, weist einen Bildsensor 6 und eine Steuereinheit 7 auf, die mit dem Bildsensor 6 verbunden ist.
-
In einer Ausführung ist die Steuereinheit 7 ein SoC das zur Änderung eines Rohbilddatenstromes und zur Ansteuerung des Bildsensors 6 ausgebildet ist.
-
In dieser Ausführung empfängt die Steuereinheit 7 einen Rohbilddatenstrom 8 des Bildsensors 6 und überträgt diesen über die Datenübertragungsverbindung 4 an den Empfänger 3. Die Steuereinheit 7 empfängt auch Kontrolldaten über die Kontrollverbindung 5. Aus den Kontrolldaten bestimmt die Steuereinheit Steuerbefehle 9 für den Bildsensor und zur Änderung des Rohbilddatenstromes. Die Steuereinheit 7 kann in dieser Ausführung erfindungsgemäße Änderungen am Rohbilddatenstrom vornehmen, bevor er an die Datenübertragungsverbindung 4 weitergeleitet wird.
-
In diesem Fall können die Kontrolldaten beispielsweise die ermittelte Latenz umfassen, aus der die Steuereinheit 7 dann geeignete Maßnahmen zur erfindungsgemäßen Änderung der Datenrate durchführt.
-
In einer alternativen Ausführung ist die Steuereinheit 7 ein einfacher Mikrocontroller, der zum Empfangen von Steuerbefehlen 9 vom Empfänger und Weiterleiten an den Bildsensor 6 und zum Empfangen eines Rohbilddatenstromes 8 vom Bildsensor 6 und Weiterleiten an die Datenübertragungsverbindung 4 ausgebildet ist. Sämtliche Steuerbefehle 9 werden im Empfänger 3 erzeugt.
-
Diese Ausführung hat den Vorteil, dass praktisch kein Rechenaufwand im Sender besteht und die Steuereinheit 7 demnach sehr einfach und kostengünstig ausgebildet sein kann.
-
In beiden Ausführungen kann der Bildsensor 6 durch die Steuerbefehle 9 konfigurierbar ausgebildet sein. Der Bildsensor 6 kann dadurch beispielsweise erfindungsgemäß mit einer geringeren Auflösung (Pixel-Binning), Farbtiefe oder Bildrate ausgelesen werden. Insbesondere bei der letztgenannten Ausführung ist somit eine variable Reduzierung der Datenrate möglich, ohne dass Rechenleistung im Sender notwendig oder vorhanden ist.
-
Dabei kann es auch vom vorhandenen Bildsensor 6 abhängen, welche Möglichkeiten zur Verfügung stehen. In einem solchen Fall kann eine fehlende Konfigurierbarkeit eines Bildsensors durch eine Steuereinheit 7 mit einem SoC (system on chip), einem ISP (image signal processor) oder einem FPGA( field programmable gate array) zur Signalverarbeitung des Rohbilddatenstromes ausgeglichen werden.
-
Die 2b zeigt eine erfindungsgemäße Vorrichtung 1, die im Wesentlichen der Vorrichtung der 2a entspricht. In dieser Ausführung weist der Sender jedoch zwei Bildsensoren 6 auf, deren Rohbilddaten über die eine Datenübertragungsverbindung 4 übertragen werden. Diese Bildsensoren können beispielsweise zur stereoskopischen Darstellung konfiguriert sein. Es kann jedoch beispielsweise auch ein Bildsensor zur Realbildaufnahme, der andere zur Erfassung von Fluoreszenzen ausgebildet sein. Das erfindungsgemäße Verfahren wird dann auf beide Bildsensoren angewendet.
-
Die 3 zeigt beispielhaft ein Verfahren zur Reduzierung der Auflösung des Bildsensors. Diese Reduzierung der Auflösung kann durch Konfiguration des Bildsensors oder nach der Digitalisierung durch eine Bildbearbeitung erfolgen.
-
Die 3(a) zeigt einen Ausschnitt eines Bildsensors 6 mit vier Pixeln 12. Der Bildsensor 6 im Beispiel weist einen Bayer-Farbfilter auf. Jedes Pixel 12 besitzt demnach vier Subpixel 13. Ein rotes R1 - R4, ein blaues B1 - B4 und zwei grüne Subpixel G1.1 - G2.4. Im Beispiel wird durch ein 2x2 Pixel-Binning die Auflösung auf ein Viertel reduziert. Dazu werden jeweils die entsprechenden Subpixel 13 der vier Pixel 12 zusammengefasst, was in 3(b) dargestellt ist. 3(c) zeigt nun den resultierenden Pixel 12, wie er am Empfänger 3 empfangen wird.
-
Auf diese Weise kann die Auflösung auch auf andere Werte reduziert werden, beispielsweise 1x2, 2x1, 2x2, 2x3, ..., n x m
-
4 zeigt ein Verfahren zur Reduzierung der Farbtiefe. Der Bildsensor 6 besitzt auch in diesem Beispiel einen Bayer-Farbfilter. Hier werden jedoch für jedes Pixel 12 nicht die beiden Grünwerte G1 und G2 der jeweiligen Subpixel vom Sender 2 übertragen, sondern es wird nur ein Grünwert Gx übermittelt. Dieser kann einer der beiden Grünwerte G1 oder G2 sein oder ein Mittelwert aus diesen. Im Empfänger 3 wird der eine Grünwert Gx für beide Grünwerte G1 und G2 gesetzt, so dass wieder ein Bayer-Muster entsteht. Auf diese Weise sind jedoch statt vier Farbwerten nur drei Farbwerte pro Pixel zu übertragen, wodurch die Datenrate um 25% reduziert werden kann.
-
Die 5 zeigt ein weiteres Verfahren zur Reduzierung der Farbtiefe. Jedes Subpixel 13 des Bildsensors 6 ist im Beispiel mit einer Farbtiefe von 12 Bit quantisiert (a). Die niederwertigsten Bit enthalten oft Bildrauschen, das für das fertige Bild nicht relevant ist. Zur Reduzierung der Datenrate werden im Beispiel die vier niederwertigsten Bit (X) abgeschnitten und nur die höherwertigen acht Bit übertragen. Im Empfänger werden die vier abgeschnittenen Bit durch weißes Rauschen oder auf andere Weise angefügt und aufgefüllt. Der Vorteil dabei ist, dass im Beispiel die Datenrate um 33% reduziert wird ohne signifikant Bildqualität einzubüßen. Der Vorteil gegenüber einer echten 8-Bit Farbtiefe besteht in der höheren Auflösung durch die 12-Bit Digitalisierung. /Bezugszeichenliste
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Sender
- 3
- Empfänger
- 4
- Datenübertragungsverbindung
- 5
- Kontrollverbindung
- 6
- Bildsensor
- 7
- Steuereinheit
- 8
- Rohbilddatenstrom
- 9
- Steuerbefehle
- 10
- Bildverarbeitungseinheit
- 11
- Videobilddatenstrom
- 12
- Pixel
- 13
- Subpixel
