-
Die vorliegende Erfindung betrifft ein Verfahren, ein Softwareprogramm und ein System zum Erfassen von Bildunregelmäßigkeiten in von einem videoendoskopischen Instrument erzeugten Bildern.
-
STAND DER TECHNIK
-
Die Bilder von Videoendoskopen können unter verschiedenen Defekten leiden, die optische Ursachen haben können, wie beispielsweise Schlieren auf der Linse oder Linsendefekte, oder elektrische Defekte im Bildsensor, die zu verschiedenen Unregelmäßigkeiten führen, wie beispielsweise defekte Pixel, vertikale oder horizontale flackernde Streifen oder verschiedenfarbige Streifen, Farbstiche und vieles mehr. Einige dieser Unregelmäßigkeiten können durch Reinigung und Wiederaufbereitung korrigiert werden, wie beispielsweise Schlieren auf der Eingangslinse. Bei den meisten anderen mechanischen, internen oder elektrischen Defekten, die zu Bildunregelmäßigkeiten führen, muss jedoch das Videoendoskop zur Reparatur geschickt werden.
-
Falls ein Videoendoskop einen Defekt aufweist, der im Videobild ohne weiteres sichtbar ist, wird dieser Defekt in der Regel zu gegebener Zeit vom Benutzer erkannt und dann gemeldet werden. Es gibt jedoch Defekte, die vom Benutzer nicht sofort als solche wahrgenommen werden. In solchen Fällen gibt es keine Garantie dafür, dass dieses Endoskop rechtzeitig zur Reparatur geschickt wird. Es kann stattdessen wiederaufbereitet und für weitere Eingriffe eingesetzt werden. Die Qualität der Untersuchungen kann durch solche nicht offensichtlichen Bildunregelmäßigkeiten beeinträchtigt werden.
-
Derzeit gibt es keine technische Lösung, die in der Lage ist, einen Defekt in Endoskopbildern in Echtzeit zu erfassen, insbesondere keine Lösung, die in einem Bildprozessor implementiert ist, vor allem wenn es sich um Defekte handelt, die sich nur durch leichte Unregelmäßigkeiten im Bild offenbaren.
-
KURZDARSTELLUNG
-
Aufgabe der vorliegenden Erfindung ist es, Abhilfe für das vorstehend beschriebene Problem zu schaffen.
-
Diese Aufgabe wird gelöst durch ein Verfahren zum Erfassen von Bildunregelmäßigkeiten in von einem videoendoskopischen Instrument erzeugten Bildern, wobei ein Bildprozessor eines videoendoskopischen Instruments ein oder mehrere videoendoskopische Stand- oder Videobilder erzeugt und das eine oder die mehreren videoendoskopischen Stand- oder Videobilder an eine Auswerteeinheit überträgt, die Auswerteeinheit das eine oder die mehreren videoendoskopischen Stand- oder Videobilder auf das Vorhandensein oder Nichtvorhandensein von Bildunregelmäßigkeiten auswertet und bei Erfassung des Vorhandenseins einer Bildunregelmäßigkeit eine Benachrichtigung über das Vorhandensein der Bildunregelmäßigkeit ausgibt.
-
Das vorliegend offenbarte Verfahren stellt die Funktionalität der Erfassung von Bildunregelmäßigkeiten in der direkten Kette der Bilderzeugung und Bildverarbeitung bereit, wodurch es möglich ist, eine Bildunregelmäßigkeitserfassung in Echtzeit zusätzlich zu den herkömmlichen Echtzeitanwendungen von videoendoskopischen Bildern bei Eingriffen bereitzustellen, wie beispielsweise der Bedienperson die Bilder anzuzeigen oder Bildanalyse zur Unterstützung des Eingriffs durchzuführen.
-
Bei Ausführungsformen beinhaltet eine Erfassung des Nichtvorhandenseins oder Vorhandenseins von Bildunregelmäßigkeiten in dem einen oder den mehreren videoendoskopischen Bildern die Ausführung herkömmlicher Bildverarbeitung in der Auswerteeinheit. Eine solche herkömmliche Bildverarbeitung kann eine Farbstichanalyse von Bildern mit neutralen Farbeinstellungen und vermeintlich richtigem Weißabgleich oder die Analyse von unregelmäßigen Pixeln, Pixelclustern, Zeilen oder Spalten von Pixeln umfassen, deren Signale durchweg oder zeitweise stark von denen der umgebenden Pixel abweichen. Diese Abweichung kann unter Verwendung eines Schwellenwerts für die Signaldifferenz des oder der betroffenen Pixel in Bezug auf die Signale umgebender Pixel, z.B. ein Mittelwert davon oder andere Metriken, die unregelmäßige Pixel angeben, bewertet werden.
-
Bei Ausführungsformen werden das eine oder die mehreren videoendoskopischen Stand- oder Videobilder, insbesondere zusätzlich, einem neuronalen Faltungsnetzwerk (convolutional neural network, CNN) in der Auswerteeinheit zugeführt, wobei das CNN für die Erfassung von Bildunregelmä-ßigkeiten in videoendoskopischen Bildern trainiert worden ist, wobei das CNN eine Erfassung und Klassifikation von Bildunregelmäßigkeiten in dem einen oder den mehreren videoendoskopischen Stand- oder Videobildern durchführt. Die Anwendung von maschinellem Lernen und trainierten CNN ermöglicht es, Echtzeiterfassung und -klassifikation von Bildunregelmäßigkeiten durchzuführen. Ungeachtet der Möglichkeit der Echtzeiterfassung ist auch eine Offline-Erfassung von Bildunregelmäßigkeiten in dem gespeicherten videoendoskopischen Bildmaterial möglich.
-
Das Training solcher CNN kann mit einem Trainingsbilddatensatz aus videoendoskopischen Still- oder Video-Trainingsbildern, die verschiedene Bildunregelmäßigkeiten bekannter Arten und Orte besitzen, die mit einem Klassifikator, der die Klasse der jeweiligen Bildunregelmäßigkeit angibt, und gegebenenfalls einer Angabe des Ortes der Bildunregelmäßigkeit bezeichnet sind, insbesondere unter Verwendung von Merkmalsextraktion und/oder Feinabstimmung, ausgeführt werden. Merkmalsextraktion und Feinabstimmung sind gängige Verfahren beim Training von CNN. Beide gehen von einem vortrainierten CNN aus, bei dem sowohl die Ebenen der Faltungsbasis als auch die Ebenen des Klassifikators auf einen großen Bilddatensatz trainiert worden sind. Bei der Merkmalsextraktion bleibt die Faltungsbasis bestehen, wohingegen der Klassifikator mit dem neuen Trainingsbilddatensatz und Bezeichnungen neu trainiert wird. Bei der Feinabstimmung werden einige der obersten Ebenen, d.h. ausgangsseitig, der Faltungsbasis zusammen mit dem Klassifikator-Anteil des CNN neu trainiert. Auch andere geeignete Trainingsverfahren können in diesem Zusammenhang verwendet werden.
-
Der Ort der Bildunregelmäßigkeit ist insbesondere dann relevant, wenn die Bildunregelmäßigkeit im Trainingsbild von begrenztem Ausmaß ist. Der Trainingsbilddatensatz kann eine Mehrzahl von Trainingsbildern für jede Klasse von Bildunregelmäßigkeiten aufweisen, wobei innerhalb jedes Satzes klassenspezifischer Trainingsbilder die Trainingsbilder eine Mehrzahl von endoskopischen Videoszenen und Hintergründen und eine Vielzahl von Orten der jeweiligen Bildunregelmäßigkeiten derselben Klasse innerhalb der Trainingsbilder anzeigen, wodurch vermieden wird, das CNN für bestimmte Szenen oder Orte innerhalb der Bilder, in denen solche Bildunregelmäßigkeiten auftreten werden, zu beeinflussen.
-
Der Ort kann weggelassen werden, oder die Gesamtheit des Bildes kann als Ort einer Bildunregelmäßigkeit angegeben werden, falls die Bildunregelmäßigkeit die Gesamtheit des Bildes betrifft. Dies kann z.B. der Fall sein, wenn die Bildunregelmäßigkeit ein Farbstich ist, z.B. eine allgemeine Verstärkung des Grünkanalsignals in Bildern, die eigentlich einen korrekten Weißabgleich und neutrale Farbeinstellungen haben sollten.
-
Bei Ausführungsformen beinhaltet das Ausgeben einer Benachrichtigung über das Vorhandensein der Bildunregelmäßigkeit ein optisches oder akustisches Signalisieren der Bedienperson oder Einloggen in ein klinisches endoskopisches Wiederaufbereitungssystem, das eine mit der Überwachung der Wiederaufbereitung des videoendoskopischen Instruments beauftragte Person und/oder das Wiederaufbereitungssystem selbst benachrichtigt, und/oder in ein lokal installiertes oder Cloud-basiertes Überwachungssystem. Das Überwachungssystem kann ausgebildet sein, Abhilfemaßnahmen für das betroffene videoendoskopische Instrument auszulösen, wie beispielsweise unter anderem Reparatur oder Austausch.
-
Bei Ausführungsformen umfasst das Verfahren Entfernen eines videoendoskopischen Instruments mit einer Bildunregelmäßigkeit aus dem Normalbetrieb und Einsenden des videoendoskopischen Instruments zur Reparatur.
-
Bei weiteren Ausführungsformen umfasst das Verfahren automatisches Bestellen eines videoendoskopischen Ersatzinstruments bei Erfassung einer Bildunregelmäßigkeit.
-
Die Benachrichtigung kann zumindest einen Ort einer Unregelmäßigkeit und/oder eine Klassifikation einer Unregelmäßigkeit und/oder eine Aufforderung zu weiteren Maßnahmen umfassen, wobei die Aufforderung von der Klassifikation der Unregelmäßigkeit abhängt. Im letzteren Fall kann die Bewertungseinheit eine Datenbank von spezifischen Maßnahmen aufweisen, die als Reaktion auf die gefundene spezifische Klasse von Bildunregelmä-ßigkeit zu ergreifen sind. Im Falle einer Schliere kann eine einfache Wiederaufbereitung genügen. Im Falle von Objektivdefekten kann eine Überprüfung und Reparatur des optischen Systems empfohlen werden, wohingegen im Falle von elektronischen Defekten der Bildsensor oder seine Ausleseelektronik überprüft und repariert oder möglicherweise ausgetauscht werden muss.
-
Bei einem anderen Aspekt der vorliegenden Offenbarung wird die Aufgabe auch durch ein Softwareprogramm mit, insbesondere auf computerlesbarem Medium gespeicherten, Programmcodemitteln gelöst, die ausgebildet sind, eine Erfassung von Bildunregelmäßigkeiten in einem oder mehreren videoendoskopischen Stand- oder Videobildern bei Ablaufen auf einer Auswerteeinheit auszuführen. Dadurch implementiert das Softwareprogramm der vorliegenden Offenbarung die Bildunregelmäßigkeitserfassung des vorstehend beschriebenen Verfahrens. Das Softwareprogramm kann Programmcodemittel für eine herkömmliche Bildverarbeitung und/oder eine CNN-basierte Bildunregelmäßigkeitserfassung sowie zum Ausgeben einer Benachrichtigung bei Bildunregelmäßigkeiten umfassen.
-
Das Softwareprogramm verkörpert die gleichen Vorteile, Ausprägungen und Merkmale wie das zuvor beschriebene Verfahren.
-
Bei einem weiteren Aspekt der vorliegenden Offenbarung wird die Aufgabe auch gelöst durch ein System zum Erfassen von Bildunregelmäßigkeiten in von einem videoendoskopischen Instrument erzeugten Bildern, aufweisend mindestens ein videoendoskopisches Instrument, einen Bildprozessor, der ausgestattet ist, Bildsignale von dem videoendoskopischen Instrument zu empfangen und videoendoskopische Bilder davon bereitzustellen, eine Anzeigeeinrichtung mit einem Bildschirm, der ausgestattet ist, videoendoskopische Bilder von dem Bildprozessor zu empfangen und die videoendoskopischen Bilder auf dem Bildschirm anzuzeigen, eine Auswerteeinheit, die ausgestattet ist, videoendoskopische Bilder von dem Bildprozessor zu empfangen und eine Erfassung von Bildunregelmäßigkeiten darin gemäß dem vorstehend beschriebenen Verfahren durchzuführen. Dieses System verkörpert die gleichen Vorteile, Ausprägungen und Merkmale wie das zuvor beschriebene Verfahren.
-
Die Auswerteeinheit kann in dem Bildprozessor als Softwareprogrammkomponente oder als eine separate Recheneinrichtung mit einer Softwareprogrammkomponente zum Erfassen von Bildunregelmäßigkeiten in videoendoskopischen Stand- oder Videobildern implementiert sein, wobei die separate Recheneinrichtung mit dem Bildprozessor verbunden ist, um durch den Bildprozessor bereitgestellte videoendoskopische Bilder zu empfangen.
-
Das System kann mindestens eine Wiederaufbereitungseinrichtung für das mindestens eine videoendoskopische Instrument und/oder eine Verbindung zu einem Überwachungssystem, insbesondere einem lokalen Überwachungssystem oder einem Cloud-basierten Überwachungssystem, aufweisen. Die Wiederaufbereitungseinrichtung kann direkt über die Notwendigkeit zur Wiederaufbereitung oder Reparatur des videoendoskopischen Instruments informiert werden. Das Überwachungssystem kann implementiert sein, um den Überblick über Bildunregelmäßigkeiten bei einer Mehrzahl von videoendoskopischen Instrumenten zu behalten. Es kann auch verwendet werden, um das CNN mit realen Bildern mit Bildunregelmäßigkeiten weiter zu trainieren, die entweder von der automatischen Bildunregelmäßigkeitserfassung übersehen worden sind oder bei denen vorhandene Bildunregelmäßigkeiten falsch klassifiziert worden sind.
-
Ein Überwachungssystem kann lokal oder cloudbasiert eingerichtet sein.
-
Weitere Ausprägungen der Erfindung werden aus der Beschreibung der Ausführungsformen gemäß der Erfindung zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Ausführungsformen gemäß der Erfindung können einzelne Ausprägungen oder eine Kombination mehrerer Ausprägungen verwirklichen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Nachfolgend wird die Erfindung anhand von beispielhaften Ausführungsformen ohne Beschränkung des allgemeinen Erfindungsgedankens beschrieben, wobei bezüglich der Offenlegung aller im Text nicht näher erläuterten Einzelheiten gemäß der Erfindung ausdrücklich auf die Zeichnungen verwiesen wird. Die Zeichnungen zeigen in:
- 1 Ein Ausführungsbeispiel eines Systems gemäß der vorliegenden Offenbarung,
- 2A ein erstes Beispiel eines videoendoskopischen Bildes mit einer Bildunregelmäßigkeit,
- 2B ein zweites Beispiel eines videoendoskopischen Bildes mit einer Bildunregelmäßigkeit, und
- 2C ein drittes Beispiel eines endoskopischen Videobildes mit einer Bildunregelmäßigkeit.
-
AUSFÜHRLICHE BESCHREIBUNG
-
1 zeigt ein Ausführungsbeispiel des Systems 10 gemäß der vorliegenden Offenbarung, aufweisend ein videoendoskopisches Instrument 12, das mit einem Bildprozessor 14 verbunden ist, der auch Teil des videoendoskopischen Instruments 12 sein kann. Der Bildprozessor 14 empfängt Bildsignaldaten von dem Bildsensor des videoendoskopischen Instruments 12 und verarbeitet die Bildsignaldaten, um videoendoskopische Bilder zu erzeugen. Eine solche Bildverarbeitung kann Kontrastverstärkung, automatische Helligkeitseinstellung, Weißabgleich, Rauschunterdrückung und andere herkömmliche Bildverarbeitungsfunktionen aufweisen. Sie kann auch das von dem videoendoskopischen Instrument aufgenommene Bild unter anderem mit weiterer Information über das Instrument, Instrumenteneinstellungen, Information bezüglich des gegenwärtig laufenden Eingriffs überlagern oder ergänzen.
-
Die durch den Bildprozessor 14 erzeugten endoskopischen Videobilder werden zu einer Anzeigeeinrichtung 16 mit einem Bildschirm übertragen, auf dem die endoskopischen Videobilder einem Benutzer, beispielsweise der Bedienperson, angezeigt werden.
-
Der Bildprozessor 14 ist auch mit einer Auswerteeinheit 18 verbunden und überträgt sowohl Bilddaten als auch andere Daten an die Auswerteeinheit 18. Die Auswerteeinheit 18 kann in dem Bildprozessor 14 als eine eigenständige Recheneinrichtung oder als Teil eines anderen Systems implementiert sein. Als Beispiel kann eine Komponente, wie beispielsweise ein Raspberry Pi, mit einem Standard-Framegrabber und Software zur Implementierung der Bildunregelmäßigkeitserfassung als Auswerteeinheit 18 dienen.
-
Die Auswerteeinheit 18 führt eine Bildanalyse mit dem Zweck der Erfassung von Bildunregelmäßigkeiten innerhalb der durch den Bildprozessor 14 übertragenen videoendoskopischen Bilder durch. Zu diesem Zweck kann die Auswerteeinheit traditionelle Bildanalysewerkzeuge oder auf künstlicher Intelligenz basierende Werkzeuge, wie beispielsweise ein für die Bildunregelmäßigkeiten in videoendoskopischen Bildern trainiertes CNN, einsetzen.
-
Sobald eine Bildunregelmäßigkeit in der Auswerteeinheit 18 erfasst wird, kann ein lokal gelegenes Überwachungssystem 20 oder ein cloudbasiertes Überwachungssystem 30 über das Vorhandensein einer Bildunregelmäßigkeit und den Handlungsbedarf in Bezug auf das videoendoskopische Instrument 12, wie beispielsweise Wiederaufbereitung, weitere Untersuchung oder Reparatur, benachrichtigt werden. Im Falle von Bildunregelmäßigkeiten mit der Klassifikation, welche die Notwendigkeit einer Reparatur signalisiert, kann ein videoendoskopisches Ersatzinstrument vom Lager bestellt werden.
-
Eine Benachrichtigung kann der Bedienperson auch über die Anzeigeeinrichtung 16 angezeigt werden. Die Benachrichtigung kann derartig implementiert sein, dass es erforderlich ist, dass die Bedienperson die Benachrichtigung bestätigt, bevor sie mit dem Eingriff fortfahren kann. Dieser Benachrichtigung kann eine Empfehlung beigefügt sein, dass das videoendoskopische Instrument 12 wiederaufbereitet, untersucht oder repariert werden muss.
-
Eine Benachrichtigung kann auch derartig protokolliert werden, dass das Überwachungssystem 20, 30 über eine Protokolldatei benachrichtigt wird. Eine Wiederaufbereitungseinrichtung kann auch mit einer Protokolldatei oder direkt mit der Benachrichtigung versorgt werden, so dass entweder die geeigneten Wiederaufbereitungsschritte durchgeführt werden können, um die Ursache der spezifischen Art von Bildunregelmäßigkeit zu beheben, oder die mit der Wiederaufbereitung betraute Person über den weiteren Bedarf an Auswertung und möglicherweise Reparatur informiert wird.
-
Die 2A bis 2C zeigen drei verschiedene Arten von Bildunregelmä-ßigkeiten.
-
In 2A ist die Spitze eines metallischen endoskopischen Instruments vor einem dunklen Hintergrund sichtbar. In der unteren rechten Ecke des Bildes ist der Kontrast vermindert und das Weiß des von dem ausgestrahlten Licht reflektierenden Lichts über den angrenzenden Bereich verschmiert. Diese Art von Bildunregelmäßigkeit stammt von Verschmierungen auf der Außenfläche der Eintrittslinse des videoendoskopischen Instruments. Die äußere Linse könnte von einer ungeschützten Fingerspitze berührt worden sein, die Rückstände auf einem kleinen Teil der Eintrittslinse hinterlassen hat. Diese Art von Bildunregelmäßigkeit weist daher auf die Notwendigkeit einer Wiederaufbereitung hin, insbesondere der Reinigung der Eintrittslinse des videoendoskopischen Instruments 12.
-
Das Verschmieren im unteren rechten Teil des in 2A gezeigten Bildes ist ziemlich ausgeprägt und für das bloße Auge sichtbar, um die Unregelmäßigkeit zur Veranschaulichung deutlich sichtbar zu machen. Das Verschmieren kann auch wesentlich weniger ausgeprägt sein und daher dem bloßen Auge der Bedienperson entgehen, obwohl sie noch zu behebungsbedürftigen Bildern minderer Qualität führen könnte.
-
Darüber hinaus gibt es im rechten Teil des Bildes eine weiße vertikale Linie. Diese weiße Linie entsteht in dem hellsten Teil der Reflexion des Beleuchtungslichts von dem Metallspitzenteil des in 2A gezeigten endoskopischen Instruments. Die Helligkeit in diesem Teil des Bildes übersteigt den Dynamikbereich des Bildsensors, was zu einem Abfluss von Ladung in die Pixel der betroffenen Spalten führt. Der Grund kann eine ungewollte Erdung eines Vsub-Anschlusses des Bildsensors sein, z.B. wegen eines Bruchs in dem Substrat am Bildsensor. Diese Art von Bildunregelmäßigkeit erfordert eine Reparatur.
-
2B zeigt ein Bild mit vertikalen Streifen, die jeweils ein Pixel oder einige Pixel breit sind. Im RGB-Original haben die vertikalen Streifen unterschiedliche Farben. Diese Art von Bildunregelmäßigkeit ist ziemlich offensichtlich und kann auf ein Problem mit einem gebrochenen Signalkabel hinweisen.
-
2C zeigt ein Bild mit horizontalen Streifen, die innerhalb des Bildes ziemlich breit sind und die intermittierend auftreten. Diese Art von Unregelmäßigkeit kann auf Probleme mit einem CCU-Stecker hinweisen, der ersetzt werden muss.
-
Alle genannten Ausprägungen, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Ausprägungen, die in Kombination mit anderen Ausprägungen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Ausführungsformen gemäß der Erfindung können durch einzelne Ausprägungen oder eine Kombination mehrerer Ausprägungen verwirklicht sein. Merkmale, welche mit der Formulierung „insbesondere“ oder „besonders“ kombiniert sind, sind als bevorzugte Ausführungsformen auszulegen.
-
Bezugszeichenliste
-
- 10
- System
- 12
- videoendoskopisches Instrument
- 14
- Bildprozessor
- 16
- Anzeigeeinrichtung
- 18
- Auswerteeinheit
- 20
- Überwachungssystem
- 30
- cloudbasiertes Überwachungssystem