-
Die vorliegende Erfindung betrifft ein computergestütztes Assistenzsystem zur Verwendung bei endoskopischen Koloskopievorgängen, wobei das Assistenzsystem mindestens ein videoendoskopisches Instrument, eine mit dem mindestens einen videoendoskopischen Instrument verbundene Steuereinheit und eine mit der Steuereinheit verbundene Anzeigevorrichtung und ein Softwareprogramm für die Steuereinheit des computergestützten Assistenzsystems aufweist.
-
Die Erfindung bezieht sich auf Konzepte der Erstellung einer Benutzerschnittstelle für ein bei endoskopischen Vorgängen zu verwendendes computergestütztes Assistenz- oder Detektionssystem (CAA, CAD). Das vorgesehene Konzept beansprucht mehrere Ideen, um die Sicherheit endoskopischer Verfahren zusammen mit der Benutzerfreundlichkeit und der Benutzererfahrung von CAA- und CAD-Einrichtungen computergestützter Detektion zu verbessern. Im Rahmen der vorliegenden Erfindung umfasst der Begriff computergestütztes Assistenzsystem computergestützte Detektionssysteme.
-
Aktuelle Einrichtungen und Softwareanwendungen für den Einsatz von computergestützter Detektion (CADe) und computergestützter Diagnose (CADx) bei einem endoskopischen Verfahren sind nicht gut untereinander und mit Dokumentationssystemen verbunden. Es gibt nur sehr begrenzte Möglichkeiten, mit solchen Systemen zu interagieren. Dies macht sie unhandlich und anfällig dafür, verfahrenstechnische Sicherheit sowie die Zuverlässigkeit von durch solche Systeme vorgenommenen Diagnosen zu mindern.
-
Auf dem Gebiet der Koloskopie, das heißt der endoskopischen Untersuchung des Dickdarms, des Kolons, muss die Bedienperson jegliche Läsionen identifizieren, die während der Koloskopie auf dem endoskopischen Bildermaterial sichtbar sind. Läsionen können als Polypen, Adenome (Läsionen mit dem Potenzial, karzinös zu werden) oder karzinöse Strukturen vorliegen. In Abhängigkeit ihrer Größe und Eigenschaften muss der behandelnde Arzt entscheiden, ob er solche Läsionen entfernt oder nicht, und welche Methode er anwendet. Die richtige Wahl der Entfernungsmethode wird sich unmittelbar auf das Auftreten von postprozeduralen Komplikationen oder deren Ausbleiben auswirken.
-
Die Frage, welche Methoden in welchen Situationen angewendet werden sollten, ist intensiv untersucht worden. Eine beispielhafte Übersicht kann in S. Tanaka et al., „Evidence-based clinical practice guidelines for management of colorectal polyps“, J. Gastroenterol (2021) 56:323-335 der japanischen Gesellschaft für Gastroenterologie gefunden werden. Diese Praxisleitlinien sind dafür gedacht, von Allgemeinärzten verwendet zu werden, die kolorektale Läsionen behandeln. Es ist letztlich eine Standardreferenz und sollte in Verbindung mit sorgfältiger Berücksichtigung der Präferenzen, des Alters, der Komplikationen und der sozialen Situation jedes Patienten verwendet werden. Es stellt klinische Fragen zur Behandlung von kolorektalen Polypen vor, einschließlich der Überwachung nach der dem Inhalt der Praxisleitlinien zugrundeliegenden Behandlung. Einige Empfehlungen umfassen die Durchführung endoskopische Resektionen für Läsionen mit einer Größe von ≥ 6 mm sowie für winzige polyploide Adenome mit einer Größe von ≤ 5 mm sowie für flache und vertiefte neoplastische Läsionen, selbst mit einer Größe von ≤ 5 mm. Das Dokument nimmt auch Stellung unter anderem zur Handhabung von hyperplastischen Polypen, Indikationen für Kaltschlingenpolypektomie, serratierten kolorektalen Läsionen und sich natürlich ausbreitenden Tumoren.
-
Es ist auch Anstrengung unternommen worden, herauszufinden, ob es möglich ist, herauszufinden, ob Behandlungsleitlinien eine Auswirkung auf ein Begünstigen der verfahrenstechnischen Sicherheit und klinische Ergebnisse bei der Behandlung von kolorektalen Läsionen haben. Eine diesbezügliche Studie ist in M. Kato et al., „Validation of treatment algorithms based on the Japan narrow-band imaging expert team classification for sub-centimeter colorectal polyps“, Endoscopy International Open 2018; 06: E934-E940 veröffentlicht. Diese Studie umfasste eine retrospektive Studie von mehreren tausend Behandlungen kleiner Polypen auf Grundlage endoskopischer Diagnose, einschließlich Schmalbandbildgebung mit Vergrößerungsendoskopen (NBI-ME). Für die Studie wurden die bei diesen früheren Vorgängen gefundenen und dokumentierten Läsionen zunächst von Experten nach ihrem makroskopischen Typ als vom Typ 0-Ip, 0-Is, 0-Isp, 0-Ila oder 0-IIc kategorisiert. Läsionen der makroskopischen Typen 0-Is, 0-Isp und 0-Ila wurden dann nach dem JNET-Klassifikationsschema als Typ 1, Typ 2A, Typ 2B oder Typ 3 klassifiziert. In den Fällen von JNET-Typen 1 und 2A wurde auch die Größe der Läsion berücksichtigt, während bei dem makroskopischen Typ 0-Ilc das Pit-Pattern auf der Oberfläche der Läsion berücksichtigt wurde. In Abhängigkeit ihrer Klassifikation (makroskopischer Typ, NICE- oder JNET-Klassifikation, Größe der Läsion und/oder Pit-Pattern) gelangten die Experten nach dem zu diesem Zweck erstellten Arbeitsablauf oder Algorithmus zu unterschiedlichen Behandlungsvorschlägen, wie beispielsweise Belassen an Ort und Stelle, Resektion durch Kaltschlingenpolypektomie (CSP), Resektion durch Kaltzangenpolypektomie (CFP), Resektion durch Heißschlingenpolypektomie (HSP), endoskopische mukosale Resektion (EMR) oder Entfernung durch Operation. Für jede Läsion in dieser Studie wurde analysiert, ob die eigentliche Resektion in Übereinstimmung mit der Empfehlung, zu der mit dem von den Experten verwendeten Arbeitsablauf/Algorithmus gekommen wurde, durchgeführt worden ist oder nicht. Es wurde festgestellt, dass Resektionen, die in Übereinstimmung mit den Schemata durchgeführt worden sind, ein viel geringeres Komplikationsrisiko aufwiesen als nicht konforme Resektionen.
-
Eine Aufgabe der vorliegenden Erfindung ist es, die verfahrenstechnische Sicherheit zu verbessern und das Auftreten postoperativer Komplikationen bei endoskopischen Koloskopieverfahren zu verringern.
-
Diese Aufgabe wird gelöst durch ein computergestütztes Assistenzsystem zur Verwendung bei endoskopischen Koloskopieverfahren, wobei das Assistenzsystem mindestens ein videoendoskopisches Instrument, eine mit dem mindestens einen videoendoskopischen Instrument verbundene Steuereinheit und eine mit der Steuereinheit verbundene oder integrierte Anzeigeeinrichtung aufweist, wobei die Steuereinheit ausgelegt ist, eine Behandlungsleitlinie auf der Grundlage einer Kombination aus sowohl der Größe als auch der Klassifikation einer durch das videoendoskopische Instrument gezeigten Läsion automatisch auszuwählen und die ausgewählte Behandlungsleitlinie auf der Anzeigeeinrichtung anzuzeigen.
-
Während ein eine Koloskopie durchführender Arzt bei der Diagnose einer kolorektalen Läsion und der Entscheidung über eine Behandlungsstrategie letztlich immer auf sein oder ihr Urteilsvermögen angewiesen ist, ist das computergestützte Assistenzsystem gemäß der vorliegenden Erfindung entwickelt, den Diagnose- und Behandlungsentscheidungsprozess zu unterstützen. Insbesondere bietet es der Bedienperson standardisierte und bewährte Behandlungsoptionen für eine Vielzahl von Läsionen, indem ein Standard-Referenzrahmen für Behandlungsoptionen auf der Grundlage von Läsionsgröße und -ausprägungen vorgesehen wird. Diese Ausgangsgrundlage für Behandlungsoptionen wird sofort verfügbar sein, nachdem die Größe und Klassifikation der Läsion dem System bekannt sind, was dazu beiträgt, langwierige und potenziell gefährliche Verzögerungen zu vermeiden. Die Bedienperson kann dann andere Parameter berücksichtigen, welche die Empfehlung des Behandlungsverfahrens ändern können, wie beispielsweise das Alter oder der Gesamtzustand des Patienten oder das umgebende Kolon.
-
Das computergestützte Assistenzsystem ist eine Implementierung eines computergestützten klinischen Unterstützungssystems (CDSS), das ausgelegt ist, die Bedienperson, z.B. einen Arzt, bei der Durchführung von Koloskopien und der Auswahl der richtigen Behandlung für eine Vielzahl von kolorektalen Läsionen zu unterstützen und zu assistieren.
-
Die Klassifikation von Läsionen kann jedem erstellten Klassifikationsschema, wie beispielsweise jene gemäß JNET oder NICE, oder beliebigen anderen Klassifizierungsschemata folgen, einschließlich durch einen Hersteller des computergestützten Assistenzsystems verwendeten eigenen Schemata.
-
Das videoendoskopische Instrument kann eine beliebige endoskopische Einrichtung sein, die Videobildmaterial liefert, entweder durch eine distale Kameraeinheit, eine proximale Kameraeinheit oder einen separaten Kamerakopf. Zum Zweck der Resektion von Läsionen kann das videoendoskopische Instrument einen oder mehrere separate Kanäle aufweisen, um dem distalen Ende Endotherapieinstrumente zuzuführen.
-
Bei Ausführungsformen weist die Steuereinheit eine Endoskop-Steueruntereinheit, die Versorgungs- und Videoverarbeitungsfunktionalität vorsieht, und eine Bildanalyse-Untereinheit auf, wobei die Endoskop-Steueruntereinheit und die Bildanalyse-Untereinheit als separate und verbundene Einrichtungen oder als Software- und/oder Hardwareeinheiten innerhalb einer einzigen Einrichtung ausgelegt sind. Falls die Untereinheiten als separate und verbundene Einrichtungen vorgesehen sind, ist es möglich, vorhandene endoskopische Steuereinheiten ohne Änderung weiterzuverwenden.
-
Bei einem weiteren Aspekt weist die Steuereinheit, insbesondere die Bildanalyse-Untereinheit, eine Bilderkennungsfunktionalität auf und ist ausgelegt, mindestens eine der folgenden Aktionen an den durch das videoendoskopische Instrument gelieferten Bildern automatisch durchzuführen:
- - Erkennen einer Läsion innerhalb eines Kolons,
- - Ermitteln einer Größe einer Läsion und
- - Ermitteln einer Klassifikation einer Läsion.
-
Die Bilderkennungsfunktionalität kann in bekannter Weise entweder durch bekannte Bilderkennungsalgorithmen oder in Form von neuronalen Netzwerk-Clients an einer Vielzahl von vorklassifizierten Bildern kolorektaler Läsionen verschiedener Art oder durch andere bekannte Verfahren umgesetzt werden. Auf diese Weise liefert das computergestützte Assistenzsystem der Bedienperson teilweise oder vollständig Läsionsspezifikationen, wie beispielsweise durch die Steuereinheit automatisch erlangte Größe und/oder Klassifikation. Dies bietet eine unabhängige Grundlage für die automatische Auswahl der Behandlungsleitlinie aus der visuellen Bewertung durch die Bedienperson und erhöht dadurch die Robustheit der Diagnose und Auswahl einer geeigneten Behandlung der Läsion.
-
Bei einem weiteren Aspekt basiert die Ermittlung der Größe der Läsion und/oder die Ermittlung der Klassifikation der Läsion auf Bildverarbeitung, insbesondere unter Verwendung von Schmalbandbildgebung (NBI), insbesondere unter Berücksichtigung eines Pit-Pattern auf der Oberfläche der Läsion, auf Spracheingabe von einer Bedienperson oder auf einer manuellen Eingabe oder Auswahl durch eine Bedienperson über eine menschliche Schnittstelleneinrichtung, wobei insbesondere die menschliche Schnittstelleneinrichtung in der Anzeigeeinrichtung oder der Steuereinheit implementiert ist. Damit ist vorgesehen, dass die Bedienperson bei der Klassifikation der Läsion eine oder mehrere Angaben zur Größe der Läsion entweder durch Spracheingabe oder durch manuelle Eingabe eingeben kann. Zu diesem Zweck kann das System mit einer Mikrofoneinrichtung vorgesehen sein, die mit der Steuereinheit, insbesondere der Bildanalyse-Untereinheit, verbunden oder darin implementiert ist.
-
Bei einem weiteren Aspekt ist die Steuereinheit, insbesondere die Bildanalyse-Untereinheit ausgelegt, eine Position der Läsion zu identifizieren und/oder aufzuzeichnen. Dies bedeutet, dass die Steuereinheit die Position des distalen Endes der endoskopischen Überprüfungseinrichtung innerhalb des Kolons erkennt und die Bedienperson von der manuellen Lokalisierung der Läsion und/oder Aufzeichnung der Position der Läsion befreit. Dies kann dadurch unterstützt werden, dass die Steuereinheit eine Funktionalität zur Orientierungspunkt-Detektion umfasst, wobei die Orientierungspunkte spezifische Vernetzungen des menschlichen Kolons sind, wie beispielsweise unter anderen die rechte Flexur, die linke Flexur, das Rektum oder das Zäkum (Ileozäkalklappe). Alternativ zur automatischen Orientierungspunkt-Detektion kann das Eintreffen an einem Orientierungspunkt auch durch Sprachbefehl eingegeben werden. Diese Positionsinformation kann mit den Längenmessungen kombiniert werden, die angeben, wie weit sich die videoendoskopische Einrichtung in das Kolon des Patienten erstreckt hat.
-
Falls eine Orientierungspunkt-Detektion oder -Eingabe implementiert ist, kann die aktuelle Position auf der Anzeigeeinrichtung angezeigt werden, beispielsweise in Form eines Fortschrittsbalkens mit Markierungen für die Orientierungspunkte oder auf einer schematischen Darstellung des Kolons des Patienten. Die Position von Befunden von Läsionen kann als eine Schätzung zwischen Orientierungspunkten gruppiert werden, oder die Positionierung/Lokalisierung zwischen Orientierungspunkten kann durch Audiokommentare, beispielsweise durch Vorsehen der Einführtiefe des Endoskops als Spracheingabe, oder auch die Kombination mit anderen Werkzeugen, wie beispielsweise elektromagnetische Verfolgung, verbessert werden.
-
Bei einem Aspekt des Systems umfasst die vorgeschlagene Behandlungsleitlinie
- - einen Vorschlag, die Läsion an Ort und Stelle zu lassen, und/oder
- - einen Vorschlag, eine Polypektomie unter Verwendung von Heißschlingenpolypektomie / endoskopischer mukosaler Resektion durchzuführen, und/oder
- - einen Vorschlag, Kaltpolypektomie, insbesondere Kaltschlingenpolypektomie und/oder Kaltzangenpolypektomie, durchzuführen, und/oder
- - einen Vorschlag, die Läsion durch Operation zu entfernen.
-
Bei einem weiteren Aspekt des Systems ist die Steuereinheit, insbesondere die Bildanalyse-Untereinheit ausgelegt, eine strukturierte Sprachinteraktionsfunktionalität und/oder eine unstrukturierte Sprachinteraktionsfunktionalität vorzusehen, um zumindest
- - eine Größe einer Läsion und/oder eine Klassifikation einer Läsion einzugeben, und/oder
- - verfahrensbegleitend zu befunden, insbesondere zur Dokumentation der resezierten mukosalen Bereiche und des Resektionsbefunds, und/oder
- - Befunde eines computergestützten Detektionsalgorithmus und/oder Befunde eines computergestützten Diagnosealgorithmus zu korrigieren, und/oder
- - Befunde zu dokumentieren, die nicht durch computergestützte Detektionsalgorithmen und computergestützte Diagnosealgorithmen abgedeckt sind.
-
Von diesen kann die verfahrensbegleitende Befundung mit unstrukturierter Sprachinteraktionsfunktionalität erfolgen, jedoch auch auf standardisiertere Weise mit strukturierter Sprachinteraktionsfunktionalität, bei der bestimmte standardisierte Felder, die für alle oder die meisten Befunde von Läsionen in der Koloskopie üblich sind, durch ihren Feldnamen oder Kategorienamen und nach Auswahl des Feldes zugeführter Information angesprochen werden. Das Eingeben von der Größe der Läsion und/oder der Klassifikation der Läsion erfolgt vorzugsweise mit strukturierter Sprachinteraktionsfunktionalität. Das gleiche gilt für das Korrigieren von Befunden eines computergestützten Detektionsalgorithmus und/oder Befunden eines computergestützten Diagnosealgorithmus. Die Dokumentation von durch computergestützte Erkennungsalgorithmen und computergestützte Diagnosealgorithmen nicht abgedeckten oder gefundenen Befunden ist typischer für unstrukturierte Sprachinteraktionsfunktionalität. In diesem Fall kann die Spracheingabe der Bedienperson aufgezeichnet oder in Text übertragen werden. Die Sprachaufzeichnung über den übertragenen Text kann zusammen mit dem Videosegment und/oder Standbild, das automatisch aufgenommen werden kann, gespeichert werden.
-
Bei einem weiteren Aspekt des Systems ist die Steuereinheit, insbesondere die Bildanalyse-Untereinheit, ausgelegt, mindestens eine der folgenden zusätzlichen Funktionalitäten vorzusehen:
- - Vorsehen von Detektionsalgorithmen zum Detektieren von Endotherapiewerkzeugen und automatischer Unterdrückung von CAD-Overlays, wenn Endotherapiewerkzeuge detektiert werden;
- - die Bedienperson hinweisen auf unzureichende Abdeckung der mukosalen Oberfläche;
- - der Bedienperson frühere Berichte oder Befunde zum Vergleich vorlegen, und/oder
- - Erstellen einer automatischen Fallakte.
-
Das Vorsehen von Detektionsalgorithmen zum Detektieren von Endotherapiewerkzeugen erfolgt wiederum automatisch mit Bilderkennungsalgorithmen, die speziell für die Detektion von Endotherapiewerkzeugen wie beispielsweise Schlingen, Zangen, Körbe, Küretten oder Messer, entworfen oder trainiert sind. Da das Vorhandensein eines Endotherapiewerkzeugs anzeigt, dass die Bedienperson dabei ist, eine Resektion einer Läsion durchzuführen, würden jegliche zusätzliche CAD-Overlays die Bedienperson daran hindern, die Gesamtheit der Läsion und ihre Umgebung während des Vorgangs genau zu sehen, und die kognitive Belastung für die Bedienperson zu erhöhen. Deaktivieren von Overlays beseitigt daher die visuelle Beeinträchtigung der angezeigten Szene und erhöht die Sicherheit des Vorgangs, solange sich das Endotherapiewerkzeug in der Einheit befindet.
-
Der Hinweis auf eine unzureichende Abdeckung der mukosalen Oberfläche ist für die Bedienperson vorteilhaft, um blinde Flecken bei der Abdeckung der Kolon-Wand zu vermeiden. Die Bedienperson kann aufgefordert werden, das Endoskop in bestimmte Richtungen zu bewegen, um den zuvor blinden Fleck abzudecken, z.B. durch Anzeigen einer Pfeilmarke. Dies kann auch in Form von Umreißen von Bereichen des Bildes, wo das Umfeld nicht gut sichtbar gemacht ist, oder von Textinformation geschehen. Falls die unvollständige Abdeckung nicht ausgefüllt werden kann, könnte das Vorhandensein des blinden Flecks auf einem Fortschrittsbalken aufgezeichnet und/oder angegeben werden.
-
Das Vorlegen früherer Befundberichte der Bedienperson zum Vergleich kann implementiert sein, indem die Steuereinheit, insbesondere die Bildanalyse-Untereinheit, Zugriff auf die Fallakte hat. Dies ist insbesondere hilfreich, wenn die Positionen zuvor detektierter Läsionen oder zuvor entfernter Läsionen und die aktuelle Position des distalen Endes des Videoendoskops aufeinander abgestimmt werden und die passenden Befunde eines früheren Vorgangs der Bedienperson zum Vergleich angezeigt oder ausgelesen werden. Dieses Merkmal bietet ein kontextuelles Bewusstsein für die Position aktueller und früherer Befunde. Beispielsweise kann die Position des aktuellen Befundes, beispielsweise ein durch einen CAD-Algorithmus detektierter Polyp, mit Befunden früherer Verfahren verglichen werden, um beispielsweise das Fortschreiten einer winzigen hyperplastischen Läsion zu überprüfen. Die Bedienperson wird dann in der Lage sein, die weitere Entwicklung einer zuvor gefundenen Läsion, die nicht entfernt wurde, oder den Heilungsprozess der Stelle, an der die Läsion zuvor entfernt worden ist, zu beurteilen. Frühere Befunde können der Bedienperson beispielsweise auch auf einem Fortschrittsbalken oder einer schematischen Darstellung des Kolons angezeigt werden. Des Weiteren kann, sobald eine Position mit dem früheren Befund erreicht wird, der frühere Befund, das heißt Bilder und/oder Videos, angezeigt werden. Die Wiedergabe und Anzeige können beispielsweise über Sprachinteraktion gesteuert werden.
-
Die Steuereinheit, insbesondere die Bildanalyse-Untereinheit, kann auch durch mit der Funktionalität der Erstellung einer automatischen Fallübersicht vorgesehen sein. Zusätzlich zu den üblichen Daten der Fallübersicht, wie beispielsweise Datum, Uhrzeit, Länge der Koloskopie, Identitäten des Patienten und der Bedienperson, verwendete Ausrüstung etc., kann die automatische Fallübersicht auch Videosegmente und/oder Standbilder, die während der Koloskopie aufgenommen wurden, sowie Befunde in Bezug auf Läsionen, etwaige Spracheingaben, sowie Information über automatisch erkannte Position, Größe und Klassifikation der Läsion, Eingabe durch manuelle Eingabe oder Sprachbefehl und etwaige Korrekturen an den automatischen Befunden, ausgewählte Behandlungsleitlinien und die Resektion von Läsionen und die zur Resektion verwendeten Verfahren und Werkzeuge umfassen. Die Fallübersicht kann auch Daten früherer Befunde umfassen, wie beispielsweise. Positionsmetadaten sowie Metadaten über Größe und Klassifikation der früheren Befunde.
-
Die Fallübersicht kann von der Bedienperson nach dem Vorgang überprüft werden und über verschiedene Einrichtungen, beispielsweise Desktop-PCs, Tablets oder Mobiltelefone, entweder über eine Peer-to-Peer-Verbindung mit dem CAD-System, oder über einen dritten Speicherort, an dem das CAD-System die Fallübersicht abgespeichert hat, abgerufen werden. Die Benutzerschnittstelle der Fallübersicht kann verwendet werden, um Befunde des Algorithmus zu korrigieren, fehlende Information hinzuzufügen oder überschüssige Information zu löschen. Nachdem die Fallübersicht abgeschlossen ist, kann sie zu anderen Dokumentationswerkzeugen und Datenbanken exportiert werden.
-
Die der vorliegenden Erfindung zugrundeliegende Aufgabe wird auch mit einem computergestützten Assistenzverfahren für endoskopische Koloskopievorgänge gelöst, wobei während eines endoskopischen Koloskopievorgangs eine Steuereinheit, insbesondere eine Bildanalyse-Untereinheit, eines zuvor beschriebenen computergestützten Assistenzsystems automatisch eine Behandlungsleitlinie auf der Grundlage einer Kombination sowohl der Größe als auch der Klassifikation einer durch das videoendoskopische Instrument des computergestützten Assistenzsystems gezeigten Läsion auswählt und die ausgewählte Behandlungsleitlinie auf der Anzeigeeinrichtung des computergestützten Assistenzsystems anzeigt. Das Softwareprogramm implementiert dabei die gleichen Ausprägungen, Vorteile und Merkmale wie das computergestützte Assistenzsystem.
-
Bei einem weiteren Aspekt führt die Steuereinheit, insbesondere die Bildanalyse-Untereinheit, mindestens eine der folgenden Aktionen automatisch an den durch das videoendoskopische Instrument gelieferten Bildern durch Bildverarbeitung und -erkennung durch:
- - Erkennen einer Läsion innerhalb eines Kolons,
- - Ermitteln einer Größe einer Läsion und
- - Ermitteln einer Klassifikation einer Läsion,
insbesondere unter Verwendung von Schmalbandbildgebung (NBI), insbesondere unter Berücksichtigung eines Pit-Pattern auf der Oberfläche der Läsion.
-
Die Steuereinheit, insbesondere die Bildanalyse-Untereinheit, kann eine Position der Läsion identifizieren und/oder aufzeichnen.
-
Des Weiteren können zumindest
- - Eingeben einer Größe einer Läsion und/oder einer Klassifikation einer Läsion,
- - verfahrensbegleitend Berichten, insbesondere Dokumentierung von resezierten mukosalen Bereichen und des Resektionsergebnisses, und/oder
- - Korrigieren von Befunden eines computergestützten Detektionsalgorithmus und/oder Befunden eines computergestützten Diagnosealgorithmus, und/oder
- - Dokumentieren von Befunden, die nicht durch computergestützte Detektionsalgorithmen und computergestützte Diagnosealgorithmen abgedeckt sind, unter Verwendung von einer strukturierten Sprachinteraktionsfunktionalität und/oder unstrukturierten Sprachinteraktionsfunktionalität, die durch die Steuereinheit, insbesondere die Bildanalyse-Untereinheit, vorgesehen ist, durchgeführt werden.
-
Bei weiteren Aspekten kann die Steuereinheit, insbesondere die Bildanalyse-Untereinheit, mindestens durchführen:
- - Vorsehen von Detektionsalgorithmen zum Detektieren von Endotherapiewerkzeugen und automatischer Unterdrückung von CAD-Overlays, wenn Endotherapiewerkzeuge detektiert werden, und/oder
- - die Bedienperson Hinweisen auf unzureichende Abdeckung der mukosalen Oberfläche, und/oder
- - der Bedienperson frühere Berichte oder Befunde zum Vergleich Vorlegen, und/oder
- - Erstellen einer automatischen Fallübersicht.
-
Diese Funktionalitäten sind im Rahmen des computergestützten Assistenzsystems erörtert worden.
-
Die Aufgabe der vorliegenden Erfindung wird auch durch ein Computerprogramm mit Computercodemitteln gelöst, das, wenn es auf einer Steuereinheit, insbesondere einer Bildanalyse-Untereinheit, eines oben beschriebenen computergestützten Assistenzsystems ausgeführt wird, für die Steuereinheit, insbesondere der Bildanalyse-Untereinheit, eine Funktionalität, um auf der Grundlage einer Kombination von sowohl der Größe als auch der Klassifikation einer durch das videoendoskopische Instrument des computergestützten Assistenzsystems gezeigten Läsion eine Behandlungsleitlinie automatisch auszuwählen und um die ausgewählte Behandlungsleitlinie auf der Anzeigevorrichtung des computergestützten Assistenzsystems anzuzeigen, und insbesondere zusätzlich eine beliebige weitere Funktionalität oder Funktionalitäten der Steuereinheit, insbesondere der Bildanalyse-Untereinheit, des oben beschriebenen computergestützten Assistenzsystems und Verfahrens vorsieht.
-
Weitere Ausprägungen der Erfindung werden aus der Beschreibung der Ausführungsformen gemäß der Erfindung zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Ausführungsformen gemäß der Erfindung können einzelne Ausprägungen oder eine Kombination mehrerer Ausprägungen verwirklichen.
-
Nachfolgend wird die Erfindung anhand von beispielhaften Ausführungsformen ohne Beschränkung des allgemeinen Erfindungsgedankens beschrieben, wobei bezüglich der Offenlegung aller im Text nicht näher erläuterten Einzelheiten gemäß der Erfindung ausdrücklich auf die Zeichnungen verwiesen wird. Die Zeichnungen zeigen in:
- 1 ein Schema eines computergestützten Assistenzsystems gemäß der vorliegenden Offenbarung,
- 2 eine Anzeigeansicht einer visuellen Benutzerschnittstelle des computergestützten Assistenzsystems gemäß der vorliegenden Offenbarung,
- 3 eine schematische Darstellung einer Ausführungsform eines Arbeitsablaufs zum Auswählen von Behandlungsleitlinien gemäß der vorliegenden Erfindung,
- 4 eine andere Anzeigeansicht einer visuellen Benutzerschnittstelle des computergestützten Assistenzsystems gemäß der vorliegenden Offenbarung und
- 5 eine schematische Darstellung eines beispielhaften computerbasierten klinischen Entscheidungsunterstützungssystems.
-
In den Zeichnungen sind gleiche oder gleichartige Elemente oder jeweils entsprechende Teile mit denselben Bezugsziffern versehen, so dass von einer entsprechenden erneuten Vorstellung abgesehen wird.
-
1 zeigt ein Schema eines computergestützten Assistenzsystems 10 gemäß der vorliegenden Offenbarung. Der Grundaufbau umfasst ein videoendoskopisches Instrument 12, das zum Zweck von Koloskopien ein Koloskop mit einer Kameraeinheit an seinem distalen Endabschnitt und möglicherweise einem oder mehreren Kanälen zum Durchschleusen endoskopischer Werkzeuge, wie beispielsweise Schlingen oder Zangen, sein kann. Das videoendoskopische Instrument 12 ist mit einer Steuereinheit 14 verbunden, welche die elektrischen Komponenten des videoendoskopischen Instruments 12 mit Energie versorgen kann und einen Bilddatenstrom von dem videoendoskopischen Instrument 12 empfängt. Ein Softwareprogramm oder eine Sammlung von Softwareprogrammen, das/die auf der Steuereinheit 14 abläuft, versieht die Steuereinheit 14 mit einer Funktionalität, um ihre Aufgabe als computergestütztes Assistenzsystem 10 durchzuführen, wodurch sie in die Lage versetzt wird, geeignete Behandlungsleitlinien auszuwählen, falls eine Läsion während einer Koloskopie identifiziert wird.
-
Die Steuereinheit 14 kann zwei Untereinheiten aufweisen, nämlich eine Endoskop-Versorgungsuntereinheit 14a, die das oder die Endoskope steuert und mit Energie versorgt und eine Videoverarbeitung vorsieht, d.h. die elektronischen endoskopischen Videosignale in einen Bildstrom umwandelt, und eine Bildanalyse-Untereinheit 14b. Die Letztere sieht die Bildanalysefunktionalität vor, u.a. Bilderkennung, und umfasst die Logik, die benötigt wird, um die in der vorliegenden Offenbarung erläuterten zusätzlichen Funktionen auszuführen. Falls sich die Untereinheiten 14a, 14b in verschiedenen Vorrichtungen befinden, kann eine standardmäßige endoskopische Versorgungs- und Videoverarbeitungseinheit ohne Modifikation verwendet werden, und die Bildanalyse- und Entscheidungsfindungsfunktionalität kann sich in einer separaten Vorrichtung befinden, wie beispielsweise einem programmierbaren Computer. Für diesen Fall ist die Steuereinheit 14 in 1 gestrichelt angedeutet. Alternativ kann die Bildanalyse-Untereinheit 14b als Softwareimplementierung im Rechenblock einer endoskopischen Versorgungs- und Steuereinrichtung implementiert sein.
-
Die Steuereinheit 14 und insbesondere ihre Bildanalyse-Untereinheit 14a ist mit einer Anzeigeeinrichtung 16 verbunden oder enthält diese, welche ausgelegt ist, die Bildübertragung von dem videoendoskopischen Instrument 12, wie sie von der Versorgungs- und Videoverarbeitungsuntereinheit 14a der Steuereinheit 14 verarbeitet wird, anzuzeigen. Die Anzeigeeinrichtung 16 kann ein separater und eigenständiger Videobildschirm, der mit der Steuereinheit 14 verbunden ist, oder ein Bildschirm sein, der in die Steuereinheit 14, insbesondere die Bildanalyse-Untereinheit 14b, integriert ist. Die Anzeigeeinrichtung 16 oder die Steuereinheit 14 oder ihre Bildanalyse-Untereinheit 14b kann geeignete Eingabemittel zur Eingabe von Anweisungen oder Daten aufweisen, z.B. in Form einer Tastatur, einer Mauseinrichtung, von Schaltern oder anderen manuellen Eingabemitteln oder eines Mikrofons zur Sprachinteraktionsfunktionalität.
-
Das Gesamtsystem kann auch endoskopische Werkzeuge umfassen, wie beispielsweise Kalt- und Heißschlingen oder Zangen, einschließlich Einrichtungen, welche die heißen Werkzeuge mit Energie versorgen.
-
In weiteren Ausbauten kann die Steuereinheit 14 des in 1 gezeigten computergestützten Assistenzsystems 10 oder ihre Bildanalyse-Untereinheit 14b mit einem zentralen Server-Computersystem verbunden sein, auf dem eine Datenbank für vergangene und gegenwärtige koloskopische Vorgänge und deren Befunde läuft, wie in 5 gezeigt ist.
-
2 zeigt eine Anzeige 20 einer visuellen Benutzerschnittstelle gemäß der vorliegenden Offenbarung, die auf dem Bildschirm einer Anzeigeeinrichtung 16 des computergestützten Assistenzsystems 10 angezeigt wird. Die Anzeige 20 auf dem Bildschirm ist in mehrere Bereiche unterteilt. Der größte Bereich auf der rechten Seite enthält die Bildübertragung 22 einer Koloskopie von dem videoendoskopischen Instrument 12, wie sie durch die Steuereinheit 14 oder ihrer Versorgungs- und Videoverarbeitungsuntereinheit 14a verarbeitet ist. Das Bild zeigt einen Teil der Kolon-Wand eines Patienten mit einer identifizierten Läsion 24 in der Form eines Polypen. Die Läsion 24 ist durch ein CAD-Overlay 26 in der Form eines Begrenzungsrechtecks hervorgehoben. Ein kleines Symbol „CAD“ in der unteren rechten Ecke zeigt, dass die CAD-Overlay-Funktionalität aktiviert ist. Ein kleines Symbol „WLI“ in der oberen rechten Ecke gibt an, dass das vorliegende Bild unter Verwendung von Weißlicht-Bildgebung (WLI) aufgenommen ist. Ein Symbol „REC“ in der oberen linken Ecke des Bildes 22 gibt an, dass der derzeit angezeigte Bildstrom aufgezeichnet wird.
-
Der kleine Bereich auf der linken Seite der Anzeige 20 enthält Information über das Koloskopieverfahren selbst und über die in dem Bild 22 rechts gezeigte Läsion 24, die derzeit untersucht wird. Der oberste Abschnitt dieses Teils der Anzeige enthält Patienten- und verfahrenstechnische Daten 30, wie beispielsweise die aktuelle Uhrzeit („T“), der Name des Patienten („P“), die verwendete Zeit, um das Koloskop vollständig einzubringen („TT“), und die Entnahmezeit („WT“). Direkt unter den Patienten- und verfahrenstechnischen Daten 30 befindet sich ein Fortschrittsbalken 32, der den Fortschritt der Koloskopie und die Position des distalen Endes des Koloskops angibt. Orientierungspunkte des Kolons, wie beispielsweise das Zäkum, die rechte Flexur und die linke Flexur u.a., sind als rautenförmige Symbole angegeben. Andere Symbole, wie beispielsweise ein pilzförmiges Symbol, stellen die Position einer während der Koloskopie oder bei einer früheren Koloskopie gefundenen Läsion dar.
-
Unter dem Fortschrittsbalken 32 wird ein Umfangspositionsindikator 34 angezeigt, der die Position der derzeit untersuchten Läsion in Umfangsrichtung visualisiert. Die Läsion selbst wird in der Form einer Heat Map angegeben.
-
Unter dem Umfangspositionsindikator 34 wird die Läsionsinformation 36 in vier Bereichen angezeigt. Das obere linke Feld zeigt die Polypengröße von 8-10 mm zusammen mit einer kleinen symbolischen Darstellung, in der zwei von drei Balken hervorgehoben sind, was darauf hinweist, dass es sich um einen mittelgroßen Polypen handelt. Das obere rechte Feld zeigt, dass die Läsion 24 als Typ NICE 2 klassifiziert ist, der für ein Adenom charakteristisch ist. Da Adenome das Potenzial haben, sich krebsartig zu verwandeln, ist es ratsam, sie zu resezieren.
-
Die untere linke Ecke zeigt das Symbol eines Polypen, während die untere rechte Ecke einen Vorschlag für Behandlungsleitlinien enthält, nämlich eine RDI-Prüfung (rot-dichromatische Bildgebung) durchzuführen, um die Befunde zu bestätigen, den Polypen zu entfernen und das resezierte Polypengewebe in die Pathologie zu schicken.
-
Im unteren Bereich auf der linken Seite der Anzeige 20 werden Instrumentierungs- und Modusinformation 38 angezeigt. Dies umfasst z.B. den Vergrößerungsfaktor („x 1,5 normal“) oder die Anzahl der bis jetzt aufgezeichneten Videosequenzen und Standbilder oder die Einstellungen von Funktionstasten an einer Eingabeeinrichtung („FRZ“, „NBI“, etc.).
-
Die Benutzerschnittstelle kann nach den Präferenzen der Bedienperson konfiguriert werden. Er oder sie kann es z.B. vorziehen, die von dem videoendoskopischen Instrument 12 stammenden Bilder auf der linken Seite des Bildschirms statt auf der rechten Seite zu haben, oder die Größe verschiedener Bereiche zu ändern. Die Anzahl und Auswahl zusätzlicher in Feld 28 angezeigter Information kann von dem Kontext und dem aktuellen Stadium der Koloskopie abhängen. Beispielsweise können die Patienten- und verfahrenstechnischen Daten 30, der Fortschrittsbalken 32 und möglicherweise die Instrumentierungs- und Modusinformation 38 die ganze Zeit angezeigt werden, während die Läsionsinformation 36 und der Umfangspositionsindikator 34 nur angezeigt werden, während eine Läsion gerade untersucht wird, oder zumindest im Sichtfeld des videoendoskopischen Instruments 12 ist.
-
Die Informationsauswahl auf dem Display 20 kann in Abhängigkeit des Kontexts automatisch durch die Steuereinheit 14, insbesondere ihre Bildanalyse-Untereinheit 14b, vorgenommen werden. Falls Bilderkennungsalgorithmen eine mangelnde 360°-Abdeckung der Kolonwand in bestimmten Abschnitten des Kolons detektieren, kann die Bedienperson aufgefordert werden, das videoendoskopische Instrument 12 derartig zu bewegen, um sie auszufüllen, d.h. Bildmaterial von dem zuvor blinden Fleck zu erlangen. Die Angabe des blinden Flecks kann z.B. unter Verwendung eines CAD-Overlays über die Videobildübertragung in Form eines in die Richtung des blinden Flecks gerichteten Pfeilzeichens oder durch Verwendung einer Darstellung ähnlich einer Kombination aus dem Fortschrittsbalken 32 und dem Umfangspositionsindikator 34 erfolgen.
-
Während der Untersuchung der Läsion 24 kann die Bedienperson feststellen, dass die über die Läsion 24 angezeigte Information nicht mit ihren eigenen Befunden übereinstimmt. Die Bedienperson kann die Befunde dann durch Sprachbefehl oder manuell korrigieren. Falls die Bedienperson z.B. zu einer anderen Klassifikation gelangt, kann sie das computergestützte Assistenzsystems 10 ansprechen, wie beispielsweise „Hallo System“, gefolgt durch „Korrigiere Polyptyp“ und „NICE 1“. Die Steuereinheit 14, insbesondere ihre Bildanalyse-Untereinheit 14b, kann dann sowohl den früheren Wert als auch den von der Bedienperson korrigierten Wert dieses Parameters aufzeichnen.
-
Es kann auch eine Funktionalität für die Bedienperson geben, um eine Läsion 24 mit grafischen Messwerkzeugen unter Verwendung manueller Eingabe, z.B. eine Maus, zu messen. Im Falle einer automatischen Polypgrößenermittlung unter Verwendung von Bilderkennungsfunktionalität kann ein CAD-Overlay erzeugt werden, das die Achse oder Achsen umreißt, die zu der Größenermittlung führen, die dann gegebenenfalls von der Bedienperson modifiziert werden kann.
-
Eine schematische Darstellung einer Ausführungsform eines Behandlungsleitlinien-Auswahlschemas 100 zum Auswählen von Behandlungsleitlinien 112 gemäß der vorliegenden Erfindung ist in 3 gezeigt. Das Behandlungsleitlinien-Auswahlschema 100 beginnt mit der Identifizierung einer Läsion in der Videoübertragung oder einem Standbild von dem videoendoskopischen Instrument 12 in Schritt 102. Die Identifizierung kann durch die Bedienperson mit dem Auge oder über eine in der Steuereinheit 14, insbesondere ihrer Bildanalyse-Untereinheit 14b, implementierte Bilderkennungsfunktionalität erfolgen, die unter Verwendung klassischer, an die visuellen Merkmale der verschiedenen Arten von kolorektalen Läsionen angepasster Bilderkennungsalgorithmen und/oder unter Verwendung von maschinellen Lernverfahren, z.B. für diese Aufgabe trainierte neuronale Netzwerke unter Verwendung einer Mehrzahl von Bildern von kolorektalen Läsionen oder anderen geeigneten maschinellen Einlernalgorithmen, implementiert sein kann.
-
Sobald eine Läsion identifiziert ist, wird der makroskopische Typ der Läsion in Schritt 104 ermittelt. Der makroskopische Typ geht der Klassifikation voraus. In diesem Fall kann die Pariser Klassifikation verwendet werden, wobei makroskopische Läsionstypen z.B. die polypoiden 0-Ip- und 0-Is-Typen, die nicht-polypoiden 0-IIa-, 0-IIb- und 0-IIc-Typen, die sich von leicht erhöht (0-IIa) bis leicht vertieft (0-IIc) erstrecken, und Typ 0-III ausgehöhlter Läsionen (Geschwüre) sind. Die Ermittlung des makroskopischen Typs kann durch die Bedienperson oder unter Verwendung von Bilderkennungsfunktionalität erfolgen, wiederum entweder unter Verwendung klassischer Bilderkennungsalgorithmen oder maschinellen Lernens mit neuronalen Netzwerken oder anderen geeigneten Algorithmen.
-
In einigen Fällen, z.B. im Falle eines Krebsgeschwürs, besteht möglicherweise keine Notwendigkeit für eine weitere Klassifikation. Nach Berücksichtigung von Pit-Pattern der Läsion in Schritt 110 kann ohne weitere Zwischenschritte zu einer Behandlungsleitlinie 112 gelangt werden. Die Behandlungsleitlinie 112 kann die Entfernung der Läsion durch Operation oder durch EMR (endoskopische mukosale Resektion) und die Einsendung des entfernten Gewebes an die Pathologie zur weiteren Untersuchung umfassen.
-
In allen anderen Fällen sieht der nächste Schritt 106 die Ermittlung der Klassifikation der Läsion vor, z.B. gemäß einem bekannten Klassifikationsschema, wie beispielsweise die NICE-Klassifikation oder die JNET-Klassifikation. Diese Klassifikation kann wiederum durch die Bedienperson oder unter Verwendung klassischer oder maschineller Lernfunktionalität implementiert sein. In Anlehnung an den von M. Kato et al. vorgeschlagenen Behandlungsstrategie-Algorithmus, „Validation of treatment...", Endoscopy International Open 2018; 06: E934-E940, an Hand eines nicht beschränkenden Beispiels, können als JNET-Typen 2B und 3 klassifizierte Läsionen zu Vorschlägen zur Entfernung durch EMR und Operation jeweils anregen, möglicherweise unabhängig von ihrer Größe, während Läsionen der JNET-Typen 1 und 2A in Abhängigkeit von ihrer Größe in Schritt 108 und möglicherweise ihrer Position in dem Kolon weiter in Gruppen unterteilt werden können. JNET-Typ 1 Läsionen auf der rechten Seite (aufsteigenden Seite) des Kolon oder mit einer Größe von mehr als 5 mm können empfohlen werden, durch Kaltschlingenpolypektomie entfernt zu werden, während andere JNET-Typ 1 Läsionen ohne Entfernung belassen werden können. Bei JNET-Typ 2A Läsionen kann in Abhängigkeit von der Größe empfohlen werden, eine Kaltzangenpolypektomie oder eine Kaltschlingenpolypektomie zu verwenden.
-
Die Behandlungsleitlinie 112 kann auch andere Vorschläge implementieren, wie beispielsweise eine Prüfung des NBI- oder RDI-Bildmaterial der Läsion und das Einsenden einer entfernten Läsion an die Pathologie oder andere geeignete Handlungsweisen.
-
Sobald das Schema eine Behandlungsleitlinie ergibt, wird die Behandlungsleitlinie der Bedienperson vorgelegt, wie es in 2 veranschaulicht ist.
-
Das in 3 gezeigte Schaubild soll eine mögliche Implementierung des Arbeitsablaufs veranschaulichen, soll jedoch den Umfang der vorliegenden Offenbarung auf keinen Fall einschränken. Alternativ können andere Schemata implementiert sein, um zu Behandlungsleitlinien zu gelangen, und Schemata können geändert werden, wenn die Praxis die Notwendigkeit für Anpassung zeigt oder neue Behandlungsverfahren und -werkzeuge verfügbar werden.
-
Des Weiteren können moderne maschinelle Lernalgorithmen, wie beispielsweise einige auf der Grundlage faltender neuronaler Netzwerke oder andere geeignete Algorithmen von „künstlicher Intelligenz“, trainiert werden, um das vollständige Schema zu implementieren. Dies geschieht durch Training des neuronalen Netzwerks oder eines anderen Algorithmus mit Trainingsbildern, die den Arbeitsablauf durchlaufen haben und für die eine entsprechende Behandlungsleitlinie gemäß dem Schema ermittelt wurde. In der Kategorisierungstrainingsphase werden dem neuronalen Netzwerk die Bilder von Läsionen von realen oder simulierten Koloskopien und die entsprechende Behandlungsleitlinie als gewünschte Ausgabe vorgelegt. Dieses Trainingsverfahren beinhaltet die in 3 gezeigten Schritte 102 bis 112 durch die Vorbereitung der Trainingsdaten.
-
4 zeigt eine andere Anzeigeansicht einer visuellen Benutzerschnittstelle des computergestützten Assistenzsystems 10 gemäß der vorliegenden Offenbarung. Im Gegensatz zu 2 zeigt das in 4 gezeigte Bildmaterial der Koloskopie ein endoskopisches Werkzeug mit 15 mm Kaltschlinge (40), das dabei ist, eine Läsion 24 vom Typ NICE 2, zu entfernen, wie in der Läsionsinformation 36' und der endoskopischen Werkzeuginformation 42 auf der linken Seite der Anzeige 20 gezeigt ist. Das Overlay von CAD-Rechtecken oder anderer Indikatoren ist ausgeschaltet, um die mentale Belastung der Bedienperson in dieser Situation zu reduzieren. Die Steuereinheit 14, insbesondere ihre Bildanalyse-Untereinheit 14b, hat die Kaltschlinge 40 unter Verwendung einer für diesen Zweck angepassten oder trainierten Bilderkennungsfunktionalität automatisch identifiziert.
-
Die Läsionsinformation 36' unterscheidet sich etwas von der in 2 gezeigten. Sie enthält einen Umfangspositionsindikator in gekürzter Form. Diese Größenanpassung ist erfolgt, um der Information über den laufenden Vorgang zur Entfernung einer Läsion, nämlich dem verwendeten Instrument, mehr visuelles Gewicht zu verleihen. Im Falle einer Kaltschlinge ist dies relativ einfach. Im Falle von EMR oder HSP kann es zusätzliche Information über den Aktivierungszustand des Werkzeugs geben, die hervortretend angezeigt werden würde.
-
5 zeigt eine schematische Darstellung eines beispielhaften computergestützten klinischen Entscheidungsunterstützungssystems 200, das ausgelegt ist, Aspekte des computergestützten Assistenzsystems 10 zu implementieren. Bei verschiedenen Ausführungsformen umfasst das CDSS 200 eine Eingabeschnittstelle 202, über die Eingabemerkmale, wie beispielsweise Daten oder frühere Befunde, die für einen Patienten spezifisch sind, als Eingabemerkmale für ein Modell künstlicher Intelligenz (KI) 204 vorgesehen werden, einen Prozessor, der eine Inferenzoperation durchführt, bei der die Eingabemerkmale auf das KI-Modell angewendet werden, um eine Ausgabe zu erzeugen, wie beispielsweise anzuzeigende Information und eine ausgewählte Behandlungsleitlinie, die für eine während einer Koloskopie gefundene Läsion geeignet ist, und eine Ausgabeschnittstelle 206, über welche die Ausgabe einer Bedienperson, z. B. ein Kliniker, mitgeteilt wird.
-
Bei einigen Ausführungsformen kann die Eingabeschnittstelle 202 eine direkte Datenverbindung zwischen dem CDSS 200 und einer oder mehreren medizinischen Einrichtungen sein, die zumindest einige der Eingabemerkmale erzeugen. Beispielsweise kann die Eingabeschnittstelle 202 Einstelldaten des videoendoskopischen Instruments 12 während einer Koloskopie direkt an das CDSS 200 übertragen. Zusätzlich oder alternativ kann die Eingabeschnittstelle 202 eine klassische Benutzerschnittstelle sein, die eine Interaktion zwischen einem Benutzer und dem CDSS 200 erleichtert. Beispielsweise kann die Eingabeschnittstelle 202 eine Benutzerschnittstelle vereinfachen, über die der Benutzer Läsionsgrößen oder -klassifikationen als Eingabe in das KI-Modell manuell eingeben kann. Zusätzlich oder alternativ kann die Eingabeschnittstelle 202 das CDSS 200 mit Zugriff auf eine elektronische Patientenakte versehen, aus der ein oder mehrere Eingabemerkmale extrahiert werden können. In einem beliebigen dieser Fälle ist die Eingabeschnittstelle 202 ausgelegt, ein oder mehrere der folgenden Eingabemerkmale in Zusammenhang mit einem spezifischen Patienten zu oder vor einem Zeitpunkt zu sammeln, zu dem das CDSS 200 verwendet wird, um Koloskopie-Bildmaterial von Läsionen zu beurteilen, um zu einer dem Kliniker vorzulegenden, geeigneten Behandlungsleitlinie zu gelangen: Läsionsgröße, Läsionsklassifikation, Oberflächenstruktur, Position, falls nicht bereits aus anderen Vorgangsdatenquellen oder Bilderkennung bekannt ist.
-
Auf der Grundlage eines oder mehrerer der obigen Eingabemerkmale führt der Prozessor eine Inferenzoperation unter Verwendung des KI-Modells durch, um Behandlungsleitlinien und möglicherweise kontextsensitive Informationsanzeigen für die Bedienperson zu erzeugen. Beispielsweise kann die Eingabeschnittstelle 202 die von einer Datenbank 210 gesammelten Eingabemerkmale, Benutzereingabe, Instrumentierung und/oder Bilderkennung, wie beispielsweise einer detektierten Läsion 220, einer Eingabeebene des KI-Modells zuführen, die diese Eingabemerkmale über das KI-Modell an eine Ausgabeebene weiterleitet. Das KI-Modell kann einem Computersystem die Fähigkeit bieten, Aufgaben durchzuführen, ohne explizit programmiert zu sein, indem Schlussfolgerungen auf der Grundlage von bei der Analyse von Daten gefundenen Mustern gezogen werden. Das KI-Modell beschäftigt sich mit der Untersuchung und Entwicklung von Algorithmen (z.B. Algorithmen zum maschinellen Lernen), die aus bestehenden Daten lernen und Vorhersagen über neue Daten treffen können. Solche Algorithmen arbeiten, indem sie ein KI-Modell aus beispielhaften Trainingsdaten aufbauen, um als Ausgaben oder Beurteilungen ausgedrückte datengesteuerte Vorhersagen oder Entscheidungen zu treffen.
-
Es gibt zwei übliche Modi für maschinelles Lernen (ML), nämlich beaufsichtigtes ML und unbeaufsichtigtes ML. Beaufsichtigtes ML verwendet Vorkenntnisse (z.B. Beispiele, die Eingaben mit Ausgaben oder Ergebnissen korrelieren), um die Beziehungen zwischen den Eingaben und den Ausgaben zu lernen. Das Ziel von beaufsichtigtem ML ist es, eine Funktion zu lernen, die bei einigen gegebenen Trainingsdaten die Beziehung zwischen den Trainingseingaben und -ausgaben am besten annähert, so dass das ML-Modell die gleichen Beziehungen umsetzen kann, wenn Eingaben eingegeben werden, um die entsprechenden Ausgaben zu erzeugen. Unbeaufsichtigtes ML ist das Training eines ML-Algorithmus unter Verwendung von Information, die weder klassifiziert noch gekennzeichnet ist und es dem Algorithmus ermöglicht, auf diese Information ohne Anleitung tätig zu werden. Unbeaufsichtigtes ML ist nützlich bei der Forschungsanalyse, da es eine Datenstruktur automatisch identifizieren kann.
-
Übliche Aufgaben für beaufsichtigtes ML sind Klassifikationsprobleme und Regressionsprobleme. Klassifikationsprobleme, die auch als Kategorisierungsprobleme bezeichnet werden, zielen darauf ab, Elemente in einen von mehreren Kategoriewerten zu klassifizieren (z.B. ist dieses Objekt ein Apfel oder eine Orange?). Regressionsalgorithmen zielen darauf ab, einige Elemente zu quantifizieren (z.B. indem für den Wert einiger Eingaben eine Punktzahl vorgesehen wird). Einige Beispiele für üblicherweise verwendete beaufsichtigte ML-Algorithmen sind Logistische Regression (LR), Naive-Bayes, Random Forest (RF), neuronale Netzwerke (NN), tiefe neuronale Netzwerke (DNN), Matrixfaktorisierung und Support Vector Machines (SVM).
-
Einige übliche Aufgaben für unbeaufsichtigtes ML umfassen Clustering, Repräsentationslernen und Dichteschätzung. Einige Beispiele für üblicherweise verwendete unbeaufsichtigte ML-Algorithmen sind K-Means-Clustering, Hauptkomponentenanalyse und Autoencoder.
-
Eine andere Art von ML ist föderales Lernen (auch als gemeinschaftliches Lernen bekannt), das einen Algorithmus über mehrere dezentrale, lokale Daten haltende Einrichtungen trainiert, ohne die Daten auszutauschen. Dieser Ansatz steht im Gegensatz zu traditionellen zentralisierten Techniken des maschinellen Lernens, bei denen alle lokalen Datensätze auf einen Server hochgeladen werden, sowie zu klassischeren dezentralen Ansätzen, die oft davon ausgehen, dass lokale Datenproben identisch verteilt sind. Föderales Lernen ermöglicht es mehreren Akteuren, ein gemeinsames, robustes Modell für maschinelles Lernen zu erstellen, ohne Daten gemeinsam zu benutzen, und ermöglicht so, kritische Probleme zu beheben, wie beispielsweise Datenschutz, Datensicherheit, Datenzugriffsrechte und Zugriff auf heterogene Daten.
-
In einigen Beispielen kann das KI-Modell vor der Durchführung der Inferenzoperation kontinuierlich oder periodisch trainiert werden. Dann können während der Inferenzoperation die dem KI-Modell bereitgestellten patientenspezifischen Eingabemerkmale von einer Eingabeebene über eine oder mehrere verborgene Ebenen schließlich zu einer Ausgabeebene übertragen werden, die den Behandlungsleitlinien entspricht. Beispielsweise kann die Eingabe von Bildmaterial eines Geschwürs mit spezifischem Pit-Pattern der Eingabeebene des neuronalen Netzwerks zugeführt werden, kann über das neuronale Netzwerk übertragen werden und mit bestimmten Stärken zu den Neuronen der Ausgabeebene gelangen, die unterschiedliche Behandlungsleitlinien darstellen. Es wird die Behandlungsleitlinie des Neurons der Ausgabeebene mit der stärksten Reaktion gewählt. Aufgrund der Größe seiner Dominanz über die Reaktionen der anderen Neuronen der Ausgabeebene oder deren Fehlen kann auch eine Konfidenzbeurteilung berechnet werden. Falls die Konfidenzbeurteilung zu niedrig ist, kann dies ebenfalls angegeben werden, was den Kliniker veranlasst, die betreffende Läsion im Zusammenhang mit der Gesundheit des Patienten und anderen Parametern weiter zu untersuchen.
-
Während und/oder nach der Inferenzoperation können die Behandlungsleitlinien dem Benutzer über die Benutzerschnittstelle (UI) mitgeteilt werden. Beispielsweise wird das CDSS einen Kliniker über die patientenspezifische, KI-erzeugte Ausgabe in der in 2 oder 4 gezeigten Weise über die vorgeschlagene Diagnose- und Behandlungsoption und möglicherweise das entsprechende Ki-erzeugte Konfidenzniveau informieren.
-
Alle genannten Ausprägungen, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Ausprägungen, die in Kombination mit anderen Ausprägungen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Ausführungsformen gemäß der Erfindung können durch einzelne Ausprägungen oder eine Kombination mehrerer Ausprägungen verwirklicht sein. Merkmale, welche mit der Formulierung „insbesondere“ oder „besonders“ kombiniert sind, sind als bevorzugte Ausführungsformen zu behandeln.
-
Bezugszeichenliste
-
- 10
- System
- 12
- videoendoskopisches Instrument
- 14
- Steuereinheit
- 14a
- Endoskop-Steueruntereinheit
- 14b
- Bildanalyse-Untereinheit
- 16
- Anzeigeeinrichtung mit grafischer Benutzerschnittstelle
- 20
- Anzeige
- 22
- Bild von Videoübertragung vom Endoskop
- 24
- Läsion
- 26
- CAD-Overlay
- 28
- Anzeigefeld mit zusätzlicher Information
- 30
- Patienten- und verfahrenstechnische Daten
- 32
- Fortschrittsbalken
- 34
- Umfangspositionsindikator
- 36
- Läsionsinformation
- 36'
- Läsionsinformation
- 38
- Instrumentierungs- und Modusinformation
- 40
- Kaltschlinge
- 42
- endoskopische Werkzeuginformation
- 100
- Behandlungsleitlinien-Auswahlschema
- 102
- Identifizierung einer Läsion in Video oder Standbild
- 104
- Ermittlung des makroskopischen Typs
- 106
- Ermittlung der Klassifikation
- 108
- Ermittlung der Größe
- 110
- Ermittlung anderer Ausprägungen
- 112
- Auswahl von Behandlungsleitlinien
- 200
- klinisches Entscheidungsunterstützungssystem
- 202
- Eingabeschnittstelle
- 204
- KI-Modell
- 206
- Ausgabeschnittstelle
- 210
- Datenbank
- 220
- detektierte Läsion
- 230
- Behandlungsleitlinie
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- M. Kato et al. vorgeschlagenen Behandlungsstrategie-Algorithmus, „Validation of treatment...“, Endoscopy International Open 2018; 06: E934-E940 [0056]
