DE112020001683T5

DE112020001683T5 - Eine plattform zur auswertung medizinischer informationen und verfahren zu deren verwendung

Info

Publication number: DE112020001683T5
Application number: DE112020001683.8T
Authority: DE
Inventors: Brigil Vincent; Keiji Sugihara; William Benjamin Carruthers III; Yoshiyuki KURAMI
Original assignee: Fujifilm Medical Systems USA Inc
Current assignee: Fujifilm Healthcare Americas Corp
Priority date: 2019-03-29
Filing date: 2020-02-28
Publication date: 2022-01-13
Also published as: ES2888523A2; JP2022528095A; GB2596960B; GB2596960A; MX2021011648A; GB202114832D0; ES2888523R1; WO2020205116A1; US20200311938A1; US10977796B2; AU2020253890A1; EP3948885A1; EP3948885A4; CA3131877A1

Abstract

Es werden eine Plattform zur Auswertung medizinischer Informationen und ein Verfahren zu deren Nutzung beschrieben. In einer Ausführungsform umfasst das Verfahren: Überwachen eines ersten Hinweises auf eine Inhaltsänderung in einer oder mehreren Datenquellen durch ein medizinisches Bildverwaltungssystem; Bestimmen, als Reaktion auf den ersten Hinweis, welche einer Vielzahl von Bildanalyse-Engines mindestens ein Bild des-einen oder der mehreren neuen medizinischen Bilder, die mit der Inhaltsänderung verbunden sind, analysieren soll, basierend auf einer oder beiden Informationen, die das eine oder die mehreren Bilder begleiten, oder auf Ergebnissen der Anwendung der Körperteilerkennung auf das mindestens eine Bild; Senden einer ersten Benachrichtigung, um die Bildanalyse des mindestens einen Bildes des einen oder der mehreren medizinischen Bilder zu starten, wobei die erste Benachrichtigung an jede Bildanalyse-Engine in einem Satz von einer oder mehreren Bildanalyse-Engines gesendet wird, die dazu bestimmt sind, das mindestens eine Bild des einen oder der mehreren neuen medizinischen Bilder zu analysieren; Empfangen eines zweiten Hinweises, dass Bildanalyseergebnisse von dem Satz von einer oder mehreren Bildanalyse-Engines verfügbar sind; und Senden einer zweiten Benachrichtigung an Abnehmer, um die Verfügbarkeit von Bildanalyseergebnissen für den Zugriff und die Anzeige dadurch anzuzeigen.

Description

BEREICH DER ERFINDUNG
Ausführungsformen der vorliegenden Erfindung beziehen sich auf das Gebiet der medizinischen Bildgebung; insbesondere beziehen sich Ausführungsformen der vorliegenden Erfindung auf die Verwendung einer automatisierten Bildanalyseplattform (z. B. Analyse mit künstlicher Intelligenz (KI)) zur Analyse medizinischer Bilder.
HINTERGRUND
Ärzte und anderes medizinisches Personal prüfen häufig alle relevanten klinischen Informationen eines Patienten, wenn sie medizinische Entscheidungen treffen. Die klinischen Informationen sind in der Regel in Gesundheitsstudien und strukturierten Berichten enthalten. Diese enthalten oft Informationen über die Krankengeschichte eines Patienten, Diagnoseberichte aus verschiedenen Bereichen, Bilder und andere klinische Daten in elektronischem Format.
Zu den Gesundheitsstudien eines Patienten gehört auch ein diagnostischer Bildgebungsbericht, der Parameterwerte (z. B. Messungen, Messwerte usw.) und Bilder von Untersuchungen oder Verfahren enthält, die in der Regel zwischen Ärzten und Klinikern ausgetauscht werden, um die Diagnose und Behandlung zu unterstützen.
Die Gesundheitsstudien werden in der Regel erstellt, wenn ein Arzt eine Untersuchung für seinen Patienten anordnet. Die Untersuchung wird durchgeführt und die erzeugte Studie wird häufig an ein Bildarchivierungs- und Kommunikationssystem (PACS, picture archiviving and communication system) gesendet. Ein Arzt oder Kliniker kann ein medizinisches Bildverwaltungssystem verwenden, um eine Arbeitsliste mit Studien für seine Patienten zu erhalten.
Seit kurzem werden verschiedene Algorithmen der künstlichen Intelligenz (KI) in PACS-Systemen für die Radiologie eingesetzt. Diese Algorithmen automatisieren den Prozess der Auswertung von Bildern in Gesundheitsstudien. Diese Algorithmen können auf einzelne Bilder oder komplette Studien angewendet werden, und die Ergebnisse werden dem interpretierenden Arzt sowie anderen klinischen Benutzern zugänglich gemacht. Auch wenn die Ergebnisse der Algorithmen verfügbar sind, kann es sein, dass der interpretierende Arzt keine Kenntnis von den Ergebnissen hat, da die KI-Algorithmen auf verschiedenen Plattformen eingesetzt werden und es keine organisierte Speicherung, keinen Zugriff und keinen Datenfluss für die KI-Ergebnisse gibt. Aufgrund dieser Einschränkungen ist der interpretierende Arzt möglicherweise nicht in der Lage, die automatisierten Ergebnisse rechtzeitig zu überprüfen, was dem Patienten mehr Schaden zufügen oder die Behandlung verzögern könnte, wenn die Überprüfung nicht so schnell erfolgt, wie es der Prioritätsstufe der Befunde entspricht.
ZUSAMMENFASSUNG DER ERFINDUNG
Es werden eine Plattform zur Auswertung medizinischer Informationen und ein Verfahren zu deren Nutzung beschrieben. In einer Ausführungsform umfasst das Verfahren: Überwachen eines ersten Hinweises auf eine Inhaltsänderung in einer oder mehreren Datenquellen durch ein medizinisches Bildverwaltungssystem; Bestimmen, als Reaktion auf den ersten Hinweis, welche einer Vielzahl von Bildanalyse-Engines mindestens ein Bild des-einen oder der mehreren neuen medizinischen Bilder, die mit der Inhaltsänderung verbunden sind, analysieren soll, basierend auf einer oder beiden der Informationen, die das eine oder die mehreren Bilder begleiten, oder den Ergebnissen der Anwendung der Körperteilerkennung auf das mindestens eine Bild; Senden einer ersten Benachrichtigung, um die Bildanalyse des mindestens einen Bildes des einen oder der mehreren medizinischen Bilder zu starten, wobei die erste Benachrichtigung an jede Bildanalyse-Engine in einem Satz von einer oder mehreren Bildanalyse-Engines gesendet wird, die dazu bestimmt sind, das mindestens eine Bild des einen oder der mehreren neuen medizinischen Bilder zu analysieren; Empfangen eines zweiten Hinweises, dass Bildanalyseergebnisse von dem Satz von einer oder mehreren Bildanalyse-Engines verfügbar sind; und Senden einer zweiten Benachrichtigung an Abnehmer bzw. Abbonenten, um die Verfügbarkeit von Bildanalyseergebnissen für den Zugriff und die Anzeige dadurch anzuzeigen.
Figurenliste
Die vorliegende Erfindung wird anhand der nachstehenden detaillierten Beschreibung und der beigefügten Zeichnungen verschiedener Ausführungsformen der Erfindung, die jedoch nicht als Beschränkung der Erfindung auf die spezifischen Ausführungsformen zu verstehen sind, sondern lediglich der Erläuterung und dem Verständnis dienen, besser verständlich.

1 zeigt eine beispielhafte medizinische Informationsverarbeitungssystemumgebung, mit der Ausführungsformen der vorliegenden Erfindung implementiert werden können.
2 ist ein Blockdiagramm, das eine Ausführungsform einer Computersystemarchitektur zur Analyse von Studieninformationen (z. B. Bilder) im Gesundheitswesen zeigt.
3 ist ein Datenflussdiagramm einer Ausführungsform eines Prozesses zur Analyse medizinischer Bilder unter Verwendung automatisierter Bildanalysealgorithmen (z. B. KI-Algorithmen), die auf ein oder mehrere medizinische Bilder angewendet wurden.
4A ist ein Blockdiagramm einer Ausführungsform einer KI-Plattform zur Durchführung von Bildanalysen an medizinischen Bildern.
4B ist ein Datenflussdiagramm einer Ausführungsform einer KI-Plattform zur Durchführung von Bildanalysen an medizinischen Bildern.
5 ist ein Flussdiagramm einer Ausführungsform eines Prozesses zur Verarbeitung medizinischer Bilder mithilfe einer Bildanalyseplattform (z. B. KI-Analyse).
6 ist ein Flussdiagramm einer anderen Ausführungsform eines Prozesses zur Verarbeitung medizinischer Bilder unter Verwendung einer Bildanalyseplattform (z. B. KI-Analyse).
7 zeigt ein Beispiel für eine logische Darstellung eines medizinischen Bildgebungs- und Informationsverwaltungssystems.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden zahlreiche Details aufgeführt, um die vorliegende Erfindung näher zu erläutern. Dem Fachmann wird jedoch klar sein, dass die vorliegende Erfindung auch ohne diese spezifischen Details ausgeführt werden kann. In anderen Fällen werden bekannte Strukturen und Vorrichtungen in Form von Blockdiagrammen und nicht im Detail dargestellt, um die vorliegende Erfindung nicht zu verdecken.
Ausführungsformen der vorliegenden Erfindung beziehen sich auf Systeme und Verfahren zur Durchführung eines Bildanalyse-Workflows bzw. Arbeitsablaufs mit einer Plattform zur Analyse medizinischer Bilder. In einer Ausführungsform umfasst die Bildanalyse eine Analyse mit künstlicher Intelligenz (KI), die verwendet wird, um medizinische Bilder als Teil eines Arbeitsablaufs zu analysieren (z. B. ein Arbeitsablauf in der Radiologie, ein Arbeitsablauf in der Kardiologie usw.). In einer Ausführungsform sind die medizinischen Bilder Teil von Gesundheitsstudien und die Plattform ist eine KI-Plattform, die Teil eines medizinischen Bildverwaltungssystems ist oder mit diesem verbunden ist. In einer Ausführungsform ist die KI-Plattform eine auf einer offenen API (bzw. OpenAPI) basierende Plattform, in die mehrere KI-Algorithmen integriert sind, um eine nahtlose Integration für KI-Arbeitsabläufe in verschiedenen Bereichen der Medizin zu ermöglichen. Dadurch, dass mehrere KI-Algorithmen für die Analyse medizinischer Bilder zur Verfügung stehen, ist die Wahrscheinlichkeit höher, dass medizinische Zustände bei Patienten schneller erkannt werden als beim bisherigen Stand der Technik. Dies ermöglicht es Studien im Gesundheitswesen, kritische bzw. dringende Ergebnisse ganz oben auf der Liste zu präsentieren, wodurch eine schnellere Diagnose möglich ist. Nachdem ein kurzer Überblick über die vorliegende Erfindung gegeben wurde, werden Ausführungsformen der Erfindung unter Bezugnahme auf die 1-7 erörtert.
Der Gegenstand der Ausführungsformen der vorliegenden Erfindung wird hierin genau beschrieben, um die gesetzlichen Anforderungen zu erfüllen. Die Beschreibung selbst soll jedoch den Anwendungsbereich dieses Patents nicht einschränken. Vielmehr haben die Erfinder in Betracht gezogen, dass der beanspruchte Gegenstand auch auf andere Weise verkörpert werden könnte, um verschiedene Schritte oder Kombinationen von Schritten, die den in diesem Dokument beschriebenen ähnlich sind, in Verbindung mit anderen gegenwärtigen oder zukünftigen Technologien zu umfassen.
Nach der kurzen Beschreibung von Ausführungsformen der vorliegenden Erfindung wird im Folgenden eine beispielhafte Betriebsumgebung beschrieben, die sich für die Umsetzung von Ausführungsformen der vorliegenden Erfindung eignet.
Unter Bezugnahme auf die Zeichnungen im Allgemeinen und zunächst auf 1 im Besonderen wird eine medizinische Informationsverarbeitungssystemumgebung, mit der Ausführungsformen der vorliegenden Erfindung implementiert werden können, dargestellt und allgemein mit der Referenznummer 120 bezeichnet. Der Fachmann wird verstehen, dass die dargestellte medizinische Informationsverarbeitungssystemumgebung 120 lediglich ein Beispiel für eine geeignete Computerumgebung ist und keine Einschränkung des Anwendungsbereichs oder der Funktionalität der Erfindung darstellen soll. Auch sollte die medizinische Informationsverarbeitungssystemumgebung 120 nicht so interpretiert werden, dass eine Abhängigkeit oder Anforderung in Bezug auf eine einzelne Komponente oder eine Kombination von Komponenten besteht, die darin dargestellt sind.
Ausführungsformen der vorliegenden Erfindung können mit zahlreichen Allzweck- oder Spezial-Computersystemumgebungen oder -konfigurationen betrieben werden. Beispiele für bekannte Computersysteme, -umgebungen und/oder -konfigurationen, die für die Verwendung mit der vorliegenden Erfindung geeignet sein können, sind beispielsweise Personalcomputer, Servercomputer, Handheld- oder Laptop-Geräte, Multiprozessorsysteme, mikroprozessorbasierte Systeme, programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Großrechner, verteilte Computerumgebungen, die eines der oben genannten Systeme oder Geräte enthalten, und dergleichen.
Ausführungsformen der vorliegenden Erfindung können im allgemeinen Kontext von computerausführbaren Anweisungen, wie z. B. Programmmodulen, beschrieben werden, die von einem Computer ausgeführt werden. Im Allgemeinen umfassen Programmmodule Routinen, Programme, Objekte, Komponenten und Datenstrukturen, die bestimmte Aufgaben ausführen oder bestimmte abstrakte Datentypen implementieren, sind aber nicht darauf beschränkt. Die vorliegende Erfindung kann auch in verteilten Computerumgebungen angewandt werden, in denen Aufgaben von entfernten Verarbeitungsgeräten ausgeführt werden, die über ein Kommunikationsnetz verbunden sind. In einer verteilten Datenverarbeitungsumgebung können sich Programmmodule in Verbindung mit lokalen und/oder entfernten Computerspeichermedien befinden, zu denen, nur als Beispiel, Speichermedien gehören.
Wie in 1 dargestellt, umfasst die beispielhafte medizinische Informationsverarbeitungssystemumgebung 120 ein Allzweck-Rechengerät in Form eines Steuerservers 122. Zu den Komponenten des Steuerservers 122 können unter anderem eine Verarbeitungseinheit, ein interner Systemspeicher und ein geeigneter Systembus zur Verbindung verschiedener Systemkomponenten, einschließlich des Datenbankclusters 124, mit dem Steuerserver 122 gehören. Bei dem Systembus kann es sich um verschiedene Arten von Busstrukturen handeln, einschließlich eines Speicherbusses oder Speichercontrollers, eines Peripheriebusses und eines lokalen Busses, wobei eine beliebige Busarchitektur verwendet werden kann. Zu diesen Architekturen gehören beispielsweise der ISA-Bus (Industry Standard Architecture), der MCA-Bus (Micro Channel Architecture), der EISA-Bus (Enhanced ISA), der lokale VESA-Bus (Video Electronic Standards Association) und der PCI-Bus (Peripheral Component Interconnect), auch als Mezzanine-Bus bekannt.
Der Steuerserver 122 enthält in der Regel eine Reihe von computerlesbaren Medien, z. B. den Datenbankcluster 124, oder hat Zugriff darauf. Bei den computerlesbaren Medien kann es sich um jedes verfügbare Medium handeln, auf das der Steuerserver 122 zugreifen kann, einschließlich flüchtiger und nichtflüchtiger Medien sowie entfernbarer und nicht entfernbarer Medien. Als Beispiel und ohne Einschränkung können computerlesbare Medien Computerspeichermedien umfassen. Computerspeichermedien können ohne Einschränkung flüchtige und nichtflüchtige Medien sowie entfernbare und nicht entfernbare Medien umfassen, die in einem beliebigen Verfahren oder einer Technologie zur Speicherung von Informationen, wie z. B. computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen oder anderen Daten, implementiert sind. In dieser Hinsicht können Computerspeichermedien RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologien, CD-ROM, Digital Versatile Disks (DVDs) oder andere optische Plattenspeicher, Magnetkassetten, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder jedes andere Medium umfassen, das zum Speichern der gewünschten Informationen verwendet werden kann und auf das der Steuerserver 122 zugreifen kann, ist aber nicht darauf beschränkt. Zu den Kommunikationsmedien gehören beispielsweise verdrahtete Medien, wie ein verdrahtetes Netzwerk oder eine Direktverbindung, und drahtlose Medien, wie akustische, RF-, Infrarot- und andere drahtlose Medien, ohne Einschränkung. Kombinationen der oben genannten Medien können ebenfalls in den Bereich der computerlesbaren Medien fallen.
Die oben erörterten und in 1 dargestellten Computerspeichermedien, einschließlich des Datenbankclusters 124, dienen der Speicherung von computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten für den Steuerserver 122. Der Steuerserver 122 kann in einem Computernetzwerk 126 betrieben werden, das logische Verbindungen zu einem oder mehreren entfernten Computern 128 verwendet. Entfernte Computer 128 können sich an einer Vielzahl von Orten in einer medizinischen oder Forschungsumgebung befinden, z. B. in klinischen Laboratorien (z. B. molekulardiagnostischen Laboratorien), Krankenhäusern und anderen stationären Einrichtungen, veterinärmedizinischen Umgebungen, ambulanten Einrichtungen, medizinischen Abrechnungs- und Finanzbüros, Krankenhausverwaltungseinrichtungen, Umgebungen für die häusliche Pflege und Arztpraxen. Zu den Klinikern gehören unter anderem der behandelnde Arzt oder die behandelnden Ärzte, Spezialisten wie Intensivmediziner, Chirurgen, Radiologen, Kardiologen und Onkologen, Notfallsanitäter, Arzthelfer, Krankenschwestern, Krankenpflegehelfer, Apotheker, Diätassistenten, Mikrobiologen, Laborexperten, Labortechniker, Radiologietechniker, Forscher, Tierärzte, Studenten und dergleichen. Entfernte Computer 128 können sich auch in nichttraditionellen medizinischen Versorgungsumgebungen befinden, so dass die gesamte Gesundheitsversorgung in das Netzwerk integriert werden kann. Bei den entfernten Computern 128 kann es sich um Personal Computer, Server, Router, Netzwerk-PCs, Peer-Geräte, andere gemeinsame Netzwerkknoten oder ähnliches handeln, die einige oder alle der oben in Bezug auf den Steuerserver 122 beschriebenen Elemente enthalten können. Die Geräte können persönliche digitale Assistenten oder andere ähnliche Geräte sein.
Zu den beispielhaften Computernetzwerken 126 können unter anderem lokale Netzwerke (LANs) und/oder Weitverkehrsnetzwerke (WANs) gehören. Solche Netzwerkumgebungen sind in Büros, unternehmensweiten Computernetzwerken, Intranets und im Internet üblich. Beim Einsatz in einer WAN-Netzwerkumgebung kann der Steuerserver 122 ein Modem oder andere Mittel zur Herstellung der Kommunikation über das WAN, z. B. das Internet, enthalten. In einer vernetzten Umgebung können Programmmodule oder Teile davon in Verbindung mit dem Steuerserver 122, dem Datenbank-Cluster 124 oder einem der entfernten Computer 128 gespeichert werden. Beispielsweise können sich verschiedene Anwendungsprogramme im Speicher eines oder mehrerer entfernter Computer 128 befinden, ohne dass dies eine Einschränkung darstellt. Fachleute wissen, dass die gezeigten Netzwerkverbindungen beispielhaft sind und dass auch andere Mittel zur Herstellung einer Kommunikationsverbindung zwischen den Computern (z. B. dem Steuerserver 122 und den entfernten Computern 128) verwendet werden können.
Im Betrieb kann ein Kliniker Befehle und Informationen in den Steuerserver 122 eingeben oder die Befehle und Informationen über einen oder mehrere entfernte Computer 128 durch Eingabegeräte wie eine Tastatur, ein Zeigegerät (allgemein als Maus bezeichnet), einen Trackball oder ein Touchpad an den Steuerserver 122 übermitteln. Andere Eingabegeräte können unter anderem Mikrofone, Scanner oder Ähnliches sein. Befehle und Informationen können auch direkt von einem entfernten Gerät des Gesundheitswesens an den Steuerserver 122 gesendet werden. Neben einem Monitor können der Steuerserver 122 und/oder die entfernten Computer 128 auch andere periphere Ausgabegeräte wie Lautsprecher und einen Drucker umfassen.
Obwohl viele andere interne Komponenten des Steuerservers 122 und der entfernten Computer 128 nicht abgebildet sind, werden Fachleute wissen, dass diese Komponenten und ihre Verbindung untereinander gut bekannt sind. Dementsprechend werden zusätzliche Details über den internen Aufbau des Steuerservers 122 und der entfernten Computer 128 hier nicht weiter erläutert.
In 2 ist ein Blockdiagramm dargestellt, das ein Beispiel für eine Computersystemarchitektur zur Durchführung von Bildanalysen (z. B. Analysen mit künstlicher Intelligenz (KI) an medizinischen Bildern) zeigt. Es wird deutlich, dass die in 2 gezeigte Computersystemarchitektur lediglich ein Beispiel für ein geeignetes Computersystem ist und keine Abhängigkeit oder Anforderung in Bezug auf ein einzelnes Modul/Komponente oder eine Kombination von Modulen/Komponenten darstellen soll.
In einer Ausführungsform umfasst das Computersystem eine Studienanalyse 200, eine oder mehrere Datenbanken 230, in denen ungelesene Gesundheitsstudien oder bestehende Gesundheitsstudien, die neue medizinische Bilder (und möglicherweise andere Gesundheitsstudien) enthalten, gespeichert und verwaltet werden, und eine oder mehrere Datenbanken 231, in denen Ergebnisse gespeichert und verwaltet werden, die sich aus der Anwendung eines oder mehrerer automatisierter Bildanalysealgorithmen (z. B. Analysealgorithmen der künstlichen Intelligenz (KI)) auf Bilder der ungelesenen Gesundheitsstudien ergeben, wie sie z. B. in den Datenbanken 230 gespeichert sind. In einer Ausführungsform sind die Datenbanken 230 und 231 derselbe Satz von Datenbanken.
In einer Ausführungsform enthalten die Gesundheitsstudien Bilder und Studiendaten, wie z. B. Werte eines oder mehrerer medizinischer Parameter (z. B. Messungen usw.), die sich auf die Gesundheitsstudie beziehen. Beispiele für medizinische Bilder sind radiologische Bilder, Laborbilder, Fotos, kardiologische Bilder, wie z. B. Echokardiographie-Bilder, und andere medizinische Bilder. Fachleute werden verstehen, dass die Datenbanken getrennt oder integriert geführt werden können. Datenbanken 230 können Bilder oder andere Studiendaten (z. B. Parameterwerte (z. B. Messungen)) enthalten, die mit der elektronischen Patientenakte (EMR, electronic medical record) verknüpft sind, so dass Bilder und/oder Studiendaten aus der EMR ausgewählt und in einem Viewer über die Anzeigekomponente 222 angezeigt werden können oder mit einem VNA (vendor neutral archive, herstellerneutrales Archiv) verknüpft sind, das Bilder, EKG-Bilder, Notizen usw. speichert. Die hier verwendete Abkürzung „EMR“ ist nicht einschränkend zu verstehen und kann sich im weitesten Sinne auf alle Aspekte der Krankenakte des Patienten beziehen, die in einem digitalen Format dargestellt werden. Im Allgemeinen wird die EMR von Systemen unterstützt, die so konfiguriert sind, dass sie die Speicherung und den Abruf einzelner Aufzeichnungen mit Hilfe von Computergeräten koordinieren. Auf diese Weise kann eine Vielzahl von gesundheitsbezogenen Informationen gespeichert und abgerufen werden. In einer Ausführungsform handelt es sich bei den automatisierten Bildanalysealgorithmen um KI-Analysealgorithmen, die auf ein oder mehrere Bilder von Gesundheitsstudien angewendet werden. Diese Algorithmen können per Fernzugriff über einen oder mehrere Server (z. B. KI-Engines/Maschinen und -Anwendungen) angewendet werden, die mit einer medizinischen Bildverwaltungsplattform kommunizieren. Diese Server empfangen die Studien und die dazugehörigen Bilder und wenden die Algorithmen automatisch auf diese Bilder an. Alternativ werden die KI-Analysealgorithmen in die Plattform integriert und von der Bildanalysekomponente 218 lokal auf die Bilder der Gesundheitsstudien angewendet, nachdem die Studien vom medizinischen Bildverwaltungssystem empfangen wurden. Alternativ werden einige der Algorithmen aus der Ferne ausgeführt, während andere lokal ausgeführt werden.
Die KI-Algorithmen (oder andere Bildanalysealgorithmen) erzeugen Befunde, die die Ergebnisse der Anwendung der Algorithmen auf die Bilder angeben. In einer Ausführungsform erzeugen diese KI-Algorithmen textuelle Befunde, die mögliche Zustände eines vom Algorithmus identifizierten Patienten angeben. In einer Ausführungsform umfassen die Befunde eine Bewertung (z. B. eine Anomalienbewertung, eine numerische Konfidenzangabe im Zusammenhang mit den Analyseergebnissen usw.), die von dem automatischen Bildanalysealgorithmus erstellt wird. Zum Beispiel eine Abnormitätsbewertung mit einem Wert, der die Wahrscheinlichkeit angibt, dass der Patient auf der Grundlage der an den Bildern durchgeführten Analyse eine Abnormität aufweist (z. B. je höher die Bewertung, desto höher die Wahrscheinlichkeit). Es ist zu beachten, dass in alternativen Ausführungsformen auch andere Werte, wie z. B. die Diagnosesicherheit, in die Ergebnisse der Algorithmen einbezogen werden können.
Das Studienanalysemodul 200 umfasst eine Überwachungskomponente 210, die Datenquellen auf inhaltliche Änderungen überwacht, wie z. B. die Speicherung neuer medizinischer Studien oder medizinischer Studien mit neuen medizinischen Bildern. Diese Datenquellen können PACS, VNA oder andere Repository- oder Datenbanksysteme sein. Diese medizinischen Studien können aus mehr als einer Quelle (z. B. einer Datenbank) stammen. Das Studienanalysemodul 200 kann sich auf einem oder mehreren Computern befinden, wie z. B. auf dem oben unter Bezugnahme auf 1 beschriebenen Steuerserver 122. In einer Ausführungsform umfasst der Steuerserver 122 beispielsweise einen Computerprozessor und kann ein Server, ein Personalcomputer, ein Desktop-Computer, ein Laptop, ein Handheld-Gerät, ein mobiles Gerät, ein Gerät der Unterhaltungselektronik oder dergleichen sein.
In einer Ausführungsform umfasst das Studienanalysemodul 200 eine Auswahlkomponente 212, eine Orchestrierungskomponente 214, eine Benachrichtigungskomponente 216, eine Bildanalysekomponente (z. B. KI-Analyse) 218 und eine Bildanalyseergebniserzeugungskomponente (z. B. KI-Analyse) 220. In verschiedenen Ausführungsformen umfasst das Studienanalysemodul 200 eine Anzeigekomponente 222, eine Verlaufskomponente 224, eine Informationskomponente 226 und eine Manipulationskomponente 228. Es wird deutlich, dass das Studienanalysemodul 200, während es in Datenbanken 230 gespeicherte Gesundheitsstudien empfängt, Gesundheitsstudien aus mehreren Quellen empfangen kann, einschließlich Datenbanken, die über mehrere Einrichtungen und/oder mehrere Standorte verteilt sind, sowie Ergebnisse, die aus der Anwendung eines oder mehrerer automatisierter Bildanalysealgorithmen (z. B. KI-Analysealgorithmen) auf Bilder der Gesundheitsstudien resultieren. Es wird auch anerkannt, dass das Studienanalysemodul 200 Gesundheitsstudien mit ihren Bildern und/oder Befunden, die aus den automatisierten Bildanalysealgorithmen (z. B. KI-Analysealgorithmen) resultieren, aus den oben beschriebenen Quellen über Links innerhalb der EMR eines Patienten empfangen kann.
Wenn die Überwachungskomponente 210 feststellt, dass in einer oder mehreren der Datenquellen neue Inhalte vorhanden sind, wählt die Auswahlkomponente 212 jede Gesundheitsstudie aus, die neu ist oder neue medizinische Bilder enthält, und es wird auf die Datenquellen zugegriffen, um solche Studien zu erhalten. In einer Ausführungsform umfasst die Gesundheitsstudie eine oder mehrere Serien von Bildern und einen oder mehrere Parameterwerte (z. B. Messungen, Befunde, Eindrücke, demografische Daten des Patienten und Geschichte/Risikofaktoren usw.). In einer Ausführungsform umfasst jede Serie ein oder mehrere Bilder, die den Gegenstand des Bildes aus verschiedenen Blickwinkeln zeigen. Eine Listenperspektive innerhalb eines Multimedia-Managers bietet eine Liste der verfügbaren Studien (einschließlich ungelesener Studien), Bilder und anderer Medien.
Die Orchestrierungskomponente 214 bestimmt, welche Bildanalysealgorithmen zur Analyse der neuen medizinischen Bilder angewendet werden sollen. In einer Ausführungsform bestimmt die Orchestrierungskomponente 214, welche Bilder der neuen medizinischen Bilder analysiert werden sollen und welche KI-Algorithmen die Analyse durchführen sollen. In einer Ausführungsform werden die KI-Algorithmen von KI-Engines oder KI-Anwendungen der Bildanalysekomponente 218 (z. B. KI-Analyse) ausgeführt. In einer Ausführungsform umfasst eine KI-Engine Schaltkreise, die Logik implementieren und/oder Software ausführen. Bei der Software kann es sich um eine Anwendung handeln. Auf der Grundlage der Bestimmung weist die Orchestrierungskomponente 214 den KI-Algorithmen der Bildanalysekomponente 218 die Bilder zu, die sie auswerten sollen.
Die Benachrichtigungskomponente 216 benachrichtigt die KI-Engines oder - Systeme (z. B. Server), auf denen die KI-Algorithmen laufen, über ihre Aufgaben in Bezug auf die Analyse der neuen medizinischen Bilder. In einer Ausführungsform sendet die Benachrichtigungskomponente 216 einen Studienidentifikator und Informationen darüber, welche Bilder als Teil der Benachrichtigungen ausgewertet werden sollen, und als Reaktion darauf holt die Bildanalysekomponente 218 die Bilder zur Auswertung aus der Datenquelle, in der sie gespeichert sind. Alternativ dazu sendet die Benachrichtigungskomponente 216 die zu analysierenden Bilder selbst.
Sobald die Bilder erhalten wurden, führt die Bildanalysekomponente 218 die KI oder eine andere Bildanalyse an den Bildern durch, um Erkenntnisse zu gewinnen. In einer Ausführungsform umfasst dies die Aktivierung eines oder mehrerer KI-Algorithmen, die auf einer oder mehreren KI-Engines oder -Servern ausgeführt werden. Eine oder mehrere der KI-Engines oder -Server können intern in der KI-Plattform oder extern zu der KI-Plattform installiert sein. In einer Ausführungsform können mehrere KI-Engines oder -Server ihre Analyse gleichzeitig an denselben oder an verschiedenen medizinischen Bildern durchführen. Jeder der KI-Algorithmen liefert Ergebnisse, die auf die Erkenntnisse des Algorithmus hinweisen. Als Teil der Ergebnisse können die KI-Algorithmen Bilder oder Teile davon einbeziehen, die für die Diagnose oder den Zustand des Patienten relevant sind, der dem analysierten Bild zugeordnet ist. Die Bildanalyseergebniserzeugungskomponente 220 nimmt die Ergebnisse der KI-Algorithmen der Bildanalysekomponente 218 und erzeugt Ausgaben, die zur Überprüfung gesendet und für den späteren Zugriff gespeichert werden.
Die Anzeigekomponente 222 umfasst eine grafische Anzeigevorrichtung, bei der es sich um einen Monitor, einen Computerbildschirm, ein Projektionsgerät oder eine andere Hardwarevorrichtung zur Anzeige von grafischen Benutzeroberflächen handeln kann, die Bilder und andere Daten aus Gesundheitsstudien sowie Befunde enthalten, die sich aus der Anwendung automatischer Bildanalysealgorithmen auf Bilder in den Gesundheitsstudien ergeben. In einer Ausführungsform zeigt die Anzeigekomponente 222 die grafische Benutzeroberfläche mit der Liste der ungelesenen Gesundheitsstudien oder Gesundheitsstudien mit neuen Bildern zusammen mit Prioritätsinformationen an, die diejenigen Studien mit Befunden hervorheben, die dringender oder kritischer sind. In einer Ausführungsform ist die Liste der ungelesenen Gesundheitsstudien nach Priorität sortiert. In einer anderen Ausführungsform ist die Liste der Gesundheitsstudien nicht sortiert, aber die Prioritätsinformationen werden deutlich angezeigt, so dass ein Arzt anhand des Zustands der Anzeige der ungelesenen Gesundheitsstudien Prioritätsstufen erkennen kann (z. B. höhere Priorität und/oder niedrigere Priorität).
In einer Ausführungsform zeigt eine Verlaufskomponente 224 einen Verlauf verschiedener Studien und klinischer Bilder an, die mit mehr als einem Bild der Gesundheitsversorgung verbunden sind. Die Verlaufskomponente 224 ermöglicht außerdem die Auswahl eines oder mehrerer Bilder aus dem Verlauf, die von der Anzeigekomponente 222 im Viewer angezeigt werden. Zum Beispiel kann die Auswahlkomponente 212 eine Auswahl einer bestimmten Studie vom Kliniker erhalten haben. Sobald die Anzeigekomponente 222 jedoch die Bilder dieser ausgewählten Studie angezeigt hat, kann die Verlaufskomponente 224 andere Studien und klinische Bilder anzeigen, die für den Arzt von besonderem Interesse sind. Der Arzt kann dann zusätzliche Elemente aus der Historie auswählen, um sie im Viewer zu starten.
In einer Ausführungsform zeigt die Informationskomponente 226 zusätzliche Informationen an, die mit mehr als einem Bild aus dem Gesundheitswesen, der Historie oder einer Kombination davon verbunden sind. Die zusätzlichen Informationen umfassen patientenidentifizierende Informationen, bildbezogene Informationen, studienbezogene Informationen oder eine Kombination davon. Solche zusätzlichen Informationen können auch zeitbezogene Informationen enthalten.
In einer Ausführungsform ermöglicht eine Manipulationskomponente 228 einem Arzt, die Anzeige eines Bildes aus dem Gesundheitswesen zu manipulieren. Zum Beispiel kann ein Arzt feststellen, dass das Bild, so wie es im Viewer dargestellt wird, nicht groß genug ist, um eine gewünschte Detailstufe zu sehen. Der Arzt kann das Bild vergrößern oder verkleinern, und die Manipulationskomponente 228 verändert die Anzeige des Bildes entsprechend. In ähnlicher Weise kann der Arzt ein Bild schwenken wollen, und die Manipulationskomponente 228 manipuliert die Bildanzeige entsprechend.
3 ist ein Datenflussdiagramm einer Ausführungsform eines Prozesses zur automatischen Analyse von Bildern medizinischer Studien unter Verwendung automatischer Bildanalysealgorithmen (z. B. KI-Analysealgorithmus usw.), die auf eines oder mehrere der Bilder der medizinischen Studien angewendet wurden.
Wie in 3 dargestellt, empfängt das medizinische Bildverwaltungssystem 310 eine oder mehrere Gesundheitsstudien 301. Gesundheitsstudien 301 können ungelesene Studien zum Gesundheitswesen oder Studien zum Gesundheitswesen mit einem oder mehreren neuen Bildern umfassen. In einer Ausführungsform empfängt das medizinische Bildverwaltungssystem 310 Gesundheitsstudien 301 als Reaktion auf die Überwachungslogik 312, die Datenquellen auf neue Gesundheitsstudien und/oder Gesundheitsstudien mit neuen Bildern zur Auswertung überwacht. In einer Ausführungsform werden eine oder mehrere ungelesene Gesundheitsstudien 301 von einer oder mehreren medizinischen Bildgebungsmodalitäten gesendet, die medizinische Bildgebung durchführen (z. B. kardiovaskuläre (CV), Röntgenradiographie, Magnetresonanztomographie, Ultraschall, Endoskopie, taktile Bildgebung, Thermographie, nuklearmedizinische funktionelle Bildgebungsverfahren wie Positronenemissionstomographie (PET) und Einzelphotonenemissionscomputertomographie (SPECT) usw.). In einer anderen Ausführungsform werden eine oder mehrere Gesundheitsstudien 301 vom medizinischen Bildverwaltungssystem 310 von einem entfernten Standort empfangen. In einer Ausführungsform kann der entfernte Standort eine oder mehrere Modalitäten umfassen, die die Studien erstellen, oder einen entfernten Bildspeicher (z. B. ein Bildarchivierungs- und Kommunikationssystem (PACS), VNA usw.).
In einer Ausführungsform überwacht die Überwachungslogik 312 einen ersten Hinweis auf eine Inhaltsänderung in einer oder mehreren Datenquellen (z. B. das Eintreffen neuer medizinischer Bilder, die Teil einer neuen Studie zur Gesundheitsversorgung sind, oder einer bestehenden Studie, die vor der Erzeugung der neuen medizinischen Bilder erstellt wurde) und erhält diese Studien als Reaktion auf die Feststellung, dass eine Inhaltsänderung stattgefunden hat. In einer Ausführungsform stellt die Überwachungslogik 312 fest, dass eine Inhaltsänderung stattgefunden hat, wenn sie Benachrichtigungen von den Datenquellen erhält, die die Gesundheitsstudien speichern, oder von den Modalitäten/Einrichtungen, die die Gesundheitsstudien erzeugen, die anzeigen, dass solche Studien zur Überprüfung und Bewertung verfügbar sind. Als Reaktion auf diese Benachrichtigungen greift die Überwachungslogik 312 auf die Datenquellen zu, in denen die Studien gespeichert sind, um sie zu erhalten. Der Zugriff kann eine Anfrage an die Datenquelle nach einer Kopie der Studie beinhalten. Die Anfrage kann direkt oder über eine Netzwerkverbindung an die Datenquelle gesendet werden. In einer Ausführungsform umfasst das medizinische Bildverwaltungssystem 310 eine (oder mehrere) Netzwerkkommunikationsschnittstelle(n) (nicht dargestellt), um die Anfrage an die Datenquelle für eine Kopie der Studie zu senden, Gesundheitsstudien zu erhalten und Studien zu empfangen. In einer anderen Ausführungsform fordert das medizinische Bildverwaltungssystem 310 Studien über eine direkte Verbindung mit einzelnen Datenquellen an und empfängt sie.
In einer Ausführungsform umfasst das medizinische Bildverwaltungssystem 310 einen Speicher, wie z. B. den Speicher 323, um empfangene Gesundheitsstudien zu speichern.
In einer Ausführungsform bestimmt die Steuereinheit 311 (z. B. ein oder mehrere Prozessoren) nach Erhalt der Gesundheitsstudien mit den zu analysierenden medizinischen Bildern, welche von mehreren Bildanalyse-Engines bzw. -maschinen 340 (z. B. eine oder mehrere Engines/Maschinen mit künstlicher Intelligenz (KI)) mindestens eines der neuen medizinischen Bilder analysieren soll. Dies wird hier als Orchestrierung (Dienstekomposition) der Bildanalyse (z. B. KI-Analyse) bezeichnet. An die Bildanalyse-Engines der Bildanalyse-Engines 340, die für die Auswertung der medizinischen Bilder identifiziert wurden, sendet die Steuereinheit 311 eine Benachrichtigung, um diese Bildanalyse-Engines zu veranlassen, eine Bildanalyse für eines oder mehrere der neuen medizinischen Bilder einzuleiten. In einer Ausführungsform basiert die Bestimmung der Bildanalyse-Engines auf den Informationen, die zu dem einen oder den mehreren Bildern gehören, und/oder auf den Ergebnissen der Anwendung der Körperteilerkennung auf mindestens eines der neuen Bilder.
In einer Ausführungsform führt jede der automatisierten Analyse-Engines (z. B. KI-Bildanalyse-Engines) eine Analyse von Bildern und/oder Nicht-Bild-Daten der Gesundheitsstudien durch. Beispiele für Nicht-Bilddaten sind u. a. Text, Wellenformen, Zeitserien, strukturierte/vorlagenbasierte Berichte. In einer Ausführungsform können diese Engines in das medizinische Bildverwaltungssystem integriert werden, wie dies bei den automatischen Bildanalyse-Engines (z. B. KI-Analyse-Engines usw.) 340 gezeigt wird. In einer anderen Ausführungsform befinden sich eine oder mehrere dieser Engines 302 in Bezug auf das medizinische Bildverwaltungssystem an einem entfernten Standort. In einer Ausführungsform erzeugen die Bildanalyse-Engines 340 Befunde oder Ergebnisse 320. In einer Ausführungsform erzeugen einzelne Analyse-Engines Befunde, die allein auf der Bildanalyse basieren, während andere Analyse-Engines Befunde erzeugen, die auf einer Kombination aus Bild- und Datenanalyse basieren. In einer Ausführungsform umfassen die Erkenntnisse aus der Anwendung automatischer Bildanalysealgorithmen der Bildanalyse-Engines 340 eine Abnormitätsbewertung, wobei die Wahrscheinlichkeit, dass eine Abnormität auf einem oder mehreren Bildern in einer Studie durch die KI oder eine andere Bildanalyse identifiziert wurde, umso größer ist, je höher die Zahl der Abnormitätsbewertung ist. In einer Ausführungsform können die Ergebnisse der Anwendung automatischer Bildanalysealgorithmen der Bildanalyse-Engines 340 die Angabe enthalten, dass in dem Bild/den Bildern und/oder den Nicht-Bilddaten nichts gefunden wurde. Die Ergebnisse (Befunde) der Anwendung dieser Engines auf die Bilder werden über drahtgebundene oder drahtlose Kommunikation an das medizinische Bildverwaltungssystem 310 gesendet.
Nach der Analyse der Bilder und/oder Nicht-Bilder und der Erstellung der Ergebnisse senden die Bildanalyse-Engines 340 Hinweise darauf, dass ihre Ergebnisse erzeugt wurden, und senden die Ergebnisse selbst an die Plattform. Daraufhin sendet die Plattform Benachrichtigungen an Abnehmer bzw. Abonnenten, um die Verfügbarkeit der Bildanalyseergebnisse für den Zugriff und die Anzeige anzuzeigen.
Nachdem die Gesundheitsstudien 301 und die automatische Bildanalyse (z. B. KI-Analyse) von den Bildanalyse-Engines 340 durchgeführt wurden, um Befunde zu erhalten, erhält die Ausgabelogik 313 KI- und andere Bildanalyseergebnisse 320 aus dem Speicher 323 und verwendet diese Informationen, um die KI-Ergebnisse 3311-33 IN in einer grafischen Benutzeroberfläche (oder einem Viewer) 330 auf dem Anzeigegerät 314 anzuzeigen. In einer Ausführungsform werden die KI-Ergebnisse zusammen mit der gesamten Studie oder einem Teil der Studie angezeigt, die das Bild enthält, das von einer der KI-Engines 340 ausgewertet wurde, um das KI-Ergebnis zu erstellen. Das heißt, die Anzeige 314 ermöglicht es einem Benutzer, innerhalb einer grafischen Benutzeroberfläche 330 eine oder mehrere Gesundheitsstudien oder Teile davon zusammen mit KI- oder anderen Bildanalyseergebnissen, wie z. B. den KI-Ergebnissen 3311-331N, anzuzeigen. Auf diese Weise kann ein Arzt oder eine andere medizinische Fachkraft die erhaltenen Studien und die Ergebnisse der durchgeführten Bildanalyse leicht erkennen.
In einer Ausführungsform steuert die Steuereinheit 311 auch andere Funktionen des medizinischen Bildverwaltungssystems 310. In einer Ausführungsform umfasst die Steuereinheit 311 einen oder mehrere Prozessoren, Mikrocontroller und/oder eine Kombination aus Hardware, Software und/oder Firmware.
Die 4A und 4B zeigen eine Ausführungsform einer Architektur für eine KI-Plattform, die Teil eines medizinischen Bildverwaltungssystems ist, z. B. des medizinischen Bildverwaltungssystems 310 aus 3. In einer Ausführungsform umfasst die KI-Plattformarchitektur der 4A und 4B eine Reihe von Komponenten zur Durchführung der hier beschriebenen Vorgänge, einschließlich der folgenden Merkmale: Offene APIs 403, Überwachungslogik 402a, Orchestrierungs-Engines 430 zur Durchführung von Bildanalysen (z. B. KI-Analysen), Integration von KI-Engines 403A in die Plattform, Studiensbenachrichtigungslogik 402B, Scannen von Bildanalysen (z. B. KI), Verwendung von einem oder mehreren KI-Servern (z. B. Server 403B), einem oder mehreren integrierten KI-Servern (z. B. Server 403A) und Benachrichtigungslogik 460 für Bildanalyseergebnisse (z. B. KI-Ergebnisse). Jede dieser Komponenten wird im Folgenden ausführlicher beschrieben. In einer Ausführungsform bezieht sich das KI-Scannen auf eine oder mehrere KI-Engines oder - Algorithmen, die Bilder verarbeiten und Ergebnisdaten erzeugen. In einer anderen Ausführungsform bedeutet das Scannen einer Studie auch den gesamten Prozess der Aufteilung einer Studie in Teile und deren Weiterleitung an einzelne KI-Algorithmen (Orchestrierung) sowie die individuelle KI-Verarbeitung.
Die KI-Plattform stellt Anwendungen (z. B. Anwendungen 401, Anwendungen auf KI-Servem 403A, 403B usw.) und KI-Engines (z. B. 403A, 403B) offene APIs 403 zur Verfügung, um KI-Auswertungen innerhalb eines medizinischen Workflows (z. B. eines radiologischen Workflows) effektiv durchzuführen. In einer Ausführungsform ermöglichen die offenen APIs 403 die Verwendung eines DICOM-Gateways (z. B. 480, 473) für den Zugriff auf DICOM-Informationen. In einer Ausführungsform wird das DICOM-Gateway (z. B. 480, 473) für den Zugriff auf DICOM-Informationen über QIDO-RS, WADO-RS und STOW-RS verwendet.
In einer Ausführungsform bietet die offene APIs 403 einen Mechanismus und Datenmodelle für die Arbeit mit DICOM GSPS, DICOM Segmentation, Secondary Capture, Basic Structured Display, Key Object Selection, Structured Reports usw., ohne dass eine DICOM-Konformität durch Anwendungen (z. B. 401) oder KI-Engines (z. B. 403A, 403B) implementiert werden muss. Wie im Folgenden näher beschrieben, umfassen die offenen APIs 403 in einer Ausführungsform APIs zur Abfrage, zum Abruf und zur Erstellung von Thinklog-Instanzen, die die Verwaltung und den Zugriff auf die Ergebnisse der Bildanalyse (z. B. KI-Analyse) in organisierter Form über mehrere Systeme hinweg erleichtern. Weitere Informationen zu Thinklogs finden Sie in der Patentanmeldung mit der Nummer 14/820,144, mit dem Titel „METHODS AND APPARATUS FOR LOGGING INFORMATION USING A MEDICAL IMAGING DISPLAY SYSTEM“, eingereicht am 6. August 2015.
In einer Ausführungsform bietet die offene API 403 auch Zugang zu KI-Engines (z. B. 403A, 403B) und Scan-Workflows, so dass Anwendungen (z. B. 401) einen KI-Scan auslösen und den Status eines KI-Scans oder einer KI-Analyse verfolgen können.
In einer Ausführungsform ist die KI-Plattform mit einem PACS-System (400A, 400B) und/oder einem VNA integriert. In einer Ausführungsform konfiguriert die KI-Plattform die PACS-Systeme und VNAs als Datenquellen. Wenn also die PACS-Systeme (400A, 400B) und der VNA Studien (z. B. 425, 426) empfangen, beispielsweise über eine drahtgebundene oder drahtlose Netzwerkverbindung, kann die KI-Plattform diese abrufen.
Nach der Verbindung mit den PACS-Systemen 400A und 400B verwendet die KI-Plattform die Überwachungslogik 402A zur kontinuierlichen Überwachung der Inhaltsänderungen in der Datenquelle, einschließlich des Eintreffens einer neuen Studie, des Eintreffens von DICOM-Bildern oder Nicht-DICOM-Bildern zu einer bestehenden Studie oder des Eintreffens anderer neuer Bilder. In einer Ausführungsform erreicht die Überwachungslogik 402A die Studienüberwachung durch eine kundenspezifische Integration und durch Standardschnittstellen (z. B. HL7/FHIR). In einer Ausführungsform beinhaltet die benutzerdefinierte Integration, dass die Überwachungslogik 402A über eine Benachrichtigung über das Eintreffen neuer Bilder benachrichtigt wird (z. B. Bildankunft 427), die Studie mit den neuen Bildern z. B. über eine Studienkennung (ID) identifiziert und einen Hinweis auf die aufgetretene Änderung identifiziert (z. B., eine neue Studie ist eingetroffen, neue Bilder wurden zu einer Studie hinzugefügt, zusammen mit Identifikationsinformationen (z. B. Metadaten), um die neuen Bilder unter allen Bildern in der Studie zu spezifizieren, und die Art der Informationen (z. B. Körperteil(e)) werden in den neuen Bildern dargestellt. In einer Ausführungsform erfolgt die Bildankunftsmeldung über eine HTTP-Kommunikation (z. B. POST). Im Gegensatz dazu verwendet die Überwachungslogik 402A auch Standardschnittstellen, um einen Hinweis auf eine Inhaltsänderung (z. B. eine neue Studie oder neue Bilder, die als Bildankunft 428 bereitgestellt werden) in einer Datenquelle wie den PACS-Systemen 400A und 400B zu erhalten. In einer Ausführungsform enthält dieser Hinweis keine Informationen zur Identifizierung der eingetretenen Änderung. In solchen Fällen wird auf die Studie zugegriffen und sie wird analysiert, um den neuen Inhalt zu bestimmen und festzustellen, welche der Bildanalyse-Engines geeignet ist, den neuen Inhalt zu überprüfen.
Nach der Erkennung von Inhaltsänderungen im PACS/VNA erfasst die KI-Plattform 400 die Studie und führt eine KI-Orchestrierung mit Hilfe der Orchestrierungs-Engines 430 durch, um zu entscheiden, welcher der KI-Algorithmen für die Bewertung der Studie zugewiesen werden muss. In einer Ausführungsform führen die Orchestrierungs-Engines 430 eine Orchestrierung durch, indem sie verschiedene Header-basierte Filter (z. B. DICOM-Header-basierte Filter) verwenden, um Informationen zu erhalten und auszuwerten, die in den Headern der Bilddateien gespeichert sind. Beispielsweise können die Header-Informationen in einem Bild, einer Bildserie oder einer Studie die Inhalte (z. B. Körperteil, Art der Untersuchung usw.) angeben, die zur Identifizierung geeigneter Bildanalyse-Engines zur Auswertung der Studie verwendet werden können. In einer Ausführungsform verwenden die Orchestrierungs-Engines 430 integrierte Algorithmen zur Erkennung von Körperteilen, um die in den Bildern dargestellten Körperteile zu bestimmen und die KI-Engines (403A, 403B) zu ermitteln, die für die Analyse von Bildern mit diesen Körperteilen geeignet sind.
Die Orchestrierungs-Engines/Maschinen 430 können mehrere KI-Engines identifizieren, die eine Studie bewerten sollen. Wenn in einer Ausführungsform mehrere KI-Engines eine Studie bewerten müssen, entscheidet die Orchestrierungs-Engine 430 der KI-Plattform 400 über die Priorität jeder KI-Engine (oder jedes KI-Algorithmus, der ausgeführt werden soll) und weist die Aufgabe der Bewertung der Studie auf der Grundlage der Priorität zu. In einer Ausführungsform bestimmen die Orchestrierungs-Engines 430 die Priorität auf der Grundlage von Merkmalen der Studie, ihrer früheren Studien (z. B. einer Studie, die vor der aktuellen Studie für denselben Patienten durchgeführt wurde) und/oder der Art der Algorithmen. Wenn beispielsweise die KI-Plattform (z. B. die KI-Plattform 400) eine Studie mit KI-Algorithmen scannt, erfordern einige der KI-Scans die vorherige Studie, da sie auch für die vorherige Studie eine KI-Analyse (d. h. einen KI-Scan) durchführen wird. Wenn der KI-Algorithmus beispielsweise der Erkennung einer Hirnblutung dient, sollte er mit hoher Priorität ausgeführt werden, da eine solche Blutung sofort behandelt werden sollte, wenn sie vorhanden ist. Die Zuweisung von Prioritäten wird auch verwendet, wenn mehrere Bilder aus verschiedenen Studien gleichzeitig zur Auswertung durch eine KI-Engine zur Verfügung stehen, die jeweils nur eine Bildanalyse durchführt.
Auf der Grundlage der von den Orchestrierungs-Engines 430 getroffenen Orchestrierungsentscheidungen benachrichtigt die KI-Plattform 400 die KI-Server (403A, 403B) oder Anwendungen (401), die in die KI-Plattform 400 integriert wurden. Diese KI-Engines können innerhalb der KI-Plattform 400 gehostet werden (z. B. KI-Engines 403A) oder in einem separaten KI-Server (z. B. KI-Server 403B), der sich außerhalb der Plattform befindet, untergebracht werden. In verschiedenen Ausführungsformen kann der KI-Server 403B entweder vor Ort oder in einer Cloud-Umgebung betrieben werden. Die KI-Plattform 400 bietet offene APIs 403, die von Anwendungen oder KI-Engines (401, 403A, 403B) genutzt werden, um auf Daten (z. B. Studien, Bilder) zuzugreifen oder Ergebnisse (z. B. KI-Ergebnisse) zu speichern.
In einer Ausführungsform wird die Benachrichtigung von der Benachrichtigungslogik 402B gesendet und enthält Informationen über die Studie und die zu analysierenden Bilder. In einer Ausführungsform können KI-Anwendungen oder KI-Engines (401, 403A, 403B) über die Benachrichtigungslogik 402B Benachrichtigungen von der KI-Plattform 400 empfangen, um die KI-Auswertung der Studie zu starten. In einer Ausführungsform sind die Anwendungen oder KI-Engines (401, 403A, 403B) Abonnenten, d. h. sie abonnieren den Empfang der Benachrichtigung, wenn diese bestimmte Merkmale erfüllt. In einer Ausführungsform verwenden die Orchestrierungs-Engines 430 beispielsweise vordefinierte Filter und Algorithmeneigenschaften, um festzustellen, ob die zu prüfenden Bilder bestimmte Merkmale aufweisen, die den Anforderungen eines KI-Servers entsprechen, an den sie zur Auswertung gesendet werden könnten.
Nach Erhalt der Benachrichtigung ruft die Anwendung oder die KI-Engine (401, 403A, 403B) die zu prüfenden Bilder (z. B. DICOM-Bilder) von der KI-Plattform 400 über DICOM-Gateway-APIs 480 ab und analysiert ein oder mehrere neue Bilder. Die Ergebnisse der Analyse umfassen Befunde oder KI-Ergebnisse.
In einer Ausführungsform verfügt die KI-Plattform über einen integrierten KI-Server 403A, auf dem mehrere unternehmensspezifische KI-Engines integriert und eingesetzt werden. In einer Ausführungsform werden Benachrichtigungen an den KI-Server 403A in eine Warteschlange gestellt und auf der Grundlage der von den Orchestrierungs-Engines 430 zugewiesenen Priorität und anderer Skalierbarkeitsüberlegungen verarbeitet. In einer Ausführungsform erwirbt und speichert die KI-Plattform 400 DICOM-Instanzen von der in der Benachrichtigungsnachricht angegebenen Datenquelle mithilfe der DICOM-Gateway-APIs 480. Die KI-Plattform 400 analysiert die Daten und bereitet die für die KI-Engines erforderlichen Eingaben vor. Die Eingabevorbereitung umfasst die Vorbereitung von DICOM-Kopfzeilen und Pixeldaten, die für die Engine erforderlich sind. In einer Ausführungsform benötigen einige Engines umformatierte 3D-Volumina für die Verarbeitung der Bilder, und die KI-Plattform 400 führt eine Rekonstruktion durch, bereitet die Volumina in einer geeigneten Ebene vor und speist die KI-Engine mit den verarbeiteten Daten. In einer Ausführungsform nutzen die KI-Engines des KI-Servers 403A die Eingaben zur Auswertung der DICOM-Bilder, um verschiedene Befunde (Anomalien und Krankheiten) und Organe zu erkennen.
Jede KI-Engine oder -Anwendung erzeugt verschiedene Formen von Ergebnissen, die die entsprechenden Befunde darstellen, und speichert sie über entsprechende offene APIs. In einer Ausführungsform umfassen die Ergebnisse eines oder mehrere der folgenden Elemente: DICOM Grayscale Softcopy Presentation State (GSPS), DICOM Structure Report (SR), ein Snapshot oder DICOM Basic Structured Display, Rohdaten (z. B. DICOM oder Nicht-DICOM), ein DICOM Key Object Selection Document (KOS), usw. Weitere Informationen zu Schnappschüssen finden Sie in der US-Patentanmeldung mit der Nummer 14/736,550, mit dem Titel „METHODS AND APPARATUS FOR OBTKINING A SNAPSHOT OF A MEDICAL IMAGING DISPLAY“, eingereicht am 11. Juni 2015. In einer Ausführungsform speichert die KI-Plattform 400 KI-Ergebnisse in einem oder mehreren Speichergeräten, wie z. B. Schnappschussspeicher 410, Rohdatenspeicher 420 und Thumbnail-Speicher 421.
In einer Ausführungsform bietet eine offene API vereinfachte APIs und Datenmodelle, um DICOM-konforme KI-Ergebnisdarstellungen zu erzeugen, ohne DICOM-Konformität implementieren zu müssen. Beispielsweise kann eine Heatmap als DICOM-Segmentierungsinstanz unter Verwendung einer offenen Segmentierungs-API gespeichert werden, ohne dass eine DICOM-Segmentierung durch die Anwendung oder das KI-System (401, 403A, 403B) implementiert werden muss. Zusätzlich zu den einzelnen Ergebnisinstanzen erstellen die Anwendungen oder die KI-Engine (401, 403A, 403B) in einer Ausführungsform eine Thinklog-Instanz mit einer Zusammenfassung der Ergebnisse, in der Befunddetails, zugehörige KI-Ergebnisinstanzen und Schlüsselbilder, die für die Befunde und/oder KI-Ergebnisinstanzen repräsentativ sind, referenziert werden. Die Thinklog-Instanz verwaltet die KI-Befunde in einer organisierten Weise. In einer Ausführungsform werden die Thinklog-Instanzen über die Thinklog-Panel-Benutzeroberfläche 441 unter der Kontrolle des Thinklog-Dienstes 440 angezeigt. In einer Ausführungsform werden Thinklogs im Thinklog-Speicher 411 gespeichert.
Sobald das KI-Scan-Ergebnis vorliegt und gegebenenfalls eine Thinklog-Instanz erzeugt wurde, sendet die KI-Plattform 400 eine Benachrichtigung über das Eintreffen der KI-Ergebnisse an eine bestimmte vordefinierte Gruppe von Personen oder Standorten. In einer Ausführungsform wird die Benachrichtigung über das Eintreffen der KI-Ergebnisse an alle abonnierten Anwendungen gesendet. In einer Ausführungsform unterstützt die KI-Plattform 400 verschiedene Benachrichtigungsmechanismen wie WebInvoke, SignalR, HL7 und FHIR, damit verschiedene Arten von Systemen oder Anwendungen die KI-Ergebnisse nutzen können. Zu den Systemen, die die KI-Ergebnisbenachrichtigung nutzen, gehören beispielsweise, aber nicht ausschließlich, der Radiologie-Workflow-Manager, die Bildbetrachtungs-Workstation, IT-Systeme für die Rechnungsstellung usw. Als Reaktion auf die Benachrichtigung können die Anwendungen (401) dann die KI-Analyseergebnisse nutzen, indem sie auf das Thinklog und die einzelnen von den KI-Engines (403A, 403B) erzeugten Ergebnisse zugreifen.
In einer Ausführungsform enthält die KI-Plattform 400 eine Administrations-Benutzerschnittstelle 450, über die ein Benutzer die KI-Plattform 400 konfigurieren oder deren Konfigurationsinformationen einsehen kann, und zwar unter der Kontrolle des Konfigurationsdienstes 451 und unter Verwendung der im Konfigurationsspeicher 452 gespeicherten Informationen. In einer Ausführungsform ermöglicht eine Verwaltungsbenutzerschnittstelle 450 einem Benutzer die Überprüfung eines Auditprotokolls für die KI-Plattform 400 oder die Anzeige von Auditinformationen dazu unter der Kontrolle des Auditprotokolldienstes 453 und unter Verwendung von Informationen, die im Auditprotokollspeicher 454 gespeichert sind.
5 ist ein Flussdiagramm einer Ausführungsform eines Prozesses zur Verarbeitung medizinischer Bilder. In einer Ausführungsform werden die Prozesse von einer Verarbeitungslogik durchgeführt, die aus Hardware (Schaltkreisen, spezieller Logik usw.), Software (z. B. Software, die auf einem Chip läuft), Firmware oder einer Kombination aus diesen drei Elementen bestehen kann. In einer Ausführungsform wird der Prozess von einer medizinischen Bildverwaltungsplattform durchgeführt, wie z. B., aber nicht beschränkt auf, die medizinischen Bildverwaltungsplattformen, die oben in Verbindung mit den 3, 4A und 4B beschrieben wurden.
Wie in 5 dargestellt, beginnt der Prozess damit, dass die Verarbeitungslogik auf einen Hinweis auf eine Inhaltsänderung in einer oder mehreren Datenquellen überwacht (Verarbeitungsblock 501). In einer Ausführungsform spezifiziert dieser Hinweis das Eintreffen eines oder mehrerer neuer medizinischer Bilder in der einen oder den mehreren Datenquellen. In einer Ausführungsform sind diese neuen medizinischen Bilder Teil einer neuen Studie im Gesundheitswesen oder einer bestehenden Studie, die vor der Erzeugung der neuen medizinischen Bilder erstellt wurde.
Als Reaktion auf den Hinweis erhält die Verarbeitungslogik in einer Ausführungsform ein oder mehrere neue medizinische Bilder, die mit der Inhaltsänderung verbunden sind (Verarbeitungsblock 502), und bestimmt, welche einer Vielzahl von KI/Bildanalyse-Engines (z. B. Anwendungen) mindestens ein Bild der neuen medizinischen Bilder auf der Grundlage einer oder beider Informationen, die die ein oder mehreren Bilder begleiten, und/oder der Ergebnisse der Anwendung der Körperteilerkennung auf das mindestens eine Bild analysieren soll (Verarbeitungsblock 503).
In einer anderen Ausführungsform beschafft die Verarbeitungslogik des medizinischen Verwaltungssystems nicht unbedingt die neuen Bilder für die KI-Engines. In einer Ausführungsform hängt dies vom Grad der Integration zwischen der KI-Plattform (z. B. der KI-Plattform 400) und den KI-Engines ab. Beispielsweise sind einige KI-Algorithmen so eng integriert, dass das System tatsächliche Bildpixeldaten oder rekonstruierte 3D-Volumen liefert. Dies ist ein Beispiel für ein PUSH-Modell, bei dem der Algorithmus/die Maschine Daten von der KI-Plattform (z. B. der KI-Plattform 400) erhält und keine Bilder aus einem PACS oder VNA abrufen muss. In einer anderen Ausführungsform ist eine andere Integrationsebene ein PULL-Modell, bei dem die KI-Engine Daten aus einem PACS/VNA abrufen muss. In einer Ausführungsform basiert dies auf den UID-Informationen, die die KI-Plattform (z. B. die KI-Plattform 400) der KI-Engine zur Verfügung stellt. Für das PULL von Daten aus VNA oder PACS stellt die KI-Plattform (z. B. KI-Plattform 400) DICOM-Gateway-APIs bereit, die verwendet werden. In einer Ausführungsform umfasst mindestens eine der KI-/Bildanalyse-Engines eine Engine mit künstlicher Intelligenz (KI).
Wenn mehrere Bildanalyse-Engines (z. B. KI-Engines oder Anwendungen) Sätze neuer medizinischer Bilder auswerten sollen, bestimmt die Verarbeitungslogik in einer Ausführungsform eine Priorität für jede KI/Bildanalyse-Engine, die angibt, wann diese KI/Bildanalyse-Engine das mindestens eine Bild analysieren soll, wenn mehrere KI/Bildanalyse-Engines vorhanden sind (Verarbeitungsblock 504). In einer Ausführungsform bestimmt die Verarbeitungslogik die Priorität auf der Grundlage von Merkmalen in einer Gesundheitsstudie des mindestens einen Bildes, von Prioritäten und der Art der mehreren KI/Bildanalyse-Engines.
Nach der Bestimmung der Bildanalyse-Engines, die die Bilder analysieren sollen, sendet die Verarbeitungslogik eine Benachrichtigung an die KI-Engine/Bildanalyse-Engine, um die KI/Bildanalyse für das mindestens eine Bild der neuen medizinischen Bilder zu starten (Verarbeitungsblock 505). In einer Ausführungsform wird diese Benachrichtigung an jede KI-Engine/Bildanalyse-Engine gesendet, der die Analyse mindestens eines Bildes der neuen medizinischen Bilder zugewiesen wurde.
Als Reaktion auf den Empfang der Benachrichtigung bestimmt die Verarbeitungslogik der KI/Bildanalyse-Engine, ob ein oder mehrere Merkmale in dem mindestens einen Bild vordefinierte Kriterien erfüllen, die auf einen medizinischen Zustand hindeuten (Verarbeitungsblock 506). In einer Ausführungsform umfassen das eine oder die mehreren Merkmale eines oder mehrere der anatomischen Merkmale und Anomalien, die in dem medizinischen Bild dargestellt sind. In einer Ausführungsform ist die KI/Bildanalyse-Engine in der Lage, eine KI/Bildanalyse durchzuführen, um ohne Benutzereingabe zu bestimmen, ob das eine oder die mehreren Merkmale in dem mindestens einen Bild die vordefinierten Kriterien erfüllen.
Nach der Durchführung der KI/Bildanalyse erzeugt die Verarbeitungslogik der KI/Bildanalyse-Engine eine Ausgabe von Informationen, die sich auf das KI-Ergebnis beziehen oder dieses einschließen (z. B. eine DICOM-konforme KI-Ergebnisdarstellung ohne Implementierung der DICOM-Konformität) (Verarbeitungsblock 507), und sendet die eine oder mehreren Ausgaben (z. B. die DICOM-konforme KI-Ergebnisdarstellung als DICOM-Objekt) an das medizinische Bildverwaltungssystem und/oder die Datenquellen (z. B. PACS, VNA usw.) zur Speicherung darin (Verarbeitungsblock 508). In einer Ausführungsform sind die von einigen KI-Engines erzeugten Ausgaben nicht DICOM-konforme KI-Ergebnisse oder nicht DICOM-konforme Ergebnisse. In einer Ausführungsform ist dies der Fall, wenn es keine Befunde gibt. Die Verarbeitungslogik empfängt auch einen Hinweis darauf, dass KI-/Bildanalyseergebnisse von der Gruppe der KI-/Bildanalyse-Engines verfügbar sind (Verarbeitungsblock 509) und sendet eine Benachrichtigung an die Abnehmer, um die Verfügbarkeit von KI-/Bildanalyseergebnissen für den Zugriff und die Anzeige durch diese anzuzeigen (Verarbeitungsblock 510).
6 zeigt ein detaillierteres Datenflussdiagramm eines Prozesses zur Verarbeitung von Gesundheitsstudien. In einer Ausführungsform werden die Prozesse von einer Verarbeitungslogik durchgeführt, die aus Hardware (Schaltkreisen, spezieller Logik usw.), Software (z. B. Software, die auf einem Chip läuft), Firmware oder einer Kombination aus diesen drei Elementen bestehen kann. In einer Ausführungsform wird der Prozess von einer medizinischen Bildverwaltungsplattform durchgeführt, wie z. B., aber nicht beschränkt auf, die medizinischen Bildverwaltungsplattformen, die oben in Verbindung mit den 3, 4A und 4B beschrieben wurden.
Der Prozess beginnt damit, dass die Anwendungen 401 eine Benachrichtigung über den Eingang neuer medizinischer Bilder erhalten (Verarbeitungsblock 601). In einer Ausführungsform sind die Anwendungen 401 Teil eines KI-Servers, auf dem eine oder mehrere KI-Engines oder -Algorithmen gehostet werden. In einer anderen Ausführungsform ist die Anwendung selbst eine KI-Engine. In einer Ausführungsform ist der KI-Algorithmus oder die KI-Engine Teil eines PACS, VNA oder eines anderen ähnlichen medizinischen Informationsverwaltungssystems. Das System kann über einen Viewer zur Anzeige der Bildanalyseergebnisse (z. B. KI-Ergebnisse) verfügen.
In einer Ausführungsform sind die neuen medizinischen Bilder Teil einer neuen Gesundheitsstudie. In einer anderen Ausführungsform umfassen die neuen medizinischen Bilder neue Bilder, die zu einer bestehenden Gesundheitsstudie hinzugefügt werden (z. B. eine Gesundheitsstudie, die zuvor erstellt wurde und bereits medizinische Bilder enthält (z. B. eine Reihe von medizinischen Bildern) und zu der zusätzliche medizinische Bilder hinzugefügt werden). Bei den Bildern kann es sich um DICOM- oder Nicht-DICOM-Bilder handeln.
In einer Ausführungsform werden die Anwendungen 401 von der Überwachungs- und Benachrichtigungslogik 402 über das Eintreffen neuer medizinischer Bilder informiert. In einer Ausführungsform überwacht die Überwachungs- und Benachrichtigungslogik 402 kontinuierlich die Inhaltsänderungen in einer oder mehreren Datenquellen. Die Datenquellen umfassen ein oder mehrere PACS 400A (z. B. DICOM-basierte PACS, eine herstellerspezifische Datenbank usw.), VNAs 400B (z. B. DICOM-basierte VNAs, nicht-DICOM-basierte VNAs usw.) oder andere medizinische Bildspeicher. Bei dem PACS kann es sich um ein öffentlich zugängliches PACS oder um ein privates PACS handeln, das nur für bestimmte Personen oder Institutionen (z. B. Abonnenten) zugänglich ist. In einer Ausführungsform sendet der DICOM-Server eine Benachrichtigung an die Überwachungs- und Benachrichtigungslogik 402, wenn eine neue Studie eintrifft oder neue medizinische Bilder zu einer bestehenden Studie im PACS 400A oder VNA 400B hinzugefügt wurden.
In einer Ausführungsform wird die von der Überwachungs- und Benachrichtigungslogik 402 durchgeführte Studienüberwachung entweder durch benutzerdefinierte Integration oder durch Standardschnittstellen erreicht. Als Abnehmer empfängt die Überwachungs- und Benachrichtigungslogik 402 beispielsweise eine Benachrichtigung über HL7/FHIR-Standardschnittstellen, die eine Änderung des Inhalts einer der Datenquellen wie PACS 400A und VNA 400B anzeigt. Ein Nachteil bei der Verwendung einer solchen Standardschnittstelle besteht darin, dass die bereitgestellten Informationen lediglich eine Identifizierung der geänderten Studie darstellen, ohne dass angegeben wird, welche Änderung stattgefunden hat. Daher muss als Reaktion auf diese Meldung die Studie beschafft und analysiert werden, um den neuen Inhalt zu bestimmen, der die Änderung verursacht hat, bevor eine Analyse durchgeführt werden kann. In einer Ausführungsform enthält die von der Überwachungs- und Benachrichtigungslogik 402 empfangene Benachrichtigung Informationen, die die spezifische Änderung in der Studie angeben. Diese Informationen können zum Beispiel die neuen medizinischen Bilder betreffen, die der Studie hinzugefügt wurden. In diesem Fall kann die Analyse früher beginnen.
Als Reaktion auf den Erhalt einer Benachrichtigung über neue medizinische Bilder ruft die Verarbeitungslogik die neuen medizinischen Bilder ab (Verarbeitungsblock 602). In einer Ausführungsform erhalten die Anwendungen 401 die neuen medizinischen Bilder, indem sie die Gesundheitsstudie abrufen, in der sie enthalten sind. In einer Ausführungsform erhalten die Anwendungen 401 die medizinische Studie über das DICOM-Gateway 403 über die offene API 404.
Nach Erhalt der neuen medizinischen Bilder bestimmt die Verarbeitungslogik, welche KI-Algorithmen auf die neuen medizinischen Bilder angewendet werden sollen (Verarbeitungsblock 603). In einer Ausführungsform geben die Informationen, die jeder KI-Engine zugeordnet wurden, als die KI-Engine zur Plattform hinzugefügt wurde, ihre Anwendung in Bezug auf die Bildanalyse an. Das heißt, jede KI-Engine ist nur für die Analyse medizinischer Bilder geeignet, die eine bestimmte Art von medizinischem Zustand enthalten. Wenn also neue medizinische Bilder eingehen, werden diese nur an die KI-Engines gesendet, die für die Analyse ihres spezifischen Inhalts vorgesehen sind. Wenn beispielsweise eine KI-Engine für die Analyse von Röntgenbildern des Brustkorbs ausgelegt ist, werden nur Bilder von Röntgenbildern des Brustkorbs zur Analyse an die KI-Engine gesendet.
In einer Ausführungsform bestimmt die Orchestrierungslogik den Inhalt der neuen medizinischen Bilder, um die geeigneten KI-Engines zu identifizieren, die mit der Überprüfung der Bilder beauftragt werden. In einer Ausführungsform verwendet die Orchestrierungslogik Informationen, die den neuen medizinischen Bildern beiliegen, um deren Inhalt zu bestimmen. In einer Ausführungsform sind die Informationen, die den neuen medizinischen Bildern beiliegen, in den Header-Daten enthalten. In einer Ausführungsform verwendet die Orchestrierungslogik zum Beispiel verschiedene DICOM-Header-basierte Filter, um den Inhalt der neuen medizinischen Bilder zu bestimmen. In einer anderen Ausführungsform verwendet die Orchestrierungslogik integrierte Algorithmen zur Erkennung von Körperteilen, um zu entscheiden, welche KI-Engine(s) mit der Auswertung der Studie beauftragt werden müssen. Diese Algorithmen analysieren die Bilder, um festzustellen, welche Körperteile auf den Bildern zu sehen sind, und auf der Grundlage dieser Körperteilerkennung kann die Orchestrierungslogik die geeigneten KI-Engines zur Analyse der Bilder bestimmen. In einer Ausführungsform sendet die Orchestrierungslogik nur eine relevante Teilmenge von Bildern aus den neuen Bildern an die KI-Engine. Das heißt, die Orchestrierungslogik bestimmt, welche der Bilder der neuen Bilder einen Körperteil aufweisen, der von einer bestimmten KI-Engine ausgewertet werden kann, und sendet dann nur diese Bilder zur Analyse an die KI-Engine. In einer Ausführungsform bestimmt die Orchestrierungslogik anhand der Informationen, die den neuen medizinischen Bildern beigefügt sind (z. B. kopfzeilen/headerbasierte Informationen), und der Erkennung von Körperteilen, welche KI-Engines neue medizinische Bilder zur Analyse zuweisen sollen.
Wenn die Orchestrierungslogik feststellt, dass mehrere KI-Engines die neuen medizinischen Bilder (oder Teile davon) analysieren sollen, bestimmt die Orchestrierungslogik eine Priorität unter den identifizierten KI-Engines, um die Reihenfolge zu steuern, in der die KI-Engines bestimmte Bilder analysieren. In einer Ausführungsform basiert die Priorität auf dem kritischen Charakter des Bildes, das die KI-Engine analysieren soll. Wenn also zwei oder mehr KI-Engines die neuen medizinischen Bilder analysieren, weist die Orchestrierungslogik der einen KI-Engine, die das Bild für den kritischsten medizinischen Zustand auswertet, eine höhere Priorität zu und lässt diese KI-Engine zuerst ausführen. In einer Ausführungsform können bei entsprechender Rechenleistung mehrere KI-Engines gleichzeitig dieselbe Bildmenge bearbeiten. Die von der Orchestrierungslogik vorgenommene Prioritätszuweisung kann sich jedoch auf mehrere Sätze neuer Bilder aus mehreren Studien erstrecken, die zur gleichen Zeit empfangen wurden. Auf diese Weise erfolgt die Analyse der Bilder für kritischere medizinische Zustände vor der Analyse für weniger kritische medizinische Zustände. Auf diese Weise erleichtern die hier beschriebenen Techniken ein Früherkennungssystem, da die neuen medizinischen Bilder vor der Analyse der weniger kritischen Bedingungen auf die kritischsten Bedingungen hin analysiert werden.
In einer Ausführungsform benachrichtigt die Orchestrierungslogik das KI-System, um die neuen medizinischen Bilder zu analysieren. In einer Ausführungsform benachrichtigt die Orchestrierungslogik die KI-Engine, indem sie eine Benachrichtigung an die KI-Engine sendet, die einen Studienidentifikator (ID) und eine Liste von einem oder mehreren zu analysierenden Bildern enthält. Dies ist insofern von Vorteil, als die KI-Engine ihre Analyse auf die relevanten Bilder aus der Menge der neuen Bilder konzentrieren kann, anstatt alle neuen Bilder analysieren zu müssen, einschließlich derer, die keinen für die KI-Engine relevanten Gegenstand enthalten. In einer Ausführungsform wird eine Liste von Bild- oder Rahmenkennungen, die aus mehreren Studien stammen können, gesendet, wobei ein Satz als das aktuelle Bild oder der aktuelle Rahmen (Frame) gilt und das Ziel der KI ist (im Gegensatz zu früheren Studiendaten). Die Studien-ID gibt an, welches die aktuelle Studie ist. In der Regel kann sie jedoch detaillierter sein (z. B. auf Serienebene, auf Bildebene, auf Bildebene usw.).
Sobald die KI-Algorithmen, die auf die neuen medizinischen Bilder angewendet werden sollen, identifiziert wurden und Benachrichtigungen an die KI-Engines gesendet wurden, um die neuen medizinischen Bilder zu analysieren, erhält die Verarbeitungslogik in den KI-Engines die erforderlichen Bilder zur Analyse, führt die KI-Analyse aus und erzeugt KI-Ergebnisse (Verarbeitungsblock 604). In einer Ausführungsform erhält die KI-Engine die für die Analyse erforderlichen Bilder über das DICOM-Gateway 403 und die offene API 404.
In einer Ausführungsform erstellt die Verarbeitungslogik der KI-Engines Befunde, die auf die KI-Ergebnisse hinweisen. In einer Ausführungsform umfassen die Befunde ein oder mehrere DICOM-Objekte, die mindestens einen Aspekt der KI-Ergebnisse enthalten oder auf diese hinweisen. In einer Ausführungsform werden die DICOM-Objekte erstellt, ohne dass die KI-Engine mit dem DICOM-Standard vertraut sein muss. In einer Ausführungsform wird das Modul 406 zur Erzeugung von Ergebnisobjekten von der KI-Engine 405 verwendet, um DICOM-Objekte oder andere Ausgaben zu erstellen, die die Befunde enthalten. Der Befund kann ein Maskenbild umfassen, das nur einen relevanten Teil eines der neuen Bilder darstellt, das den Befund zeigt, der von einem Arzt oder Kliniker überprüft werden soll. Der Befund kann ein Bildschirmfoto des relevanten Teils eines Bildes sein, das von der KI-Engine erfasst wurde. In einer Ausführungsform erfasst das Modul 406 zur Erzeugung von Ergebnisobjekten den Teil des Bildes. Bei dem Ergebnis kann es sich um eine Wärmekarte handeln, die sich auf ein analysiertes Bild bezieht. In einer Ausführungsform kann der Befund ein Schnappschuss der Rohdaten sein. In einer Ausführungsform können folgende DICOM-Objekte erzeugt werden: DICOM GSPS, DICOM SR, DICOM Basic Structured Display, Rohdaten (DICOM oder Nicht-DICOM), DICOM KOS.
Die Verarbeitungslogik sendet das DICOM-Objekt bzw. die DICOM-Objekte an das PACS 400A, um es dort zu speichern (Verarbeitungsblock 605). In einer Ausführungsform sendet die Verarbeitungslogik das/die DICOM-Objekt(e) über das DICOM-Gateway 403 an das PACS 400A. In einer anderen Ausführungsform sendet die Verarbeitungslogik das DICOM-Objekt bzw. die DICOM-Objekte an den VNA 400B. Die Ergebnisse können auch an andere Stellen oder Ziele gesendet werden.
In einer Ausführungsform generiert und sendet die Verarbeitungslogik optional eine Anforderung zur Erstellung eines GSPS für einen Anzeigezustand des KI-Analyseergebnisses (Verarbeitungsblock 606) und/oder eines Thinklogs (Verarbeitungsblock 607).
In einer Ausführungsform sendet die Verarbeitungslogik die ein oder mehreren DICOM-Objekte in Nachrichten, um diejenigen Personen (z. B. Ärzte, Techniker usw.) oder Einrichtungen (z. B. Krankenhäuser, Kliniken usw.) zu benachrichtigen, die den Empfang der Ergebnisse angefordert oder abonniert haben (Verarbeitungsblock 608). Diese Nachrichten dienen als Benachrichtigungen und werden von der Benachrichtigungslogik versendet. In einer Ausführungsform werden die Benachrichtigungen an alle abonnierten Anwendungen gesendet. Dies ist besonders wichtig in Situationen, in denen eine KI-Engine festgestellt hat, dass ein kritischer medizinischer Zustand vorliegt oder dass eine hohe Wahrscheinlichkeit für dessen Vorliegen besteht. In einer Ausführungsform werden vom medizinischen Bildverwaltungssystem verschiedene Benachrichtigungsmechanismen unterstützt, darunter z. B., aber nicht ausschließlich, WebInvoke, SignalR, HL7 und FHIR, damit verschiedene Arten von Systemen oder Anwendungen die KI-Ergebnisse nutzen können. Zu den Systemen, die die KI-Ergebnisbenachrichtigung nutzen, gehören beispielsweise, aber nicht ausschließlich, der Radiologie-Workflow-Manager, die Bildbetrachtungs-Workstation, IT-Systeme für die Abrechnung usw.
In einer Ausführungsform nutzt die Verarbeitungslogik in den Anwendungen 401 die KI-Analyseergebnisse, indem sie auf das Thinklog und anschließend auf jedes der von den KI-Engines generierten Ergebnisse zugreift (Verarbeitungsblock 609). In diesem Fall ruft die Verarbeitungslogik das Thinklog ab und zeigt es an, so dass eine Person das KI-Ergebnis überprüfen kann. Das Thinklog kann einen Schnappschuss enthalten, wie z. B. den oben erwähnten Snapshot. Die Verwendung des Thinklogs zur Überprüfung der KI-Befunde ist vorteilhaft, da die KI-Befunde im PACS an verschiedenen Orten gespeichert werden und das Thinklog alle KI-Befunde an einem Ort für den organisierten Zugriff bereitstellt.
Während der oben beschriebene Prozess die automatische Analyse neuer medizinischer Bilder als Reaktion auf die Benachrichtigung über den Eingang neuer Bilder beschreibt, können in einer Ausführungsform einzelne KI-Engines manuell gestartet werden. In einer Ausführungsform wird eine Reihe von APIs verwendet, um eine der KI-Engines zu starten. Dies ist in Fällen erforderlich, in denen die Art der KI-Algorithmen so beschaffen ist, dass eine Vorabanalyse erforderlich ist, bevor die KI-Engine eingeschaltet wird. Im Folgenden sind einige Beispiele hierfür aufgeführt. Es ist jedoch zu beachten, dass auch andere Beispiele möglich sind.

1. Ein Benutzer möchte einen bestimmten Teil des Bildes/3D-Volumens analysieren, indem er einen Bereich im Bild/3D-Volumen mit einer Bildbetrachtungsanwendung markiert. In diesem Fall kann die Anwendung APIs aufrufen, um den KI-Scan auszulösen, indem sie die vom Benutzer markierten Bildpunkte angibt.
2. Eine historische Studie existiert und ist bereits im VNA oder PACS gespeichert, bevor der KI-Workflow eingeführt wird. Wenn der Benutzer einen KI-Scan für diese Studie durchführen möchte, kann er dies tun, indem er die Studie aus der Studienliste auswählt.
3. Wenn der Benutzer einen KI-Scan über alle früheren Untersuchungen des Patienten durchführen möchte, um festzustellen, ob ein Trend in Bezug auf eine bestimmte Anomalie (z. B. eine Heilungsrate) usw. besteht. Wenn die Einrichtung das System nicht so konfiguriert, dass es diesen Schritt automatisch durchführt (z. B. aus Gründen der Abrechnung usw.), kann der Benutzer einen vollständigen Scan für den Patienten auslösen, indem er alle früheren Untersuchungen manuell einbezieht.

Ein beispielhaftes Verwaltungssystem für medizinische Bildgebung
7 zeigt eine beispielhafte logische Darstellung eines medizinischen Bildgebungs- und Informationsverwaltungssystems 700, das Layouts mit aktuellen und früheren Werten der oben beschriebenen Parameter erzeugt und darstellt. In einer Ausführungsform ist das System 700 Teil eines medizinischen Bildgebungssystems, wie es oben beschrieben wurde.
Das medizinische Bildgebungs- und Informationsverwaltungssystem 700 umfasst einen oder mehrere Prozessoren 701, die über ein erstes Übertragungsmedium 720 mit der Kommunikationsschnittstellenlogik 710 verbunden sind. Die Kommunikationsschnittstellenlogik 710 ermöglicht die Kommunikation mit anderen elektronischen Geräten, insbesondere die Kommunikation mit entfernten Anwendern wie Ärzten, Krankenschwestern und/oder medizinischem Fachpersonal, entfernten Datenbanken (z. B. PACS), die Gesundheitsstudien speichern, Modalitäten zur medizinischen Versorgung, die Studien erzeugen und senden, und einem oder mehreren entfernten Standorten (z. B. Cloud-basierten Servern), die Bildanalysealgorithmen (z. B. KI-Algorithmen) auf Bilder von Studien anwenden und Befunde auf der Grundlage der Ergebnisse erzeugen. Gemäß einer Ausführungsform der Offenlegung kann die Kommunikationsschnittstellenlogik 710 als physische Schnittstelle mit einem oder mehreren Anschlüssen für kabelgebundene Verbindungen implementiert werden. Zusätzlich oder alternativ dazu kann die Kommunikationsschnittstellenlogik 710 mit einer oder mehreren Funkeinheiten zur Unterstützung der drahtlosen Kommunikation mit anderen elektronischen Geräten implementiert werden.
Der (die) Prozessor(en) 701 ist (sind) außerdem über das zweite Übertragungsmedium 725 mit dem dauerhaften Speicher 730 verbunden. Gemäß einer Ausführungsform der Offenlegung kann der dauerhafte Speicher 730 Daten und Code zur Implementierung enthalten von: (a) Schnittstellenlogik 741, (b) Überwachungslogik 742, (c) Benachrichtigungs-/Warnlogik 743, (d) Bildanalyselogik (z. B. KI-Analyse-Engine) 744, (e) Orchestrierungslogik 731, (f) eine Importlogik 732, (g) eine Schnappschuss-/Thinklog-/Ausgabeerzeugungslogik 733, (h) eine Anzeigesteuerungslogik 734, (i) eine Notizdatenbank 736 und (j) eine Datensatzdatenbank 737.
In einer Ausführungsform umfasst die Schnittstellenlogik 741 eine Logik zur Ermöglichung der Interaktion zwischen den Komponenten der Plattform sowie zwischen einem Benutzer und den auf dem Bildschirm angezeigten Anzeigebereichen. In einer Ausführungsform umfasst die Schnittstellenlogik 741 die Implementierungen zur Handhabung der offenen APIs. Die Benutzerschnittstellen umfassen die Generierung von GUIs mit Studien oder Teilen davon und den dazugehörigen KI-Ergebnissen.
Die Überwachungslogik 742 umfasst eine Logik zur kontinuierlichen Überwachung, um festzustellen, wann Änderungen an den Datenquellen wie PACS-Systemen, VNAs oder Datenbanken aufgetreten sind, um festzustellen, wann neue Bilder für die Analyse durch KI/Bildanalyse-Engines verfügbar sind.
Die Orchestrierungslogik 731 umfasst eine Logik, mit der bestimmt wird, welche KI-/Bildanalyse-Engines zur Analyse neuer medizinischer Bilder zugewiesen werden sollen. Diese Logik umfasst eine Logik für die Analyse von Bildköpfen und Studien und eine Logik für die Erkennung von Körperteilen, um den Inhalt medizinischer Bilder zu identifizieren, sowie eine Anpassungslogik, um die Ergebnisse der Header-/Studienanalyse und der Erkennung von Körperteilen mit den Merkmalen verfügbarer KI-/Bildanalysealgorithmen zu vergleichen und eine geeignete Zuweisung vorzunehmen. In einer Ausführungsform ist die Orchestrierungslogik 731 in der Lage, Benutzereingaben zu empfangen, um einen Scan oder eine Überprüfung eines vorhandenen medizinischen Bildes manuell zu starten.
Die Benachrichtigungs-/Warnlogik 743 umfasst eine Logik zur Ausgabe und Versendung von Benachrichtigungen an KI/Bildanalyse-Engines und -Anwendungen zur Auswertung eines oder mehrerer neuer medizinischer Bilder. Die Benachrichtigungs-/Warnlogik 743 generiert und sendet auch Benachrichtigungen und/oder Warnungen für Überprüfungen von Studien, einschließlich KI/Bildanalyseergebnisse, an einen oder mehrere Ärzte und medizinisches Personal. In einer Ausführungsform sendet die Benachrichtigungs-/Warnlogik 743 eine Warnung (z. B. eine SMS, einen Text, eine E-Mail oder eine andere Nachricht, eine Chat-Anzeige, die anzeigt, dass eine Chatsitzung mit dem Arzt erwünscht ist, usw.) als Reaktion auf einen vorbestimmten Befund in den Ergebnissen der automatisierten Bildanalyse, die für ein oder mehrere Bilder einer Gesundheitsstudie durchgeführt wurde. In einer Ausführungsform umfasst der vorbestimmte Befund eine Abnormitätsbewertung oberhalb eines Schwellenwerts. In einer anderen Ausführungsform umfasst der vorbestimmte Befund ein oder mehrere Schlüsselwörter in den Ergebnissen. In einer weiteren Ausführungsform umfasst der vorbestimmte Befund eine Abnormitätsbewertung oberhalb eines Schwellenwerts und ein oder mehrere Schlüsselwörter im Befund. In einer Ausführungsform wird die Warnmeldung an einen oder mehrere vorbestimmte Gesundheitsdienstleister gesendet, die für die Behandlung eines mit dem vorbestimmten Befund verbundenen Zustands verantwortlich sind. Wenn der Befund beispielsweise darauf hinweist, dass der Patient wahrscheinlich einen Schlaganfall erlitten hat, wird automatisch eine Warnung an ein Schlaganfallteam in einer bestimmten medizinischen Einrichtung gesendet, das sich um den Patienten kümmern soll. In einer Ausführungsform enthält die Warnmeldung einen Link zu einem Bild, das sich auf die Ergebnisse der Gesundheitsstudie bezieht, die durch den automatischen Bildanalysealgorithmus erzeugt wurden. In einem solchen Fall kann die Warnmeldung einen Link enthalten, den der Benutzer auswählt, um eine Studie zu öffnen, die das mit dem Befund verbundene Bild enthält, und das System zeigt das Bild an.
Die Bildanalyselogik 744 führt einen oder mehrere Bildanalysealgorithmen für Bilder aus Gesundheitsstudien durch. In einer Ausführungsform sind die Bildanalysealgorithmen KI-Analysealgorithmen. Die Ergebnisse der Anwendung der Bildanalysealgorithmen können auf einem Bildschirm angezeigt werden.
Die Importlogik 732 kann eine Logik zum Abrufen einer oder mehrerer Informationen aus einem Speichergerät und zum Importieren jeder der einen oder mehreren Informationen in einen separaten Anzeigebereich eines Viewers oder einer Viewer-Vorlage umfassen. Die Informationen können beispielsweise Folgendes umfassen, sind aber nicht beschränkt auf: (i) Ergebnisse automatischer Bildanalysealgorithmen (z. B. KI-Algorithmen); (ii) medizinische Bilder, einschließlich Röntgenaufnahmen, Mammogramme, Computertomografien (CT), Magnetresonanztomografien (MRT), Positronenemissionstomografien (PET) und/oder Ultraschallbilder; (iii) ärztliche Notizen zu einem oder mehreren der medizinischen Bilder und/oder (iv) medizinische Aufzeichnungen, die einem oder mehreren der Themen der einen oder mehreren medizinischen Bilder entsprechen.
Die Logik zur Erzeugung eines Schnappschusses/Thinklogs/Ausgabe 733 umfasst eine Logik zur Erzeugung eines Schnappschusses (durch Speichern des Zustands der Layoutvorlage), eines Thinklogs und/oder einer KI/Bildanalyse-Ausgabe wie oben beschrieben. Das Speichern des Zustands kann das Speichern mindestens (i) der einen oder mehreren Informationen und (ii) der Anzeigeeigenschaften jeder der einen oder mehreren Informationen in einem nicht-flüchtigen computerlesbaren Medium umfassen. Die Layout-Vorlage kann ein oder mehrere Bilder einer Gesundheitsstudie darstellen, die Bilddaten zeigt, die für einen Befund aus einem automatischen Bildanalysealgorithmus relevant sind. Die Logik 733 zur Erzeugung von Schnappschüssen/Thinklogs/Ausgaben kann den Schnappschuss, das Thinklog oder das Ergebnis der KI/Bildanalyse in einer medizinischen Akte oder einem Bericht speichern und/oder an einen vorgegebenen Ort senden.
Die Anzeigesteuerungslogik 734 umfasst Logik zur Anzeige von Benutzeroberflächen, Bildern und KI/Bildanalyseergebnissen, die wie oben beschrieben lokal gerendert wurden. In einer Ausführungsform umfasst die Anzeigesteuerungslogik 734 eine Logik zur Anzeige eines Browsers, in dem die oben beschriebenen Bilder und Benutzeroberflächen angezeigt werden.
In der Notizdatenbank 736 werden Notizen gespeichert, die von einem Arzt, einer Krankenschwester, einem Medizintechniker usw. aufgezeichnet wurden und die ein Benutzer in einen Anzeigebereich einer Layoutvorlage importieren kann. Schließlich speichert die Datenbank 737 medizinische Aufzeichnungen, die ein Benutzer in einen Anzeigebereich einer Layoutvorlage importieren kann.
Es gibt eine Reihe von Ausführungsbeispielen, die hier beschrieben werden.
Beispiel 1 ist ein Verfahren, das Folgendes umfasst: Überwachen eines ersten Hinweises auf eine Inhaltsänderung in einer oder mehreren Datenquellen durch ein medizinisches Bildverwaltungssystem; Bestimmen, als Reaktion auf den ersten Hinweis, welche einer Vielzahl von Bildanalyse-Engines mindestens ein Bild eines oder mehrerer neuer medizinischer Bilder, die mit der Inhaltsänderung verbunden sind, analysieren soll, basierend auf einer oder beiden der Informationen, die das eine oder die mehreren Bilder begleiten, oder den Ergebnissen der Anwendung der Körperteilerkennung auf das mindestens eine Bild; Senden einer ersten Benachrichtigung, um die Bildanalyse des mindestens einen Bildes des einen oder der mehreren medizinischen Bilder zu starten, wobei die erste Benachrichtigung an jede Bildanalyse-Engine in einem Satz von einer oder mehreren Bildanalyse-Engines gesendet wird, die dazu bestimmt sind, das mindestens eine Bild des einen oder der mehreren neuen medizinischen Bilder zu analysieren; Empfangen eines zweiten Hinweises, dass Bildanalyseergebnisse von dem Satz von einer oder mehreren Bildanalyse-Engines verfügbar sind; und Senden einer zweiten Benachrichtigung an Abnehmer, um die Verfügbarkeit von Bildanalyseergebnissen für den Zugriff und die Anzeige dadurch anzuzeigen.
Beispiel 2 ist das Verfahren aus Beispiel 1, das optional beinhalten kann, dass eine oder mehrere Bildanalyse-Engines der Vielzahl von Bildanalyse-Engines eine Engine mit künstlicher Intelligenz (KI) umfasst.
Beispiel 3 ist das Verfahren aus Beispiel 1, das optional beinhalten kann, dass der erste Hinweis das Eintreffen des einen oder der mehreren neuen medizinischen Bilder in der einen oder den mehreren Datenquellen angibt.
Beispiel 4 ist das Verfahren aus Beispiel 1, das optional beinhalten kann, dass die ein oder mehreren neuen medizinischen Bilder Teil einer neuen Gesundheitsstudie oder einer bestehenden Studie sind, die vor der Erzeugung der neuen medizinischen Bilder erstellt wurde.
Beispiel 5 ist das Verfahren aus Beispiel 1, das optional die Bestimmung einer Priorität für jede Bildanalyse-Engine beinhalten kann, die zur Analyse des mindestens einen Bildes bestimmt wurde, wenn mehrere Bildanalyse-Engines vorhanden sind.
Beispiel 6 ist das Verfahren aus Beispiel 5, das optional beinhalten kann, dass die Bestimmung der Priorität auf Merkmalen in einer Gesundheitsstudie des mindestens einen Bildes, auf Prioritäten und auf der Beschaffenheit der mehreren Bildanalyse-Engines basiert.
Beispiel 7 ist das Verfahren aus Beispiel 1, das optional als Reaktion auf den Empfang der Benachrichtigung die Bestimmung unter Verwendung der Bildanalyse-Engine, ob ein oder mehrere Merkmale in dem mindestens einen Bild vordefinierte Kriterien erfüllen, die auf einen medizinischen Zustand hinweisen, die Erzeugung einer DICOM-konformen KI-Ergebnisdarstellung durch die Bildanalyse-Engine ohne Implementierung der DICOM-Konformität und das Senden der DICOM-konformen KI-Ergebnisdarstellung als DICOM-Objekt an das medizinische Bildverwaltungssystem umfassen kann.
Beispiel 8 ist das Verfahren von Beispiel 7, das optional beinhalten kann, dass das eine oder die mehreren Merkmale eines oder mehrere der anatomischen Merkmale und Anomalien umfassen, die in dem medizinischen Bild dargestellt sind.
Beispiel 9 ist das Verfahren aus Beispiel 7, das optional beinhalten kann, dass die Bildanalyse-Engine in der Lage ist, eine Bildanalyse durchzuführen, um zu bestimmen, ob das eine oder die mehreren Merkmale in dem mindestens einen Bild die vordefinierten Kriterien ohne Benutzereingabe erfüllen.
Beispiel 10 ist ein medizinisches Bildverwaltungssystem, das Folgendes umfasst: eine Netzwerk-Kommunikationsschnittstelle zum Empfangen von Gesundheitsstudien; einen mit der Netzwerk-Kommunikationsschnittstelle gekoppelten Speicher zum Speichern empfangener Gesundheitsstudien; einen mit dem Speicher gekoppelten Anzeigebildschirm zum Anzeigen der empfangenen Gesundheitsstudien; und einen oder mehrere Prozessoren, die mit der Netzwerk-Verbindungsschnittstelle, dem Speicher und dem Anzeigebildschirm gekoppelt und so konfiguriert sind, dass sie auf einen ersten Hinweis auf eine Inhaltsänderung bei einer oder mehreren Datenquellen überwachen; als Reaktion auf den ersten Hinweis zu bestimmen, welche einer Vielzahl von Bildanalyse-Engines mindestens ein Bild eines oder mehrerer neuer medizinischer Bilder, die mit der Inhaltsänderung verbunden sind, auf der Grundlage von Informationen, die das eine oder die mehreren Bilder begleiten, oder von Ergebnissen der Anwendung der Körperteilerkennung auf das mindestens eine Bild analysieren soll; Senden einer ersten Benachrichtigung, um die Bildanalyse des mindestens einen Bildes des einen oder der mehreren medizinischen Bilder zu starten, wobei die erste Benachrichtigung an jede Bildanalyse-Engine in einem Satz von einer oder mehreren Bildanalyse-Engines gesendet wird, die dazu bestimmt sind, das mindestens eine Bild des einen oder der mehreren neuen medizinischen Bilder zu analysieren; Empfangen eines zweiten Hinweises, dass Bildanalyseergebnisse von dem Satz von einer oder mehreren Bildanalyse-Engines verfügbar sind; und Senden einer zweiten Benachrichtigung an Abnehmer bzw. Abonnenten, um die Verfügbarkeit von Bildanalyseergebnissen für den Zugriff und die Anzeige dadurch anzuzeigen.
Beispiel 11 ist das System aus Beispiel 10, das optional beinhalten kann, dass eine oder mehrere Bildanalyse-Engines der Vielzahl von Bildanalyse-Engines eine Engine mit künstlicher Intelligenz (KI) umfasst.
Beispiel 12 ist das System von Beispiel 10, das optional beinhalten kann, dass der erste Hinweis das Eintreffen des einen oder der mehreren neuen medizinischen Bilder in der einen oder den mehreren Datenquellen angibt.
Beispiel 13 ist das System von Beispiel 12, das optional beinhalten kann, dass das eine oder die mehreren neuen medizinischen Bilder Teil einer neuen Gesundheitsstudie oder einer bestehenden Studie sind, die vor der Erzeugung der neuen medizinischen Bilder erstellt wurde.
Beispiel 14 ist das System aus Beispiel 10, das optional beinhalten kann, dass der eine oder die mehreren Prozessoren eine Priorität für jede Bildanalyse-Engine bestimmen können, die zur Analyse des mindestens einen Bildes bestimmt wurde, wenn mehrere Bildanalyse-Engines vorhanden sind.
Beispiel 15 ist das System aus Beispiel 14, das optional beinhalten kann, dass die Bestimmung der Priorität auf Merkmalen in einer Gesundheitsstudie des mindestens einen Bildes, auf Prioritäten und auf der Beschaffenheit mehrerer Bildanalyse-Engines basiert.
Beispiel 16 ist ein nicht-flüchtiges computerlesbares Speichermedium mit darauf gespeicherten Befehlen, die, wenn sie von einem System mit mindestens einem Prozessor, einem Speicher und einem Bildschirm ausgeführt werden, das System veranlassen, ein Verfahren durchzuführen, das Folgendes umfasst: Überwachen auf einen ersten Hinweis auf eine Inhaltsänderung bei einer oder mehreren Datenquellen; Bestimmen, als Reaktion auf den ersten Hinweis, welche einer Vielzahl von Bildanalyse-Engines mindestens ein Bild von einem oder mehreren neuen medizinischen Bildern, die mit der Inhaltsänderung verbunden sind, analysieren soll, basierend auf einer oder beiden von Informationen, die das eine oder die mehreren Bilder begleiten, oder Ergebnissen der Anwendung der Körperteilerkennung auf das mindestens eine Bild; Senden einer ersten Benachrichtigung, um die Bildanalyse des mindestens einen Bildes des einen oder der mehreren medizinischen Bilder zu starten, wobei die erste Benachrichtigung an jede Bildanalyse-Engine in einem Satz von einer oder mehreren Bildanalyse-Engines gesendet wird, die dazu bestimmt sind, das mindestens eine Bild des einen oder der mehreren neuen medizinischen Bilder zu analysieren; Empfangen eines zweiten Hinweises, dass Bildanalyseergebnisse von dem Satz von einer oder mehreren Bildanalyse-Engines verfügbar sind; und Senden einer zweiten Benachrichtigung an Abnehmer bzw. Abonennten, um die Verfügbarkeit von Bildanalyseergebnissen für den Zugriff und die Anzeige dadurch anzuzeigen.
Beispiel 17 ist das computerlesbare Speichermedium von Beispiel 16, das optional beinhalten kann, dass eine oder mehrere der Bildanalyse-Engines der Vielzahl von Bildanalyse-Engines eine Engine mit künstlicher Intelligenz (KI) umfasst.
Beispiel 18 ist das computerlesbare Speichermedium von Beispiel 16, das optional beinhalten kann, dass der erste Hinweis Anzeige das Eintreffen des einen oder der mehreren neuen medizinischen Bilder in der einen oder den mehreren Datenquellen angibt.
Beispiel 19 ist das computerlesbare Speichermedium von Beispiel 18, das optional beinhalten kann, dass die ein oder mehreren neuen medizinischen Bilder Teil einer neuen Gesundheitsstudie oder einer bestehenden Studie sind, die vor der Erzeugung der neuen medizinischen Bilder erstellt wurde.
Beispiel 20 ist das computerlesbare Speichermedium von Beispiel 16, das optional einschließen kann, dass das Verfahren ferner das Bestimmen einer Priorität für jede Bildanalyse-Engine umfasst, die zur Analyse des mindestens einen Bildes bestimmt wurde, wenn mehrere Bildanalyse-Engines vorhanden sind.
Beispiel 21 ist das computerlesbare Speichermedium von Beispiel 20, das optional beinhalten kann, dass die Bestimmung der Priorität auf Merkmalen in einer Gesundheitsstudie des mindestens einen Bildes, auf Prioritäten und auf der Beschaffenheit der mehreren Bildanalyse-Engines basiert.
Beispiel 22 ist das computerlesbare Speichermedium von Beispiel 16, das optional einschließen kann, dass das Verfahren ferner umfasst, als Reaktion auf den Empfang der Benachrichtigung unter Verwendung der Bildanalyse-Engine zu bestimmen, ob ein oder mehrere Merkmale in dem mindestens einen Bild vordefinierte Kriterien erfüllen, die auf einen medizinischen Zustand hinweisen; durch die Bildanalyse-Engine eine DICOM-konforme KI-Ergebnisdarstellung zu erzeugen, ohne DICOM-Konformität zu implementieren; und die DICOM-konforme KI-Ergebnisdarstellung als DICOM-Objekt an das medizinische Bildverwaltungssystem zu senden.
Beispiel 23 ist das computerlesbare Speichermedium von Beispiel 22, das optional beinhalten kann, dass das eine oder die mehreren Merkmale eines oder mehrere der anatomischen Merkmale und Anomalien umfassen, die in dem medizinischen Bild dargestellt sind.
Beispiel 24 ist das computerlesbare Speichermedium von Beispiel 22, das optional beinhalten kann, dass die Bildanalyse-Engine in der Lage ist, eine Bildanalyse durchzuführen, um ohne Benutzereingabe zu bestimmen, ob das eine oder die mehreren Merkmale in dem mindestens einen Bild die vordefinierten Kriterien erfüllen.
Einige Teile der obigen detaillierten Beschreibungen werden in Form von Algorithmen und symbolischen Darstellungen von Operationen an Datenbits in einem Computerspeicher dargestellt. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die von Fachleuten der Datenverarbeitung verwendet werden, um anderen Fachleuten den Inhalt ihrer Arbeit am effektivsten zu vermitteln. Ein Algorithmus wird hier und im Allgemeinen als eine in sich konsistente Abfolge von Schritten verstanden, die zu einem gewünschten Ergebnis führen. Bei den Schritten handelt es sich um solche, die physikalische Manipulationen von physikalischen Größen erfordern. Normalerweise, wenn auch nicht notwendigerweise, haben diese Größen die Form von elektrischen oder magnetischen Signalen, die gespeichert, übertragen, kombiniert, verglichen und anderweitig manipuliert werden können. Zuweilen hat es sich als zweckmäßig erwiesen, diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Begriffe, Zahlen oder Ähnliches zu bezeichnen, hauptsächlich aus Gründen des allgemeinen Sprachgebrauchs.
Es sollte jedoch bedacht werden, dass alle diese und ähnliche Begriffe mit den entsprechenden physikalischen Größen in Verbindung gebracht werden müssen und lediglich praktische Bezeichnungen für diese Größen sind. Sofern in der folgenden Beschreibung nicht ausdrücklich etwas anderes angegeben ist, beziehen sich Begriffe wie „Verarbeitung“ oder „Berechnung“ oder „Berechnung“ oder „Bestimmung“ oder „Anzeige“ oder ähnliches auf die Aktionen und Prozesse eines Computersystems oder eines ähnlichen elektronischen Rechengeräts, das Daten, die als physikalische (elektronische) Größen in den Registern und Speichern des Computersystems dargestellt werden, manipuliert und in andere Daten umwandelt, die in ähnlicher Weise als physikalische Größen in den Speichern oder Registern des Computersystems oder in anderen Geräten zur Speicherung, Übertragung oder Anzeige von Informationen dargestellt werden.
Die vorliegende Erfindung bezieht sich auch auf ein Gerät zur Durchführung der hier beschriebenen Vorgänge. Diese Vorrichtung kann speziell für die geforderten Zwecke konstruiert sein, oder sie kann einen Universalcomputer umfassen, der durch ein im Computer gespeichertes Computerprogramm selektiv aktiviert oder rekonfiguriert wird. Ein solches Computerprogramm kann in einem computerlesbaren Speichermedium gespeichert sein, wie z. B., aber nicht beschränkt auf, jede Art von Diskette, einschließlich Disketten, optische Disketten, CD-ROMs und magnetisch-optische Disketten, Festwertspeicher (ROMs), Direktzugriffsspeicher (RAMs), EPROMs, EEPROMs, magnetische oder optische Karten oder jede Art von Medien, die zur Speicherung elektronischer Anweisungen geeignet sind und jeweils mit einem Computersystembus gekoppelt sind.
Die hier vorgestellten Algorithmen und Anzeigen sind nicht von Natur aus an einen bestimmten Computer oder ein anderes Gerät gebunden. Verschiedene Allzwecksysteme können mit Programmen in Übereinstimmung mit den hier dargelegten Lehren verwendet werden, oder es kann sich als zweckmäßig erweisen, ein spezielleres Gerät zu konstruieren, um die erforderlichen Verfahrensschritte durchzuführen. Die erforderliche Struktur für eine Vielzahl dieser Systeme geht aus der nachfolgenden Beschreibung hervor. Darüber hinaus wird die vorliegende Erfindung nicht unter Bezugnahme auf eine bestimmte Programmiersprache beschrieben. Es versteht sich von selbst, dass eine Vielzahl von Programmiersprachen verwendet werden kann, um die Lehren der Erfindung, wie hier beschrieben, zu implementieren.
Ein maschinenlesbares Medium ist ein Mechanismus zum Speichern oder Übertragen von Informationen in einer Form, die von einer Maschine (z. B. einem Computer) gelesen werden kann. Ein maschinenlesbares Medium umfasst beispielsweise Festwertspeicher („ROM“), Speicher mit wahlfreiem Zugriff („RAM“), Magnetplattenspeichermedien, optische Speichermedien, Flash-Speichergeräte, elektrische, optische, akustische oder andere Formen von übertragenen Signalen (z. B. Trägerwellen, Infrarotsignale, digitale Signale usw.) usw.
Während viele Änderungen und Modifikationen der vorliegenden Erfindung zweifellos für eine Person mit gewöhnlichen Kenntnissen auf dem Gebiet der Technik nach dem Lesen der vorstehenden Beschreibung offensichtlich werden, ist es zu verstehen, dass jede besondere Ausführungsform, die zur Veranschaulichung gezeigt und beschrieben wird, in keiner Weise als einschränkend angesehen werden soll. Daher sollen Verweise auf Einzelheiten verschiedener Ausführungsformen den Umfang der Ansprüche nicht einschränken, in denen nur die Merkmale aufgeführt sind, die als wesentlich für die Erfindung angesehen werden.

Claims

Verfahren, das Folgendes umfasst: Überwachen durch ein medizinisches Bildverwaltungssystem auf einen ersten Hinweis auf eine Inhaltsänderung in einer oder mehreren Datenquellen; Bestimmen, als Reaktion auf den ersten Hinweis, welche einer Vielzahl von Bildanalysemaschinen bzw. -engines mindestens ein Bild eines oder mehrerer neuer medizinischer Bilder, die mit der Inhaltsänderung verbunden sind, analysieren soll, basierend auf einer oder beiden der Informationen, die das eine oder die mehreren Bilder begleiten, oder den Ergebnissen der Anwendung der Körperteilerkennung auf das mindestens eine Bild; Senden einer ersten Benachrichtigung zum Starten der Bildanalyse für das mindestens eine Bild des einen oder der mehreren medizinischen Bilder, wobei die erste Benachrichtigung an jede Bildanalyse-Engine in einem Satz von einer oder mehreren Bildanalyse-Engines gesendet wird, die dazu bestimmt sind, das mindestens eine Bild des einen oder der mehreren neuen medizinischen Bilder zu analysieren; Empfangen eines zweiten Hinweises, dass Bildanalyseergebnisse aus dem Satz von einer oder mehreren Bildanalyse-Engines verfügbar sind; und Senden einer zweiten Benachrichtigung an Abbonenten bzw. Abnehmer, um die Verfügbarkeit der Bildanalyseergebnisse für den Zugriff und die Anzeige anzuzeigen.
Verfahren nach Anspruch 1, wobei eine oder mehrere Bildanalyse-Engines der Vielzahl von Bildanalyse-Engines eine Engine mit künstlicher Intelligenz (KI) umfasst.
Verfahren nach Anspruch 1, wobei der erste Hinweis das Eintreffen des einen oder der mehreren neuen medizinischen Bilder in der einen oder den mehreren Datenquellen angibt.
Verfahren nach Anspruch 3, wobei das eine oder die mehreren neuen medizinischen Bilder Teil einer neuen Gesundheitsstudie oder einer bestehenden Studie sind, die vor der Erzeugung der neuen medizinischen Bilder erstellt wurde.
Verfahren nach Anspruch 1, ferner umfassend die Bestimmung einer Priorität für jede Bildanalyse-Engine, die zur Analyse des mindestens einen Bildes bestimmt ist, wenn mehrere Bildanalyse-Engines vorhanden sind.
Verfahren nach Anspruch 5, wobei die Bestimmung der Priorität auf Merkmalen in einer Gesundheitsstudie des mindestens einen Bildes, auf Prioritäten und auf der Beschaffenheit der mehreren Bildanalyse-Engines beruht.
Verfahren nach Anspruch 1, ferner umfassend als Reaktion auf den Empfang der Benachrichtigung, Bestimmen, unter Verwendung der Bildanalyse-Engine, ob ein oder mehrere Merkmale in dem mindestens einen Bild vordefinierte Kriterien erfüllen, die auf einen medizinischen Zustand hinweisen; Erzeugen, durch die Bildanalyse-Engine, einer DICOM-konformen KI-Ergebnisdarstellung ohne Implementierung der DICOM-Konformität; und Senden der DICOM-konformen KI-Ergebnisdarstellung als DICOM-Objekt an das medizinische Bildverwaltungssystem.
Verfahren nach Anspruch 7, wobei das eine oder die mehreren Merkmale eines oder mehrere der anatomischen Merkmale und Anomalien umfassen, die in dem medizinischen Bild dargestellt sind.
Verfahren nach Anspruch 7, wobei die Bildanalyse-Engine in der Lage ist, eine Bildanalyse durchzuführen, um ohne Benutzereingabe zu bestimmen, ob das eine oder die mehreren Merkmale in dem mindestens einen Bild die vordefinierten Kriterien erfüllen.
Medizinisches Bildverwaltungssystem, das Folgendes umfasst: eine Netzkommunikationsschnittstelle für den Empfang von Gesundheitsstudien; einen Speicher, der mit der Netzkommunikationsschnittstelle verbunden ist, um empfangene Gesundheitsstudien zu speichern; einen mit dem Speicher gekoppelten Anzeigeschirm zur Anzeige der empfangenen Gesundheitsstudien; und einen oder mehrere Prozessoren, die mit der Netzverbindungsschnittstelle, dem Speicher und dem Bildschirm gekoppelt und konfiguriert sind zum Überwachen auf einen ersten Hinweis auf eine Inhaltsänderung in einer oder mehreren Datenquellen; Bestimmen als Reaktion auf den ersten Hinweis, welche einer Vielzahl von Bildanalyse-Engines mindestens ein Bild eines oder mehrerer neuer medizinischer Bilder, die mit der Inhaltsänderung verbunden sind, analysieren soll, und zwar auf der Grundlage von Informationen, die das eine oder die mehreren Bilder begleiten, oder von Ergebnissen der Anwendung der Körperteilerkennung auf das mindestens eine Bild; Senden einer ersten Benachrichtigung, um die Bildanalyse für das mindestens eine Bild des einen oder der mehreren medizinischen Bilder zu starten, wobei die erste Benachrichtigung an jede Bildanalyse-Engine in einem Satz von einer oder mehreren Bildanalyse-Engines gesendet wird, die bestimmt sind, das mindestens eine Bild des einen oder der mehreren neuen medizinischen Bilder zu analysieren; Empfangen eines zweiten Hinweises, dass Bildanalyseergebnisse von dem Satz von einem oder mehreren Bildanalyse-Engines verfügbar sind; und Senden einer zweiten Benachrichtigung an Abnehmer, um die Verfügbarkeit der Bildanalyseergebnisse für den Zugriff und die Anzeige durch diese anzuzeigen.
System nach Anspruch 10, wobei eine oder mehrere Bildanalyse-Engines der mehreren Bildanalyse-Engines eine Engine mit künstlicher Intelligenz (KI) umfassen.
System nach Anspruch 10, wobei der erste Hinweis das Eintreffen des einen oder der mehreren neuen medizinischen Bilder in der einen oder den mehreren Datenquellen angibt.
System nach Anspruch 12, wobei das eine oder die mehreren neuen medizinischen Bilder Teil einer neuen Gesundheitsstudie oder einer bestehenden Studie sind, die vor der Erzeugung der neuen medizinischen Bilder erstellt wurde.
System nach Anspruch 10, wobei der eine oder die mehreren Prozessoren in der Lage sind, eine Priorität für jede Bildanalyse-Engine zu bestimmen, die bestimmt ist, das mindestens eine Bild zu analysieren, wenn mehrere Bildanalyse-Engines vorhanden sind.
System nach Anspruch 14, bei dem die Bestimmung der Priorität auf Merkmalen in einer Gesundheitsstudie des mindestens einen Bildes, auf Prioritäten und auf der Beschaffenheit der mehreren Bildanalyse-Engines beruht.
Dauerhaftes computerlesbares Speichermedium mit darauf gespeicherten Befehlen, die, wenn sie von einem System ausgeführt werden, das mindestens einen Prozessor, einen Speicher und einen Bildschirm enthält, das System veranlassen, ein Verfahren durchzuführen, das Folgendes umfasst Überwachen auf einen ersten Hinweis auf eine Inhaltsänderung in einer oder mehreren Datenquellen; Bestimmen, als Reaktion auf den ersten Hinweis, welche einer Vielzahl von Bildanalyse-Engines mindestens ein Bild eines oder mehrerer neuer medizinischer Bilder, die mit der Inhaltsänderung verbunden sind, analysieren soll, basierend auf einer oder beiden der Informationen, die das eine oder die mehreren Bilder begleiten, oder den Ergebnissen der Anwendung der Körperteilerkennung auf das mindestens eine Bild; Senden einer ersten Benachrichtigung zum Starten der Bildanalyse für das mindestens eine Bild des einen oder der mehreren medizinischen Bilder, wobei die erste Benachrichtigung an jede Bildanalyse-Engine in einem Satz von einer oder mehreren Bildanalyse-Engines gesendet wird, die dazu bestimmt sind, das mindestens eine Bild des einen oder der mehreren neuen medizinischen Bilder zu analysieren; Empfangen eines zweiten Hinweises, dass Bildanalyseergebnisse aus dem Satz von einer oder mehreren Bildanalyse-Engines verfügbar sind; und Senden einer zweiten Benachrichtigung an Abnehmer, um die Verfügbarkeit der Bildanalyseergebnisse für den Zugriff und die Anzeige anzuzeigen.
Computerlesbares Speichermedium nach Anspruch 16, wobei eine oder mehrere der Bildanalyse-Engines aus der Vielzahl der Bildanalyse-Engines eine Engine mit künstlicher Intelligenz (KI) umfasst.
Computerlesbares Speichermedium nach Anspruch 16, wobei der erste Hinweis das Eintreffen des einen oder der mehreren neuen medizinischen Bilder in der einen oder den mehreren Datenquellen angibt.
Computerlesbares Speichermedium nach Anspruch 18, wobei das eine oder die mehreren neuen medizinischen Bilder Teil einer neuen Gesundheitsstudie oder einer bestehenden Studie sind, die vor der Erzeugung der neuen medizinischen Bilder erstellt wurde.
Computerlesbares Speichermedium nach Anspruch 16, wobei das Verfahren ferner das Bestimmen einer Priorität für jede Bildanalyse-Engine umfasst, die zum Analysieren des mindestens einen Bildes bestimmt ist, wenn mehrere Bildanalyse-Engines vorhanden sind.
Computerlesbares Speichermedium nach Anspruch 20, wobei die Bestimmung der Priorität auf Merkmalen in einer Gesundheitsstudie des mindestens einen Bildes, auf Prioritäten und auf der Beschaffenheit der mehreren Bildanalyse-Engines beruht.
Computerlesbares Speichermedium nach Anspruch 16, wobei das Verfahren ferner als Reaktion auf den Empfang der Benachrichtigung Folgendes umfasst, Bestimmen, unter Verwendung der Bildanalyse-Engine, ob ein oder mehrere Merkmale in dem mindestens einen Bild vordefinierte Kriterien erfüllen, die auf einen medizinischen Zustand hinweisen; Erzeugen einer DICOM-konformen KI-Ergebnisdarstellung durch die Bildanalyse-Engine ohne Implementierung der DICOM-Konformität; und Senden der DICOM-konformen KI-Ergebnisdarstellung als DICOM-Objekt an das medizinische Bildverwaltungssystem.
Computerlesbares Speichermedium nach Anspruch 22, wobei das eine oder die mehreren Merkmale eines oder mehrere der anatomischen Merkmale und Anomalien umfassen, die in dem medizinischen Bild dargestellt sind.
Computerlesbares Speichermedium nach Anspruch 22, wobei die Bildanalyse-Engine so betrieben werden kann, dass sie eine Bildanalyse durchführt, um ohne Benutzereingabe zu bestimmen, ob das eine oder die mehreren Merkmale in dem mindestens einen Bild die vordefinierten Kriterien erfüllen.