DE112019002206T5 - Knockout-autoencoder zum erkennen von anomalien in biomedizinischen bildern - Google Patents

Knockout-autoencoder zum erkennen von anomalien in biomedizinischen bildern Download PDF

Info

Publication number
DE112019002206T5
DE112019002206T5 DE112019002206.7T DE112019002206T DE112019002206T5 DE 112019002206 T5 DE112019002206 T5 DE 112019002206T5 DE 112019002206 T DE112019002206 T DE 112019002206T DE 112019002206 T5 DE112019002206 T5 DE 112019002206T5
Authority
DE
Germany
Prior art keywords
image
knockout
pixel
biomedical
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112019002206.7T
Other languages
English (en)
Inventor
Paul Dufort
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Merative Us LP NDGesDStaates Delaware Us
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of DE112019002206T5 publication Critical patent/DE112019002206T5/de
Granted legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

Ein Mechanismus in einem Datenverarbeitungssystem bereitgestellt, das einen Prozessor und einen Arbeitsspeicher aufweist, wobei der Arbeitsspeicher Anweisungen aufweist, die durch den Prozessor ausgeführt werden, um insbesondere den Prozessor zu so konfigurieren, dass eine Knockout-Autoencoder-Steuerungskomponente zum Erkennen von Anomalien in biomedizinischen Bildern realisiert wird. Der Mechanismus trainiert ein neuronales Netz, das als Knockout-Autoencoder verwendet werden soll, der auf der Grundlage eines Eingabebildes ein Originalbild vorhersagt. Die Knockout-Autoencoder-Steuerungskomponente stellt ein biomedizinisches Bild als Eingabebild für das neuronale Netz bereit. Das neuronale Netz gibt eine Wahrscheinlichkeitsverteilung für jedes Pixel in dem biomedizinischen Bild aus. Jede Wahrscheinlichkeitsverteilung gibt eine vorhergesagte Wahrscheinlichkeitsverteilung erwarteter Pixelwerte für ein bestimmtes Pixel in dem biomedizinischen Bild wieder. Eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomalieerkennungskomponente stellt einer Wahrscheinlichkeit fest, dass jedes Pixel einen auf den Wahrscheinlichkeitsverteilungen beruhenden erwarteten Wert hat, um eine Mehrzahl von erwarteten Pixelwahrscheinlichkeiten zu bilden. Die Anomalieerkennungskomponente erkennt auf der Grundlage der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten eine Anomalie in dem biomedizinischen Bild. Eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomaliemarkierungskomponente markiert die erkannte Anomalie in dem biomedizinischen Bild, um ein markiertes biomedizinisches Bild zu bilden.

Description

  • HINTERGRUND
  • Die vorliegende Anmeldung betrifft allgemein eine verbesserte Datenverarbeitungsvorrichtung und ein Verfahren und insbesondere Mechanismen zum Trainieren und Verwenden eines Knockout-Autoencoders zum Erkennen von Anomalien in biomedizinischen Bildern.
  • Beim maschinellen Lernen handelt es sich bei einem faltenden neuronalen Netz (convolutional neural network, CNN oder ConvNet) um eine Klasse tiefgehender, vorwärtsgerichteter künstlicher neuronaler Netze, die üblicherweise beim Analysieren von Sichtbildern angewendet werden. CNNs nutzen eine Variante mehrschichtiger Perzeptronen, die so ausgestaltet ist, dass sie eine minimale Vorverarbeitung erfordert. Auf der Grundlage ihrer Architektur gemeinsam genutzter Gewichtungen und Translationsinvarianz-Eigenschaften werden CNNs auch als verschiebungsinvariante oder rauminvariante künstliche neuronale Netze (shift invariant bzw. space invariant artificial neural networks, SIANN) bezeichnet. Faltende Netze wurden durch biologische Prozesse in der Weise inspiriert, dass das Verbindungsmuster zwischen Neuronen der Organisation des visuellen Kortex von Tieren ähnelt. Einzelne kortikale Neuronen reagieren auf Stimuli nur in einem eingeschränkten Bereich des Sichtfeldes, der als Aufnahmefeld bezeichnet wird. Die Aufnahmefelder unterschiedlicher Neuronen überlappen sich teilweise, sodass sie das gesamte Sichtfeld bedecken. CNNs nutzen im Vergleich zu anderen Algorithmen zur Klassifizierung von Bildern relativ wenig Vorverarbeitung. Das bedeutet, dass das Netz die Filter lernt, die bei herkömmlichen Algorithmen manuell entwickelt wurden. Diese Unabhängigkeit von vorheriger Kenntnis und menschlichen Bemühungen bei der Ausgestaltung von Funktionen ist ein Hauptvorteil. Sie verfügen über Anwendungen bei der Bild- und Videoerkennung, Empfehlungsdienste und Verarbeitung natürlicher Sprache.
  • Beim U-Net handelt es sich um ein faltendes neuronales Netz, das zur Segmentierung biomedizinischer Bilder entwickelt wurde. Das Netz beruht auf dem vollständig faltenden Netz, dessen Architektur abgeändert und erweitert wurde, um mit weniger Trainingsbildern zu arbeiten und genauere Segmentierungen zu ergeben. Das Netz besteht aus einem Kontraktionspfad und einem Expansionspfad, die ihm die U-förmige Architektur verleihen. Beim Kontraktionspfad handelt es sich um ein typisches faltendes Netz, das aus der wiederholten Anwendung von Faltungen besteht, auf die jeweils eine begradigte lineare Einheit (rectified linear unit, ReLu) und eine Maximum-Pooling-Operation folgen. Während der Kontraktion werden die räumlichen Informationen verringert und die Merkmalinformationen aufgestockt. Der Expansionspfad verknüpft die Merkmalinformationen und räumlichen Informationen durch eine Abfolge aufwärtsgerichteter Faltungen und Verkettungen mit hochauflösenden Merkmalen aus dem Kontraktionspfad.
  • KU RZDARSTELLU NG
  • Diese Kurzdarstellung wird bereitgestellt, um in einer vereinfachten Form eine Auswahl von Konzepten vorzustellen, die hierin in der ausführlichen Beschreibung weiter erläutert werden. Diese Kurzdarstellung ist weder dazu gedacht, wesentliche Merkmale des beanspruchten Gegenstands zu kennzeichnen, noch soll sie dazu dienen, den Schutzbereich des beanspruchten Gegenstands einzuschränken.
  • Bei einer veranschaulichenden Ausführungsform wird ein Verfahren in einem Datenverarbeitungssystem bereitgestellt, das einen Prozessor und einen Arbeitsspeicher aufweist, wobei der Arbeitsspeicher Anweisungen aufweist, die durch den Prozessor ausgeführt werden, um insbesondere den Prozessor so zu konfigurieren, dass eine Knockout-Autoencoder-Steuerungskomponente zum Erkennen von Anomalien in biomedizinischen Bildern realisiert wird. Das Verfahren weist ein Trainieren eines neuronalen Netzes auf, das als Knockout-Autoencoder verwendet werden soll, der auf der Grundlage eines Eingabebildes ein Originalbild vorhersagt. Das Verfahren weist ferner ein Bereitstellen, durch die Knockout-Autoencoder-Steuerungskomponente, eines biomedizinischen Bildes als Eingabebild für das neuronale Netz auf. Das Verfahren weist ferner ein Ausgeben, durch das neuronale Netz, einer Wahrscheinlichkeitsverteilung für jedes Pixel in dem biomedizinischen Bild auf. Jede Wahrscheinlichkeitsverteilung gibt eine vorhergesagte Wahrscheinlichkeitsverteilung erwarteter Pixelwerte für ein bestimmtes Pixel in dem biomedizinischen Bild wieder. Das Verfahren weist ferner ein Feststellen, durch eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomalieerkennungskomponente, einer Wahrscheinlichkeit auf, dass jedes Pixel einen auf den Wahrscheinlichkeitsverteilungen beruhenden erwarteten Wert hat, um eine Mehrzahl von erwarteten Pixelwahrscheinlichkeiten zu bilden. Das Verfahren weist ferner ein Erkennen, durch die Anomalieerkennungskomponente, einer Anomalie in dem biomedizinischen Bild auf der Grundlage der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten auf. Das Verfahren weist ferner ein Markieren, durch eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomaliemarkierungskomponente, der erkannten Anomalie in dem biomedizinischen Bild auf, um ein markiertes biomedizinisches Bild zu bilden. Das Verfahren weist ferner ein Ausgeben, durch die Knockout-Autoencoder-Steuerungskomponente, des markierten biomedizinischen Bildes auf.
  • Bei anderen veranschaulichenden Ausführungsformen wird ein Computerprogrammprodukt bereitgestellt, das ein durch einen Computer nutzbares oder ein durch einen Computer lesbares Medium aufweist, das ein durch einen Computer lesbares Programm enthält. Das durch einen Computer lesbare Programm bewirkt bei Ausführung auf einer Datenverarbeitungseinheit, dass die Datenverarbeitungseinheit verschiedene Operationen oder Kombinationen davon durchführt, die oben in Bezug auf die Ausführungsform umrissen sind, die das Verfahren veranschaulicht.
  • Bei noch einer weiteren veranschaulichenden Ausführungsform wird ein System/eine Vorrichtung bereitgestellt. Das System/die Vorrichtung kann einen oder mehrere Prozessoren und einen Speicher aufweisen, der mit dem einen oder den mehreren Prozessoren verbunden ist. Der Arbeitsspeicher kann Anweisungen aufweisen, die bei Ausführung durch den einen oder die mehreren Prozessoren bewirken, dass der eine oder die mehreren Prozessoren verschiedene Operationen oder Kombinationen davon durchführt bzw. durchführen, die oben in Bezug auf die Ausführungsform umrissen sind, die das Verfahren veranschaulicht.
  • Diese und weitere Merkmale und Vorteile der vorliegenden Erfindung werden im Hinblick auf die folgende ausführliche Beschreibung beispielhafter Ausführungsformen der vorliegenden Erfindung beschrieben bzw. werden dem Fachmann verständlich.
  • Figurenliste
  • Die Erfindung sowie eine bevorzugte Art der Verwendung und weitere Zielsetzungen und Vorteile der Erfindung werden jedoch am besten unter Bezugnahme auf die folgende ausführliche Beschreibung veranschaulichender Ausführungsformen in Verbindung mit den beigefügten Zeichnungen deutlich, wobei:
    • 1 eine schematische Darstellung einer veranschaulichenden Ausführungsform eines kognitiven Gesundheitsfürsorgesystems in einem Computernetzwerk wiedergibt;
    • 2 ein Blockschema eines beispielhaften Datenverarbeitungssystems ist, in dem Aspekte der veranschaulichenden Ausführungsformen realisiert sind;
    • 3 eine beispielhafte Darstellung ist, die eine Interaktion von Elementen eines kognitiven Gesundheitsfürsorgesystems gemäß einer veranschaulichenden Ausführungsform veranschaulicht;
    • 4 ein beispielhaftes biomedizinisches Bild mit einer Anomalie darstellt, die durch den Knockout-Encoder der veranschaulichenden Ausführungsformen erkannt werden kann;
    • 5 einen beispielhaften Autoencoder eines neuronalen Netzes gemäß einer veranschaulichenden Ausführungsform darstellt;
    • 6 ein U-Net darstellt, das gemäß einer veranschaulichenden Ausführungsform als Autoencoder umfunktioniert wurde;
    • 7 die Verwendung eines neuronalen Netzes für einen Knockout-Autoencoder gemäß einer veranschaulichenden Ausführungsform veranschaulicht;
    • 8 ein Ausgabebild veranschaulicht, das gemäß einer veranschaulichenden Ausführungsform mit einer erkannten Auffälligkeit markiert ist;
    • 9 ein Blockschema eines Mechanismus zum Trainieren eines neuronalen Netzes ist, das gemäß einer veranschaulichenden Ausführungsform als Knockout-Autoencoder zum Erkennen von Anomalien in biomedizinischen Bildern verwendet werden soll;
    • 10 ein Blockschema eines Mechanismus zum Verwenden eines Knockout-Autoencoders ist, um gemäß einer veranschaulichenden Ausführungsform Anomalien in biomedizinischen Bildern zu erkennen;
    • 11 ein Flussdiagramm ist, das den Betrieb eines Mechanismus zum Trainieren eines neuronalen Netzes veranschaulicht, das gemäß einer veranschaulichenden Ausführungsform als Knockout-Autoencoder zum Erkennen von Anomalien in biomedizinischen Bildern verwendet werden soll; und
    • 12 ein Flussdiagramm ist, das den Betrieb eines Mechanismus zum Verwenden eines Knockout-Autoencoders veranschaulicht, um gemäß einer veranschaulichenden Ausführungsform Anomalien in biomedizinischen Bildern zu erkennen.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Faltende neuronale Netze (CNNs) greifen Strukturen auf, die durch Regelmäßigkeit gekennzeichnet sind. Mit einer Segmentierung biomedizinischer Bilder wird versucht, die Aufmerksamkeit auf Bildpixel zu richten, die für ein interessierendes Objekt stehen. Sobald derartige Objekte erkannt wurden, können Systeme Volumina oder Formen berechnen und nach organspezifischen Befunden suchen. CNNs eignen sich gut zur Segmentierung, da sie einheitliche Formen und Kontexte ausnutzen. Es ist jedoch schwierig, Formen zu segmentieren, bei denen es sich nicht um regelmäßige Formen handelt (z.B. Tumormassen, Läsionen usw.). Mit anderen Worten, aktuelle Mechanismen segmentieren unregelmäßige Formen in medizinischen Bildern nicht gut, d.h. Formen, deren Geometrie, Intensität usw. sich unterscheiden.
  • Die veranschaulichende Ausführungsform nutzt CNNs, um Auffälligkeiten zu erkennen, indem das Fehlen einer Regelmäßigkeit erkannt wird, die diese Auffälligkeiten verdecken. Die veranschaulichenden Ausführungsformen stellen einen Mechanismus zum Verwenden des Restes eines medizinischen Bildes bereit, um vorherzusagen, was sich an einer bestimmten Stelle in dem medizinischen Bild befinden sollte. Auf der Grundlage dieser Vorhersage kann der Mechanismus Abweichungen von der Vorhersage verwenden, um zu ermitteln, wann an dieser Stelle etwas höchst unerwartet ist. Das heißt, dass der Mechanismus der veranschaulichenden Ausführungsform Auffälligkeiten erkennt, indem ermittelt wird, ob ein medizinisches Bild etwas nicht enthält, was erwartet worden wäre.
  • Der Mechanismus der veranschaulichenden Ausführungsform nimmt eine Eingabe, leitet sie durch ein neuronales Netz und versucht, die Eingabeschicht auf der Ausgabeschicht zu rekonstruieren. Obwohl dies einfach zu sein scheint, liegt der Schlüssel darin, dass der Mechanismus die Aufgabe in einer Weise erschwert, die sich zum Vorteil auswirkt.
  • Bei einem klassischen Autoencoder würde die Erschwernis durch Begrenzen der Freiheitsgrade erzielt werden, sodass das Netz lernt, die Eingabe mit weitaus weniger Variablen wiederzugeben, d.h. Reduzierung der Dimensionalität. Die veranschaulichende Ausführungsform funktioniert jedoch ein U-Net als Autoencoder um und führt „Knockouts“ ein, bei denen es sich um zufällige Flächen in dem Bild handelt, die mit Rauschen gefüllt sind. Das U-Net wird anschließend trainiert, um den originalen Bildinhalt (vor dem Rauschen) vorherzusagen, indem nur der Rest des Bildes verwendet wird, d.h. der Abschnitt des Bildes, der die Knockouts nicht beinhaltet. Somit lernt das U-Net, wie das Originalbild neu zu erstellen ist, indem die Verteilung von Werten in dem Knockout-Bereich berechnet wird, von dem es auf der Grundlage anderer Werte in dem Bild berechnet, dass er vorliegen sollte. Das Netz hebt mit geringer Wahrscheinlichkeit die Abschnitte eines Bildes hervor, die auffällig sind.
  • Vor der ausführlicheren Erörterung der verschiedenen Aspekte der veranschaulichenden Ausführungsformen sollte zunächst klar sein, dass der Begriff „Mechanismus“ in der gesamten vorliegenden Beschreibung verwendet wird, um Elemente der vorliegenden Erfindung zu bezeichnen, die verschiedene Operationen, Funktionen und dergleichen durchführen. Bei einem „Mechanismus“ im hierin verwendeten Sinne kann es sich um eine Realisierungsform der Funktionen oder Aspekte der veranschaulichenden Ausführungsformen in Form einer Vorrichtung, einer Prozedur oder eines Computerprogrammprodukts handeln. Im Falle einer Prozedur ist die Prozedur durch eine oder mehrere Einheiten, Vorrichtungen, Computer, Datenverarbeitungssysteme oder dergleichen realisiert. Im Falle eines Computerprogrammprodukts wird die Logik, die durch Computercode oder Anweisungen wiedergegeben ist, die in oder auf dem Computerprogrammprodukt verkörpert sind, durch eine oder mehrere Hardwareeinheiten ausgeführt, um die Funktionalität zu realisieren oder die Operationen im Zusammenhang mit dem betreffenden „Mechanismus“ durchzuführen. Daher können die hierin beschriebenen Mechanismen als Spezialhardware realisiert sein, als Software, die auf einer Universalhardware ausgeführt wird, als Softwareanweisungen, die so auf einem Medium gespeichert sind, dass die Anweisungen ohne Weiteres durch Spezial- oder Universalhardware ausführbar sind, als Prozedur oder Verfahren zum Ausführen der Funktionen oder als Kombination beliebiger der oben erwähnten Elemente.
  • In der vorliegenden Beschreibung und den vorliegenden Ansprüchen werden die Begriffe „ein/eine“, „mindestens eines/eine von“ und „ein/eine oder mehrere von“ im Hinblick auf bestimmte Merkmale und Elemente der veranschaulichenden Ausführungsformen verwendet. Es sollte klar sein, dass diese Begriffe und Ausdrücke dazu gedacht sind, anzugeben, dass bei der betreffenden veranschaulichenden Ausführungsform mindestens eines des betreffenden Merkmals oder Elements vorliegt, aber auch mehr als eines vorliegen kann. Das heißt, dass diese Begriffe/Ausdrücke nicht dazu gedacht sind, die Beschreibung oder Ansprüche auf ein einzelnes vorliegendes Merkmal/Element zu beschränken oder verlangen, dass eine Mehrzahl derartiger Merkmale/Elemente vorliegen muss. Im Gegensatz hierzu verlangen diese Begriffe/Ausdrücke lediglich mindestens ein einzelnes Merkmal/Element, wobei die Möglichkeit einer Mehrzahl derartiger Merkmale/Elemente in den Schutzbereich der Beschreibung und der Ansprüche fällt.
  • Darüber hinaus sollte klar sein, dass die Verwendung des Begriffs „Steuerungskomponente“ (engine), sofern er hierin in Bezug auf die Beschreibung von Ausführungsformen und Merkmalen der Erfindung verwendet wird, nicht dazu gedacht ist, eine beliebige Realisierungsform zum Erreichen und/oder Durchführen der Aktionen, Schritte, Prozesse usw. einzuschränken, die der Steuerungskomponente zuzuschreiben sind und/oder durch diese durchgeführt werden. Bei einer Steuerungskomponente kann es sich um Software, Hardware und/oder Firmware oder eine beliebige Kombination davon handeln, ohne auf diese beschränkt zu sein, die die angegebenen Funktionen durchführt, unter anderem und ohne auf diese beschränkt zu sein, einer beliebigen Verwendung eines Universal- und/oder Spezialprozessors in Kombination mit entsprechender Software, die in einem durch eine Maschine lesbaren Speicher geladen oder darin gespeichert ist und durch den Prozessor ausgeführt wird. Ferner dient ein beliebiger Name im Zusammenhang mit einer bestimmten Steuerungskomponente, sofern nichts anderes angegeben ist, der Vereinfachung der Bezugnahme und ist nicht als Einschränkung auf eine bestimmte Realisierungsform gedacht. Außerdem kann eine Funktionalität, die einer Steuerungskomponente zugeschrieben ist, gleichermaßen durch mehrere Module durchgeführt werden, die in die Funktionalität einer anderen Steuerungskomponente derselben oder einer anderen Art einbezogen und/oder mit dieser kombiniert ist, oder über eine oder mehrere Steuerungskomponenten verschiedener Konfigurationen verteilt sein.
  • Darüber hinaus sollte klar sein, dass in der folgenden Beschreibung eine Mehrzahl verschiedener Beispiele für verschiedene Elemente der veranschaulichenden Ausführungsformen verwendet wird, um beispielhafte Realisierungsformen der veranschaulichenden Ausführungsformen weiter zu veranschaulichen und das Verständnis der Mechanismen der veranschaulichenden Ausführungsformen zu erleichtern. Diese Beispiele sind als nicht einschränkend gedacht und hinsichtlich der verschiedenen Möglichkeiten zum Realisieren der Mechanismen der veranschaulichenden Ausführungsformen nicht erschöpfend. Angesichts der vorliegenden Beschreibung wird dem Fachmann klar sein, dass für diese verschiedenen Elemente viele andere alternative Realisierungsformen bestehen, die zusätzlich oder als Ersatz der hierin bereitgestellten Beispiele genutzt werden können, ohne vom Grundgedanken und Schutzbereich der vorliegenden Erfindung abzuweichen.
  • Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt handeln. Das Computerprogrammprodukt kann (ein) durch einen Computer lesbare(s) Speichermedium (oder -medien) beinhalten, auf dem/denen durch einen Computer lesbare Programmanweisungen gespeichert ist/sind, um einen Prozessor zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
  • Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, auf der Anweisungen zur Verwendung durch eine Einheit zur Ausführung von Anweisungen aufbewahrt und gespeichert sein können. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel, ohne auf diese beschränkt zu sein, um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder eine beliebige geeignete Kombination des Vorstehenden handeln. Zu einer nicht erschöpfenden Liste konkreterer Beispiele des durch einen Computer lesbaren Speichermediums gehören die folgenden: eine transportable Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (random access memory, RAM), ein Nur-Lese-Speicher (read-only memory, ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (erasable programmable read-only memory, EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (static random access memory, SRAM), ein transportabler Kompaktspeicherplatte-Nur-Lese-Speicher (compact disc read-only memory, CD-ROM), eine DVD (digital versatile disc), ein Speicher-Stick, eine Diskette, eine mechanisch codierte Einheit wie zum Beispiel Lochkarten oder erhabene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und beliebige geeignete Kombinationen des Vorstehenden. Ein durch einen Computer lesbares Speichermedium im hierin verwendeten Sinne ist nicht so auszulegen, dass es sich dabei um flüchtige Signale handelt, beispielsweise um Funkwellen oder sich frei ausbreitende elektromagnetische Wellen, um elektromagnetische Wellen, die sich durch einen Hohlleiter oder andere Übertragungsmedien ausbreiten (z.B. Lichtimpulse, die ein Lichtwellenleiterkabel durchlaufen) oder um elektrische Signale, die über ein Kabel übertragen werden.
  • Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können über ein Netzwerk, zum Beispiel das Internet, ein lokales Netzwerk ein Weitverkehrsnetzwerk und/oder ein Drahtlosnetzwerk von einem durch einen Computer lesbaren Speichermedium auf betreffende Datenverarbeitungs-/Verarbeitungs-Einheiten oder auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenleiter, Drahtlosübertragung, Router, Firewalls, Switches, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder eine Netzwerkschnittstelle bei jeder Datenverarbeitungs-/Verarbeitungs-Einheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der jeweiligen Datenverarbeitungs-/Verarbeitungs-Einheit weiter.
  • Bei computerlesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembleranweisungen, ISA-Anweisungen (ISA = Instruction Set Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, Daten zum Setzen von Zuständen oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben sind, zu denen eine objektorientierte Programmiersprache wie beispielsweise Java, Smalltalk, C++ oder Ähnliches und herkömmliche prozedurale Programmiersprachen wie beispielsweise die Programmiersprache „C“ oder ähnliche Programmiersprachen gehören. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. Beim letztgenannten Szenario kann der entfernt angeordnete Computer mit dem Computer des Benutzers über eine beliebige Art von Netzwerk verbunden sein, unter anderem über ein lokales Netzwerk (Local Area Network, LAN) oder über ein Weitverkehrsnetzwerk (Wide Area Network, WAN), oder die Verbindung kann zu einem externen Computer hergestellt sein (beispielsweise über das Internet unter Nutzung eines Internet-Dienstanbieters (Internet Service Provider)). Bei einigen Ausführungsformen können elektronische Schaltungen, zu denen beispielsweise programmierbare Logikschaltungen, vor Ort programmierbare Schaltungen (Field-Programmable Gate Arrays, FPGA) oder programmierbare logische Arrays (PLA) gehören, die durch einen Computer lesbaren Programmanweisungen ausführen, indem Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen genutzt werden, um die elektronische Schaltung zu personalisieren, sodass Aspekte der vorliegenden Erfindung durchgeführt werden.
  • Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Flussdiagrammdarstellungen und/oder Blockschemata von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird klar sein, dass jeder Block der Flussdiagramme und/oder der Blockschemata und Kombinationen von Blöcken in den Flussdiagrammen und/oder Blockschemata durch einen Computerprogrammanweisungen realisiert werden kann bzw. können.
  • Diese Computerprogrammanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder anderer programmierbaren Datenverarbeitungsvorrichtungen bereitgestellt werden, um eine Maschine zu erzeugen, sodass die Anweisungen, die über den Prozessor des Computers oder anderer programmierbarer Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel schaffen, um die in einem Block bzw. in den Blöcken des Flussdiagramms bzw. der Flussdiagramme und/oder des Blockschemas bzw. der Blockschemata angegebenen Funktionen/Aktionen zu realisieren. Diese durch einen Computer lesbaren Programmanweisungen können ebenfalls in einem durch einen Computer lesbaren Medium gespeichert sein, das einen Computer, andere programmierbare Datenverarbeitungsvorrichtungen oder andere Einheiten anweisen kann, in einer bestimmten Weise zu funktionieren, sodass das durch einen Computer lesbare Medium mit darauf gespeicherten Anweisungen ein Erzeugnis aufweist, das Anweisungen enthält, die die in einem Block bzw. in den Blöcken der Flussdiagramme und/oder der Blockschemata angegebene Funktion/Aktion realisieren.
  • Die durch einen Computer lesbaren Programmanweisungen können auch in einen Computer, in andere programmierbare Datenverarbeitungsvorrichtungen oder in andere Einheiten geladen werden, um zu bewirken, dass auf dem Computer, auf anderen programmierbaren Vorrichtungen oder anderen Einheiten eine Reihe von Arbeitsschritten ausgeführt wird, um einen mittels Computer realisierten Prozess zu schaffen, sodass die Anweisungen, die auf dem Computer, auf anderen programmierbaren Vorrichtungen oder Einheiten ausgeführt werden, die in einem Block bzw. in den Blöcken der Flussdiagramme und/oder der Blockschemata angegebenen Funktionen/Aktionen realisieren.
  • Die Flussdiagramme und Blockschemata in den Figuren veranschaulichen die Architektur, Funktionalität und Wirkungsweise möglicher Realisierungsformen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Flussdiagrammen bzw. in den Blockschemata eine Modul, ein Segment oder einen Abschnitt von Anweisungen darstellen, das bzw. der eine oder mehrere ausführbare Anweisungen zur Realisierung der angegebenen Logikfunktion bzw. Logikfunktionen aufweist. Bei einigen alternativen Realisierungsformen können die im Block angegebenen Funktionen in einer anderen als in der Reihenfolge ausgeführt werden, die in den Figuren angegeben ist. Beispielsweise können zwei hintereinander aufgeführte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können je nach der mit den Blöcken verbundenen Funktionalität manchmal in umgekehrter Reihenfolge ausgeführt werden. Darüber hinaus ist anzumerken, dass jeder Block der dargestellten Blockschemata und/oder Flussdiagramme sowie Kombinationen von Blöcken in den dargestellten Blockschemata und/oder Flussdiagrammen mit Hilfe zweckgebundener hardwaregestützter Systeme zum Ausführen der angegebenen Funktionen bzw. Aktionen oder mit Hilfe von Kombinationen aus zweckgebundener Hardware und zweckgebundenen Computeranweisungen realisiert werden kann bzw. können.
  • Wie oben angemerkt, stellt die vorliegende Erfindung Mechanismen zum Erkennen von Anomalien in biomedizinischen Bildern bereit. Die veranschaulichenden Ausführungsformen können bei vielen unterschiedlichen Arten von Datenverarbeitungsumgebungen genutzt werden. Um einen Kontext für die Beschreibung der speziellen Elemente und speziellen Funktionalität der veranschaulichenden Ausführungsformen bereitzustellen, sind die 1 bis 3 im Folgenden als beispielhafte Darstellungen von Umgebungen bereitgestellt, in denen Aspekte der veranschaulichenden Ausführungsformen realisiert sein können. Es sollte klar sein, dass die 1 bis 3 lediglich Beispiele sind und keinerlei Einschränkungen hinsichtlich der Umgebungen darstellen oder stillschweigend einschließen sollen, in denen Aspekte oder Ausführungsformen der vorliegenden Erfindung realisiert sein können. An den abgebildeten Umgebungen können viele Abänderungen vorgenommen werden, ohne vom Grundgedanken und Schutzbereich der vorliegenden Erfindung abzuweichen.
  • Die 1 bis 3 sind darauf gerichtet, ein beispielhaftes kognitives System für Gesundheitsfürsorgeanwendungen zu beschreiben (das hierin auch als „kognitives Gesundheitsfürsorgesystem“ bezeichnet wird), das eine Anforderungsverarbeitungs-Pipeline wie zum Beispiel eine Fragenbeantwortungs-Pipeline (Question-Answering-Pipeline, QA-Pipeline) realisiert (die auch als Question/Answer-Pipeline oder Question-and-Answer-Pipeline bezeichnet wird), Question Answering (QA), eine Anforderungsverarbeitungsmethodik und ein Anforderungsverarbeitungs-Computerprogrammprodukt, mit dem die Mechanismen der veranschaulichenden Ausführungsformen realisiert sind. Diese Anforderungen können als strukturierte oder unstrukturierte Anforderungsnachrichten, als Fragen in natürlichen Sprache oder in einem beliebigen anderen geeigneten Format zum Anfordern eines Vorgangs bereitgestellt sein, der durch das kognitive Gesundheitsfürsorgesystem durchzuführen ist. Wie im Folgenden ausführlicher beschrieben wird, handelt es sich bei der betreffenden Gesundheitsfürsorgeanwendung, die in dem kognitiven System der vorliegenden Erfindung realisiert ist, um eine Gesundheitsfürsorgeanwendung zum Präsentieren relevanter Informationen unter Verwendung einer grafischen Präsentationssteuerungskomponente.
  • Zwar ist das kognitive Gesundheitsfürsorgesystem im Folgenden in den Beispielen mit einer einzigen Anforderungsverarbeitungs-Pipeline gezeigt, es sollte jedoch klar sein, dass das System tatsächlich mehrere Anforderungsverarbeitungs-Pipelines enthalten kann. Jede Anforderungsverarbeitungs-Pipeline kann separat trainiert und/oder konfiguriert werden, um Anforderungen zu verarbeiten, die unterschiedlichen Gebieten zugehörig sind, oder konfiguriert werden, um je nach der gewünschten Realisierungsform dieselbe oder eine andere Analyse an Eingabeanforderungen (oder Fragen bei Realisierungsformen unter Verwendung einer QA-Pipeline) durchzuführen. Beispielsweise kann in einigen Fällen eine erste Anforderungsverarbeitungs-Pipeline trainiert werden, um an Eingabeanforderungen betrieben zu werden, die auf ein erstes medizinisches Gebiet von Krankheiten (z.B. verschiedene Arten von Blutkrankheiten) gerichtet sind, während eine weitere Anforderungsverarbeitungs-Pipeline trainiert werden kann, um Eingabeanforderungen in einem weiteren medizinischen Gebiet von Krankheiten (z.B. verschiedene Arten von Krebs) zu beantworten. In anderen Fällen können die Anforderungsverarbeitungs-Pipelines zum Beispiel konfiguriert werden, um unterschiedliche Arten kognitiver Funktionen bereitzustellen oder unterschiedliche Arten von Gesundheitsfürsorgeanwendungen zu unterstützen, wie zum Beispiel eine Anforderungsverarbeitungs-Pipeline, die zur Patientendiagnose verwendet wird, eine weitere Anforderungsverarbeitungs-Pipeline, die zur kognitiven Analyse von ePA-Daten konfiguriert ist, eine weitere Anforderungsverarbeitungs-Pipeline, die zur Patientenüberwachung konfiguriert ist usw.
  • Darüber hinaus kann jede Anforderungsverarbeitungs-Pipeline ihr eigenes zugehöriges Korpus oder ihre eigenen zugehörigen Korpora haben, das bzw. die sie einbezieht und auf dessen bzw. deren Grundlage funktioniert, z.B. bei den oben aufgeführten Beispielen ein Korpus für Dokumente über das Gebiet der Blutkrankheiten und ein weiteres Korpus für Dokumente im Zusammenhang mit dem Gebiet der Krebsdiagnose. Diese Korpora können ePA-Daten beinhalten, ohne auf diese beschränkt zu sein. Das kognitive System kann zum Erkennen von Anomalien in biomedizinischen Bildern einen Knockout-Autoencoder verwenden.
  • Wie im Folgenden ausführlicher erörtert wird, können die veranschaulichenden Ausführungsformen in Bezug auf einen Mechanismus zur Beurteilung der Vollständigkeit und Datenqualität von elektronischen Patientenakten in die Funktionalität dieser QA-Pipeline- oder Anforderungsverarbeitungs-Pipeline-Mechanismen eines kognitiven Gesundheitsfürsorgesystems integriert werden, sie ergänzen und erweitern. Wichtig ist daher zunächst ein Verständnis, wie kognitive Systeme und die Erstellung von Fragen und Antworten in einem kognitiven System realisiert sind, in dem eine QA-Pipeline realisiert ist, bevor beschrieben wird, wie die Mechanismen der veranschaulichenden Ausführungsformen in derartige Systeme und in Anforderungsverarbeitungs-Pipeline- oder QA-Pipeline-Mechanismen integriert sind und diese ergänzen. Es sollte klar sein, dass die in den 1 bis 3 beschriebenen Mechanismen lediglich Beispiele sind und keinerlei Einschränkungen hinsichtlich der Art von Mechanismen kognitiver Systeme angeben oder stillschweigend einschließen sollen, mit denen die veranschaulichenden Ausführungsformen realisiert sind. Viele Modifikationen an dem in den 1 bis 3 gezeigten beispielhaften kognitiven System können in verschiedenen Ausführungsformen der vorliegenden Erfindung realisiert sein, ohne dass dies eine Abweichung vom Grundgedanken und Schutzbereich der vorliegenden Erfindung darstellen würde.
  • 1 gibt eine schematische Darstellung einer veranschaulichenden Ausführungsform eines kognitiven Systems 100 wieder, das eine Anforderungsverarbeitungs-Pipeline 108 in einem Computernetzwerk 102 realisiert. Das kognitive System 100 ist in einer oder mehreren Datenverarbeitungseinheiten 104A bis C realisiert (die einen oder mehrere Prozessoren und einen oder mehrere Arbeitsspeicher und möglicherweise beliebige andere Elemente von Datenverarbeitungseinheiten aufweisen, die in der Technik allgemein bekannt sind, unter anderem Busse, Speichereinheiten, Datenübertragungsschnittstellen und dergleichen), die mit dem Computernetzwerk 102 verbunden sind. Lediglich zu Veranschaulichungszwecken stellt 1 das kognitive System 100 als auf der Datenverarbeitungseinheit 104A realisiert dar, aber wie oben angemerkt kann das kognitive System 100 über mehrere Datenverarbeitungseinheiten wie zum Beispiel eine Mehrzahl von Datenverarbeitungseinheiten 104A bis C hinweg verteilt sein. Das Netzwerk 102 beinhaltet mehrere Datenverarbeitungseinheiten 104A bis C, die als Server-Datenverarbeitungseinheiten fungieren können, und 110 bis 112, die als Client-Datenverarbeitungseinheiten fungieren können, über eine oder mehrere drahtgebundene und/oder drahtlose Datenübertragungsverbindungen in Verbindung untereinander und mit anderen Einheiten oder Komponenten stehen, wobei jede Datenübertragungsverbindung eines oder mehrere aus Leitungen, Routern, Vermittlungsstellen (Switches), Sendern, Empfängern oder dergleichen aufweist. Bei einigen veranschaulichenden Ausführungsformen können das kognitive System 100 und das Netzwerk 102 kognitive Operationen bereitstellen, unter anderem und ohne auf diese beschränkt zu sein, Anforderungsverarbeitung und Erzeugung kognitiver Antworten, die je nach der gewünschten Realisierungsform unterschiedliche Formen annehmen können, z.B. Abruf kognitiver Informationen, Schulung/Instruktion von Benutzern, kognitive Auswertung von Daten oder dergleichen. Andere Ausführungsformen des kognitiven Systems 100 können mit anderen Komponenten, Systemen, Subsystemen und/oder Einheiten als den hierin dargestellten verwendet werden.
  • Das kognitive System 100 ist so konfiguriert, dass eine Anforderungsverarbeitungs-Pipeline 108 realisiert wird, die Eingaben aus verschiedenen Quellen empfängt. Die Anforderungen können in Form einer Frage in natürlicher Sprache, einer Anforderung in natürlicher Sprache bezüglich Informationen, einer Anforderung in natürlicher Sprache bezüglich des Leistungsvermögens einer kognitiven Operation oder dergleichen gestellt werden, und die Antwort kann im Format einer natürlichen Sprache zurückgegeben werden, das im Hinblick auf maximale Verständlichkeit in einer patientennahen klinischen Umgebung optimiert ist. Zum Beispiel empfängt das kognitive System 100 eine Eingabe aus dem Netzwerk 102, aus einem Korpus oder aus Korpora von elektronischen Dokumenten 106, von Benutzern des kognitiven Systems und/oder aus anderen Daten und anderen möglichen Eingabequellen. Bei einer Ausführungsform werden einige oder alle der Eingaben in das kognitive System 100 durch das Netzwerk 102 geleitet. Die verschiedenen Datenverarbeitungseinheiten 104A bis C im Netzwerk 102 beinhalten Zugangspunkte für Inhaltsersteller und Benutzer des kognitiven Systems. Einige der Datenverarbeitungseinheiten 104A bis C beinhalten Einheiten für eine Datenbank, in der das Korpus oder die Korpora von Daten 106 gespeichert sind (die lediglich zu Veranschaulichungszwecken als separate Einheit in 1 gezeigt ist). Abschnitte des Korpus oder der Korpora von Daten 106 können außerdem als eine oder mehrere andere am Netzwerk angeschlossene Speichereinheiten, in einer oder mehreren Datenbanken oder in anderen Datenverarbeitungseinheiten bereitgestellt sein, die in 1 nicht ausdrücklich gezeigt sind. Das Netzwerk 102 beinhaltet lokale Netzwerkverbindungen und Remote-Verbindungen in verschiedenen Ausführungsformen, sodass das kognitive System 100 in Umgebungen beliebiger Größe funktionieren kann, unter anderem lokal und global, z.B. im Internet.
  • Bei einer Ausführungsform erstellt der Inhaltshersteller Inhalte in einem Dokument des Korpus oder der Korpora von Daten 106 zur Verwendung als Teil eines Korpus von Daten mit dem kognitiven System 100. Das Dokument beinhaltet beliebige Dateien, Texte, Artikel oder Quellen von Daten zur Verwendung im kognitiven System 100. Benutzer des kognitiven Systems greifen über eine Netzwerkverbindung oder eine Internetverbindung mit dem Netzwerk 102 auf das kognitive System 100 zu und geben Fragen/Anforderungen in das kognitive System 100 ein, die auf der Grundlage des Inhalts in dem Korpus oder in den Korpora von Daten 106 beantwortet/verarbeitet werden. Bei einer Ausführungsform werden die Fragen/Anforderungen unter Verwendung natürlicher Sprache gebildet. Das kognitive System 100 analysiert und interpretiert die Frage/Anforderung über eine Pipeline 108 und stellt dem Benutzer des kognitiven Systems, z.B. einem Benutzer 110 des kognitiven Systems, eine Erwiderung bereit, die eine oder mehrere Antworten auf die gestellte Frage, eine Erwiderung auf die Anforderung, Ergebnisse der Verarbeitung der Anforderung oder dergleichen enthält. Bei einigen Ausführungsformen stellt das kognitive System 100 Benutzern eine Erwiderung in einer Liste mit einer Rangordnung infrage kommender Antworten/Erwiderungen bereit, während das kognitive System 100 bei anderen veranschaulichenden Ausführungsformen eine einzige endgültige Antwort/Erwiderung oder eine Kombination aus einer endgültigen Antwort/Erwiderung und einer Liste mit einer Rangordnung anderer infrage kommender Antworten/Erwiderungen bereitstellt.
  • Das kognitive System 100 realisiert die Pipeline 108, die eine Mehrzahl von Stufen zum Verarbeiten einer Eingabe-Frage/-Anforderung auf der Grundlage von Informationen aufweist, die aus dem Korpus oder den Korpora von Daten 106 erhalten wurden. Die Pipeline 108 erzeugt auf der Grundlage der Verarbeitung der Eingabe-Frage/- Anforderung und des Korpus oder der Korpora von Daten 106 Antworten/Erwiderungen für die Eingabe-Frage oder -Anforderung.
  • Bei einigen veranschaulichenden Ausführungsformen kann es sich bei dem kognitiven System 100 um das kognitive System IBM Watson™ handeln, das von International Business Machines Corporation, Armonk, New York, erhältlich ist, das um die Mechanismen der im Folgenden beschriebenen veranschaulichenden Ausführungsformen ergänzt ist. Wie zuvor umrissen, empfängt eine Pipeline des kognitiven Systems IBM Watson™ eine Eingabe-Frage oder -Anforderung, die es anschließend analysiert, um die Hauptmerkmale der Frage/Anforderung zu extrahieren, die wiederum anschließend verwendet werden, um Abfragen zu formulieren, die auf den Korpus oder die Korpora von Daten 106 angewendet werden. Auf der Grundlage der Anwendung der Abfragen auf den Korpus oder die Korpora von Daten 106 wird ein Satz von Hypothesen oder infrage kommenden Antworten/Erwiderungen auf die Eingabe-Frage/-Anforderung erzeugt, indem der Korpus bzw. die Korpora von Daten 106 nach Abschnitten des Korpus oder der Korpora von Daten 106 (die im Folgenden einfach als Korpus 106 bezeichnet werden) zu durchsuchen, die ein gewisses Potenzial haben, eine wertvolle Erwiderung auf die Eingabe-Frage/-Anforderung zu enthalten (bei der im Folgenden angenommen wird, dass es sich um eine Eingabe-Frage handelt). Die Pipeline 108 des kognitiven Systems IBM Watson™ führt anschließend eine tiefgehende Analyse der Sprache der Eingabe-Frage und der Sprache durch, die in jedem der Abschnitte des Korpus 106 verwendet wird, der während der Anwendung der Abfragen unter Verwendung einer Vielfalt von Argumentationsalgorithmen gefunden wurde.
  • Die aus den verschiedenen Folgerungsalgorithmen erhaltenen Punktwerte werden anschließend anhand eines statistischen Modells gewichtet, das einen Vertrauenswert zusammenfasst, den die Pipeline 108 des kognitiven Systems IBM Watson™ 100 bei diesem Beispiel hinsichtlich des Nachweises hat, dass die potenzielle infrage kommende Antwort durch die Frage abgeleitet wird. Dieser Prozess kann für jede der infrage kommenden Erwiderungen wiederholt werden, um eine Liste mit einer Rangordnung infrage kommender Erwiderungen zu erzeugen, die anschließend dem Benutzer präsentiert werden können, der die Eingabe-Anforderung eingereicht hat, z.B. einem Benutzer einer Client-Datenverarbeitungseinheit 110, oder aus der eine endgültige Erwiderung ausgewählt und dem Benutzer präsentiert wird. Weitere Informationen über die Pipeline 108 des kognitiven Systems IBM Watson™ 100 können zum Beispiel der Website der IBM Corporation, IBM Redbooks, und dergleichen entnommen werden. Zum Beispiel sind Informationen über die Pipeline des kognitiven Systems IBM Watson™ zu finden in Yuan et al., „Watson and Healthcare“, IBM developerWorks, 2011, und „The Era of Cognitive Systems: An Inside Look at IBM Watson and How it Works“ von Rob High, IBM Redbooks, 2012.
  • Zwar kann die Eingabe in das kognitive System 100 aus einer Client-Einheit in Form einer Anforderung in natürlicher Sprache gestellt werden, jedoch sind die veranschaulichenden Ausführungsformen wie oben angemerkt nicht darauf beschränkt. Vielmehr kann die Eingabe-Anforderung in Wirklichkeit als beliebige geeignete Art von Anforderung formatiert oder strukturiert sein, die unter Verwendung strukturierter und/oder unstrukturierter Eingabe-Analyse syntaktisch zerlegt (geparst) und analysiert werden kann, unter anderem und ohne auf diese beschränkt zu sein, von Mechanismen eines kognitiven Systems wie z.B. IBM Watson™ zum Parsen und zur Analyse natürlicher Sprache, um die Grundlage zu ermitteln, auf der eine kognitive Analyse durchgeführt werden soll und ein Ergebnis der kognitiven Analyse bereitgestellt wird. Im Falle eines auf Gesundheitsfürsorge beruhenden kognitiven Systems kann zu dieser Analyse ein Verarbeiten von Patientenakten, von Unterlagen mit medizinischen Anleitungen aus einem oder mehreren Korpora und dergleichen gehören, um ein Ergebnis eines auf Gesundheitsfürsorge ausgerichteten kognitiven Systems bereitzustellen.
  • Im Kontext der vorliegenden Erfindung kann das kognitive System 100 eine kognitive Funktionalität bereitstellen, um auf Gesundheitsfürsorge beruhende Operationen zu unterstützen. Zum Beispiel können die auf Gesundheitsfürsorge beruhenden Operationen je nach der betreffenden Realisierungsform Managementsysteme für Arztpraxen zur Patientendiagose, Erstellung und Überwachung personenbezogener Krankenpflegepläne, Auswertung elektronischer Patientenakten (ePA) für verschiedene Zwecke wie zum Beispiel zum Identifizieren von Patienten, die für einen medizinischen Test oder eine bestimmte Art von medizinischer Behandlung geeignet sind, oder dergleichen aufweisen. Somit kann es sich bei dem kognitiven System 100 um ein kognitives Gesundheitsfürsorgesystem 100 handeln, das im Medizin- oder Gesundheitsfürsorgebereich arbeitet und das über die Eingabe in die Anforderungsverarbeitungs-Pipeline 108 Anforderungen in Bezug auf derartige Gesundheitsfürsorgetätigkeiten als entweder strukturierte oder unstrukturierte Anforderungen, Eingabe-Fragen in natürlicher Sprache oder dergleichen verarbeiten kann.
  • Wie in 1 gezeigt, ist das kognitive System 100 ferner gemäß den Mechanismen der veranschaulichenden Ausführungsformen dahingehend ergänzt, dass es Logik beinhaltet, die in Spezialhardware, in auf Hardware ausgeführter Software oder in einer beliebigen Kombination aus Spezialhardware und auf Hardware ausgeführter Software realisiert ist, um eine Knockout-Autoencoder-Steuerungskomponente 120 zum Verwenden in einem faltenden neuronalen Netz (CNN) zu realisieren, um jedes Pixel oder Voxel eines biomedizinischen Eingabebildes auf der Grundlage des Restes des biomedizinischen Eingabebildes vorherzusagen. Die Knockout-Autoencoder-Steuerungskomponente 120 erkennt anschließend Anomalien durch Ermitteln, ob das biomedizinische Bild nicht enthält, was erwartet wird.
  • Die Knockout-Autoencoder-Steuerungskomponente 120 ist mit einem CNN bereitgestellt, das umfunktioniert und als Autoencoder trainiert ist, um das Originalbild vorherzusagen. Bei einer Ausführungsform handelt es sich bei dem CNN um ein U-Net, das durch Bereitstellen von Trainingsbildern mit „Knockouts“ trainiert ist, bei denen es sich um zufällige Flächen in dem Bild handelt, die mit Rauschen gefüllt sind. Das U-Net wird anschließend unter Verwendung lediglich des Restes des Bildes trainiert, um die originalen Bildinhalte vorherzusagen, bevor das Rauschen eingeführt wurde. Somit lernt das U-Net, wie das Originalbild neu zu erstellen ist, indem die Verteilungswerte in dem Knockout-Bereich berechnet werden, von dem es auf der Grundlage anderer Werte in dem Bild berechnet, dass er vorliegen sollte.
  • Bei einem vorgegebenen Testbild erzeugt die Knockout-Autoencoder-Steuerungskomponente 120 für jedes Pixel eine Wahrscheinlichkeitsverteilung von Werten. Die Knockout-Autoencoder-Steuerungskomponente 120 verwendet jeden Wahrscheinlichkeitsverteilungswert, um auf der Grundlage der anderen Pixel im Bild zu ermitteln, ob es sich bei dem infrage kommenden Pixel um das erwartete handelt. Die Knockout-Autoencoder-Steuerungskomponente 120 kann außerdem erkannte Anomalien in dem Bild markieren und das markierte Bild an den Benutzer ausgeben. Im hierin verwendeten Sinne kann es sich bei einem Testbild um ein Bild handeln, das verwendet wird, um die Genauigkeit der Knockout-Autoencoder-Steuerungskomponente 120 zu testen, oder um ein Bild, bei dem ein Benutzer Auffälligkeiten oder Anomalien erkennen möchte.
  • Wie oben angemerkt, sind die Mechanismen der veranschaulichenden Ausführungsformen in der Computertechnologie verwurzelt und unter Verwendung von Logik realisiert, die in derartigen Computer- oder Datenverarbeitungssystemen vorliegt. Diese Computer- oder Datenverarbeitungssysteme sind insbesondere konfiguriert, entweder über Hardware, Software oder eine Kombination aus Hardware und Software, um die oben beschriebenen verschiedenen Operationen zu realisieren. In diesem Sinne ist 2 als Beispiel einer Art von Datenverarbeitungssystem bereitgestellt, in dem Aspekte der vorliegenden Erfindung realisiert sein können. Viele andere Arten von Datenverarbeitungssystemen können gleichermaßen konfiguriert werden, um insbesondere die Mechanismen der veranschaulichenden Ausführungsformen zu realisieren.
  • 2 ist ein Blockschema eines beispielhaften Datenverarbeitungssystems, in dem Aspekte der veranschaulichenden Ausführungsformen realisiert sind. Das Datenverarbeitungssystem 200 ist ein Beispiel eines Computers wie beispielsweise des Servers 104 oder des Clients 110 in 1, in dem sich durch einen Computer nutzbarer Code oder durch einen Computer nutzbare Anweisungen befinden, die die Prozesse veranschaulichender Ausführungsformen der vorliegenden der Erfindung realisieren. Bei einer veranschaulichenden Ausführungsform stellt 2 eine Server-Datenverarbeitungseinheit wie zum Beispiel einen Server 104 dar, die ein kognitives System 100 realisiert, das ergänzt ist, um die zusätzlichen Mechanismen der im Folgenden beschriebenen veranschaulichenden Ausführungsformen zu beinhalten.
  • Bei dem dargestellten Beispiel nutzt das Datenverarbeitungssystem 200 eine Hub-Architektur, darunter einen North Bridge and Memory Controller Hub (NB/MCH) 202 und einen South Bridge and input/output (I/O) Controller Hub (SB/ICH) 204. Eine Verarbeitungseinheit 206, ein Hauptspeicher 208 und ein Grafikprozessor 210 sind mit dem NB/MCH 202 verbunden. Der Grafikprozessor 210 ist über einen AGP-Anschluss (AGP = Accelerated Graphics Port) mit dem NB/MCH 202 verbunden.
  • Bei dem dargestellten Beispiel ist ein LAN-Adapter (LAN = Local Area Network, lokales Netzwerk) 212 mit dem SB/ICH 204 verbunden. Ein Audioadapter 216, ein Tastatur- und Mausadapter 220, ein Modem 222, ein Nur-Lese-Speicher (ROM) 224, ein Festplattenlaufwerk (hard disk drive, HDD) 226, ein CD-ROM-Laufwerk 230, USB-Anschlüsse (USB = Universal Serial Bus) und andere Datenübertragungsanschlüsse 232 sowie PCI/PCIe-Einheiten (PCI = Peripheral Component Interconnect, PCIe = Peripheral Component Interconnect Express) 234 sind über einen Bus 238 und 240 mit dem SB/ICH 204 verbunden. Zu PCI/PCIe-Einheiten können zum Beispiel Ethernet-Adapter, Zusatzkarten und PC-Karten für Notebook-Computer gehören. Beim PCI-System wird eine Steuereinheit für den Kartenbus verwendet, bei PCle jedoch nicht. Beim ROM 224 kann es sich zum Beispiel um ein Flash-BIOS-System (BIOS = Binary Input/Output System) handeln.
  • Das Festplattenlaufwerk 226 und das CD-ROM-Laufwerk 230 sind über den Bus 240 mit dem SB/ICH 204 verbunden. Beim Festplattenlaufwerk 226 und beim CD-ROM-Laufwerk 230 kann zum Beispiel eine IDE-Schnittstelle (IDE = Integrated Drive Electronics) oder eine SATA-Schnittstelle (SATA = Serial Advanced Technology Attachment) verwendet werden. Eine SIO-Einheit (SIO = Super I/O) 236 ist mit dem SB/ICH 204 verbunden.
  • Auf der Verarbeitungseinheit 206 wird ein Betriebssystem ausgeführt. Das Betriebssystem koordiniert verschiedene Komponenten im Datenverarbeitungssystem 200 in 2 und stellt die Steuerung für diese Komponenten bereit. Als Client ist das Betriebssystem ein handelsübliches Betriebssystem wie zum Beispiel Microsoft® Windows 10®. Ein objektorientiertes Programmiersystem wie zum Beispiel das Programmiersystem Java™ kann in Verbindung mit dem Betriebssystem ausgeführt werden und stellt dem Betriebssystem Aufrufe aus Java™-Programmen oder -Anwendungen bereit, die auf dem Datenverarbeitungssystem 200 ausgeführt werden.
  • Als Server ist das Datenverarbeitungssystem 200 zum Beispiel ein Computersystem IBM® eServer™ System p®, das auf dem Betriebssystem Advanced Interactive Executive (AIX®) oder dem Betriebssystem LINUX® ausgeführt wird. Bei dem Datenverarbeitungssystem 200 kann es sich um ein symmetrisches Multiprozessorsystem (SMP) mit einer Mehrzahl von Prozessoren in der Verarbeitungseinheit 206 handeln. Alternativ kann ein System mit einem einzigen Prozessor verwendet werden.
  • Anweisungen für das Betriebssystem, das objektorientierte Programmiersystem und Anwendungen oder Programme befinden sich auf Speichereinheiten wie zum Beispiel auf dem Festplattenlaufwerk 226 und werden zur Ausführung durch die Verarbeitungseinheit 206 in den Hauptspeicher 208 geladen. Die Prozesse veranschaulichender Ausführungsformen der vorliegenden Erfindung werden durch die Verarbeitungseinheit 206 unter Verwendung von durch einen Computer nutzbarem Programmcode durchgeführt, der sich in einem Speicher wie zum Beispiel dem Hauptspeicher 208, dem ROM 224 oder in einer oder mehreren Peripherieeinheiten 226 und 230 befindet.
  • Ein Bussystem wie zum Beispiel der in 2 gezeigte Bus 238 oder Bus 240 besteht aus einem oder mehreren Bussen. Selbstverständlich kann das Bussystem mit Hilfe einer beliebigen Art von Datenübertragungsstruktur bzw. Datenübertragungsarchitektur realisiert sein, die eine Übertragung von Daten zwischen verschiedenen Komponenten oder Einheiten bereitstellt, die mit der Struktur bzw. Architektur verbunden sind. Eine Datenübertragungseinheit wie zum Beispiel das Modem 222 oder der Netzwerkadapter 212 aus 2 beinhaltet eine oder mehrere Einheiten, die zum Senden und Empfangen von Daten verwendet werden. Bei einem Speicher kann es sich zum Beispiel um den Hauptspeicher 208, den ROM 224 oder einen Cache handeln, wie er zum Beispiel im NB/MCH 202 in 2 zu finden ist.
  • Dem Fachmann wird klar sein, dass die in den 1 und 2 abgebildete Hardware je nach Realisierungsform variieren kann. Andere interne Hardware- oder Peripherieeinheiten wie zum Beispiel Flash-Speicher, gleichwertiger nichtflüchtiger Speicher oder optische Plattenlaufwerke und dergleichen können zusätzlich oder anstelle der in den 1 und 2 abgebildeten Hardware verwendet werden. Außerdem können die Prozesse der veranschaulichenden Ausführungsformen im Gegensatz zu dem zuvor erwähnten symmetrischen Multiprozessorsystem auf ein Mehrprozessor-Datenverarbeitungssystem angewendet werden, ohne vom Grundgedanken und Schutzbereich der vorliegenden Erfindung abzuweichen.
  • Darüber hinaus kann das Datenverarbeitungssystem 200 die Form einer beliebigen Anzahl unterschiedlicher Datenverarbeitungssysteme annehmen, unter anderem die Form von Client-Datenverarbeitungseinheiten, Server-Datenverarbeitungseinheiten, eines Tablet-Computers, eines Notebook-Computers, eines Telefons oder einer anderen Datenübertragungseinheit, eines Personal Digital Assistant (PDA) oder ähnlicher Einheiten. Bei einigen veranschaulichenden Ausführungsformen kann es sich bei dem Datenverarbeitungssystem 200 um eine transportable Datenverarbeitungseinheit handeln, die mit Flash-Speicher ausgestattet ist, um nichtflüchtigen Speicher zum Beispiel zum Speichern von Betriebssystemdateien und/oder von durch einen Benutzer erzeugten Daten bereitzustellen. Im Wesentlichen kann es sich bei dem Datenverarbeitungssystem 200 um ein beliebiges bekanntes oder später entwickeltes Datenverarbeitungssystem ohne architektonische Einschränkung handeln.
  • 3 ist eine beispielhafte Darstellung, die eine Interaktion von Elementen eines kognitiven Gesundheitsfürsorgesystems gemäß einer veranschaulichenden Ausführungsform veranschaulicht. In der beispielhaften Darstellung von 3 ist eine Realisierungsform eines kognitiven Gesundheitsfürsorgesystems 300 abgebildet, das so konfiguriert ist, dass eine kognitive Zusammenfassung von ePA-Daten für Patienten bereitgestellt wird. Es sollte jedoch klar sein, dass es sich hierbei lediglich um eine beispielhafte Realisierungsform handelt und bei anderen Ausführungsformen des kognitiven Gesundheitsfürsorgesystems 300 andere Gesundheitsfürsorgetätigkeiten realisiert sein können, ohne vom Grundgedanken und Schutzbereich der vorliegenden Erfindung abzuweichen.
  • Darüber hinaus sollte klar sein, dass ungeachtet der Darstellung des Benutzers 306 in 3 als Mensch die Interaktionen mit dem Benutzer 306 unter Verwendung von Datenverarbeitungseinheiten, medizinischen Ausrüstungen und/oder dergleichen durchgeführt werden können, sodass es sich bei dem Benutzer 306 in Wirklichkeit um eine Datenverarbeitungseinheit handeln kann, z.B. um eine Client-Datenverarbeitungseinheit. Zum Beispiel handelt es sich bei Interaktionen zwischen dem Benutzer 306 und dem kognitiven Gesundheitsfürsorgesystem 300 um elektronische Interaktionen über eine Benutzer-Datenverarbeitungseinheit (nicht gezeigt) wie z.B. eine Client-Datenverarbeitungseinheit 110 oder 112 in 1, die mit dem kognitiven Gesundheitsfürsorgesystem 300 über eine oder mehrere Datenübertragungsverbindungen und möglicherweise ein oder mehrere Datennetzwerke Daten austauscht.
  • Wie in 3 gezeigt, übermittelt der Benutzer 306 gemäß einer veranschaulichenden Ausführungsform eine Anforderung 308 an das kognitive Gesundheitsfürsorgesystem 300 beispielsweise über eine Benutzeroberfläche auf einer Client-Datenverarbeitungseinheit, die so konfiguriert ist, dass Benutzer Anforderungen an das kognitive Gesundheitsfürsorgesystem 300 in einem Format übermitteln können, das das kognitive Gesundheitsfürsorgesystem 300 syntaktisch zerlegen und verarbeiten kann. Die Anforderung 308 kann Informationen beinhalten oder durch diese flankiert sein, die Patientenattribute 318 kennzeichnen. Diese Patientenattribute 318 können zum Beispiel eine Kennung des Patienten 302, einen sozialen Hintergrund und demografische Informationen über den Patienten, Symptome und andere einschlägige Informationen beinhalten, die aus Antworten auf Fragen erhalten wurden, oder Informationen, die von medizinischen Ausrüstungen erhalten wurden, die zum Überwachen oder Erfassen von Daten über den Zustand des Patienten verwendet wurden. Bei einer Ausführungsform können Patienten Attribute 318 eine Kennzeichnung eines biomedizinischen Bildes zur Bearbeitung zum Erkennen von Anomalien beinhalten. Beliebige Informationen über den Patienten, die für eine kognitive Bewertung des Patienten durch das kognitive Gesundheitsfürsorgesystem 300 relevant sein können, können in der Anforderung 308 und/oder in Patientenattributen 318 enthalten sein.
  • Das kognitive Gesundheitsfürsorgesystem 300 stellt ein kognitives System bereit, das insbesondere so konfiguriert ist, dass eine realisierungsformspezifische gesundheitsfürsorgeorientierte kognitive Operation durchgeführt wird. Im abgebildeten Beispiel ist diese gesundheitsfürsorgeorientierte kognitive Operation darauf gerichtet, dem Benutzer 306 eine kognitive Zusammenfassung der ePA-Daten 328 bereitzustellen, um dem Benutzer 306 Hilfestellung beim Behandeln des Patienten auf der Grundlage ihrer berichteten Symptome und anderer über den Patienten erfasster Informationen zu leisten. Das kognitive Gesundheitsfürsorgesystem 300 agiert anhand der Anforderung 308 und der Patientenattribute 318, indem es Informationen nutzt, die aus dem medizinischen Korpus und anderen Quelldaten 326, aus Behandlungsanleitungsdaten 324 und den PatientenePA 322 erfasst wurden, die dem Patienten zugehörig sind, um die kognitive Zusammenfassung 328 zu erzeugen. Bei einer Ausführungsform können Patienten-ePA-Daten 322 biomedizinische Bilder beinhalten. Die kognitive Zusammenfassung 328 kann in einer Rangordnung mit zugehörigen unterstützenden Nachweisen präsentiert werden, die aus den Patientenattributen 318 und den Datenquellen 322 bis 326 erhalten wurden, die die Begründung angeben, warum Abschnitte der ePA-Daten 322 bereitgestellt werden. Die kognitive Zusammenfassung 328 kann außerdem ein markiertes Bild beinhalten, das erkannte Anomalien kennzeichnet.
  • Gemäß den veranschaulichenden Ausführungsformen hierin ist das kognitive Gesundheitsfürsorgesystem 300 dahingehend ergänzt, dass es eine Knockout-Autoencoder-Steuerungskomponente 320 zum Verwenden eines faltenden neuronalen Netzes (CNN) beinhaltet, um jedes Pixel oder Voxel eines biomedizinischen Eingabebildes auf der Grundlage des Restes des biomedizinischen Eingabe-Bildes vorherzusagen. Die Knockout-Autoencoder-Steuerungskomponente 320 erkennt anschließend Anomalien durch Ermitteln, ob das biomedizinische Bild nicht enthält, was erwartet wird.
  • 4 stellt ein beispielhaftes biomedizinisches Bild mit einer Anomalie dar, die durch den Knockout-Encoder der veranschaulichenden Ausführungsformen erkannt werden kann. Ein faltendes neuronales Netz (CNN) zur Segmentierung wird trainiert, um erwartete Strukturen wie zum Beispiel eine Rippe 401 zu erkennen. Ein CNN wie zum Beispiel ein U-Net lernt, dass eine Struktur wie zum Beispiel eine Rippe 401 oftmals einer Struktur wie zum Beispiel einer Leber 402 benachbart ist oder umgekehrt. Das heißt, dass das CNN auf der Grundlage eines Satzes von Trainingsbildern trainiert wird, um zu lernen, wo in einem biomedizinischen Bild bestimmte Strukturen zu erwarten sind.
  • Eine Anomalie oder Auffälligkeit wie zum Beispiel eine Läsion 403 verdeckt Bereiche, in denen eine derartige Struktur zu erwarten ist. Läsionen haben eine sehr geringe Regelmäßigkeit, da sie sehr verschiedene Positionen, Größen, Formen, Intensitätsmuster usw. haben können. CNNs erreichen ein besseres Leistungsvermögen bei der Segmentierung von Läsionen nicht durch Erkennen ihrer Regelmäßigkeit, sondern durch Erkennen des Fehlens der Regelmäßigkeit, die sie verdecken.
  • Die veranschaulichenden Ausführungsformen versuchen, Anomalien zu erkennen, indem gefolgert wird, dass das, was vorliegt, nicht das ist, was erwartungsgemäß vorgefunden werden soll. Insbesondere können die veranschaulichenden Ausführungsformen den Rest des Bildes abrufen, um vorherzusagen, was sich an einer bestimmten Stelle befinden sollte, und erkennen, wenn sich etwas sehr Unerwartetes an dieser Stelle befindet.
  • 5 stellt einen beispielhaften Autoencoder eines neuronalen Netzes gemäß einer veranschaulichenden Ausführungsform dar. Der Zweck des Autoencoders besteht darin, die Eingabe auf der Eingabeschicht 510 zu übernehmen, sie durch das Netz 500 zu leiten und die Eingabe auf der Ausgabeschicht 530 neu zu erstellen. Der Schlüssel liegt darin, dies in einer Weise zu erschweren, die sich zum Vorteil für den Autoencoder auswirkt. Bei einem klassischen Autoencoder erfolgt dies durch Begrenzen der Freiheitsgrade, sodass das Netz lernt, die Eingabe mit weitaus weniger Variablen wiederzugeben, d.h. Reduzierung der Dimensionalität. Diese Erschwernis ist als „Flaschenhals“ in einer verborgenen Schicht 520 verwirklicht.
  • 6 stellt ein U-Net dar, das gemäß einer veranschaulichenden Ausführungsform als Autoencoder umfunktioniert wurde. Beim U-Net handelt es sich um das aktuell leistungsfähigste Netz zur semantischen Segmentierung. Bei der in 6 gezeigten U-Net-Architektur handelt es sich um ein Beispiel für 32x32 Pixel in der niedrigsten Auflösung. Die U-Net-Architektur besteht aus einem Kontraktionspfad (linke Seite) und einem Expansionspfad (rechte Seite). Der Kontraktionspfad folgt der typischen Architektur eines faltenden Netzes. Es besteht aus der wiederholten Anwendung von zwei 3x3-Faltungen (nicht aufgefüllte (unpadded) Faltungen). Jedes schraffierte Kästchen entspricht einer mehrkanaligen Merkmalzuordnung. Die Anzahl der Kanäle ist oben an jedem Kästchen angegeben. Die X-Y-Größe ist am unteren linken Rand des Kästchens bereitgestellt. Weiße Kästchen stehen für kopierte Merkmalzuordnungen. Die Pfeile bezeichnen die unterschiedlichen Operationen. Die horizontalen schwarzen Pfeile stehen für 3x3-Faltungen (nicht aufgefüllte Faltungen), auf die jeweils eine begradigte lineare Einheit (ReLu) und eine Maximum-Pooling-Operation mit der Schrittgröße (Stride) 2 für das Downsampling folgen, die durch die vertikalen schraffierten Pfeile wiedergegeben ist. Bei jedem Downsampling-Schritt wird die Anzahl von Merkmalkanälen verdoppelt. Jeder Schritt im Expansionspfad besteht aus einem Upsampling der Merkmalzuordnung, auf das eine durch die vertikalen weißen Pfeile wiedergegebene 2x2-Faltung („Up-Convolution“) folgt, die die Anzahl von Merkmalkanälen halbiert, einer Verkettung mit der entsprechend abgeschnittenen Merkmalzuordnung aus dem Kontraktionspfad, die durch die horizontalen weißen Pfeile wiedergegeben ist, und aus zwei 3x3-Faltungen, auf die jeweils eine ReLU folgt. Das Abschneiden ist wegen des Verlustes von Randpixeln in jeder Faltung notwendig. Auf der endgültigen Schicht wird eine durch den schraffierten horizontalen Pfeil wiedergegebene 1×1-Faltung verwendet, um jeden 64-Komponenten-Merkmalvektor der gewünschten Anzahl von Klassen zuzuordnen. Insgesamt hat das Netz 23 Faltungsschichten.
  • Bei der in 6 gezeigten U-Net-Architektur handelt es sich um ein beispielhaftes CNN, das zur Segmentierung biomedizinischer Bilder bekannt ist; jedoch modifizieren die veranschaulichenden Ausführungsformen die U-Net-Architektur und funktionieren sie um, um das U-Net als Autoencoder zu trainieren. Die veranschaulichenden Ausführungsformen führen eine Möglichkeit ein, um das Problem zu erschweren, sodass sich dies zum Vorteil für den Autoencoder auswirkt. 7 veranschaulicht die Verwendung eines neuronalen Netzes für einen Knockout-Autoencoder gemäß einer veranschaulichenden Ausführungsform. Die veranschaulichenden Ausführungsformen wählen zufällige Flächen 701 in der Eingabebildkachel 700 und füllen sie mit Rauschen. Die veranschaulichenden Ausführungsformen trainieren anschließend unter Verwendung lediglich des Restes des Bildes das neuronale Netz 710, um den originalen Bildinhalt vor Einführung des Rauschens vorherzusagen. Das U-Net wird trainiert, um für jedes Pixel eine Ausgabe-Wahrscheinlichkeitsverteilung zum Vorhersagen von Pixelwerten zu erzeugen, die im Originalbild erwartet werden. Bei der Wahrscheinlichkeitsverteilung kann es sich um eine parametrische Verteilung wie zum Beispiel eine Glockenkurve, Gauß'sche Verteilung usw. handeln, wobei sich die Spitze am wahrscheinlichsten Wert befindet. Die veranschaulichenden Ausführungsformen verwenden die Ausgabe-Wahrscheinlichkeitsverteilungen, um zu ermitteln, was als in den Knockout-Flächen 721 im Ausgabebild 720 vorliegend zu erwarten ist.
  • 8 veranschaulicht ein Ausgabebild, das gemäß einer veranschaulichenden Ausführungsform mit einer erkannten Auffälligkeit markiert ist. Bei einem Testbild 800 wendet die veranschaulichende Ausführungsform den Knockout-Autoencoder auf das Testbild 800 an. Für jedes Pixel in dem Bild 800 erzeugt der Knockout-Autoencoder eine Wahrscheinlichkeitsverteilung, die den Pixelwert vorhersagt, der an dieser Stelle in dem Bild erwartet wird. Bei einer Ausführungsform stellt die veranschaulichende Ausführungsform für jedes Pixel im Eingabebild die Wahrscheinlichkeit fest, dass der Eingabewert für dieses Pixel der erwartete Wert gemäß der Wahrscheinlichkeitsverteilung für dieses Pixel ist. Die veranschaulichende Ausführungsform kann anschließend diese Wahrscheinlichkeit mit einem vorgegebenen Schwellenwert vergleichen. Wenn die Wahrscheinlichkeit oberhalb des Schwellenwerts liegt, kann die veranschaulichende Ausführungsform feststellen, dass der Pixelwert innerhalb eines erwarteten Bereiches liegt. Wenn die Wahrscheinlichkeit für ein bestimmtes Pixel unterhalb des vorgegebenen Schwellenwertes liegt, kann die veranschaulichende Ausführungsform anschließend feststellen, dass der Pixelwert sehr unerwartet ist und somit Teil einer Anomalie oder Auffälligkeit sein kann.
  • Bei einer Ausführungsform markiert die veranschaulichende Ausführungsform die festgestellten Texte als Anomalie oder Auffälligkeit, die somit eine markierte Anomalie 801 bilden. Bei einer Ausführungsform werden die zu markierenden Pixel wie beschrieben unter Verwendung eines Schwellenwertes erkannt, und diejenigen, die als unwahrscheinlich erkannt wurden, können ein Pixel haben, das in einem Überlagerungsbild auf 1 gesetzt ist, oder auf null, wenn sie normal sind. Die Überlagerung wird anschließend halb transparent in Farbe dargestellt, zum Beispiel so, dass als auffällig markierte Regionen rot erscheinen, während normale Regionen vollständig transparent sind und nur das Originalbild unter der Überlagerung zeigen.
  • 9 ist ein Blockschema eines Mechanismus zum Trainieren eines neuronalen Netzes, das gemäß einer veranschaulichenden Ausführungsform als Knockout-Autoencoder zum Erkennen von Anomalien in biomedizinischen Bildern verwendet werden soll. Ein Trainingsbild 901 wird einer Knockout-Generatorkomponente 902 bereitgestellt, die zufällige Flächen im Trainingsbild 901 wählt und die Flächen mit Rauschen füllt, um ein Trainingsbild mit Knockouts 903 zu bilden. Ein Netztrainer 904 trainiert anschließend ein neuronales Netz 905, um angesichts des Trainingsbildes mit Knockouts 903 das originale Trainingsbild 901 vorherzusagen. Genauer gesagt, der Netztrainer 904 trainiert das neuronale Netz 905, um unter Verwendung des Restes des Bildes 903 jeden Pixelwert vorherzusagen.
  • Der Prozess des Trainierens des neuronalen Netzes 905 wird für eine Mehrzahl von Trainingsbildern wiederholt, die von gesunden Menschen ausgewählt werden. Das heißt, dass es sich bei den Trainingsbildern 901 um biomedizinische Bilder handelt, die keine Auffälligkeiten wie zum Beispiel Tumoren oder Läsionen enthalten. Das heißt, dass die Trainingsbilder 901 schon an sich mit erwarteten Werten für überwachtes Lernen bezeichnet sind, da von den Pixelwerten angenommen werden kann, dass sie den für einen gesunden Patienten erwarteten Werten entsprechen. Angesichts einer Vielfalt von Trainingsbildern 901 ist der Netztrainer 904 in der Lage, das neuronale Netz 905 so zu trainieren, dass es unter Verwendung des Restteils des Bildes einen bestimmten Pixelwert exakt vorhersagt. Daher wird das neuronale Netz 905 selbst bei einem Pixel mit zufälligem Rauschen in einer Knockout-Fläche trainiert, um unter Verwendung des Restes des Bildes den erwarteten Wert für dieses Pixel vorherzusagen, das im Trainingsbild 901 bekannt ist.
  • Bei dem neuronalen Netz 905 kann es sich um ein faltendes neuronales Netz handeln. Bei einer Ausführungsform handelt es sich bei dem neuronalen Netz 905 um ein U-Net, von dem bekannt ist, dass es zur Segmentierung verwendet wird, das aber umfunktioniert ist und als Autoencoder trainiert wird.
  • 10 ist ein Blockschema eines Mechanismus zum Verwenden eines Knockout-Autoencoders, um gemäß einer veranschaulichenden Ausführungsform Anomalien in biomedizinischen Bildern zu erkennen. Bei einem Testbild 1001 handelt es sich um ein Bild, das verwendet wird, um den Knockout-Autoencoder zu testen, oder um ein Bild, bei dem ein Benutzer Anomalien erkennen möchte. Das Testbild 1001 wird als Eingabe dem neuronalen Netz 905 bereitgestellt, das für jedes Pixel eine Wahrscheinlichkeitsverteilung 1002 erzeugt. Jede Wahrscheinlichkeitsverteilung steht für eine Vorhersage eines Pixelwertes für ein bestimmtes Bild des Testbildes 1001, die auf dem Rest der Pixel in dem Bild beruht. Bei der Wahrscheinlichkeitsverteilung 1002 kann es sich um eine parametrische Verteilung wie zum Beispiel eine Gauß'sche Verteilung usw. handeln, die um das Pixel mit der höchsten Wahrscheinlichkeit zentriert ist.
  • Eine Anomalieerkennungskomponente 1003 vergleicht jeden Pixelwert 1001 mit dessen entsprechender Wahrscheinlichkeitsverteilung 1002. Das heißt, dass dessen entsprechende Wahrscheinlichkeitsverteilung 1002 bei einem bestimmten Pixelwert im Bild 1001 einen Wahrscheinlichkeitswert liefert, der die Wahrscheinlichkeit angibt, mit der es sich bei dem Pixelwert um den erwarteten Wert handelt. Die Anomalieerkennungskomponente 1003 kann anschließend den Wahrscheinlichkeitswert jedes Pixels mit einem vorgegebenen Schwellenwert vergleichen. Bei Pixeln im Testbild 1001 mit Wahrscheinlichkeitswerten unterhalb des Schwellenwertes erkennt die Anomalieerkennungskomponente 1003, dass diese Pixel eine Anomalie bilden. Eine Anomaliemarkierungskomponente 1004 markiert anschließend diese Pixel als Teil einer Anomalie und gibt ein markiertes Bild 1005 aus.
  • 11 ist ein Flussdiagramm, das den Ablauf eines Mechanismus zum Trainieren eines neuronalen Netzes veranschaulicht, das gemäß einer veranschaulichenden Ausführungsform als Knockout-Autoencoder zum Erkennen von Anomalien in biomedizinischen Bildern verwendet werden soll. Die Operation beginnt (Block 1100), und der Mechanismus empfängt ein Trainingsbild (Block 1101). Der Mechanismus erzeugt ein oder mehrere Knockouts im Trainingsbild und füllt sie mit Rauschen (Block 1102). Der Mechanismus trainiert anschließend das Netz, um das Originalbild vor der Einführung von Rauschen vorherzusagen (Block 1103).
  • Der Mechanismus ermittelt, ob es sich bei dem Bild um das letzte Trainingsbild handelt (Block 1104). Wenn es sich bei dem aktuellen Bild nicht um das letzte Trainingsbild handelt, kehrt die Operation zu Block 1101 zurück, um das nächste Trainingsbild zu empfangen. Wenn es sich bei Block 1104 bei dem aktuellen Bild um das letzte Trainingsbild handelt, gibt der Mechanismus das trainierte neuronale Netz aus (Block 1105). Die einmalige Durchquerung jedes Trainingsbildes wird als Epoche bezeichnet. Üblicherweise treten in einer Trainingssitzung viele Epochen auf, sodass jedes Bild mehrmals gesehen wird. Bei der aktuellen Ausführungsform unterscheiden sich die zufälligen Knocked-out-Flächen jedes Mal, wenn dasselbe Bild gesehen wird. Danach endet die Operation (Block 1106).
  • 12 ist ein Flussdiagramm, das den Ablauf eines Mechanismus zum Verwenden eines Knockout-Autoencoders veranschaulicht, um gemäß einer veranschaulichenden Ausführungsform Anomalien in biomedizinischen Bildern zu erkennen. Die Operation beginnt (Block 1200) und der Mechanismus empfängt ein Testbild (Block 1201). Bei einem Testbild kann es sich um ein nicht bezeichnetes Bild zum Testen des Autoencoders oder um ein biomedizinisches Bild handeln, bei dem der Benutzer Anomalien erkennen möchte. Der Mechanismus wendet das neuronale Netz auf das Testbild an, um eine Wahrscheinlichkeitsverteilung für jedes Pixel zu erzeugen (Block 1202). Der Mechanismus ermittelt dann auf der Grundlage der Wahrscheinlichkeitsverteilungen eine Wahrscheinlichkeit, mit der jedes Pixel Teil einer Anomalie ist (Block 1203).
  • Der Mechanismus ermittelt, ob eine Anomalie erkannt wurde (Block 1204). Bei jedem Pixel kann der Mechanismus die Wahrscheinlichkeit, dass der Pixelwert derjenige ist, den der Autoencoder vorhergesagt oder erwartet hat, mit einem vorgegebenen Schwellenwert vergleichen. Der Mechanismus kann anschließend ermitteln, ob ein oder mehrere Pixel für eine Anomalie oder Auffälligkeit im Testbild steht bzw. stehen. Das U-Net an sich erledigt seine Aufgaben sehr gut; in Fällen jedoch, in denen das U-Net seine Aufgaben nicht so gut wie gewünscht erledigt, führt der Mechanismus bei einer Ausführungsform einen Nachverarbeitungsschritt an der Ausgabe aus, indem ein CRF-Model (CRF = conditional random field) genutzt wird, um das Ergebnis durch Füllen von Löchern, Beseitigen von Flecken und Glätten von Umgrenzungen erkannter Regionen zu bereinigen. Ein noch einfacheres und älteres Verfahren besteht darin, lediglich eine Analyse verbundener Komponenten durchzuführen und beliebige Komponenten (verbundene Regionen) nicht zu markieren, die unterhalb einer bestimmten Schwellenwertgröße liegen. Das U-Net funktioniert so gut, dass das Anwenden dieser Nachverarbeitungsschritte zur Bereinigung wahrscheinlich nicht notwendig ist. Wenn eine Anomalie erkannt wird, markiert der Mechanismus die Anomalie im Bild (Block 1205). Anschließend gibt der Mechanismus das markierte Bild aus (Block 1206), und die Operation endet (Block 1207). Wenn in Block 1204 keine Anomalie erkannt wird, endet die Operation (Block 1207).
  • Wie oben erwähnt sollte klar sein, dass die veranschaulichenden Ausführungsformen die Form einer vollständig in Hardware realisierten Ausführungsform, einer vollständig in Software realisierten Ausführungsform oder einer Ausführungsform annehmen können, die sowohl Hardware- als auch Softwareelemente enthält. Bei einer bevorzugten Ausführungsform sind die Mechanismen der veranschaulichenden Ausführungsformen in Software oder Programmcode realisiert, zu denen, ohne auf diese beschränkt zu sein, Firmware, residente Software, Mikrocode usw. gehören.
  • Zu einem Datenverarbeitungssystem, das zum Speichern und/oder Ausführen von Programmcode geeignet ist, gehört mindestens ein Prozessor, der über einen Datenübertragungsbus wie zum Beispiel einen Systembus direkt oder indirekt mit Speicherelementen verbunden ist. Zu den Speicherelementen können lokaler Speicher, der während der eigentlichen Ausführung des Programmcodes genutzt wird, Massenspeicher und Cache gehören, die eine zeitweilige Speichermöglichkeit für mindestens einen Teil des Programmcodes bereitstellen, um während der Ausführung die Anzahl der Codeabrufe aus dem Massenspeicher zu verringern. Bei dem Speicher kann es sich um verschiedene Arten handeln, unter anderem und ohne auf diese beschränkt zu sein, von ROM, PROM, EPROM, EEPROM, DRAM, SRAM, Flash-Speicher, Halbleiterspeicher und dergleichen.
  • Eingabe-/Ausgabe-Einheiten bzw. E/A-Einheiten (unter anderem und ohne auf diese beschränkt zu sein, Tastaturen, Anzeigeeinheiten, Zeigeeinheiten usw.) können entweder direkt oder über zwischengeschaltete drahtgebundene oder drahtlose E/A-Schnittstellen und/oder E/A-Steuereinheiten oder dergleichen mit dem System verbunden sein. E/A-Einheiten können viele unterschiedliche Formen annehmen, bei denen es sich nicht um herkömmliche Tastaturen, Anzeigen, Zeigeeinheiten und dergleichen handelt, sondern zum Beispiel um Datenübertragungseinheiten, darunter und ohne auf diese beschränkt zu sein, Smartphones, Tablet-Computer, Touchscreen-Einheiten, Spracherkennungseinheiten und dergleichen, die über drahtgebundene oder drahtlose Verbindungen verbunden sind. Beliebige bekannte oder später entwickelte E/A-Einheiten sind als unter den Schutzbereich der veranschaulichenden Ausführungsformen fallend anzusehen.
  • Netzwerkadapter können ebenfalls mit dem System verbunden sein, sodass das Datenverarbeitungssystem über zwischengeschaltete private oder öffentliche Netzwerke mit anderen Datenverarbeitungssystemen, entfernt angeordneten Druckern oder Speichereinheiten verbunden werden kann. Modems, Kabelmodems und Ethernet-Karten sind nur einige der gegenwärtig erhältlichen Arten von Netzwerkadaptern zur kabelgebundenen Datenübertragung. Auf drahtloser Datenübertragung beruhende Netzwerkadapter können ebenfalls genutzt werden, zu denen, ohne auf diese beschränkt zu sein, Drahtlos-Datenübertragungsadapter nach 802.11 a/b/g/n, Bluetooth-Drahtlosadapter und dergleichen gehören. Beliebige bekannte oder später entwickelte Netzwerkadapter sind als unter den Grundgedanken und Schutzbereich der vorliegenden Erfindung fallend anzusehen.
  • Die Beschreibung der vorliegenden Erfindung soll der Veranschaulichung und Beschreibung dienen und ist jedoch nicht vollständig oder auf die Erfindung in der offenbarten Form beschränkt. Für den Fachmann sind viele Modifikationen und Variationen denkbar, ohne dass diese eine Abweichung vom Schutzbereich und Grundgedanken der beschriebenen Ausführungsformen darstellen würden. Die Ausführungsform wurde ausgewählt und beschrieben, um die Grundgedanken und die praktische Anwendung der Erfindung auf bestmögliche Weise zu erklären und anderen Fachleuten ein Verständnis dafür zu ermöglichen, dass verschiedene Ausführungsformen der Erfindung mit verschiedenen Modifikationen denkbar sind, die sich für die jeweils beabsichtigte Verwendung eignen. Die hierin verwendete Terminologie wurde gewählt, um die Grundgedanken der Ausführungsformen, die praktische Anwendung bzw. die technische Verbesserung gegenüber den auf dem Markt vorgefundenen Technologien auf bestmögliche Weise zu erläutern bzw. anderen mit entsprechenden Fachkenntnissen das Verständnis der hierin offenbarten Ausführungsformen zu ermöglichen.

Claims (20)

  1. Verfahren in einem Datenverarbeitungssystem, das einen Prozessor und einen Arbeitsspeicher aufweist, wobei der Arbeitsspeicher Anweisungen aufweist, die durch den Prozessor ausgeführt werden, um insbesondere den Prozessor so zu konfigurieren, dass eine Knockout-Autoencoder-Steuerungskomponente zum Erkennen von Anomalien in biomedizinischen Bildern realisiert wird, wobei das Verfahren aufweist: Trainieren eines neuronalen Netzes, das als Knockout-Autoencoder verwendet werden soll, der auf der Grundlage eines Eingabebildes ein Original vorhersagt; Bereitstellen, durch die Knockout-Autoencoder-Steuerungskomponente, eines biomedizinischen Bildes als Eingabebild für das neuronale Netz; Ausgeben, durch das neuronale Netz, einer Wahrscheinlichkeitsverteilung für jedes Pixel in dem biomedizinischen Bild, wobei jede Wahrscheinlichkeitsverteilung eine vorhergesagte Wahrscheinlichkeitsverteilung erwarteter Pixelwerte für ein bestimmtes Pixel in dem biomedizinischen Bild wiedergibt; Feststellen, durch eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomalieerkennungskomponente, einer Wahrscheinlichkeit, dass jedes Pixel einen auf den Wahrscheinlichkeitsverteilungen beruhenden erwarteten Wert hat, um eine Mehrzahl von erwarteten Pixelwahrscheinlichkeiten zu bilden; Erkennen, durch die Anomalieerkennungskomponente, einer Anomalie in dem biomedizinischen Bild auf der Grundlage der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten; Markieren, durch eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomaliemarkierungskomponente, der erkannten Anomalie in dem biomedizinischen Bild, um ein markiertes biomedizinisches Bild zu bilden; und Ausgeben, durch die Knockout-Autoencoder-Steuerungskomponente, des markierten biomedizinischen Bildes.
  2. Verfahren nach Anspruch 1, wobei Trainieren des neuronalen Netzes aufweist: bei jedem Trainingsbild in einem Satz von Trainingsbildern Auswählen einer oder mehrerer Knockout-Flächen des Trainingsbildes, Füllen der einen oder der mehreren Knockout-Flächen mit Rauschen, um ein Knockout-Bild zu bilden, und Trainieren des neuronalen Netzes, um angesichts verbliebener Pixel in dem Knockout-Bild das Trainingsbild auf der Grundlage von erwartetem Inhalt in den Knockout-Flächen vorherzusagen.
  3. Verfahren nach Anspruch 2, wobei der Satz von Trainingsbildern eine Mehrzahl biomedizinischer Bilder von gesunden Patienten aufweist.
  4. Verfahren nach Anspruch 2, wobei das Auswählen einer oder mehrerer Knockout-Flächen ein Auswählen einer oder mehrerer zufälliger Flächen in dem Trainingsbild aufweist.
  5. Verfahren nach Anspruch 1, wobei das neuronale Netz ein faltendes neuronales Netz aufweist.
  6. Verfahren nach Anspruch 5, wobei das faltende neuronale Netz ein U-Net aufweist.
  7. Verfahren nach Anspruch 1, wobei das Feststellen der Wahrscheinlichkeit, dass jedes Pixel einen erwarteten Wert hat, auf der Grundlage der Wahrscheinlichkeitsverteilungen umfasst: bei jedem Pixel in dem biomedizinischen Bild, das einen bestimmten Pixelwert hat, Identifizieren eines Wahrscheinlichkeitswertes, der einem bestimmten Pixelwert in einer gegebenen Wahrscheinlichkeitsverteilung entspricht, die dem betreffenden Pixel entspricht.
  8. Verfahren nach Anspruch 1, wobei das Erkennen der Anomalie in dem biomedizinischen Bild auf der Grundlage der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten aufweist: Vergleichen der erwarteten Pixelwahrscheinlichkeit in der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten mit einem vorgegebenen Schwellenwert; und als Reaktion darauf, dass eine oder mehrere der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten unterhalb des vorgegebenen Schwellenwertes liegen, Feststellen, dass das biomedizinische Bild eine Anomalie enthält.
  9. Computerprogrammprodukt, das ein durch einen computerlesbares nichtflüchtiges Medium aufweist, auf dem ein durch einen Computer lesbares Programm gespeichert ist, wobei das durch einen Computer lesbare Programm bei Ausführung auf einer Datenverarbeitungseinheit die Datenverarbeitungseinheit veranlasst, eine Knockout-Autoencoder-Steuerungskomponente zum Erkennen von Anomalien in biomedizinischen Bildern zu realisieren, wobei das durch einen Computer lesbare Programm die Datenverarbeitungseinheit veranlasst zum: Trainieren eines neuronalen Netzes, das als Knockout-Autoencoder verwendet werden soll, der auf der Grundlage eines Eingabebildes ein Original vorhersagt; Bereitstellen, durch die Knockout-Autoencoder-Steuerungskomponente, eines biomedizinischen Bildes als Eingabebild für das neuronale Netz; Ausgeben, durch das neuronale Netz, einer Wahrscheinlichkeitsverteilung für jedes Pixel in dem biomedizinischen Bild, wobei jede Wahrscheinlichkeitsverteilung eine vorhergesagte Wahrscheinlichkeitsverteilung erwarteter Pixelwerte für ein bestimmtes Pixel in dem biomedizinischen Bild wiedergibt; Feststellen, durch eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomalieerkennungskomponente, einer Wahrscheinlichkeit, dass jedes Pixel einen auf den Wahrscheinlichkeitsverteilungen beruhenden erwarteten Wert hat, um eine Mehrzahl von erwarteten Pixelwahrscheinlichkeiten zu bilden; Erkennen, durch die Anomalieerkennungskomponente, einer Anomalie in dem biomedizinischen Bild auf der Grundlage der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten; Markieren, durch eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomaliemarkierungskomponente, der erkannten Anomalie in dem biomedizinischen Bild, um ein markiertes biomedizinisches Bild zu bilden; und Ausgeben, durch die Knockout-Autoencoder-Steuerungskomponente, des markierten biomedizinischen Bildes.
  10. Computerprogrammprodukt nach Anspruch 9, wobei das Trainieren des neuronalen Netzes aufweist: bei jedem Trainingsbild in einem Satz von Trainingsbildern Auswählen einer oder mehrerer Knockout-Flächen des Trainingsbildes, Füllen der einen oder der mehreren Knockout-Flächen mit Rauschen, um ein Knockout-Bild zu bilden, und Trainieren des neuronalen Netzes, um angesichts verbliebener Pixel in dem Knockout-Bild das Trainingsbild auf der Grundlage von erwartetem Inhalt in den Knockout-Flächen vorherzusagen.
  11. Computerprogrammprodukt nach Anspruch 10, wobei der Satz von Trainingsbildern eine Mehrzahl biomedizinischer Bilder von gesunden Patienten aufweist.
  12. Computerprogrammprodukt nach Anspruch 10, wobei das Auswählen einer oder mehrerer Knockout-Flächen ein Auswählen einer oder mehrerer zufälliger Flächen in dem Trainingsbild aufweist.
  13. Computerprogrammprodukt nach Anspruch 10, wobei das neuronale Netz ein faltendes neuronales Netz aufweist.
  14. Computerprogrammprodukt nach Anspruch 13, wobei das faltende neuronale Netz ein U-Net aufweist.
  15. Computerprogrammprodukt nach Anspruch 9, wobei das Feststellen der Wahrscheinlichkeit, dass jedes Pixel einen erwarteten Wert hat, auf der Grundlage der Wahrscheinlichkeitsverteilungen umfasst: bei jedem Pixel in dem biomedizinischen Bild, das einen bestimmten Pixelwert hat, Identifizieren eines Wahrscheinlichkeitswertes, der einem bestimmten Pixelwert in einer gegebenen Wahrscheinlichkeitsverteilung entspricht, die dem betreffenden Pixel entspricht.
  16. Computerprogrammprodukt nach Anspruch 9, wobei das Erkennen der Anomalie in dem biomedizinischen Bild auf der Grundlage der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten aufweist: Vergleichen der erwarteten Pixelwahrscheinlichkeit in der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten mit einem vorgegebenen Schwellenwert; und als Reaktion darauf, dass eine oder mehrere der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten unterhalb des vorgegebenen Schwellenwertes liegen, Feststellen, dass das biomedizinische Bild eine Anomalie enthält.
  17. Vorrichtung, die aufweist: einen Prozessor; und einen mit dem Prozessor verbundenen Arbeitsspeicher, wobei der Arbeitsspeicher Anweisungen aufweist, die bei Ausführung durch den Prozessor den Prozessor veranlassen, eine Knockout-Autoencoder-Steuerungskomponente zum Erkennen von Anomalien in biomedizinischen Bildern zu realisieren, wobei die Anweisungen den Prozessor veranlassen zum: Trainieren eines neuronalen Netzes, das als Knockout-Autoencoder verwendet werden soll, der auf der Grundlage eines Eingabebildes ein Original vorhersagt; Bereitstellen, durch die Knockout-Autoencoder-Steuerungskomponente, eines biomedizinischen Bildes als Eingabebild für das neuronale Netz; Ausgeben, durch das neuronale Netz, einer Wahrscheinlichkeitsverteilung für jedes Pixel in dem biomedizinischen Bild, wobei jede Wahrscheinlichkeitsverteilung eine vorhergesagte Wahrscheinlichkeitsverteilung erwarteter Pixelwerte für ein bestimmtes Pixel in dem biomedizinischen Bild wiedergibt; Feststellen, durch eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomalieerkennungskomponente, einer Wahrscheinlichkeit, dass jedes Pixel einen auf den Wahrscheinlichkeitsverteilungen beruhenden erwarteten Wert hat, um eine Mehrzahl von erwarteten Pixelwahrscheinlichkeiten zu bilden; Erkennen, durch die Anomalieerkennungskomponente, einer Anomalie in dem biomedizinischen Bild auf der Grundlage der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten; Markieren, durch eine innerhalb der Knockout-Autoencoder-Steuerungskomponente ausgeführte Anomaliemarkierungskomponente, der erkannten Anomalie in dem biomedizinischen Bild, um ein markiertes biomedizinisches Bild zu bilden; und Ausgeben, durch die Knockout-Autoencoder-Steuerungskomponente, des markierten biomedizinischen Bildes.
  18. Vorrichtung nach Anspruch 17, wobei Trainieren des neuronalen Netzes aufweist: bei jedem Trainingsbild in einem Satz von Trainingsbildern Auswählen einer oder mehrerer Knockout-Flächen des Trainingsbildes, Füllen der einen oder der mehreren Knockout-Flächen mit Rauschen, um ein Knockout-Bild zu bilden, und Trainieren des neuronalen Netzes, um angesichts verbliebener Pixel in dem Knockout-Bild das Trainingsbild auf der Grundlage von erwartetem Inhalt in den Knockout-Flächen vorherzusagen.
  19. Vorrichtung nach Anspruch 17, wobei das Feststellen der Wahrscheinlichkeit, dass jedes Pixel einen erwarteten Wert hat, auf der Grundlage der Wahrscheinlichkeitsverteilungen umfasst: bei jedem Pixel in dem biomedizinischen Bild, das einen bestimmten Pixelwert hat, Identifizieren eines Wahrscheinlichkeitswertes, der einem bestimmten Pixelwert in einer gegebenen Wahrscheinlichkeitsverteilung entspricht, die dem betreffenden Pixel entspricht.
  20. Vorrichtung nach Anspruch 17, wobei das Erkennen der Anomalie in dem biomedizinischen Bild auf der Grundlage der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten aufweist: Vergleichen der erwarteten Pixelwahrscheinlichkeit in der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten mit einem vorgegebenen Schwellenwert; und als Reaktion darauf, dass eine oder mehrere der Mehrzahl von erwarteten Pixelwahrscheinlichkeiten unterhalb des vorgegebenen Schwellenwertes liegen, Feststellen, dass das biomedizinische Bild eine Anomalie enthält.
DE112019002206.7T 2018-07-17 2019-07-15 Knockout-autoencoder zum erkennen von anomalien in biomedizinischen bildern Granted DE112019002206T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/037,264 2018-07-17
US16/037,264 US10878570B2 (en) 2018-07-17 2018-07-17 Knockout autoencoder for detecting anomalies in biomedical images
PCT/IB2019/056008 WO2020016736A1 (en) 2018-07-17 2019-07-15 Knockout autoencoder for detecting anomalies in biomedical images

Publications (1)

Publication Number Publication Date
DE112019002206T5 true DE112019002206T5 (de) 2021-03-11

Family

ID=69162023

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019002206.7T Granted DE112019002206T5 (de) 2018-07-17 2019-07-15 Knockout-autoencoder zum erkennen von anomalien in biomedizinischen bildern

Country Status (6)

Country Link
US (1) US10878570B2 (de)
JP (2) JP2021532454A (de)
CN (1) CN112400187A (de)
DE (1) DE112019002206T5 (de)
GB (1) GB2588735B (de)
WO (1) WO2020016736A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11065079B2 (en) 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
US11249861B2 (en) 2020-02-06 2022-02-15 Bank Of America Corporation Multi-layered disaster recovery manager
CN111325751B (zh) * 2020-03-18 2022-05-27 重庆理工大学 基于注意力卷积神经网络的ct图像分割系统
US20210313050A1 (en) * 2020-04-05 2021-10-07 Theator inc. Systems and methods for assigning surgical teams to prospective surgical procedures
CN114078108B (zh) * 2020-08-11 2023-12-22 北京阅影科技有限公司 图像中异常区域的处理方法、装置和图像分割方法、装置
CN112036513B (zh) * 2020-11-04 2021-03-09 成都考拉悠然科技有限公司 基于内存增强潜在空间自回归的图像异常检测方法
WO2022119811A1 (en) * 2020-12-02 2022-06-09 Innsightful, Inc. Health monitoring system
CN112598636B (zh) * 2020-12-18 2022-04-29 武汉大学 一种基于全卷积自编码器的高光谱影像异常探测方法
EP4030385A1 (de) * 2021-01-14 2022-07-20 TheraPanacea Vorrichtungen und verfahren zur synthese von bildern von einem quellenbild zu einem zielbild

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5331550A (en) * 1991-03-05 1994-07-19 E. I. Du Pont De Nemours And Company Application of neural networks as an aid in medical diagnosis and general anomaly detection
US6285992B1 (en) * 1997-11-25 2001-09-04 Stanley C. Kwasny Neural network based methods and systems for analyzing complex data
US6819790B2 (en) 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US20040109608A1 (en) * 2002-07-12 2004-06-10 Love Patrick B. Systems and methods for analyzing two-dimensional images
US7260250B2 (en) * 2002-09-30 2007-08-21 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Computer-aided classification of anomalies in anatomical structures
US6950544B2 (en) * 2003-02-14 2005-09-27 Virtualscopics, Llc Automated measurement of anatomical structures in medical imaging
WO2006093523A2 (en) 2004-07-15 2006-09-08 Kenji Suzuki Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose ct
GB2453263A (en) * 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
US9704059B2 (en) 2014-02-12 2017-07-11 International Business Machines Corporation Anomaly detection in medical imagery
WO2016019347A1 (en) 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
CN105608459B (zh) * 2014-10-29 2018-09-14 阿里巴巴集团控股有限公司 商品图片的分割方法及其装置
EP3332357A1 (de) 2015-08-04 2018-06-13 Siemens Aktiengesellschaft Visuelles darstellungslernen zur gehirntumorklassifizierung
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
US10402700B2 (en) * 2016-01-25 2019-09-03 Deepmind Technologies Limited Generating images using neural networks
US10794977B2 (en) 2016-06-23 2020-10-06 Siemens Healthcare Gmbh System and method for normalized reference database for MR images via autoencoders
US10223590B2 (en) * 2016-08-01 2019-03-05 Qualcomm Incorporated Methods and systems of performing adaptive morphology operations in video analytics
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US11205103B2 (en) * 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10133964B2 (en) * 2017-03-28 2018-11-20 Siemens Healthcare Gmbh Magnetic resonance image reconstruction system and method
CN110753517A (zh) * 2017-05-11 2020-02-04 韦拉索恩股份有限公司 基于概率映射的超声扫描
CN108230257A (zh) 2017-11-15 2018-06-29 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2021532454A (ja) 2021-11-25
CN112400187A (zh) 2021-02-23
GB2588735B (en) 2021-10-20
JP2023175804A (ja) 2023-12-12
WO2020016736A1 (en) 2020-01-23
GB2588735A (en) 2021-05-05
US20200027211A1 (en) 2020-01-23
GB202101692D0 (en) 2021-03-24
US10878570B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
DE112019002206T5 (de) Knockout-autoencoder zum erkennen von anomalien in biomedizinischen bildern
DE102019000171A1 (de) Digitalumgebung zur Verortung semantischer Klassen
DE112018004376T5 (de) Schützen kognitiver systeme vor auf gradienten beruhenden angriffen durch die verwendung irreführender gradienten
DE112019000631T5 (de) Verwenden von gradienten, um backdoors in neuronalen netzen zu erkennen
DE112018006488T5 (de) Automatisierte extraktion echokardiografischer messwerte aus medizinischen bildern
DE102016203546B4 (de) Analysator zur verhaltensanalyse und parametrisierung von neuronaler stimulation
DE112018005459T5 (de) Datenanonymisierung
DE102015217429A1 (de) Diagnosesystem und Diagnoseverfahren
DE102015212953A1 (de) Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
DE112019001136T5 (de) Analyse unerwünschter arzneimittelwirkungen
WO2018094438A1 (de) Verfahren und system zum erstellen einer medizinischen bilddatenbank mittels eines konvolutionellen neuronalen netzwerk
DE112020004092T5 (de) Automatisches erfassen und ersetzen von identifikationsinformationen in bildern unter verwendung von maschinellem lernen
DE112017007530T5 (de) Entitätsmodell-erstellung
DE112020002129T5 (de) Deep-learning-ansatz für datenverarbeitungsspannen
DE102021004157A1 (de) Maschinell lernendes Modellieren zum Schutz gegen die Online-Offenlegung empfindlicher Daten
DE112020001683T5 (de) Eine plattform zur auswertung medizinischer informationen und verfahren zu deren verwendung
DE112018001952T5 (de) Verbessertes visuelles dialogsystem für intelligente tutoren
DE102022202017A1 (de) Konzeptbasiertes kontradiktorisches Erzeugungsverfahren mit steuerbarer und diverser Semantik
Upjohn et al. Demystifying AI in healthcare: historical perspectives and current considerations
EP4016543A1 (de) Verfahren und vorrichtung zur bereitstellung einer medizinischen information
DE112018005891T5 (de) Bibliotheks-Screening auf Krebswahrscheinlichkeit
DE112020003767T5 (de) Erzeugen eines ausführbaren verfahrens aus einer textbeschreibung, die in einer natürlichen sprache geschrieben ist
DE112021005678T5 (de) Normieren von OCT-Bilddaten
WO2022043585A1 (de) System zur automatisierten harmonisierung strukturierter daten aus verschiedenen erfassungseinrichtungen
DE112021004347T5 (de) Aktion-objekt-erkennung in überladenen videoszenen unter verwendung von text

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0010700000

R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE

R081 Change of applicant/patentee

Owner name: MERATIVE US L.P. (N.D.GES.D.STAATES DELAWARE),, US

Free format text: FORMER OWNER: INTERNATIONAL BUSINESS MACHINES CORPORATION, ARMONK, NY, US

R016 Response to examination communication
R018 Grant decision by examination section/examining division