DE112019000747T5

DE112019000747T5 - Einer erkrankung und/oder behandlung eines patienten zugehörige augmented-reality-vorlage

Info

Publication number: DE112019000747T5
Application number: DE112019000747.5T
Authority: DE
Inventors: Anca Sailer; Eric William Brown; Ching-Huei Tsou; Maria Eleftheriou
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2018-04-27
Filing date: 2019-03-21
Publication date: 2020-10-29
Also published as: GB202015886D0; US20190333276A1; US20190333274A1; JP2021520551A; CN112041939A; WO2019207371A1; GB2587098A; JP7300802B2

Abstract

Bereitgestellt wird ein Mechanismus zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche Ansicht des Patienten gelegt wird. Über das HMD-System wird ein Echtzeitbild eines Bereichs des Körpers eines Patienten erfasst, das durch eine medizinische Fachkraft betrachtet wird. Innerhalb des Echtzeitbilds werden ein oder mehrere Körperteile des Patienten identifiziert. Der eine oder die mehreren identifizierten Körperteile werden mit den elektronischen Krankenakten (EMRs) des Patienten korreliert, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind. Danach wird von einem oder mehreren Bereichen des Körpers des Patienten, die der Erkrankung und/oder Behandlung des Patienten entsprechen, in dem HMD-System eine Augmented-Reality-Anzeige erzeugt, die das Echtzeitbild des Bereichs des Körpers des Patienten überlagert.

Description

HINTERGRUND
Die vorliegende Erfindung bezieht sich im Allgemeinen auf eine verbesserte Datenverarbeitungsvorrichtung und ein verbessertes Datenverarbeitungsverfahren und im Besonderen auf Mechanismen, um eine Augmented-Reality-Darstellung, die einer Erkrankung und/oder Behandlung eines Patienten zugehörig ist, einer medizinischen Fachkraft vorzulegen.
Eine elektronische Patientenakte (Electronic Health Record, EHR) oder elektronische Krankenakte (Electronic Medical Record, EMR) ist die systematisierte Zusammenstellung von elektronisch gespeicherten Gesundheitsinformationen zu Patienten und Bevölkerung in einem digitalen Format. Diese Akten können über verschiedene Healthcare-Bereiche hinweg geteilt werden. Akten werden über mit einem Netzwerk verbundene, unternehmensweite Informationssysteme oder andere Informationsnetzwerke und -tauschbörsen geteilt. EMRs können eine Bandbreite von Daten enthalten, darunter demografische Daten, medizinische Vorgeschichte, Medikation und Allergien, Impfstatus, Ergebnisse von Labortests, Röntgenbilder, Vitalwerte, persönliche Statistikdaten wie Alter und Gewicht sowie Rechnungsdaten.
EMR-Systeme sind dafür ausgelegt, Daten exakt zu speichern und den Zustand eines Patienten im zeitlichen Verlauf zu erfassen. Dies macht es überflüssig, frühere, in Papierform vorliegende Krankenakten eines Patienten nachzuverfolgen, und hilft sicherzustellen, dass Daten exakt und lesbar sind. Es kann die Gefahr einer Datenreplikation verringern, da es nur eine einzige änderbare Datei gibt, was bedeutet, dass die Datei mit größerer Wahrscheinlichkeit auf dem neuesten Stand ist, und die Gefahr eines Verlusts von in Papierform vorliegenden Unterlagen mindert. Da die digitalen Informationen durchsuchbar sind und in einer einzigen Datei vorliegen, sind EMRs effektiver, wenn medizinische Daten für die Untersuchung möglicher Trends und langfristiger Veränderungen bei einem Patienten extrahiert werden. Auch Studien zu Krankenakten auf Grundlage von Bevölkerungskohorten können durch die verbreitete Nutzung von EMRs ermöglicht werden.
KURZDARSTELLUNG
Diese Kurzdarstellung wird bereitgestellt, um eine Auswahl von Konzepten in vereinfachter Form einzuführen, die in der ausführlichen Beschreibung hier näher beschrieben werden. Dies Kurzdarstellung ist nicht dazu gedacht, Schlüsselfaktoren oder wesentliche Merkmale des beanspruchten Gegenstands zu identifizieren, noch ist sie dazu gedacht, den inhaltlichen Umfang des beanspruchten Gegenstands zu beschränken.
Bei einer veranschaulichenden Ausführungsform wird in einem Datenverarbeitungssystem ein Verfahren zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System bereitgestellt, die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche Ansicht des Patienten gelegt wird. Die veranschaulichende Ausführungsform erfasst durch einen Erfassungsmechanismus eines kognitiven Healthcare-Systems ein Echtzeitbild eines Bereichs des Körpers eines Patienten, der durch eine medizinische Fachkraft über das HMD-System gerade betrachtet wird. Die veranschaulichende Ausführungsform identifiziert einen oder mehrere Körperteile des Patienten innerhalb des Echtzeitbilds. Die veranschaulichende Ausführungsform korreliert den einen oder die mehreren identifizierten Körperteile mit den elektronischen Krankenakten (EMRs) des Patienten, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind. Die veranschaulichende Ausführungsform erzeugt in dem HMD-System eine Augmented-Reality-Anzeige von einem oder mehreren Bereichen des Körpers des Patienten, die der Erkrankung und/oder Behandlung des Patienten entsprechen, die das Echtzeitbild des Bereichs des Körpers des Patienten überlagert.
Bei anderen veranschaulichenden Ausführungsformen wird ein Computerprogrammprodukt bereitgestellt, das ein durch einen Computer nutzbares oder lesbares Medium mit einem durch einen Computer lesbaren Programm aufweist. Wenn das durch einen Computer lesbare Programm in einer Datenverarbeitungseinheit ausgeführt wird, veranlasst es die Datenverarbeitungseinheit, verschiedene der Operationen sowie Kombinationen der Operationen durchzuführen, die oben mit Blick auf die veranschaulichende Ausführungsform des Verfahrens skizziert werden.
Bei einer weiteren veranschaulichenden Ausführungsform wird ein System/eine Vorrichtung bereitgestellt. Das System/die Vorrichtung kann einen oder mehrere Prozessoren und einen Arbeitsspeicher aufweisen, der mit dem einen oder den mehreren Prozessoren verbunden wird. Der Arbeitsspeicher kann Anweisungen aufweisen, die bei Ausführung durch den einen oder die mehreren Prozessoren den einen oder die mehreren Prozessoren veranlassen, verschiedene der Operationen sowie Kombinationen der Operationen durchzuführen, die oben mit Blick auf die veranschaulichende Ausführungsform des Verfahrens skizziert werden.
Diese und andere Merkmale und Vorzüge der vorliegenden Erfindung werden in der folgenden ausführlichen Beschreibung der Beispielausführungsformen der vorliegenden Erfindung beschrieben bzw. werden für den Fachmann hieraus ersichtlich.
Figurenliste
Die Erfindung selbst sowie eine bevorzugte Art der Verwendung und weitere Zielsetzungen und Vorzüge hiervon werden am deutlichsten unter Bezugnahme auf die folgende ausführliche Beschreibung von veranschaulichenden Ausführungsformen in Verbindung mit den beigefügten Figuren, bei denen:

1 eine schematische Darstellung einer veranschaulichenden Ausführungsform eines kognitiven Systems in einem Computernetzwerk darstellt;
2 ein Blockschaubild eines Beispiel-Datenverarbeitungssystems darstellt, in dem Aspekte der veranschaulichenden Ausführungsformen realisiert werden;
3 eine Verarbeitungspipeline eines kognitiven Systems zum Verarbeiten einer Eingabe veranschaulicht, um in einer Augmented-Reality-Anzeige eines Head-Mounted-Display(HMD)-Systems eine Überlagerung gemäß einer veranschaulichenden Ausführungsform zu erzeugen; und
4 gemäß einer veranschaulichenden Ausführungsform einen beispielhaften Ablaufplan der Operation darstellt, die durch ein kognitives Healthcare-System beim Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System durchgeführt wird, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird.

AUSFÜHRLICHE BESCHREIBUNG
Bei derzeitigen medizinischen Beurteilungen müssen medizinische Fachkräfte eine große Menge von medizinischen Informationen zu einem Patienten durchsuchen, um zu versuchen, die wesentlichsten Informationen für eine Behandlung des Patienten zu finden. Üblicherweise müssen die Ärzte für diese Beurteilungen Zugriff auf eine physische Krankenakte des Patienten haben oder infolge der zunehmenden Verwendung von elektronischen Krankenakten (EMR) große Menge von Daten durchsuchen, die in der EMR des Patienten enthalten sind. Dies erfordert viel Zeit und Arbeit seitens der medizinischen Fachkräfte, die ohnehin nur begrenzte Zeit für die Behandlung von Patienten haben. Aus diesem Grund haben Patienten oft das Gefühl, als ob die medizinische Fachkraft sie nicht persönlich kennen bzw. individuell behandeln und bei einem Termin nicht ausreichend Zeit für den Patienten aufwenden würde, d.h. die medizinische Fachkraft ist zu sehr damit beschäftigt, die EMR-Daten oder physischen Akten des Patienten zu durchsuchen, um sich eine Vorstellung von der Behandlung des Patienten zu verschaffen, als dass sie tatsächlich mit dem Patienten interagieren und Blickkontakt mit dem Patienten halten würde.
Entsprechend stellen die veranschaulichenden Ausführungsformen Mechanismen zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System wie z.B. ein am Körper getragenes Headset, eine Brille oder Ähnliches bereit, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird. Die Mechanismen der Erfindung erfassen Bilder des Bereichs des Körpers des Patienten, der von der medizinischen Fachkraft gerade betrachtet wird. Auf Grundlage des gerade betrachteten Teils des Körpers des Patienten identifizieren die Mechanismen die entsprechenden Körperteile in der Ansicht und korrelieren diese Körperteile mit den Daten der elektronischen Krankenakte (EMR) des Patienten, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind. In manchen Fällen kann Gesichtserkennung verwendet werden, um den gerade betrachteten jeweiligen Patienten zu identifizieren.
Die über den Körper des Patienten gelegten grafischen Darstellungen können spezifisch für eine Erkrankung und Realisierung sein. Die darüber gelegten grafischen Darstellungen können somit grafische Bilder, die für Erkrankungen stehen, wobei Teile des Körpers hervorgehoben werden, die betroffen sind oder einer weiteren Untersuchung bedürfen, für Laborergebnisse stehende Textdaten, Behandlungsoptionen, medizinische Codes oder dergleichen enthalten. Die Mechanismen stellen außerdem einen Zugriff auf einen medizinischen Korpus von Daten bereit, der für mehrere Medienansichten annotiert wird, um die Echtzeitauswahl von Medien zu ermöglichen, die für eine bestimmte Patientenstimmung, die Tageszeit, die zeitliche Verfügbarkeit der medizinischen Fachkraft oder dergleichen geeignet sind. Mit Blick auf den Zeitplan der medizinischen Fachkraft kann abhängig von dem Zeitplan eine weniger detaillierte Darstellung (grundlegendes Organmodell) angezeigt werden, wenn die Verfügbarkeit begrenzt ist, während eine ausführliche Darstellung (am Patientenorgan simulierte Operationsmethode) angezeigt werden kann, wenn eine längere Verfügbarkeit gegeben ist.
Vor Beginn der ausführlicheren Erörterung der verschiedenen Aspekte der veranschaulichenden Ausführungsformen sollte erwähnt werden, dass sich in dieser Beschreibung der Begriff „Mechanismus“ auf Elemente der vorliegenden Erfindung bezieht, die verschiedene Operationen, Funktionen und dergleichen durchführen. Ein „Mechanismus, wie der Begriff hier verwendet wird, kann eine Realisierung der Funktionen oder Aspekte der veranschaulichenden Ausführungsformen in Gestalt einer Vorrichtung, einer Vorgehensweise oder eines Computerprogrammprodukts sein. Im Falle einer Vorgehensweise wird die Vorgehensweise durch eine(n) oder mehrere Einheiten, Vorrichtungen, Computer, Datenverarbeitungssysteme oder dergleichen realisiert. Im Falle eines Computerprogrammprodukts wird die Logik, für die Computercode oder Anweisungen stehen, der in oder auf dem Computerprogrammprodukt enthalten ist bzw. die in oder auf dem Computerprogrammprodukt enthalten sind, durch eine oder mehrere Hardware-Einheiten ausgeführt, um die Funktionalität zu realisieren oder die Operationen durchzuführen, die dem spezifischen „Mechanismus“ zugehörig sind. Die hier beschriebenen Mechanismen können somit als Spezial-Hardware, als Software, die auf Universal-Hardware ausgeführt wird, als Software-Anweisungen, die auf einem Medium gespeichert werden, so dass die Anweisungen jederzeit durch Spezial- oder Universal-Hardware ausführbar sind, als eine Vorgehensweise oder ein Verfahren zum Ausführen der Funktionen oder aber als eine Kombination aller oben erwähnten Optionen realisiert werden.
Die vorliegende Beschreibung und die Ansprüche können die Begriffe „ein/eine/eines“, „mindestens ein/eine/eines“ und „ein/eine/eines oder mehrere“ mit Blick auf bestimmte Merkmale und Elemente der veranschaulichenden Ausführungsformen verwenden. Dabei sollte klar sein, dass diese Begriffe und Wendungen aussagen sollen, dass in der jeweiligen veranschaulichenden Ausführungsform mindestens eines, womöglich jedoch auch mehrere der bestimmten Merkmale oder Elemente vorhanden ist. Die Begriffe/Wendungen sind daher nicht als Beschränkung der Beschreibung oder der Ansprüche auf ein einziges genanntes Merkmal/Element oder so zu verstehen, als müsste eine Mehrzahl von derartigen Merkmalen/Elementen vorhanden sein. Im Gegenteil erfordern diese Begriffe/Wendungen mindestens ein einziges Merkmal/Element, wobei die Möglichkeit besteht, dass eine Mehrzahl von solchen Merkmalen/Elementen innerhalb des inhaltlichen Umfangs der Beschreibung und der Ansprüche liegt.
Darüber hinaus sollte klar sein, dass die Verwendung des Begriffs „Engine“, wenn er hierin zum Beschreiben von Ausführungsformen und Merkmalen der Erfindung verwendet wird, nicht als Beschränkung auf eine bestimmte Realisierung zum Erreichen und/oder Durchführen der Aktionen, Schritte, Prozesse usw. gedacht ist, die der Engine zugeordnet werden können und/oder von der Engine durchgeführt werden. Eine Engine kann, ohne darauf beschränkt zu sein, Software, Hardware und/oder Firmware oder eine beliebige Kombination hiervon sein, welche die angegebenen Funktionen durchführt, z.B., ohne darauf beschränkt zu sein, jede Verwendung eines Universal- und/oder Spezial-Prozessors in Kombination mit geeigneter Software, die in einen durch eine Maschine lesbaren Arbeitsspeicher geladen und durch den Prozessor ausgeführt wird. Des Weiteren dient jede einer bestimmten Engine zugehörige Bezeichnung, sofern nicht anderweitig angegeben, lediglich zum Zwecke einer besseren Bezugnahme und ist nicht als Beschränkung auf eine spezifische Realisierung zu verstehen. Zusätzlich kann jede Funktionalität, die einer Engine zugeordnet ist, in gleicher Weise durch mehrere Engines durchgeführt werden, die in die Funktionalität einer weiteren Engine desselben oder eines anderen Typs eingebettet und/oder mit dieser kombiniert werden oder auf eine oder mehrere Engines verschiedener Konfigurationen verteilt werden.
Darüber hinaus sollte klar sein, dass die folgende Beschreibung eine Mehrzahl von verschiedenen Beispielen für verschiedene Elemente der veranschaulichenden Ausführungsformen verwendet, um Beispielrealisierungen der veranschaulichenden Ausführungsformen weitergehend zu veranschaulichen und um das Verständnis der Mechanismen der veranschaulichenden Ausführungsformen zu erleichtern. Diese Beispiele sind nicht als Beschränkung zu verstehen und bilden keine erschöpfende Darstellung der verschiedenen Möglichkeiten zum Realisieren der Mechanismen der veranschaulichenden Ausführungsformen. Für den Fachmann dürfte anhand der vorliegenden Beschreibung offensichtlich sein, dass es viele andere, alternative Realisierungen dieser verschiedenen Elemente gibt, die zusätzlich zu den oder anstelle der hier bereitgestellten Beispiele(n) verwendet werden können, ohne vom gedanklichen Wesensgehalt und inhaltlichen Umfang der vorliegenden Erfindung abzuweichen.
Wie oben erwähnt, stellt die vorliegende Erfindung Ausführungsformen bereit, die Mechanismen zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System wie z.B. ein am Körper getragenes Headset, eine Brille oder Ähnliches bereitstellen, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird. Die veranschaulichenden Ausführungsformen können in vielen verschiedenen Arten von Datenverarbeitungsumgebungen verwendet werden. Um einen Kontext für die Beschreibung der spezifischen Elemente und Funktionalität der veranschaulichenden Ausführungsformen bereitzustellen, werden die 1 bis 3 hier als Beispielumgebungen bereitgestellt, in denen Aspekte der veranschaulichenden Ausführungsformen realisiert werden können. Dabei sollte klar sein, dass die 1 bis 3 lediglich Beispiele sind und keinerlei Beschränkung mit Blick auf die Umgebungen geltend machen oder implizieren sollen, in denen Aspekte oder Ausführungsformen der vorliegenden Erfindung realisiert werden können. An den dargestellten Umgebungen können viele Änderungen vorgenommen werden, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
Die 1 bis 3 sind auf eine Beschreibung eines als Beispiel dienenden kognitiven Systems zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System wie z.B. ein am Körper getragenes Headset, eine Brille oder Ähnliches gerichtet, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird. Um die dem Patienten zugehörige Erkrankung und/oder Behandlung zu identifizieren, realisiert das kognitive System eine Anforderungsverarbeitungspipeline, eine Anforderungsverarbeitungsmethodik und ein Anforderungsverarbeitungs-Computerprogrammprodukt, mit denen die Mechanismen der veranschaulichenden Ausführungsformen realisiert werden. Diese Anforderungen können als strukturierte oder unstrukturierte Anforderungsbenachrichtigungen, natürlichsprachliche Fragen oder als ein beliebiges anderes geeignetes Format bereitgestellt werden, um eine Operation anzufordern, die durch das kognitive System durchgeführt werden soll. Wie im Folgenden ausführlicher beschrieben, ist die bestimmte Anwendung, die in dem kognitiven System der vorliegenden Erfindung realisiert wird, eine Anwendung zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird.
Obwohl das kognitive System in den folgenden Beispielen mit einer einzigen Anforderungsverarbeitungspipeline gezeigt wird, sollte klar sein, dass es tatsächlich mehrere Anforderungsverarbeitungspipelines aufweisen kann. Jede Anforderungsverarbeitungspipeline kann getrennt trainiert und/oder konfiguriert werden, um verschiedenen Gebieten zugehörige Anforderungen zu verarbeiten, oder sie kann konfiguriert werden, um dieselbe oder eine andere Analyse von Eingabeanforderungen (oder Fragen, bei Realisierungen unter Verwendung einer QA-Pipeline) durchzuführen, wobei dies abhängig von der gewünschten Realisierung ist. Zum Beispiel kann in manchen Fällen eine erste Anforderungsverarbeitungspipeline trainiert werden, um Eingabeanforderungen zu verarbeiten, die auf ein Identifizieren einer Erkrankung des Patienten gerichtet sind, so dass der Arzt des Patienten den Bereich des Patienten sehen kann, dem die Erkrankung zugehörig ist. In anderen Fällen kann die Anforderungsverarbeitungspipeline zum Beispiel konfiguriert werden, um verschiedene Arten von kognitiven Funktionen bereitzustellen oder verschiedene Arten von Anwendungen zu unterstützen, wie beispielsweise eine Anforderungsverarbeitungspipeline, die zum Identifizieren einer Behandlung des Patienten verwendet wird, so dass eine Pflegekraft, die den Patienten gerade behandelt, den Bereich des Patienten sehen kann, dem die anzuwendende Behandlung zugehörig ist, usw.
Darüber hinaus kann jede Anforderungsverarbeitungspipeline einen ihr zugehörigen eigenen Korpus oder ihr zugehörige eigene Korpora aufweisen, in den bzw. die sie Daten aufnehmen und den bzw. die sie verarbeitet, z.B. in den obigen Beispielen einen Korpus mit Dokumenten zu Erkrankungen und einen weiteren Korpus mit Dokumenten zu Behandlungen. In manchen Fällen können die Anforderungsverarbeitungspipelines jeweils dasselbe Gebiet von Eingabefragen verarbeiten, jedoch unterschiedliche Konfigurationen aufweisen, z.B. verschiedene Annotatoren oder verschieden trainierte Annotatoren, so dass unterschiedliche Analysen und mögliche Antworten erzeugt werden. Das kognitive System kann zusätzliche Logik zum Weiterleiten von Eingabefragen an die geeignete Anforderungsverarbeitungspipeline bereitstellen, z.B. auf Grundlage eines ermittelten Gebiets der Eingabeanforderung, indem es endgültige Ergebnisse kombiniert und auswertet, die durch die Verarbeitung erzeugt werden, die durch mehrere Anforderungsverarbeitungspipelines durchgeführt wird, sowie weitere Steuerungs- und Interaktionslogik, welche die Verwendung von mehreren Anforderungsverarbeitungspipelines ermöglicht.
Obwohl die vorliegende Erfindung in Zusammenhang mit dem kognitiven System beschrieben wird, das eine oder mehrere Anforderungspipelines realisiert, die eine Anforderung verarbeiten, sollte klar sein, dass die veranschaulichenden Ausführungsformen nicht hierauf beschränkt sind. Vielmehr können die Mechanismen der veranschaulichenden Ausführungsformen Anforderungen verarbeiten, die nicht als „Fragen“ vorgelegt werden, sondern die in Form von Anforderungen an das kognitive System gestellt werden, um unter Verwendung des zugehörigen Korpus oder der zugehörigen Korpora und der spezifischen Konfigurationsinformationen, die zum Konfigurieren des kognitiven Systems verwendet werden, kognitive Operationen für einen angegebenen Satz von Eingabedaten durchzuführen.
Wie im Folgenden ausführlicher dargelegt wird, können die veranschaulichenden Ausführungsformen in Bezug auf ein Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird, in die Funktionalität der Anforderungsverarbeitungspipeline integriert werden bzw. diese erweitern oder weiter fassen. Wenn ein Patient zum Beispiel an einer Blinddarmentzündung erkrankt ist und wenn der Arzt den Körper des Patienten mittels der Augmented-Reality-Anzeige eines am Körper getragenen Anzeige(HMD)-Systems betrachtet, überlagert der Blinddarm des Patienten in der Ansicht den Unterbauch des Körpers des Patienten, wenn der Unterbauch des Körpers des Patienten mittels der Augmented-Reality-Anzeige des HMD-Systems betrachtet wird.
Dabei ist zu beachten, dass die in den 1 bis 3 beschriebenen Mechanismen lediglich Beispiele darstellen und keinerlei Einschränkung mit Blick auf die Art von Mechanismen eines kognitiven Systems geltend machen oder implizieren sollen, mit denen die veranschaulichenden Ausführungsformen realisiert werden. In verschiedenen Ausführungsformen der vorliegenden Erfindung können viele Änderungen an dem als Beispiel dienenden kognitiven System aus den 1 bis 3 vorgenommen werden, ohne vom gedanklichen Wesensgehalt und inhaltlichen Umfang der vorliegenden Erfindung abzuweichen.
Allgemein gesprochen ist ein kognitives System ein Spezial-Computersystem oder ein Satz von Computersystemen, das bzw. der mit Hardware- und/oder Softwarelogik (in Kombination mit Hardwarelogik, in der die Software ausgeführt wird) konfiguriert wird, um kognitive Funktionen des Menschen nachzuahmen. Diese kognitiven Systeme wenden menschenähnliche Eigenschaften auf das Vermitteln und Lenken von Ideen an, die in Verbindung mit den ihnen innewohnenden Stärken der digitalen Datenverarbeitung in der Lage sind, mit hoher Exaktheit und Resilienz in großem Umfang Probleme zu lösen. Ein kognitives System führt eine oder mehrere durch einen Computer realisierte kognitive Operationen durch, die annähernd einem menschlichen Denkvorgang entsprechen, und ermöglicht Menschen und Maschinen, auf eine natürlichere Art und Weise miteinander zu interagieren, um so die menschliche Erfahrung und Erkenntnis zu erweitern und zu vergrößern. Ein kognitives System weist Logik einer künstlichen Intelligenz wie zum Beispiel Logik auf Grundlage der Verarbeitung von natürlicher Sprache (Natural Language Processing, NLP) und Logik für maschinelles Lernen auf, die als Spezial-Hardware, als auf Hardware ausgeführte Software oder als eine beliebige Kombination von Spezial-Hardware und auf Hardware ausgeführter Software bereitgestellt werden kann. Die Logik des kognitiven Systems realisiert die kognitive(n) Operation(en), die beispielsweise ein Beantworten von Fragen, eine Identifizierung von verwandten Konzepten innerhalb verschiedener Teile von Inhalt in einem Korpus, intelligente Suchalgorithmen wie zum Beispiel Suchvorgänge in Internet-Webseiten, Empfehlungen zu medizinischen Diagnosen und Behandlungen sowie andere Arten einer Empfehlungserzeugung wie z.B. Dinge, die für einen bestimmten Benutzer von Interesse sind, Empfehlungen für potenzielle neue Kontakt oder dergleichen enthalten, ohne jedoch darauf beschränkt zu sein.
IBM Watson™ ist ein Beispiel für ein solches kognitives System, das durch einen Menschen lesbare Sprache verarbeiten kann und in der Lage ist, mit einer dem Menschen vergleichbaren hohen Exaktheit und einer sehr viel höheren Geschwindigkeit als der Mensch sowie in sehr viel größerem Umfang Schlussfolgerungen aus Textpassagen zu ziehen. Im Allgemeinen sind solche kognitiven Systeme in der Lage, die folgenden Funktionen durchzuführen:

• Bewältigen der Komplexität von menschlicher Sprache und des menschlichen Verständnisses
• Aufnehmen und Verarbeiten gewaltiger Mengen an strukturierten und unstrukturierten Daten
• Erzeugen und Bewerten von Hypothesen
• Gewichten und Bewerten von Reaktionen, die ausschließlich relevante Erkenntnisse als Grundlage haben
• Bereitstellen von situationsspezifischen Ratschlägen und Einblicken sowie situationsspezifischer Lenkung
• Verbessern von Wissen und Lernen aus jeder Iteration und Interaktion anhand von Prozessen des maschinellen Lernens
• Ermöglichen von Entscheidungen zum Zeitpunkt des jeweiligen Auftretens (kontextabhängige Lenkung)
• Skalieren im Verhältnis zur jeweiligen Aufgabe
• Erweitern und Vergrößern der menschlichen Erfahrung und Erkenntnis
• Identifizieren von Anklang findenden, dem Menschen ähnelnden Attributen und Merkmalen in natürlicher Sprache
• Ableiten von verschiedenen sprachspezifischen oder sprachunabhängigen Attributen aus natürlicher Sprache
• Hohes Maß an relevanter Abfrage von Datenpunkten (Bilder, Text, Sprache) (Speicherung und Abruf)
• Vorhersagen und Erfassen mit einem Situationsbewusstsein, das menschliche Erkenntnis auf Grundlage von Erfahrungen nachahmt
• Beantworten von Fragen auf Grundlage von natürlicher Sprache und spezifischen Erkenntnissen

Gemäß einem Aspekt stellen kognitive Systeme Mechanismen zum Antworten auf Anforderungen, die an diese kognitiven Systeme gerichtet werden, unter Verwendung einer Anforderungsverarbeitungspipeline bereit und/oder verarbeiten Anforderungen, die als natürlichsprachliche Anforderungen gestellt werden können, ohne dass dies zwingend der Fall sein muss. Die Anforderungsverarbeitungspipeline ist eine auf der Datenverarbeitungshardware ausgeführte Anwendung mit künstlicher Intelligenz, die auf Anforderungen reagiert, welche sich auf ein bestimmtes Fachgebiet beziehen und in natürlicher Sprache vorgelegt werden. Die Anforderungsverarbeitungspipeline empfängt Eingaben von verschiedenen Quellen wie z.B. Eingaben über ein Netzwerk, einen Korpus von elektronischen Dokumenten oder anderweitigen Daten, Daten von einem Inhaltserzeuger, Informationen von einem oder mehreren Inhaltsnutzern und andere derartige Eingaben von anderen möglichen Eingabequellen. Datenspeichereinheiten speichern den Korpus von Daten. Ein Inhaltserzeuger erzeugt Inhalt in einem Dokument, der dann als Teil eines Korpus von Daten mit der Anforderungsverarbeitungspipeline verwendet wird. Das Dokument kann jede Art von Datei, Text, Artikel oder Quelle von Daten enthalten, die bzw. der in dem Anforderungsverarbeitungssystem verwendet wird. Zum Beispiel greift eine Anforderungsverarbeitungspipeline auf einen Fundus von Wissen zu dem Gebiet oder Themenbereich zu, z.B. dem finanziellen Gebiet, dem medizinischen Gebiet, dem juristischen Gebiet usw., wobei der Fundus von Wissen (Wissensbestand) in einer Vielfalt von Konfigurationen organisiert werden kann, z.B. als ein strukturiertes Repository von gebietsspezifischen Informationen wie z.B. Ontologien oder als unstrukturierte Daten, die sich auf das Gebiet beziehen, oder als eine Sammlung von natürlichsprachlichen Dokumenten zu dem Gebiet.
Inhaltsnutzer geben Anforderungen in das kognitive System ein, das die Anforderungsverarbeitungspipeline realisiert. Die Anforderungsverarbeitungspipeline antwortet dann unter Verwendung des Inhalts in dem Korpus von Daten auf die Anforderungen, indem sie Dokumente, Abschnitte von Dokumenten, Teile von Daten in dem Korpus oder dergleichen auswertet. Wenn ein Prozess einen bestimmten Abschnitt eines Dokuments auf seinen semantischen Inhalt hin auswertet, kann der Prozess eine Vielfalt von Konventionen verwenden, um ein solches Dokument aus der Anforderungsverarbeitungspipeline abzufragen, indem er z.B. die Abfrage als eine korrekt formatierte Anforderung an die Anforderungsverarbeitungspipeline sendet, die dann durch die Anforderungsverarbeitungspipeline interpretiert wird und woraufhin eine Reaktion bereitgestellt wird, die eine oder mehrere Reaktionen auf die Anforderung enthält. Semantischer Inhalt ist Inhalt, der die Beziehung zwischen Signifikanten wie z.B. Wörtern, Phrasen, Zeichen und Symbolen und dem, wofür sie stehen, d.h. ihrer Denotation oder Konnotation, zur Grundlage hat. Anders ausgedrückt handelt es sich bei semantischem Inhalt um Inhalt, der einen Ausdruck z.B. anhand einer Verarbeitung von natürlicher Sprache interpretiert.
Wie im Folgenden ausführlicher beschrieben wird, empfängt die Anforderungsverarbeitungspipeline eine Anforderung, parst die Anforderung, um die wichtigsten Merkmale der Anforderung zu extrahieren, verwendet die extrahierten Merkmale, um Abfragen zu formulieren, und wendet diese Abfragen dann auf den Korpus von Daten an. Auf Grundlage der Anwendung der Abfragen auf den Korpus von Daten erzeugt die Anforderungsverarbeitungspipeline einen Satz von Reaktionen auf die Anforderung, indem sie den Korpus von Daten auf Teile des Korpus von Daten durchsucht, die unter Umständen eine wertvolle Reaktion auf die Anforderung enthalten könnten. Anschließend führt die Anforderungsverarbeitungspipeline eine Tiefenanalyse der Sprache der Anforderung sowie der Sprache durch, die in jedem der Teile des Korpus von Daten verwendet wird, die bei der Anwendung der Abfragen gefunden werden, wobei eine Vielfalt von Reasoning-Algorithmen (reasoning algorithms/Algorithmen für die Wissensverarbeitung) zum Einsatz kommen. Dabei können Hunderte oder auch Tausende von Reasoning-Algorithmen angewendet werden, von denen jeder eine andere Analyse wie z.B. Vergleiche, Analysen von natürlicher Sprache, lexikalische Analysen oder dergleichen durchführt und eine Wertung erzeugt. Zum Beispiel können manche Reasoning-Algorithmen die Übereinstimmung von Begriffen und Synonymen innerhalb der Sprache der Anforderung und den gefundenen Teilen des Korpus von Daten untersuchen. Andere Reasoning-Algorithmen können zeitliche oder räumliche Merkmale der Sprache untersuchen, während wieder andere die Quelle des Teils des Korpus von Daten und ihre Glaubhaftigkeit bewerten.
Wie oben erwähnt, funktionieren Mechanismen der Anforderungsverarbeitungspipeline, indem sie auf Informationen aus einem Korpus von Daten oder Informationen (der auch als Korpus von Inhalt bezeichnet wird) zugreifen, ihn analysieren und anschließend auf Grundlage der Analyse dieser Daten Antwortergebnisse erzeugen. Das Zugreifen auf Informationen aus einem Korpus von Daten enthält üblicherweise: eine Datenbankabfrage, die Fragen dazu beantwortet, was sich in einer Sammlung von strukturierten Datensätzen befindet, und eine Suche, die als Reaktion auf eine Abfrage einer Sammlung von unstrukturierten Daten (Text, Formatierungssprache usw.) eine Sammlung von Dokumentenverknüpfungen liefert. Herkömmliche Anforderungsbeantwortungssysteme sind in der Lage, Antworten auf Grundlage des Korpus von Daten und der Eingabeanforderung zu erzeugen, Antworten auf eine Sammlung von Anforderungen für den Korpus von Daten zu überprüfen, unter Verwendung eines Korpus von Daten Fehler in digitalem Text zu korrigieren und aus einer Gruppe von möglichen Antworten, d.h. Kandidatenantworten, Reaktionen auf Anforderungen auszuwählen.
1 stellt eine schematische Darstellung einer veranschaulichenden Ausführungsform eines kognitiven Systems 100 dar, das eine Anforderungsverarbeitungspipeline 108 in einem Computernetzwerk 102 realisiert, die bei manchen Ausführungsformen eine Anforderungsverarbeitungspipeline sein kann. Zum Zwecke der vorliegenden Beschreibung wird davon ausgegangen, dass die Anforderungsverarbeitungspipeline 108 strukturierte und/oder unstrukturierte Anforderungen in Form von Eingabefragen verarbeitet. Ein Beispiel für eine Frageverarbeitungsoperation, die in Verbindung mit den hier beschriebenen Grundsätzen verwendet werden kann, wird in US-Patentschrift 2011/0125734 beschrieben, die hier in ihrer Gesamtheit zur Bezugnahme mit aufgenommen wird. Das kognitive System 100 wird in einer oder mehreren Datenverarbeitungseinheiten 104A bis D (die einen oder mehrere Prozessoren und einen oder mehrere Arbeitsspeicher sowie unter Umständen beliebige andere, nach dem Stand der Technik bekannte Elemente einer Datenverarbeitungseinheit aufweist, z.B. Busse, Speichereinheiten, Datenübertragungsschnittstellen und dergleichen), die mit dem Computernetzwerk 102 verbunden wird. Ausschließlich zum Zwecke der Veranschaulichung stellt 1 das kognitive System 100 als nur in der Datenverarbeitungseinheit 104A realisiert dar, wobei - wie oben erwähnt - das kognitive System 100 auch auf mehrere Datenverarbeitungseinheiten verteilt werden kann, z.B. auf eine Mehrzahl von Datenverarbeitungseinheiten 104A bis D. Das Netzwerk 102 enthält mehrere Datenverarbeitungseinheiten 104A bis D, die als Server-Datenverarbeitungseinheiten fungieren können, sowie 110 bis 112, die als Client-Datenverarbeitungseinheiten fungieren können, die über eine oder mehrere drahtgebundene und/oder drahtlose Datenübertragungsverbindungen miteinander und mit anderen Einheiten oder Komponenten Daten austauschen können, wobei jede Datenübertragungsverbindung eine(n) oder mehrere Leitungen, Router, Switches, Transmitter, Empfänger oder dergleichen aufweist. Bei manchen veranschaulichenden Ausführungsformen ermöglichen das kognitive System 100 und das Netzwerk 102 über ihre jeweiligen Datenverarbeitungseinheiten 110 bis 112 eine Anforderungsverarbeitungsfunktionalität für einen oder mehrere Benutzer des kognitiven Systems. Bei anderen Ausführungsformen können das kognitive System 100 und das Netzwerk 102 andere Arten von kognitiven Operationen bereitstellen, z.B., ohne darauf beschränkt zu sein, eine Anforderungsverarbeitungs- und kognitive Reaktionserzeugung, die abhängig von der gewünschten Realisierung viele verschiedene Formen annehmen kann, z.B. ein kognitiver Informationsabruf, eine Schulung/Anweisung von Benutzern, eine kognitive Bewertung von Daten oder dergleichen. Andere Ausführungsformen des kognitiven Systems 100 können mit Komponenten, Systemen, Teilsystemen und/oder Einheiten verwendet werden, die von den hier dargestellten abweichen.
Das kognitive System 100 ist konfiguriert, um eine Anforderungsverarbeitungspipeline 108 zu realisieren, die von verschiedenen Quellen Eingaben empfängt. Die Anforderungen können in Form einer natürlichsprachlichen Frage, einer natürlichsprachlichen Anforderung von Informationen, einer natürlichsprachlichen Anforderung zur Durchführung einer kognitiven Operation oder dergleichen vorgelegt werden. Zum Beispiel empfängt das kognitive System 100 eine Eingabe von dem Netzwerk 102, von einem Korpus oder von Korpora von elektronischen Dokumenten 106, von Benutzern des kognitiven Systems und/oder von anderen Daten- sowie sonstigen in Frage kommenden Eingabequellen. Bei einer Ausführungsform werden einige oder alle Eingaben über das Netzwerk 102 an das System 100 weitergeleitet. Die verschiedenen Datenverarbeitungseinheiten 104A bis D in dem Netzwerk 102 enthalten Zugriffspunkte für Inhaltserzeuger und Benutzer des kognitiven Systems. Manche der Datenverarbeitungseinheiten 104A bis D enthalten Einheiten für eine Datenbank, in welcher der Korpus oder die Korpora von Daten 106 gespeichert wird bzw. werden (und die in 1 lediglich zum Zwecke der Veranschaulichung als eine getrennte Entität dargestellt wird). Teile des Korpus oder der Korpora von Daten 106 können auch in einer oder mehreren anderen, mit einem Netzwerk verbundenen Speichereinheiten, in einer oder mehreren Datenbanken oder in anderen Datenverarbeitungseinheiten bereitgestellt werden, die in 1 nicht ausdrücklich gezeigt werden. Bei verschiedenen Ausführungsformen enthält das Netzwerk 102 lokale Netzwerkverbindungen und entfernt angeordnete Verbindungen, so dass das kognitive System 100 in Umgebungen jedweder Größe betrieben werden kann, darunter auch lokale und globale Umgebungen wie z.B. das Internet.
Bei einer Ausführungsform erzeugt der Inhaltserzeuger in einem Dokument des Korpus oder der Korpora von Daten 106 Inhalt, der als Teil eines Korpus von Daten mit dem kognitiven System 100 verwendet wird. Das Dokument enthält jede Art von Datei, Text, Artikel oder Quelle von Daten, die bzw. der in dem kognitiven System 100 verwendet wird. Benutzer des kognitiven Systems greifen über eine Netzwerkverbindung oder eine Internetverbindung mit dem Netzwerk 102 auf das kognitive System 100 zu und geben Fragen/Anforderungen an das kognitive System 100 ein, die auf Grundlage des Inhalts in dem Korpus oder den Korpora von Daten 106 beantwortet/verarbeitet werden. Bei einer Ausführungsform werden die Fragen/Anforderungen unter Verwendung von natürlicher Sprache gebildet. Das kognitive System 100 parst und interpretiert die Frage/Anforderung über die Anforderungsverarbeitungspipeline 108 und stellt dem Benutzer des kognitiven Systems wie beispielsweise dem Benutzer 110 des kognitiven Systems eine Reaktion, die eine oder mehrere Antworten auf die gestellte Frage enthält, eine Reaktion auf die Anforderung, Ergebnisse einer Verarbeitung des Anforderung oder dergleichen bereit. Bei manchen Ausführungsformen stellt das kognitive System 100 Benutzern eine Reaktion in einer Rangliste von Kandidatenantworten/-reaktionen bereit, während bei anderen veranschaulichenden Ausführungsformen das kognitive System 100 eine einzige endgültige Antwort/Reaktion oder eine Kombination von endgültigen Antworten/Reaktionen sowie eine Rangliste von Kandidatenantworten/-reaktionen bereitstellt.
Das kognitive System 100 realisiert die Anforderungsverarbeitung 108, die eine Mehrzahl von Stufen zum Verarbeiten einer Eingabefrage/-anforderung auf Grundlage von Informationen aufweist, die aus dem Korpus oder den Korpora von Daten 106 erhalten werden. Die Anforderungsverarbeitung 108 erzeugt auf Grundlage des Verarbeitens der Eingabefrage/-anforderung und des Korpus oder der Korpora von Daten 106 Antworten/Reaktionen auf die Eingabefrage oder -anforderung. Die Anforderungsverarbeitung 108 wird im Folgenden in Bezug auf 3 ausführlicher beschrieben.
Bei manchen veranschaulichenden Ausführungsformen kann das kognitive System 100 das kognitive IBM Watson™-System sein, das von der International Business Machines Corporation mit Sitz in Armonk, New York, erhältlich ist und das um die nachfolgend beschriebenen Mechanismen der veranschaulichenden Ausführungsformen erweitert wird. Wie zuvor bereits dargelegt, empfängt eine Pipeline des kognitiven IBM Watson™-Systems eine Eingabefrage oder -anforderung, die es dann parst, um die wichtigsten Merkmale der Frage/Anforderung zu extrahieren, anhand derer dann wiederum Abfragen formuliert werden, die auf den Korpus oder die Korpora von Daten 106 angewendet werden. Auf Grundlage der Anwendung der Abfragen auf den Korpus oder die Korpora von Daten 106 wird ein Satz von Hypothesen oder Kandidatenantworten/- reaktionen auf die Eingabefrage/-anforderung erzeugt, indem der Korpus oder die Korpora von Daten 106 auf Teile des Korpus oder der Korpora von Daten 106 (im Folgenden einfach als der Korpus 106 bezeichnet) durchsucht wird bzw. werden, die unter Umständen eine wertvolle Reaktion auf die Eingabefrage/-anforderung enthalten könnten (bei der es sich im Folgenden um eine Eingabefrage handeln soll). Die Anforderungsverarbeitung 108 des kognitiven IBM Watson™-Systems führt anschließend eine Tiefenanalyse der Sprache der Eingabefrage sowie der Sprache durch, die in jedem der Teile des Korpus 106 verwendet wird, die bei der Anwendung der Abfragen gefunden werden, wobei verschiedene Reasoning-Algorithmen zum Einsatz kommen.
Die mit den verschiedenen Reasoning-Algorithmen erhaltenen Wertungen werden dann anhand eines statistischen Modells gewichtet, das ein Gesamtmaß an Vertrauen ermittelt, welches in diesem Beispiel die Anforderungsverarbeitung 108 des kognitiven IBM Watson™-Systems 100 hinsichtlich des Beleges hat, dass die mögliche Kandidatenantwort aus der Frage folgt. Dieser Vorgang wird für jede der Kandidatenantworten wiederholt, um eine Rangliste von Kandidatenantworten zu erzeugen, die dann dem Benutzer vorgelegt werden kann, der die Eingabefrage gestellt hat, z.B. einem Benutzer der Client-Datenverarbeitungseinheit 110, oder aus der eine endgültige Antwort ausgewählt und dem Benutzer vorgelegt wird. Weitere Informationen zur Anforderungsverarbeitung 108 des kognitiven IBM Watson™-Systems 100 können zum Beispiel der Website der IBM Corporation, den IBM Redbooks und Ähnlichem entnommen werden. Informationen zur Pipeline des kognitiven IBM Watson™-Systems finden sich zum Beispiel auch in Yuan et al., „Watson and Healthcare“, IBM developerWorks, 2011, und in „The Era of Cognitive Systems: An Inside Look at IBM Watson and How it Works“ von Rob High, IBM Redbooks, 2012.
Obwohl die Eingabe in das kognitive System 100 von einer Client-Einheit in Form einer natürlichsprachlichen Frage erfolgen kann, sind die veranschaulichenden Ausführungsformen, wie oben erwähnt, nicht darauf beschränkt. Vielmehr kann die Eingabefrage tatsächlich als jede geeignete Art von Anforderung formatiert oder strukturiert werden, die unter Verwendung einer Analyse einer strukturierten und/oder unstrukturierten Eingabe geparst und analysiert werden kann, darunter natürlichsprachliche Parsing- und Analysemechanismen eines kognitiven Systems wie z.B. IBM Watson™, um die Grundlage zu ermitteln, auf der eine kognitive Analyse durchgeführt werden soll, und um ein Ergebnis der kognitiven Analyse bereitzustellen. Im Falle eines kognitiven Systems auf Healthcare-Grundlage kann diese Analyse ein Verarbeiten von elektronischen Krankenakten des Patienten, von medizinischen Leitfäden aus einem Korpus oder aus mehreren Korpora und dergleichen enthalten, um ein Ergebnis eines Healthcare-orientierten kognitiven Systems bereitzustellen.
In Zusammenhang mit der vorliegenden Erfindung kann das kognitive System 100 eine kognitive Funktionalität zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System bereitstellen, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird. Abhängig von der jeweiligen Realisierung können Operationen auf Healthcare-Grundlage zum Beispiel eine Patientendiagnose, Systeme zur Verwaltung der medizinischen Praxis, eine Überwachung des persönlichen Pflegeplans eines Patienten, eine Auswertung der elektronischen Krankenakte (EMR) eines Patienten zu verschiedenen Zwecken wie z.B. zum Identifizieren einer Erkrankung und/oder Behandlung eines Patienten und zum Realisieren einer Augmented-Reality-Anzeige aufweisen, welche die Bereiche des Körpers eines Patienten angibt, die der Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird. Somit kann das kognitive System 100 ein kognitives Healthcare-System 100 sein, das auf den Gebieten des medizinischen oder Healthcare-Typs betrieben wird und das Anforderungen für derartige Healthcare-Operationen, die entweder als strukturierte oder unstrukturierte Anforderungen, als in natürlicher Sprache eingegebene Fragen oder Ähnliches eingegeben werden, über die Anforderungsverarbeitungspipeline 108 verarbeiten kann. Bei einer veranschaulichenden Ausführungsform ist das kognitive System 100 ein kognitives Healthcare-System 100, das die EMR eines Patienten analysiert und einen Hinweis zu der Erkrankung des Patienten und/oder der Behandlung bereitstellt, die der Patient erhält. Unter Verwendung der identifizierten Erkrankung und/oder Behandlung isoliert das kognitive Healthcare-System 100 den jeweiligen Teil bzw. die jeweiligen Teile des Körpers des Patienten, die der jeweiligen Erkrankung und/oder Behandlung zugehörig sind, und realisiert eine Augmented-Reality-Anzeige, welche die Bereiche des Körpers eines Patienten angibt, die der Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird.
Wie in 1 gezeigt, wird das kognitive System 100 des Weiteren gemäß den Mechanismen der veranschaulichenden Ausführungsformen erweitert, um in Spezial-Hardware realisierte Logik, auf Hardware ausgeführte Software oder jede Kombination von Spezial-Hardware und auf Hardware ausgeführter Software zu enthalten, um ein kognitives Healthcare-System 120 zu realisieren, das in einer Augmented-Reality-Anzeige, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird, einen Bereich des Körpers eines Patienten angibt, der einer Erkrankung und/oder Behandlung des Patienten entspricht. Wie in 1 gezeigt, weist das kognitive Healthcare-System 120 eine Bilderfassungs- und -analyse-Engine 122, eine Audioerfassungs- und - analyse-Engine 124, eine Korrelations-Engine 126, eine Erkrankungs-/Behandlungsanalyse-Engine 128 und eine Anzeige-Engine 130 auf.
In dem kognitiven System 100 und insbesondere in dem kognitiven Healthcare-System 120 erfasst die Bilderfassungs- und -analyse-Engine 122 ein oder mehrere Echtzeitbilder eines Patienten, der gerade von einer medizinischen Fachkraft versorgt wird, und/oder die medizinische Fachkraft. Die Bilderfassungs- und -analyse-Engine 122 kann somit eine oder mehrere, dem HMD-System zugehörige Kameras verwenden, z.B. auf den Patienten gerichtete Kameras, auf die Augen der medizinischen Fachkraft gerichtete Netzhautkameras oder Ähnliches, um ein oder mehrere Bilder zu erfassen. Die Bilderfassungs- und -analyse-Engine 122 verwendet das eine oder die mehreren Echtzeitbilder für zahlreiche unterschiedliche Aspekte der veranschaulichenden Ausführungsformen. Bei einer Ausführungsform verwendet die Bilderfassungs- und -analyse-Engine 122 Bilder der Augen der medizinischen Fachkraft, um die medizinische Fachkraft zu identifizieren, die den Patienten gerade versorgt. Bei einer weiteren Ausführungsform erfasst die Bilderfassungs- und -analyse-Engine 122 ein Bild des Gesichts des Patienten, das verwendet werden kann, um zu identifizieren, welcher Patient gerade von der medizinischen Fachkraft gesehen wird, und/oder um eine Stimmung des Patienten zu identifizieren. Die Bilderfassungs- und -analyse-Engine 122 kann somit ein Bild des Gesichts des Patienten erfassen, das verwendet werden kann, um den gerade versorgten Patienten mittels Gesichtserkennung zu identifizieren. Des Weiteren kann die Bilderfassungs- und -analyse-Engine 122 ein Bild des Gesichts des Patienten erfassen, das zum Identifizieren einer Stimmung des Patienten verwendet werden kann, indem identifiziert wird, ob der Patient weint oder ob der Gesichtsausdruck Angst, Glück, Anspannung, Sorge oder dergleichen ausdrückt.
Außerdem erfasst die Audioerfassungs- und -analyse-Engine 124 in dem kognitiven Healthcare-System 120 auch eine oder mehrere hörbare Äußerungen durch den Patienten und/oder die medizinische Fachkraft, die den Patienten gerade versorgt. Die Audioerfassungs- und -analyse-Engine 124 verwendet die eine oder die mehreren hörbaren Äußerungen für zahlreiche unterschiedliche Aspekte der veranschaulichenden Ausführungsformen. Bei einer Ausführungsform verwendet die Audioerfassungs- und - analyse-Engine 124 eine hörbare Äußerung durch die medizinische Fachkraft, die verwendet werden kann, um die medizinische Fachkraft zu identifizieren, die den Patienten gerade versorgt. Bei einer weiteren Ausführungsform erfasst die Audioerfassungs- und -analyse-Engine 124 eine hörbare Anweisung, die durch die medizinische Fachkraft bereitgestellt wird, die durch das kognitive Healthcare-System 120 verwendet werden kann, um der medizinischen Fachkraft über die Augmented-Reality-Anzeige des HMD-Systems weitere Informationen vorzulegen. Bei einer weiteren Ausführungsform erfasst die Audioerfassungs- und -analyse-Engine 124 eine hörbare Äußerung des Patienten, um eine Stimmung des Patienten zu identifizieren. Die Audioerfassungs- und -analyse-Engine 124 kann somit Geräusche eines weinenden Patienten, ein Zittern in der Stimme des Patienten, Gelächter oder dergleichen erfassen, die verwendet werden, um Anspannung, Sorge, Angst und/oder Glück oder Ähnliches zu identifizieren.
Unter Verwendung des einen oder der mehreren Bilder, die durch die Bilderfassungs- und -analyse-Engine 122 erfasst werden, und der einen oder der mehreren hörbaren Äußerungen, die durch die Audioerfassungs- und -analyse-Engine 124 erfasst werden, führt die Korrelations-Engine 126 zahlreiche Korrelationen durch, um der medizinischen Fachkraft notwendige Informationen bereitzustellen. Eine beispielhafte Korrelation besteht darin, die medizinische Fachkraft zu identifizieren, die den Patienten gerade versorgt, wobei die Korrelations-Engine 126 Gesichtserkennung verwendet, um das eine oder die mehreren Bilder mit Bildern von medizinischen Fachkräften zu vergleichen, die in einem Korpus oder in Korpora von Daten 140 zu medizinischen Fachkräften gespeichert werden. Eine weitere beispielhafte Korrelation besteht darin, die medizinische Fachkraft zu identifizieren, die den Patienten gerade versorgt, wobei die Korrelations-Engine 126 Spracherkennung verwendet, um die eine oder die mehreren hörbaren Äußerungen mit Sprachmustern von medizinischen Fachkräften zu vergleichen, die in dem Korpus oder den Korpora von Daten 140 zu medizinischen Fachkräften gespeichert werden. Auf ähnliche Art und Weise führt die Korrelations-Engine 126 eine Korrelation durch, um den Patienten zu identifizieren, der durch die medizinische Fachkraft versorgt wird. Zum Identifizieren des Patienten verwendet die Korrelations-Engine 126 Gesichtserkennung, um das eine oder die mehreren Bilder mit Bildern innerhalb eines Satzes von elektronischen Krankenakten (EMRs) für Patienten zu vergleichen, die in einem Korpus oder in Korpora von Daten 142 gespeichert werden. Zusätzlich hierzu oder als vollständig andere Form einer Identifizierung verwendet die Korrelations-Engine 126 Spracherkennung, um die eine oder die mehreren hörbaren Äußerungen mit Sprachmustern von Patienten innerhalb eines Satzes von elektronischen Krankenakten (EMRs) für Patienten zu vergleichen, die in einem Korpus oder in Korpora von Daten 142 gespeichert werden.
Zusätzlich zum Identifizieren der medizinischen Fachkraft und des Patienten identifiziert die Korrelations-Engine 126 auch einen oder mehrere Körperteile des Patienten, die durch die medizinische Fachkraft gerade betrachtet werden. Die Identifizierung des gerade betrachteten jeweiligen Körperteils bzw. der gerade betrachteten jeweiligen Körperteile ist besonders wichtig, wenn eine Erkrankung des Patienten mittels der Augmented-Reality-Anzeige über die tatsächliche Ansicht des Patienten gelegt wird, die durch die medizinische Fachkraft erblickt wird. Auf Grundlage des durch die medizinische Fachkraft gerade betrachteten Teils des Körpers des Patienten identifiziert die Korrelations-Engine 126 somit den jeweiligen Körperteil bzw. die jeweiligen Körperteile für eine weitere Korrelation mit den Körperteilen in den Daten der elektronischen Krankenakte (EMR) des Patienten, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind. Während die Korrelations-Engine 126 also den gerade betrachteten jeweiligen Körperteil bzw. die Körperteile identifiziert, analysiert die Erkrankungs-/ Behandlungsanalyse-Engine 128 die in dem Korpus oder den Korpora von Daten 142 gespeicherte medizinischen Krankenakten (EMR) des Patienten, um eine Erkrankung und/oder Behandlung zu identifizieren, die dem Patienten zugehörig ist. Unter Verwendung der identifizierten Erkrankung und/oder Behandlung des Patienten identifiziert die Korrelations-Engine 126 einen Teil des Körpers des Patienten, welcher der jeweiligen Erkrankung und/oder den jeweiligen Behandlungen zugehörig ist, während der Teil des Körpers des Patienten durch die medizinische Fachkraft betrachtet wird. Wenn ein Patient zum Beispiel an einer Blinddarmentzündung erkrankt ist und die medizinische Fachkraft den Körper des Patienten mittels der Augmented-Reality-Anzeige betrachtet und der Unterbauch des Patienten sichtbar wird, korreliert die Korrelations-Engine 126 die Ansicht des Unterbauchs des Patienten mit der Erkrankung des Patienten und stellt eine Überlagerung eines Blinddarms bereit, die über dem Unterbauch des Körpers des Patienten liegend angezeigt werden soll. Die Korrelations-Engine 126 stellt diese Überlagerung der Anzeige-Engine 130 bereit, und die Anzeige-Engine 130 legt die Überlagerung über die Augmented-Reality-Anzeige in dem HMD-System der medizinischen Fachkraft vor.
Bei den veranschaulichenden Ausführungsformen ist besonders hervorzuheben, dass die durch die Korrelations-Engine 126 bereitgestellte Überlagerung abhängig von der Ansicht, welche die medizinische Fachkraft benötigt, variiert werden kann. Wenn die medizinische Fachkraft also eine Pflegekraft ist, kann die Korrelations-Engine 126 ein grundlegendes Organmodell bereitstellen, das ein allgemeines Organ zeigt. Wenn die medizinische Fachkraft jedoch ein Arzt ist, kann die Korrelations-Engine 126 eine tatsächliche Röntgenbild-Überlagerung des Organs bereitstellen. Wenn die medizinische Fachkraft ein Chirurg ist, kann die Korrelations-Engine 126 des Weiteren eine CAT-(Computerized Axial Tomography) bzw. CT-Bild-Überlagerung (Computertomografie) oder eine MRT-Bild-Überlagerung (Magnetresonanztomografie) des gesamten Bereichs bereitstellen. Zusätzlich zu einem grundlegenden Organmodell, einem Röntgenbild, einem CT-Bild, MRT-Bild oder Ähnlichem kann die Korrelations-Engine 126 auch ein oder mehrere Modelle von Sektionspräparaten; überlappende Organsysteme; Röntgenbilder, CT-Bilder, MRT-Bilder oder Ähnliches aus früheren Erkrankungen/Behandlungen; Operations- oder Druckstellen; oder Ähnliches bereitstellen. Ein Hinweis zu etwaigen bereitzustellenden zusätzlichen Informationen kann identifiziert werden, indem über die Bilderfassungs- und - analyse-Engine 122 und/oder die Audioerfassungs- und -analyse-Engine 124 Augenbewegungen, Gesichtsausdrücke, Kopfbewegungen, hörbare Äußerungen oder Ähnliches der medizinischen Fachkraft überwacht werden.
Zusätzlich kann die durch die Korrelations-Engine 126 bereitgestellte Überlagerung auf der Zeit beruhen, welche die medizinische Fachkraft mit dem Patienten zubringen muss. Zum Beispiel stehen der medizinischen Fachkraft auf Grundlage des Zeitplans der medizinischen Fachkraft, auf den die Korrelations-Engine 126 über den Korpus oder die Korpora von Daten 140 zu medizinischen Fachkräften zugreifen kann, womöglich nur wenige Minuten zur Verfügung, die sie mit dem Patienten zubringen kann, wie dies bei der morgendlichen Visite der Fall sein kann. Die Korrelations-Engine 126 kann daher ein grundlegendes Organmodell bereitstellen, das ein allgemeines Organ zeigt. Wenn aus dem Zeitplan jedoch hervorgeht, dass die medizinische Fachkraft eine chirurgische Sprechstunde vor einer Operation durchführt, kann die Korrelations-Engine 126 eine Röntgenbild-Überlagerung, eine CAT- (Computerized Axial Tomography) bzw. CT-Bild-Überlagerung (Computertomografie) oder eine Magnetresonanztomografie(MRT)-Bild-Überlagerung des gesamten Bereichs bereitstellen. Unabhängig davon, ob der Zeitplan mehr Zeit erlaubt, kann die Korrelations-Engine 126 etwaige zusätzliche Überlagerungen bereitstellen, wenn die medizinische Fachkraft dies wünscht. Auch wenn der Zeitplan der medizinischen Fachkraft also angibt, dass der medizinischen Fachkraft nur wenige Minuten zur Verfügung stehen, die sie mit dem Patienten zubringen kann, wie dies bei der morgendlichen Visite der Fall sein kann, und auch wenn ursprünglich ein grundlegendes Organmodell bereitgestellt wird, das ein allgemeines Organ zeigt, kann die Korrelations-Engine 126 eine Röntgenbild-Überlagerung; eine CT-Bild-Überlagerung; eine MRT-Bild-Überlagerung; ein oder mehrere Modelle von Sektionspräparaten; überlappende Organsysteme; Röntgenbilder, CT-Bilder, MRT-Bilder oder Ähnliches aus einer früheren Erkrankung/aus früheren Behandlungen; Operations- oder Druckstellen oder Ähnliches bereitstellen, wenn die medizinische Fachkraft zusätzliche Informationen anfordert. Ein Hinweis zu etwaigen bereitzustellenden zusätzlichen Informationen kann identifiziert werden, indem über die Bilderfassungs- und - analyse-Engine 122 und/oder die Audioerfassungs- und -analyse-Engine 124 Augenbewegungen, Gesichtsausdrücke, Kopfbewegungen, hörbare Äußerungen oder Ähnliches der medizinischen Fachkraft überwacht werden.
Des Weiteren kann die Korrelations-Engine 126 eine Überlagerung auf Grundlage der jeweiligen Spezialisierung der medizinischen Fachkraft bereitstellen, die den Patienten gerade versorgt. Wenn die Identität der medizinischen Fachkraft also ein Narkosefacharzt oder Anästhesist ist, kann die Korrelations-Engine 126 eine Organüberlagerung bereitstellen, die der jeweiligen Erkrankung in keiner Weise zugehörig ist. Ein Narkosefacharzt oder Anästhesist interessiert sich womöglich mehr für die Lungen, Atemwege, Nasenhöhlen oder Ähnliches des Patienten. Wenn die Identität der medizinischen Fachkraft hingegen ein Chirurg ist, kann die Korrelations-Engine 126 eine Organüberlagerung bereitstellen, die direkt mit der jeweiligen Erkrankung in Zusammenhang steht. Wenn die Identität der medizinischen Fachkraft eine Pflegekraft ist, die dem Patienten gerade Medikamente verabreicht, kann die Korrelations-Engine 126 des Weiteren eine Organüberlagerung dazu bereitstellen, wo das Medikament zu verabreichen ist, z.B. ein bestimmter Arm, ein Bereich eines Arms oder dergleichen.
Zusätzlich zum Bereitstellen einer Überlagerung, die grafische Bilder identifiziert, welche Erkrankungen darstellen, wobei Teile des Körpers hervorgehoben werden, die betroffen sind oder einer weiteren Untersuchung bedürfen, oder dergleichen, kann die Korrelations-Engine 126 außerdem Textdaten bereitstellen, die für Behandlungsoptionen, medizinische Codes, neueste medizinische Forschungsstudien, für eine Transplantation verfügbare Organe oder dergleichen stehen. Ein Hinweis zu etwaigen zusätzlichen Informationen, die bereitgestellt werden sollen, kann identifiziert werden, indem Augenbewegungen, Gesichtsausdrücke, Kopfbewegungen, hörbare Äußerungen oder Ähnliches der medizinischen Fachkraft überwacht werden. Auf Grundlage von Eingaben, die durch die medizinische Fachkraft bereitgestellt werden, kann die Korrelations-Engine somit die angeforderten Textdaten identifizieren, welche die Anzeige-Engine 130 dann in der Augmented-Reality-Anzeige des HMD-Systems anzeigt. Auf Grundlage einer Stimmung, die unter Verwendung des einen oder der mehreren Bilder und/oder der einen oder der mehreren hörbaren Äußerungen des Patienten identifiziert wird, kann die Korrelations-Engine 126 des Weiteren einen Hinweis dazu bereitstellen, wie die medizinische Fachkraft dem Patienten Informationen vorlegen sollte. Wenn der Patient als ruhig identifiziert wird, kann die Korrelations-Engine 126 somit der medizinischen Fachkraft einen Hinweis bereitstellen, dass sie in einem entspannten Ton sprechen soll. Wenn der Patient jedoch als nervös identifiziert wird, kann die Korrelations-Engine 126 der medizinischen Fachkraft einen Hinweis bereitstellen, dass sie einen eher beruhigenden Tonfall verwenden soll.
Sobald eine medizinische Fachkraft eine für den Patienten durchzuführende Behandlung auswählt, angibt oder anderweitig identifiziert, was durch ein Überwachen von Augenbewegungen, Gesichtsausdrücken, Kopfbewegungen, hörbaren Äußerungen oder Ähnlichem der medizinischen Fachkraft identifiziert werden kann, kann die Korrelations-Engine 126 zusätzlich durch ein oder mehrere elektronische Benachrichtigungsmittel, die ein Einplanen einer Operation, während einer Operation bereitzustellende Instrumente, Anforderungen einer medizinischen Konsultation, zu verabreichende Medikamente oder dergleichen enthalten können, eine oder mehrere andere medizinische Fachkräfte in Echtzeit, nahezu in Echtzeit oder nicht in Echtzeit von der Behandlung unterrichten. Ein Hinweis auf die Behandlung kann identifiziert werden, indem über die Bilderfassungs- und - analyse-Engine 122 und/oder die Audioerfassungs- und -analyse-Engine 124 Augenbewegungen, Gesichtsausdrücke, Kopfbewegungen, hörbare Äußerungen oder Ähnliches der medizinischen Fachkraft überwacht werden.
Wie oben erwähnt, fußen die Mechanismen der veranschaulichenden Ausführungsformen auf der Computertechnologie und werden unter Verwendung von Logik realisiert, wie sie in solchen Rechen- oder Datenverarbeitungssystemen vorhanden ist. Diese Rechen- oder Datenverarbeitungssysteme werden entweder über Hardware, Software oder eine Kombination aus Hardware und Software spezifisch konfiguriert, um die verschiedenen oben beschriebenen Operationen zu realisieren. 2 wird somit als ein Beispiel für eine Art von Datenverarbeitungssystem bereitgestellt, in der Aspekte der veranschaulichenden Ausführungsformen realisiert werden können. Viele andere Arten von Datenverarbeitungssystemen können ebenfalls konfiguriert werden, um die Mechanismen der veranschaulichenden Ausführungsformen spezifisch zu realisieren.
2 ist ein Blockschaubild eines Beispiel-Datenverarbeitungssystems, in dem Aspekte der veranschaulichenden Ausführungsformen realisiert werden. Ein Datenverarbeitungssystem 200 ist ein Beispiel für einen Computer wie z.B. den Server 104 oder den Client 110 aus 1, in dem sich durch einen Computer nutzbarer Code oder durch einen Computer nutzbare Anweisungen befinden, welche die Prozesse für veranschaulichende Ausführungsformen der vorliegenden Erfindung realisieren. Bei einer veranschaulichenden Ausführungsform stellt 2 eine Server-Datenverarbeitungseinheit wie z.B. einen Server 104 dar, der ein kognitives System 100 und eine Anforderungsverarbeitungspipeline 108 realisiert, die so erweitert sind, dass sie die zusätzlichen Mechanismen der im Folgenden beschriebenen veranschaulichenden Ausführungsformen enthalten.
In dem dargestellten Beispiel kann das Datenverarbeitungssystem 200 eine Hub-Architektur verwenden, die einen North Bridge & Memory Controller Hub (NB/MCH) 202 und einen South Bridge & Input/Output (I/O) Controller Hub (SB/ICH) 204 enthält. Die Verarbeitungseinheit 206, der Hauptarbeitsspeicher 208 und der Grafikprozessor 210 werden mit dem NB/MCH 202 verbunden. Der Grafikprozessor 210 kann über einen Accelerated Graphics Port (AGP) mit dem NB/MCH 202 verbunden werden.
In dem dargestellten Beispiel wird ein Adapter 212 für ein lokales Netzwerk (Local Area Network, LAN) mit dem SB/ICH 204 verbunden. Ein Audioadapter 216, ein Tastatur- und Mausadapter 220, ein Modem 222, ein Festwertspeicher (Read Only Memory, ROM) 224, ein Festplattenlaufwerk (Hard Disk Drive, HDD) 226, ein CD-ROM-Laufwerk 230, USB-Anschlüsse (Universal Serial Bus) und andere Datenübertragungsanschlüsse 232 sowie PCI/PCIe-Einheiten 234 werden über den Bus 238 und den Bus 240 mit dem SB/ICH 204 verbunden. Die PCI/PCIe-Einheiten können zum Beispiel Ethernet-Adapter, Erweiterungskarten und PC-Karten für Notebook Computer enthalten. PCI verwendet einen CardBus-Controller, PCle nicht. Der ROM 224 kann zum Beispiel ein Flash-BIOS (Binary Input/Output System) sein.
Das HDD 226 und das CD-ROM-Laufwerk 230 sind über den Bus 240 mit dem SB/ICH 204 verbunden. Das HDD 226 und das CD-ROM-Laufwerk 230 können zum Beispiel eine IDE-Schnittstelle (Integrated Drive Electronics) oder eine SATA-Schnittstelle (Serial Advanced Technology Attachment) verwenden. Eine Super-I/O(SIO)-Einheit 236 kann mit dem SB/ICH 204 verbunden werden.
In der Verarbeitungseinheit 206 wird ein Betriebssystem ausgeführt. Das Betriebssystem koordiniert verschiedene Komponenten innerhalb des Datenverarbeitungssystems 200 aus 2 und stellt deren Steuerung bereit. Als Client ist das Betriebssystem ein handelsübliches Betriebssystem wie Microsoft^® Windows 8°. Ein objektorientiertes Programmiersystem wie z.B. das Java™-Programmiersystem kann gemeinsam mit dem Betriebssystem ausgeführt werden und Aufrufe an Java™-Programme oder -Anwendungen bereitstellen, die auf dem Datenverarbeitungssystem 200 ausgeführt werden.
Als Server kann das Datenverarbeitungssystem 200 zum Beispiel ein IBM^® eServer™ System p^®-Computersystem sein, welches das Betriebssystem Advanced Interactive Executive (AIX^®) oder das LINUX^®-Betriebssystem ausführt. Das Datenverarbeitungssystem 200 kann ein symmetrisches Mehrprozessorsystem (Symmetric Multiprocessor, SMP) sein, das eine Mehrzahl von Prozessoren in der Verarbeitungseinheit 206 enthält. Alternativ kann ein Einzelprozessorsystem verwendet werden.
Anweisungen für das Betriebssystem, das objektorientierte Programmiersystem und Anwendungen oder Programme befinden sich auf Speichereinheiten wie z.B. dem HDD 226 und werden zur Ausführung durch die Verarbeitungseinheit 206 in den Hauptarbeitsspeicher 208 geladen. Die Prozesse für veranschaulichende Ausführungsformen der vorliegenden Erfindung werden durch die Verarbeitungseinheit 206 unter Verwendung von durch einen Computer nutzbarem Programmcode durchgeführt, der sich in einem Arbeitsspeicher wie zum Beispiel dem Hauptarbeitsspeicher 208, dem ROM 224 oder in einer oder mehreren Peripherie-Einheiten 226 und 230 befindet.
Ein Bussystem wie z.B. der Bus 238 oder 240 aus 2 weist einen oder mehrere Busse auf. Das Bussystem kann selbstverständlich unter Verwendung einer beliebigen Art von Datenübertragungsstruktur oder -architektur realisiert werden, die eine Übertragung von Daten zwischen verschiedenen Komponenten oder Einheiten bereitstellt, die mit der Struktur oder Architektur verbunden werden. Eine Datenübertragungseinheit, wie z.B. der Modem 222 oder der Netzwerkadapter 212 aus 2 enthält eine oder mehrere Einheiten, die zum Übertragen und Empfangen von Daten verwendet werden. Ein Arbeitsspeicher kann z.B. der Hauptarbeitsspeicher 208, der ROM 224 oder ein Cache sein, wie er in dem NB/MCH 202 aus 2 vorhanden ist.
Der Fachmann weiß, dass die in den 1 und 2 dargestellte Hardware abhängig von der Realisierung variieren kann. Zusätzlich zu oder anstatt der in den 1 und 2 dargestellten Hardware können auch andere interne Hardware- oder Peripherie-Einheiten wie z.B. ein Flash-Arbeitsspeicher, ein gleichwertiger nicht flüchtiger Arbeitsspeicher oder optische Plattenlaufwerke und dergleichen verwendet werden. Außerdem können die Prozesse der veranschaulichenden Ausführungsformen auch auf ein anderes Mehrprozessor-Datenverarbeitungssystem als das oben erwähnte SMP-System angewendet werden, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
Zudem kann das Datenverarbeitungssystem 200 in Gestalt einer Reihe verschiedener Datenverarbeitungssysteme vorliegen, z.B., ohne darauf beschränkt zu sein, Client-Datenverarbeitungseinheiten, Server-Datenverarbeitungseinheiten, ein Tablet Computer, ein Laptop Computer, ein Telefon oder eine anderweitige Datenübertragungseinheit, ein persönlicher digitaler Assistent (PDA) oder dergleichen. Bei manchen veranschaulichenden Beispielen kann das Datenverarbeitungssystem 200 eine tragbare Datenverarbeitungseinheit sein, die mit einem Flash-Arbeitsspeicher konfiguriert ist, um nicht flüchtigen Arbeitsspeicher zum Beispiel zum Speichern von Betriebssystemdateien und/oder durch einen Benutzer erzeugten Daten bereitzustellen. Im Wesentlichen kann das Datenverarbeitungssystem 200 jedes bekannte oder künftig entwickelte Datenverarbeitungssystem ohne architektonische Beschränkung sein.
3 ist eine Beispieldarstellung, die eine Interaktion von Elementen eines kognitiven Systems gemäß einer veranschaulichenden Ausführungsform veranschaulicht. Die Beispieldarstellung aus 3 stellt eine Realisierung eines kognitiven Systems 300 dar, bei dem es sich um ein kognitives System wie das in 1 beschriebene kognitive System 100 handeln kann, das konfiguriert wird, um über ein Head-Mounted-Display(HMD)-System wie z.B. ein am Körper getragenes Headset, eine Brille oder Ähnliches eine Augmented-Reality-Anzeige zu realisieren, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird. Es sollte allerdings klar sein, dass dies lediglich eine Beispielrealisierung ist und dass in anderen Ausführungsformen des kognitiven Healthcare-System 300 andere Healthcare-Operationen realisiert werden können, ohne vom gedanklichen Wesensgehalt und inhaltlichen Umfang der vorliegenden Erfindung abzuweichen.
Darüber hinaus sollte klar sein, dass 3 zwar einen Patienten 302 und eine medizinische Fachkraft 306 als menschliche Figuren darstellt, die Interaktionen mit und zwischen diesen Entitäten jedoch unter Verwendung zahlreicher Einheiten durchgeführt werden können, darunter Datenverarbeitungseinheiten, medizinische Geräte und/oder Ähnliches, ohne hierauf beschränkt zu sein. Zum Beispiel können Interaktionen 304, 314, 316 und 330 zwischen dem Patienten 302 und dem Benutzer 306 mündlich erfolgen, indem z.B. ein Arzt einen Patienten befragt, und können die Verwendung von einem oder mehreren medizinischen Instrumenten, Überwachungseinheiten oder dergleichen enthalten, wie z.B. das Head-Mounted-Display(HMD)-System der veranschaulichenden Ausführungsformen, um Informationen zu sammeln, die als Patientenattribute 318 in das kognitive System 300 eingegeben werden können. Interaktionen zwischen dem Benutzer 306 und dem kognitiven System 300 erfolgen elektronisch über eine (nicht gezeigte) Benutzer-Datenverarbeitungseinheit wie z.B. eine Client-Datenverarbeitungseinheit 110 oder 112 aus 1, die in den veranschaulichenden Ausführungsformen das HMD-System ist und die über eine oder mehrere Datenübertragungsverbindungen und eventuell ein oder mehrere Datennetzwerke mit dem kognitiven System 300 Daten austauscht.
Wie in 3 gezeigt, legt gemäß einer veranschaulichenden Ausführungsform ein Patient 302 dem Benutzer 306 wie beispielsweise einer medizinischen Fachkraft, einem Arzt, einem Techniker oder dergleichen Symptome eines Leidens oder einer Erkrankung vor. Der Benutzer 306 kann über einen Austausch von Fragen 314 und Reaktionen 316 mit dem Patienten 302 interagieren, wobei der Benutzer 306 weitere Informationen über den Patienten 302, über Symptome 304 sowie über das Leiden oder die Erkrankung des Patienten 302 sammelt. Da sollte klar sein, dass die Fragen/Reaktionen tatsächlich auch darin bestehen können, dass der Benutzer 306 unter Verwendung verschiedenartiger medizinischer Ausrüstung Informationen von dem Patienten 302 sammelt, z.B. unter Verwendung des HMD-Systems, von Blutdruckmessgeräten, Thermometern, am Körper tragbaren Einheiten zur Gesundheits- und Aktivitätsüberwachung, die dem Patienten 302 zugehörig sind, wie beispielsweise ein FitBit™, ein am Körper tragbarer Herzmonitor oder eine beliebige andere medizinische Ausrüstung, die ein oder mehrere Merkmale des Patienten 302 überwachen kann. In manchen Fällen kann eine solche medizinische Ausrüstung eine medizinische Ausrüstung sein, wie sie üblicherweise in Krankenhäusern oder medizinischen Zentren verwendet wird, um Vitalwerte und Erkrankungen von Patienten zu überwachen, die zur Beobachtung oder medizinischen Behandlung im Krankenhaus liegen. Gemäß den veranschaulichenden Ausführungsformen ist die medizinische Ausrüstung das HMD-System, das sowohl Bilder als auch hörbare Äußerungen sowohl des Patienten 202 als auch des Benutzers 306 erfasst.
Als Reaktion darauf übergibt der Benutzer 306 eine Anforderung 308 an das kognitive System 300, z.B. über das HMD-System, das konfiguriert ist, damit die Benutzer Anforderungen in einem Format an das kognitive System 300 übergeben können, die das kognitive System 300 parsen und verarbeiten kann. Die Anforderung 308 kann Informationen enthalten, welche die Attribute 318 des Patienten 302 und des Benutzers 306 identifizieren, oder von diesen begleitet sein. Das oben erwähnte HMD-System kann somit ein oder mehrere Echtzeitbilder des Patienten 302 und/oder des Benutzers 306, der den Patienten 302 gerade versorgt, sowie eine oder mehrere hörbare Äußerungen des Patienten 302 und/oder des Benutzers 306 erfassen, der den Patienten gerade versorgt. Somit können die Patientenattribute 318 zum Beispiel ein Bild des Gesichts des Patienten oder eine hörbare Äußerung des Patienten 302, aus dem bzw. der Patienten-EMRs 322 für den Patienten 302 erhalten werden können, demografische Informationen zu dem Patienten 302, Symptome 304 und andere einschlägige Informationen, die aus den Reaktionen 316 auf die Fragen 314 erhalten werden, oder aber Informationen enthalten, die von medizinischer Ausrüstung erhalten werden, mit der Daten zum Zustand des Patienten 302 überwacht oder gesammelt werden, z.B. zu einer dem Patienten 302 zugehörigen Erkrankung. Alle Informationen zu dem Patienten 302, die für eine kognitive Auswertung des Patienten 302 durch das kognitive System 300 relevant sein können, können in der Anforderung 308 und/oder den Patientenattributen 318 enthalten sein.
Das kognitive System 300 wird spezifisch konfiguriert, um eine für die Realisierung spezifische, Healthcare-orientierte kognitive Operation durchzuführen. In dem dargestellten Beispiel ist diese kognitive Operation für eine präzise Kohorte darauf gerichtet, einen Bereich des Körpers eines Patienten, der einer Erkrankung und/oder Behandlung des Patienten entspricht, in einer Augmented-Reality-Anzeige des HMD-Systems anzugeben, die über die tatsächliche, durch den Benutzer 306 erblickte Ansicht des Patienten gelegt wird, um den Benutzer 306 bei der Versorgung des Patienten 302 auf Grundlage seiner berichteten Symptome 304 und anderer Informationen zu unterstützen, die über einen Prozess von Fragen 314 und Reaktionen 316 und/oder eine Überwachung durch medizinische Ausrüstung/Datenerfassung gesammelt werden. Das kognitive System 300 verarbeitet die Anforderung 308 und die Patientenattribute 318 unter Verwendung von Informationen, die aus den Patienten-EMRs 322 gesammelt werden, die dem Patienten 302 zugehörig sind, um eine Erkrankung des Patienten 302 zu identifizieren.
Auf Grundlage der Anforderung 308 und der Patientenattribute 318 kann das kognitive System 300 zum Beispiel die Anforderung zum Parsen der Anforderung 308 und der Patientenattribute 318 verarbeiten, um nicht nur zu ermitteln, welcher Patient gerade behandelt wird, sondern auch die spezifische Erkrankung, die der Patient 302 aufweist, sowie etwaige der Erkrankung zugehörige Überlagerungen zu ermitteln, die für eine Vorlage über eine Anzeige des HMD-Systems verfügbar sind. Somit kann das kognitive System 300 die Anforderung zum Parsen der Anforderung 308 und der Patientenattribute 318 verarbeiten, um zu ermitteln, was angefordert wird, und die Kriterien zu ermitteln, nach denen die Anforderung erzeugt werden soll, wie dies durch die Patientenattribute 318 identifiziert wird, und kann verschiedene Operationen zum Erzeugen von Abfragen durchführen, die an die Patienten-EMRs 322 gesendet werden, um Daten abzurufen, zugehörige Hinweise zu erzeugen, die den Daten zugehörig sind, und unterstützende Anhaltspunkte bereitzustellen, die in den Patienten-EMRs 322 gefunden werden. In dem dargestellten Beispiel sind die Patienten-EMRs 322 ein Repository mit Patienteninformationen, das Patientendaten aus einer Vielfalt von Quellen sammelt, z.B. Krankenhäuser, Labors, Arztpraxen, Krankenversicherungsunternehmen, Apotheken usw. Die Patienten-EMRs 322 speichern verschiedene Informationen zu einzelnen Patienten wie beispielsweise zu dem Patienten 302 auf eine Art und Weise (strukturiert, unstrukturiert oder eine Mischung aus strukturierten und unstrukturierten Formaten), die einen Abruf und eine Verarbeitung der Informationen durch das kognitive System 300 ermöglicht. Diese Patienteninformationen können verschiedene demografische Informationen zu Patienten, persönliche Kontaktinformationen zu Patienten, Informationen zum Beschäftigungsverhältnis, Informationen zur Krankenversicherung, Laborberichte, Arztberichte zu Praxisbesuchen, Krankenhaus-Diagramme, historische Informationen zu früheren Diagnosen, Symptome, Behandlungen, Verschreibungsinformationen usw. aufweisen. Auf Grundlage einer Kennung des Patienten 302 können die entsprechenden, dem Patienten zugehörigen EMRs 322 aus diesem Patienten-Repository durch das kognitive System 300 abgerufen und durchsucht/verarbeitet werden, um Behandlungspfade 328 bereitzustellen, denen eine ähnliche Kohorte von Patienten gefolgt ist.
Gemäß den hier dargelegten veranschaulichenden Ausführungsformen wird das kognitive System 300 erweitert, um ein kognitives Healthcare-System 340 zu enthalten. Das kognitive Healthcare-System 340 weist eine Bilderfassungs- und -analyse-Engine 342, eine Audioerfassungs- und -analyse-Engine 344, eine Korrelations-Engine 346, eine Erkrankungs-/ Behandlungsanalyse-Engine 348 und eine Anzeige-Engine 350 auf, die auf ähnliche Art und Weise funktionieren, wie dies weiter oben in Bezug auf die entsprechenden Elemente 122 bis 130 aus 1 beschrieben wird. Somit erfasst die Bilderfassungs- und -analyse-Engine 342 ein oder mehrere Echtzeitbilder des Patienten 302 und/oder Benutzers 306, die anhand der Patientenattribute 318 identifiziert werden. Die Bilderfassungs- und -analyse-Engine 342 verwendet das eine oder die mehreren Echtzeitbilder für zahlreiche unterschiedliche Aspekte der veranschaulichenden Ausführungsformen. Bei einer Ausführungsform verwendet die Bilderfassungs- und -analyse-Engine 342 Bilder der Augen des Benutzers 306, um die jeweilige medizinische Fachkraft zu identifizieren, die den Patienten 320 gerade versorgt. Bei einer weiteren Ausführungsform erfasst die Bilderfassungs- und -analyse-Engine 342 ein Bild des Gesichts des Patienten 302, das verwendet werden kann, um zu identifizieren, welcher Patient durch den Benutzer 306 gesehen wird, und/oder eine Stimmung des Patienten 302 zu identifizieren. Die Bilderfassungs- und -analyse-Engine 342 kann somit ein Bild des Gesichts des Patienten 302 erfassen, das verwendet werden kann, um den Patienten, der gerade versorgt wird, mittels Gesichtserkennung zu erkennen. Des Weiteren kann die Bilderfassungs- und -analyse-Engine 342 ein Bild des Gesichts des Patienten 302 erfassen, das zum Identifizieren einer Stimmung des Patienten verwendet werden kann, indem identifiziert wird, ob der Patient 302 weint oder ob der Gesichtsausdruck Angst, Glück, Anspannung, Sorge oder dergleichen ausdrückt.
Die Audioerfassungs- und -analyse-Engine 344 erfasst eine oder mehrere hörbare Äußerungen des Patienten 302 und/oder Benutzers 306, der den Patienten 302 gerade versorgt. Die Audioerfassungs- und -analyse-Engine 344 verwendet die eine oder die mehreren hörbaren Äußerungen für zahlreiche unterschiedliche Aspekte der veranschaulichenden Ausführungsformen. Bei einer Ausführungsform verwendet die Audioerfassungs- und -analyse-Engine 344 eine hörbare Äußerung durch den Benutzer 306, die verwendet werden kann, um die medizinische Fachkraft zu identifizieren, die den Patienten 302 gerade versorgt. Bei einer weiteren Ausführungsform erfasst die Audioerfassungs- und -analyse-Engine 344 eine hörbare Anweisung, die durch den Benutzer 306 bereitgestellt wird, und die durch das kognitive Healthcare-System 340 verwendet werden kann, um dem Benutzer 306 über die Augmented-Reality-Anzeige des HMD-Systems weitere Informationen vorzulegen. Bei einer weiteren Ausführungsform erfasst die Audioerfassungs- und -analyse-Engine 344 eine hörbare Äußerung des Patienten 302, um eine Stimmung des Patienten 302 zu identifizieren. Die Audioerfassungs- und -analyse-Engine 344 kann somit Geräusche eines weinenden Patienten, ein Zittern in der Stimme des Patienten, Gelächter oder dergleichen erfassen, die verwendet werden, um Anspannung, Sorge, Angst und/oder Glück oder Ähnliches zu identifizieren.
Unter Verwendung des einen oder der mehreren Bilder, die durch die Bilderfassungs- und -analyse-Engine 342 erfasst werden, und der einen oder der mehreren hörbaren Äußerungen, die durch die Audioerfassungs- und -analyse-Engine 344 erfasst werden, führt die Korrelations-Engine 346 zahlreiche Korrelationen durch, um der medizinischen Fachkraft notwendige Informationen bereitzustellen. Eine beispielhafte Korrelation besteht darin, den Benutzer 306 zu identifizieren, der den Patienten gerade versorgt, wobei die Korrelations-Engine 346 Gesichtserkennung verwendet, um das eine oder die mehreren Bilder mit Bildern von medizinischen Fachkräften zu vergleichen, die in Daten 324 aus einem Korpus zu medizinischen Fachkräften und aus anderen Quellen gespeichert werden. Eine weitere beispielhafte Korrelation besteht darin, den Benutzer 306 zu identifizieren, der den Patienten gerade versorgt, wobei die Korrelations-Engine 346 Spracherkennung verwendet, um die eine oder die mehreren hörbaren Äußerungen mit Sprachmustern von medizinischen Fachkräften zu vergleichen, die in Daten 324 aus einem Korpus zu medizinischen Fachkräften und aus anderen Quellen gespeichert werden. Auf ähnliche Art und Weise führt die Korrelations-Engine 346 eine Korrelation durch, um den Patienten 302 zu identifizieren, der durch den Benutzer 306 gerade versorgt wird. Zum Identifizieren des Patienten 302 kann die Korrelations-Engine 346 Gesichtserkennung verwenden, um das eine oder die mehreren Bilder mit Bildern innerhalb eines Satzes von elektronischen Krankenakten (EMRs) für Patienten zu vergleichen, die in Patienten-EMRs 322 gespeichert werden. Zusätzlich hierzu oder als vollständig andere Form einer Identifizierung verwendet die Korrelations-Engine 346 Spracherkennung, um die eine oder die mehreren hörbaren Äußerungen mit Sprachmustern von Patienten innerhalb eines Satzes von elektronischen Krankenakten (EMRs) für Patienten zu vergleichen, die in Patienten EMRs 322 gespeichert werden.
Zusätzlich zum Identifizieren des Benutzers 306 und des Patienten 302 identifiziert die Korrelations-Engine 346 auch einen oder mehrere Körperteile des Patienten 302, die durch den Benutzer 306 über das HMD-System gerade betrachtet werden. Die Identifizierung des gerade betrachteten jeweiligen Körperteils bzw. der gerade betrachteten jeweiligen Körperteile ist besonders wichtig, wenn eine Erkrankung des Patienten 302 mittels der Augmented-Reality-Anzeige des HMD-Systems über die tatsächliche Ansicht des Patienten gelegt wird, die durch den Benutzer 306 erblickt wird. Auf Grundlage des durch den Benutzer 306 gerade betrachteten Teils des Körpers des Benutzers 302 identifiziert die Korrelations-Engine 346 somit den jeweiligen Körperteil bzw. die jeweiligen Körperteile für eine weitere Korrelation mit den Körperteilen in den Daten der Patienten-EMRs 322, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten 302 zugehörig sind. Während die Korrelations-Engine 346 also den gerade betrachteten jeweiligen Körperteil bzw. die gerade betrachteten jeweiligen Körperteile identifiziert, analysiert die Erkrankungs-/Behandlungsanalyse-Engine 348 die in den Patienten-EMRs 322 gespeicherte medizinischen Krankenakten (EMR) des Patienten 302, um eine Erkrankung und/oder Behandlung zu identifizieren, die dem Patienten zugehörig ist. Unter Verwendung der identifizierten Erkrankung und/oder Behandlung des Patienten 302 identifiziert die Korrelations-Engine 346 einen Teil des Körpers des Patienten 302, welcher der jeweiligen Erkrankung und/oder den jeweiligen Behandlungen zugehörig ist, während der Teil des Körpers des Patienten über das HMD-System durch den Benutzer 306 betrachtet wird. Wenn der Patienten 302 zum Beispiel an einer Blinddarmentzündung erkrankt ist und der Benutzer 306 den Körper des Patienten 302 mittels der Augmented-Reality-Anzeige des HMD-Systems betrachtet und der Unterbauch des Patienten 302 sichtbar wird, korreliert die Korrelations-Engine 346 die Ansicht des Unterbauchs des Patienten mit der Erkrankung des Patienten 302 und stellt eine Überlagerung eines Blinddarms bereit, die über dem Unterbauch des Patienten 302 liegend angezeigt werden soll. Die Korrelations-Engine 346 stellt diese Überlagerung der Anzeige-Engine 350 bereit, und die Anzeige-Engine 350 legt der medizinischen Fachkraft über die Augmented-Reality-Anzeige in dem HMD-System eine Überlagerung 328 vor.
Bei den veranschaulichenden Ausführungsformen ist besonders hervorzuheben, dass die durch die Korrelations-Engine 346 bereitgestellte Überlagerung abhängig von der Ansicht, welche der Benutzer 306 benötigt, variiert werden kann. Wenn der Benutzer 306 also eine Pflegekraft ist, kann die Korrelations-Engine 346 ein grundlegendes Organmodell bereitstellen, das ein allgemeines Organ zeigt. Wenn der Benutzer 306 jedoch ein Arzt ist, kann die Korrelations-Engine 346 eine tatsächliche Röntgenbild-Überlagerung des Organs bereitstellen. Wenn der Benutzer 306 ein Chirurg ist, kann die Korrelations-Engine 346 des Weiteren eine CAT- (Computerized Axial Tomography) bzw. CT-Bild-Überlagerung (Computertomografie) oder eine Magnetresonanztomografie(MRT)-Bild-Überlagerung des gesamten Bereichs bereitstellen. Zusätzlich zu einem grundlegenden Organmodell, einem Röntgenbild, einem CT-Bild, MRT-Bild oder Ähnlichem kann die Korrelations-Engine 346 auch ein oder mehrere Modelle von Sektionspräparaten; überlappende Organsysteme; Röntgenbilder, CT-Bilder, MRT-Bilder oder Ähnliches aus früheren Erkrankungen/Behandlungen; Operations- oder Druckstellen; oder Ähnliches bereitstellen. Ein Hinweis zu etwaigen bereitzustellenden zusätzlichen Informationen kann identifiziert werden, indem über die Bilderfassungs- und -analyse-Engine 342 und/oder die Audioerfassungs- und -analyse-Engine 344 Augenbewegungen, Gesichtsausdrücke, Kopfbewegungen, hörbare Äußerungen oder Ähnliches der medizinischen Fachkraft überwacht werden.
Zusätzlich kann die durch die Korrelations-Engine 346 bereitgestellte Überlagerung auf der Zeit beruhen, die der Benutzer 306 mit dem Patienten 302 zubringen muss. Zum Beispiel stehen dem Benutzer 306 auf Grundlage eines Zeitplans des Benutzers 306, auf den die Korrelations-Engine 346 über Daten 324 aus einem Korpus zu medizinischen Fachkräften und aus anderen Quellen zugreifen kann, womöglich nur wenige Minuten zur Verfügung, die er mit dem Patienten 302 zubringen kann, wie dies bei der morgendlichen Visite der Fall sein kann. Die Korrelations-Engine 346 kann daher ein grundlegendes Organmodell bereitstellen, das ein allgemeines Organ zeigt. Wenn der Zeitplan jedoch zeigt, dass der Benutzer 306 eine chirurgische Sprechstunde vor einem chirurgischen Eingriff durchführt, kann die Korrelations-Engine 346 eine Röntgenbild-Überlagerung, eine CAT- (Computerized Axial Tomography) bzw. CT-Bild-Überlagerung (Computertomografie) oder eine Magnetresonanztomografie(MRT)-Bild-Überlagerung des gesamten Bereichs bereitstellen. Unabhängig davon, ob der Zeitplan mehr Zeit erlaubt, kann die Korrelations-Engine 346 etwaige zusätzliche Überlagerungen bereitstellen, wenn die medizinische Fachkraft dies wünscht. Auch wenn der Zeitplan der medizinischen Fachkraft also angibt, dass der medizinischen Fachkraft nur wenige Minuten zur Verfügung stehen, die sie mit dem Patienten zubringen kann, wie dies bei der morgendlichen Visite der Fall sein kann, und auch wenn ursprünglich ein grundlegendes Organmodell bereitgestellt wird, das ein allgemeines Organ zeigt, kann die Korrelations-Engine 346 eine Röntgenbild-Überlagerung; eine CT-Bild-Überlagerung; eine MRT-Bild-Überlagerung; ein oder mehrere Modelle von Sektionspräparaten; überlappende Organsysteme; Röntgenbilder, CT-Bilder, MRT-Bilder oder Ähnliches aus einer früheren Erkrankung/aus früheren Behandlungen; Operations- oder Druckstellen oder Ähnliches bereitstellen, wenn die medizinische Fachkraft zusätzliche Informationen anfordert. Ein Hinweis zu etwaigen bereitzustellenden zusätzlichen Informationen kann identifiziert werden, indem über die Bilderfassungs- und - analyse-Engine 342 und/oder die Audioerfassungs- und -analyse-Engine 344 Augenbewegungen, Gesichtsausdrücke, Kopfbewegungen, hörbare Äußerungen oder Ähnliches der medizinischen Fachkraft überwacht werden.
Des Weiteren kann die Korrelations-Engine 346 eine Überlagerung auf Grundlage der jeweiligen Spezialisierung des Benutzers 306 bereitstellen, der den Patienten 302 gerade versorgt. Wenn die Identität des Benutzers 306 also ein Narkosefacharzt oder Anästhesist ist, kann die Korrelations-Engine 346 eine Organüberlagerung bereitstellen, die der jeweiligen Erkrankung in keiner Weise zugehörig ist. Ein Narkosefacharzt oder Anästhesist interessiert sich womöglich mehr für die Lungen, Atemwege, Nasenhöhlen oder Ähnliches des Patienten. Wenn die Identität des Benutzers 306 hingegen ein Chirurg ist, kann die Korrelations-Engine 346 eine Organüberlagerung bereitstellen, die direkt mit der jeweiligen Erkrankung des Patienten 302 in Zusammenhang steht. Wenn die Identität des Benutzers 306 eine Pflegekraft ist, die dem Patienten 302 gerade Medikamente verabreicht, kann die Korrelations-Engine 346 des Weiteren eine Organüberlagerung dazu bereitstellen, wo das Medikament zu verabreichen ist, z.B. ein bestimmter Arm des Patienten 302, ein Bereich eines Arms oder dergleichen.
Zusätzlich zum Bereitstellen einer Überlagerung, die grafische Bilder identifiziert, welche Erkrankungen darstellen, wobei Teile des Körpers hervorgehoben werden, die betroffen sind oder einer weiteren Untersuchung bedürfen, oder dergleichen, kann die Korrelations-Engine 346 auch Textdaten bereitstellen, die für Laborergebnisse, Behandlungsoptionen, medizinische Codes, neueste medizinische Forschungsstudien, für eine Transplantation verfügbare Organe oder dergleichen stehen. Auf Grundlage von Eingaben, die durch den Benutzer 306 bereitgestellt werden, kann die Korrelations-Engine somit die angeforderten Textdaten identifizieren, welche die Anzeige-Engine 350 dann in der Augmented-Reality-Anzeige des HMD-Systems anzeigt. Auf Grundlage einer Stimmung, die unter Verwendung des einen oder der mehreren Bilder und/oder der einen oder der mehreren hörbaren Äußerungen des Patienten 302 identifiziert wird, kann die Korrelations-Engine 346 des Weiteren einen Hinweis dazu bereitstellen, wie der Benutzer 306 dem Patienten 302 Informationen vorlegen sollte. Wenn die Korrelations-Engine 346 die Stimmung des Patienten 302 als ruhig identifiziert, kann die Korrelations-Engine 346 dem Benutzer 306 somit einen Hinweis bereitstellen, dass er in einem entspannten Ton sprechen soll, den die Anzeige-Engine 350 dann in der Augmented-Reality-Anzeige des HMD-Systems anzeigt. Wenn die Korrelations-Engine 346 die Stimmung des Patienten 302 jedoch als nervös identifiziert, kann die Korrelations-Engine 346 dem Benutzer 306 einen Hinweis bereitstellen, dass er einen eher beruhigenden Tonfall verwenden soll, den die Anzeige-Engine 350 dann in der Augmented-Reality-Anzeige des HMD-Systems anzeigt.
Sobald eine medizinische Fachkraft eine für den Patienten durchzuführende Behandlung auswählt, angibt oder anderweitig identifiziert, was durch ein Überwachen von Augenbewegungen, Gesichtsausdrücken, Kopfbewegungen, hörbaren Äußerungen oder Ähnlichem der medizinischen Fachkraft identifiziert werden kann, kann die Korrelations-Engine 346 zusätzlich durch ein oder mehrere elektronische Benachrichtigungsmittel, die ein Einplanen einer Operation, während einer Operation bereitzustellende Instrumente, Anforderungen einer medizinischen Konsultation, zu verabreichende Medikamente oder dergleichen enthalten können, eine oder mehrere andere medizinische Fachkräfte in Echtzeit, nahezu in Echtzeit oder nicht in Echtzeit von der Behandlung unterrichten. Ein Hinweis auf die Behandlung kann identifiziert werden, indem über die Bilderfassungs- und - analyse-Engine 342 und/oder die Audioerfassungs- und -analyse-Engine 344 Augenbewegungen, Gesichtsausdrücke, Kopfbewegungen, hörbare Äußerungen oder Ähnliches der medizinischen Fachkraft überwacht werden.
Somit stellen die veranschaulichenden Ausführungsformen Mechanismen zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System wie z.B. ein am Körper getragenes Headset, eine Brille oder Ähnliches bereit, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, von der medizinischen Fachkraft erblickte Ansicht des Patienten gelegt wird. Die Mechanismen der Erfindung erfassen Bilder des Bereichs des Körpers des Patienten, der von der medizinischen Fachkraft gerade betrachtet wird. Auf Grundlage des gerade betrachteten Teils des Körpers des Patienten identifizieren die Mechanismen die entsprechenden Körperteile in der Ansicht und korrelieren diese Körperteile mit den Daten der elektronischen Krankenakte (EMR) des Patienten, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind.
Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt handeln. Das Computerprogrammprodukt kann ein durch einen Computer lesbares Speichermedium (oder -medien) mit darauf durch einen Computer lesbaren Programmanweisungen enthalten, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, die Anweisungen zur Verwendung durch eine Anweisungsausführungseinheit enthalten und speichern kann. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des durch einen Computer lesbaren Speichermediums gehören die Folgenden: eine tragbare Computerdiskette, eine Festplatte, ein RAM, ein ROM, ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein tragbarer CD-ROM, eine DVD (Digital Versatile Disc), ein Speicher-Stick, eine Diskette, eine mechanisch kodierte Einheit wie zum Beispiel Lochkarten oder erhabene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und jede geeignete Kombination daraus. Ein durch einen Computer lesbares Speichermedium soll in der Verwendung hierin nicht als flüchtige Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. durch ein Lichtwellenleiterkabel geleitete Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können von einem durch einen Computer lesbaren Speichermedium auf jeweilige Datenverarbeitungs-/Verarbeitungseinheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk, ein Weitverkehrsnetzwerk und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Leitwegrechner, Firewalls, Vermittlungseinheiten, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs-/Verarbeitungseinheit weiter.
Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, darunter objektorientierte Programmiersprachen wie Java, Smalltalk, C++ o.ä. sowie herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetzwerk (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwendung eines Internet-Diensteanbieters). In einigen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, vor Ort programmierbare Gatter-Anordnungen (FPGA) oder programmierbare Logikanordnungen (PLA, Programmable Logic Arrays) die durch einen Computer lesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Ablaufpläne und/oder Blockschaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufpläne und/oder der Blockschaubilder sowie Kombinationen von Blöcken in den Ablaufplänen und/oder den Blockschaubildern mittels durch einen Computer lesbare Programmanweisungen ausgeführt werden können.
Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen ein Mittel zur Umsetzung der in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubilds festgelegten Funktionen/Schritte erzeugen. Diese durch einen Computer lesbaren Programmanweisungen können auch auf einem durch einen Computer lesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, so dass das durch einen Computer lesbare Speichermedium, auf dem Anweisungen gespeichert sind, ein Herstellungsprodukt aufweist, darunter Anweisungen, welche Aspekte der/des in dem Block bzw. den Blöcken der Ablaufpläne und/oder Blockschaubilder angegebenen Funktion/Schritts umsetzen.
Die durch einen Computer lesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um das Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der anderen programmierbaren Vorrichtung oder anderen Einheit zu verursachen, um einen durch einen Computer umgesetzten Prozess zu erzeugen, so dass die auf dem Computer, einer anderen programmierbaren Vorrichtung oder einer anderen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken der Ablaufpläne und/oder Blockschaubilder festgelegten Funktionen/Schritte umsetzen.
4 stellt gemäß einer veranschaulichenden Ausführungsform einen beispielhaften Ablaufplan der Operation dar, die durch ein kognitives Healthcare-System beim Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System durchgeführt wird, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, durch die medizinische Fachkraft erblickte Ansicht des Patienten gelegt wird. Zu Beginn der Operation empfängt das kognitive Healthcare-System ein oder mehrere Echtzeitbilder und/oder eine oder mehrere hörbare Echtzeitäußerungen, die von dem HMD-System erfasst werden (Schritt 402). Unter Verwendung des einen oder der mehreren Echtzeitbilder und/oder der einen oder der mehreren hörbaren Echtzeitäußerungen identifiziert das kognitive Healthcare-System ein oder mehrere spezifische Bilder und/oder eine oder mehrere Äußerungen (Schritt 404) wie z.B. ein Gesichtsbild des Patienten, ein Gesichtsbild des Benutzers, eine hörbare Äußerung des Patienten, eine hörbare Äußerung des Benutzers, einen Körperteil des Patienten oder Ähnliches. Das kognitive Healthcare-System kann eine Identität des Patienten identifizieren, indem es jedes Gesichtsbild aus dem einen oder den mehreren Gesichtsbildern mit einem Satz von Gesichtsbildern vergleicht, die innerhalb eines Satzes von elektronischen Krankenakten (EMRs) für Patienten gespeichert werden, welche in Korpora von Patienten-EMRs gespeichert werden (Schritt 406). Alternativ oder zusätzlich hierzu kann das kognitive Healthcare-System eine Identität des Patienten identifizieren, indem es jede hörbare Äußerung aus der einen oder den mehreren hörbaren Äußerungen mit einem Satz von Sprachaufnahmen vergleicht, die innerhalb eines Satzes von elektronischen Krankenakten (EMRs) für Patienten gespeichert werden, welche in Korpora von Patienten-EMRs gespeichert werden (Schritt 408). Zusätzlich zum Identifizieren des Patienten kann das kognitive Healthcare-System eine Identität des Benutzers identifizieren, indem es jedes Gesichtsbild aus dem einen oder den mehreren Gesichtsbildern mit einem Satz von Gesichtsbildern vergleicht, die innerhalb eines Satzes von Akten zu medizinischen Fachkräften gespeichert werden, welche in Korpora zu medizinischen Fachkräften gespeichert werden (Schritt 410). Alternativ oder zusätzlich hierzu kann das kognitive Healthcare-System eine Identität des Benutzers identifizieren, indem es jede hörbare Äußerung aus der einen oder den mehreren hörbaren Äußerungen mit einem Satz von Sprachaufnahmen vergleicht, die innerhalb eines Satzes von Akten zu medizinischen Fachkräften gespeichert werden, welche in Korpora zu medizinischen Fachkräften gespeichert werden (Schritt 412).
Nachdem der Benutzer und der Patient identifiziert wurden, verwendet das kognitive Healthcare-System die Identität des Benutzers, um eine oder mehrere Erkrankungen und/oder Behandlungen des Patienten zu identifizieren (Schritt 414). Unter Verwendung der identifizierten Erkrankung durchsucht das kognitive Healthcare-System das eine oder die mehreren Körperteilbilder, um ein oder mehrere Bilder zu identifizieren, die dem Teil des Körpers entsprechen, in dem die Erkrankung und/oder Behandlung des Patienten vorliegt (Schritt 416). Wenn dieser Teil des Körpers daraufhin über die Augmented-Reality-Anzeige des HMD-Systems durch den Benutzer betrachtet wird, legt das kognitive Healthcare-System dem Benutzer eine Überlagerung vor, die hervorhebt, wo die Erkrankung besteht (Schritt 418). Zum Beispiel kann das kognitive Healthcare-System ein grundlegendes Organmodell, das ein allgemeines Organ zeigt, eine tatsächliche Röntgenbild-Überlagerung des Organs, eine CAT- (Computerized Axial Tomography) bzw. CT-Bild-Überlagerung (Computertomografie) oder eine Magnetresonanztomografie(MRT)-Bild-Überlagerung des gesamten Bereichs oder Ähnliches vorlegen. Die durch das kognitive Healthcare-System verwendete Überlagerung kann das Niveau oder Spezialgebiet des Benutzers als Grundlage haben, sie kann einen dem Benutzer zugehörigen Zeitplan als Grundlage haben oder Ähnliches.
Zusätzlich zum Bereitstellen der Überlagerung, die der identifizierten Erkrankung und/oder Behandlung zugehörig ist, kann das kognitive Healthcare-System weitere Überlagerungen vorlegen (Schritt 420), die nicht für die identifizierte Erkrankung spezifisch sind, jedoch für die Behandlung der identifizierten Erkrankung wichtig sein können, indem es z.B. eine Überlagerung, welche die Lungen, Atemwege, Nasenhöhlen oder Ähnliches des Patienten zeigt, einem Narkosefacharzt oder Anästhesisten bereitstellt, der an einer anstehenden Operation beteiligt sein kann, oder indem es einer Pflegekraft, die den Patienten gerade versorgt, eine Überlagerung dazu bereitstellt, wo ein bestimmtes Medikament zu verabreichen ist. Des Weiteren kann das kognitive Healthcare-System Textdaten vorlegen, die für Laborergebnisse, Behandlungsoptionen, medizinische Codes oder dergleichen stehen (Schritt 422). Des Weiteren kann das kognitive Healthcare-System Informationen vorlegen, die einer erkannten Stimmung des Patienten zugehörig sind (Schritt 424), so dass der Benutzer seinen Tonfall ändern kann, wenn er mit dem Patienten spricht. Unabhängig von der Überlagerung und/oder den Textdaten, die für eine Vorlage identifiziert werden, sendet das kognitive Healthcare-System die Überlagerung und/oder die Textdaten an das HMD-System, um in der Augmented-Reality-Anzeige des HMD-Systems angezeigt zu werden (Schritt 426). Danach ermittelt das kognitive Healthcare-System, ob das HMD-System ausgeschaltet wurde (Schritt 428). Wenn das HMD-System in Schritt 428 nicht ausgeschaltet wurde, kehrt der Prozess zu 414 zurück, da die Überlagerungen und/oder die Textdaten im Laufe der Zeit womöglich geändert werden müssen, wenn der Benutzer mit dem Patienten interagiert. Wenn das HMD-System in Schritt 428 ausgeschaltet wird, endet die Operation.
Die Ablaufpläne und die Blockschaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Ablaufplänen oder Blockschaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zur Ausführung der bestimmten logischen Funktion(en) aufweisen. In einigen alternativen Ausführungen können die in dem Block angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt stattfinden. Zwei nacheinander gezeigte Blöcke können zum Beispiel in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist ferner anzumerken, dass jeder Block der Blockschaubilder und/oder der Ablaufpläne sowie Kombinationen aus Blöcken in den Blockschaubildern und/oder den Ablaufplänen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, welche die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.
Die veranschaulichenden Ausführungsformen stellen somit Mechanismen zum Realisieren einer Augmented-Reality-Anzeige über ein Head-Mounted-Display(HMD)-System wie z.B. ein am Körper getragenes Headset, eine Brille oder Ähnliches bereit, welche die Bereiche des Körpers eines Patienten angibt, die einer Erkrankung und/oder Behandlung des Patienten entsprechen, die über die tatsächliche, von der medizinischen Fachkraft erblickte Ansicht des Patienten gelegt wird. Die Mechanismen der Erfindung erfassen Bilder des Bereichs des Körpers des Patienten, der von der medizinischen Fachkraft gerade betrachtet wird. Auf Grundlage des gerade betrachteten Teils des Körpers des Patienten identifizieren die Mechanismen die entsprechenden Körperteile in der Ansicht und korrelieren diese Körperteile mit den Daten der elektronischen Krankenakte (EMR) des Patienten, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind. In manchen Fällen kann Gesichtserkennung verwendet werden, um den jeweils gerade betrachteten Patienten zu identifizieren.
Die über den Körper des Patienten gelegten grafischen Darstellungen können spezifisch für eine Erkrankung und Realisierung sein. Die darüber gelegten Darstellungen können somit grafische Bilder, die für Erkrankungen stehen, wobei Teile des Körpers hervorgehoben werden, die betroffen sind oder einer weiteren Untersuchung bedürfen, für Laborergebnisse stehende Textdaten, Behandlungsoptionen, medizinische Codes oder dergleichen enthalten. Die Mechanismen stellen außerdem einen Zugriff auf einen medizinischen Korpus von Daten bereit, der für mehrere Medienansichten annotiert wird, um die Echtzeitauswahl von Medien zu ermöglichen, die für eine bestimmte Patientenstimmung, die Tageszeit, die zeitliche Verfügbarkeit der medizinischen Fachkraft oder dergleichen geeignet sind. Mit Blick auf den Zeitplan der medizinischen Fachkraft kann abhängig von dem Zeitplan eine weniger detaillierte Darstellung (grundlegendes Organmodell) angezeigt werden, wenn die Verfügbarkeit begrenzt ist, während eine ausführliche Darstellung (am Patientenorgan simulierte Operationsmethode) angezeigt werden kann, wenn eine längere Verfügbarkeit gegeben ist.
Wie oben erwähnt, sollte klar sein, dass die veranschaulichenden Ausführungsformen in Gestalt einer vollständig aus Hardware bestehenden Ausführungsform, einer vollständig aus Software bestehenden Ausführungsform oder in Gestalt einer Ausführungsform vorliegen können, die sowohl Hardware- als auch Software-Elemente enthält. Bei einer Beispielausführungsform werden die Mechanismen der veranschaulichenden Ausführungsformen in Software oder in Programmcode realisiert, wobei dies z.B. Firmware, speicherresidente Software, Mikrocode usw. enthält, ohne darauf beschränkt zu sein.
Ein zum Speichern und/oder Ausführen von Programmcode geeignetes Datenverarbeitungssystem enthält mindestens einen Prozessor, der über einen Datenübertragungsbus wie zum Beispiel einen Systembus direkt oder indirekt mit Arbeitsspeicherelementen verbunden wird. Die Arbeitsspeicherelemente können einen lokalen Arbeitsspeicher, der während der tatsächlichen Ausführung des Programmcodes verwendet wird, einen Massenspeicher und Cache-Arbeitsspeicher enthalten, die eine vorübergehende Speicherung von mindestens einem Teil des Programmcodes bereitstellen, um die Häufigkeit zu verringern, mit welcher Code während der Ausführung aus dem Massenspeicher abgerufen werden muss. Dabei kann es sich um verschiedene Arten von Arbeitsspeicher handeln, z.B. um einen ROM, PROM, EPROM, EEPROM, DRAM, SRAM, Flash-Arbeitsspeicher, Halbleiterspeicher und dergleichen, ohne darauf beschränkt zu sein.
Eingabe/Ausgabe- bzw. E/A-Einheiten (z.B., ohne darauf beschränkt zu sein, Tastaturen, Anzeigen, Zeigeeinheiten usw.) können entweder direkt oder über dazwischengeschaltete drahtgebundene oder drahtlose E/A-Schnittstellen und/oder - Controller oder dergleichen mit dem System verbunden werden. E/A-Einheiten können in vielerlei anderen Formen als herkömmliche Tastaturen, Anzeigen, Zeigeeinheiten und dergleichen vorliegen, zum Beispiel als Datenübertragungseinheiten, die über drahtgebundene oder drahtlose Verbindungen verbunden werden, wie z.B. Smartphones, Tablet Computer, Einheiten mit berührungsempfindlichem Bildschirm, Spracherkennungseinheiten und dergleichen. Jede bekannte oder künftig entwickelte E/A-Einheit ist als innerhalb des inhaltlichen Umfangs der veranschaulichenden Ausführungsformen zu verstehen.
Netzwerkadapter können ebenfalls mit dem System verbunden werden, um die Verbindung des Datenverarbeitungssystems mit anderen Datenverarbeitungssystemen oder mit entfernt angeordneten Druckern oder Speichereinheiten über dazwischengeschaltete private oder öffentliche Netzwerke zu ermöglichen. Modems, Kabelmodems und Ethernet-Karten sind nur einige der momentan verfügbaren Typen von Netzwerkadaptern für eine drahtgebundene Datenübertragung. Daneben können auch Netzwerkadapter auf Grundlage einer drahtlosen Datenübertragung verwendet werden, z.B. drahtlose 802.11-a/b/g/n-Datenübertragungsadapter, drahtlose Bluetooth-Adapter und dergleichen, ohne darauf beschränkt zu sein. Alle bekannten oder künftig entwickelten Netzwerkadapter sind als innerhalb des gedanklichen Wesensgehalts der vorliegenden Erfindung liegend zu verstehen.
Die Beschreibung der vorliegenden Erfindung wurde zum Zwecke der Veranschaulichung und Erläuterung vorgelegt und ist mit Bezug auf die offenbarte Erfindung nicht als vollständig oder beschränkend zu verstehen. Der Fachmann weiß, dass zahlreiche Änderungen und Abwandlungen möglich sind, ohne vom inhaltlichen Umfang der beschriebenen Ausführungsformen abzuweichen. Die Ausführungsform wurde ausgewählt und beschrieben, um die Grundsätze der Erfindung und die praktische Anwendung bestmöglich zu erläutern und um anderen Fachleuten die Möglichkeit zu geben, die Erfindung mit Blick auf verschiedene Ausführungsformen mit verschiedenen Änderungen zu verstehen, wie sie für die jeweilige, in Erwägung gezogene Verwendung geeignet sind. Die hier verwendete Begrifflichkeit wurde gewählt, um die Grundsätze der Ausführungsformen, die praktische Anwendung oder technische Verbesserung gegenüber marktgängigen Technologien bestmöglich zu erläutern bzw. anderen Fachleuten das Verständnis der hier offenbarten Ausführungsformen zu ermöglichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2011/0125734 [0030]

Claims

Verfahren in einem Datenverarbeitungssystem, aufweisend mindestens einen Prozessor und mindestens einen Arbeitsspeicher, wobei der mindestens eine Arbeitsspeicher Anweisungen aufweist, die durch den mindestens einen Prozessor ausgeführt werden, um den mindestens einen Prozessor zu veranlassen, ein kognitives Healthcare-System zu realisieren, wobei das kognitive Healthcare-System fungiert zum: Erfassen eines Echtzeitbilds eines Bereichs des Körpers eines Patienten, das durch eine medizinische Fachkraft über ein Head-Mounted-Display(HMD)-System betrachtet wird, durch einen Erfassungsmechanismus des kognitiven Healthcare-Systems; Identifizieren eines oder mehrerer Körperteile des Patienten innerhalb des Echtzeitbilds durch das kognitive Healthcare-System; Korrelieren des einen oder der mehreren identifizierten Körperteile mit den elektronischen Krankenakten (Electronic Medical Records, EMRs) des Patienten, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind, durch das kognitive Healthcare-System; und Erzeugen einer Augmented-Reality-Anzeige von einem oder mehreren Bereichen des Körpers des Patienten, die der Erkrankung und/oder Behandlung des Patienten entsprechen, die das Echtzeitbild des Bereichs des Körpers des Patienten überlagert, in dem HMD-System durch das kognitive Healthcare-System.
Verfahren nach Anspruch 1, wobei die elektronischen Krankenakten (EMRs) des Patienten mit dem Patienten korreliert werden, indem die Erfassungsmechanismen ein Bild des Gesichts des Patienten erfassen und das kognitive Healthcare-System Gesichtserkennung verwendet, um den Patienten zu identifizieren.
Verfahren nach Anspruch 1, wobei die elektronischen Krankenakten (EMRs) des Patienten mit dem Patienten korreliert werden, indem die Erfassungsmechanismen eine hörbare Äußerung des Patienten erfassen und das kognitive Healthcare-System Spracherkennung verwendet, um den Patienten zu identifizieren.
Verfahren nach Anspruch 1, wobei die Augmented-Reality-Anzeige ein oder mehrere eines grundlegenden Organmodells, eines aktuellen Röntgenbilds, eines aktuellen CAT-Bilds (Computerized Axial Tomography) bzw. CT-Bilds (Computertomografie), eines aktuellen MRT-Bilds (Magnetresonanztomografie), ein oder mehrere Modelle von Sektionspräparaten, überlappende Organsysteme, frühere Röntgenbilder, frühere CT-Bilder, frühere MRT-Bilder oder Operations- oder Druckstellen anzeigt.
Verfahren nach Anspruch 1, wobei die Augmented-Reality-Anzeige des Weiteren Teile des Körpers der Patienten hervorhebt, die von der Erkrankung betroffen sind oder die in Bezug auf die Erkrankung einer weiteren Untersuchung bedürfen.
Verfahren nach Anspruch 1, wobei die Augmented-Reality-Anzeige des Weiteren Textdaten anzeigt, die für Laborergebnisse, Behandlungsoptionen, medizinische Codes, neueste medizinische Forschungsstudien oder für eine Transplantation verfügbare Organe stehen.
Verfahren nach Anspruch 1, wobei die Augmented-Reality-Anzeige des Weiteren die momentan gezeigte Stimmung der Patienten anzeigt.
Verfahren nach Anspruch 1, wobei die medizinische Fachkraft, die den Patienten gerade behandelt, identifiziert wird, indem die Erfassungsmechanismen ein Bild des Gesichts der medizinischen Fachkraft erfassen und das kognitive Healthcare-System Gesichtserkennung verwendet, um die medizinische Fachkraft zu identifizieren.
Verfahren nach Anspruch 1, wobei die medizinische Fachkraft, die den Patienten gerade behandelt, identifiziert wird, indem die Erfassungsmechanismen eine hörbare Äußerung der medizinischen Fachkraft erfassen und das kognitive Healthcare-System Spracherkennung verwendet, um die medizinische Fachkraft zu identifizieren.
Verfahren nach Anspruch 1, wobei in der Augmented-Reality-Anzeige angezeigte Informationen einen Zeitplan der medizinischen Fachkraft als Grundlage haben.
Computerprogrammprodukt, aufweisend ein durch einen Computer lesbares Speichermedium mit einem darauf gespeicherten, durch einen Computer lesbaren Programm, wobei das durch einen Computer lesbare Programm bei Ausführung in einer Datenverarbeitungseinheit die Datenverarbeitungseinheit veranlasst: durch einen Erfassungsmechanismus ein Echtzeitbild eines Bereichs des Körpers eines Patienten zu erfassen, das durch eine medizinische Fachkraft über ein Head-Mounted-Display(HMD)-System betrachtet wird; einen oder mehrere Körperteile des Patienten innerhalb des Echtzeitbilds zu identifizieren; den einen oder die mehreren identifizierten Körperteile mit den elektronischen Krankenakten (EMRs) des Patienten zu korrelieren, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind; und in dem HMD-System eine Augmented-Reality-Anzeige von einem oder mehreren Bereichen des Körpers des Patienten, die der Erkrankung und/oder Behandlung des Patienten entsprechen, zu erzeugen, die das Echtzeitbild des Bereichs des Körpers des Patienten überlagert.
Computerprogrammprodukt nach Anspruch 11, wobei die Augmented-Reality-Anzeige eines oder mehrere eines grundlegenden Organmodells, eines aktuellen Röntgenbilds, eines aktuellen CAT-Bilds (Computerized Axial Tomography) bzw. CT-Bilds (Computertomografie), eines aktuellen MRT-Bilds (Magnetresonanztomografie), ein oder mehrere Modelle von Sektionspräparaten, überlappende Organsysteme, frühere Röntgenbilder, frühere CT-Bilder, frühere MRT-Bilder oder Operations- oder Druckstellen anzeigt.
Computerprogrammprodukt nach Anspruch 11, wobei die Augmented-Reality-Anzeige des Weiteren Teile des Körpers der Patienten hervorhebt, die von der Erkrankung betroffen sind oder die in Bezug auf die Erkrankung einer weiteren Untersuchung bedürfen.
Computerprogrammprodukt nach Anspruch 11, wobei die Augmented-Reality-Anzeige des Weiteren Textdaten anzeigt, die für Laborergebnisse, Behandlungsoptionen, medizinische Codes, neueste medizinische Forschungsstudien oder für eine Transplantation verfügbare Organe stehen.
Computerprogrammprodukt nach Anspruch 11, wobei die Augmented-Reality-Anzeige des Weiteren die momentan gezeigte Stimmung der Patienten anzeigt.
Vorrichtung, aufweisend: einen Prozessor; und einen mit dem Prozessor verbundenen Speicher, wobei der Speicher Anweisungen aufweist, die bei Ausführung durch den Prozessor den Prozessor veranlassen: durch einen Erfassungsmechanismus ein Echtzeitbild eines Bereichs des Körpers eines Patienten zu erfassen, das durch eine medizinische Fachkraft über ein Head-Mounted-Display(HMD)-System betrachtet wird; einen oder mehrere Körperteile des Patienten innerhalb des Echtzeitbilds zu identifizieren; den einen oder die mehreren identifizierten Körperteile mit den elektronischen Krankenakten (EMRs) des Patienten zu korrelieren, welche die Erkrankung und/oder die Behandlungen angeben, die dem Patienten zugehörig sind; und in dem HMD-System eine Augmented-Reality-Anzeige von einem oder mehreren Bereichen des Körpers des Patienten, die der Erkrankung und/oder Behandlung des Patienten entsprechen, zu erzeugen, die das Echtzeitbild des Bereichs des Körpers des Patienten überlagert.
Vorrichtung nach Anspruch 16, wobei die Augmented-Reality-Anzeige eines oder mehrere eines grundlegenden Organmodells, eines aktuellen Röntgenbilds, eines aktuellen CAT-Bilds (Computerized Axial Tomography) bzw. CT-Bilds (Computertomografie), eines aktuellen MRT-Bilds (Magnetresonanztomografie), ein oder mehrere Modelle von Sektionspräparaten, überlappende Organsysteme, frühere Röntgenbilder, frühere CT-Bilder, frühere MRT-Bilder oder Operations- oder Druckstellen anzeigt.
Vorrichtung nach Anspruch 16, wobei die Augmented-Reality-Anzeige des Weiteren Teile des Körpers der Patienten hervorhebt, die von der Erkrankung betroffen sind oder die in Bezug auf die Erkrankung einer weiteren Untersuchung bedürfen.
Vorrichtung nach Anspruch 16, wobei die Augmented-Reality-Anzeige des Weiteren Textdaten anzeigt, die für Laborergebnisse, Behandlungsoptionen, medizinische Codes, neueste medizinische Forschungsstudien oder für eine Transplantation verfügbare Organe stehen.
Vorrichtung nach Anspruch 16, wobei die Augmented-Reality-Anzeige des Weiteren die momentan gezeigte Stimmung der Patienten anzeigt.