DE202023100326U1 - Ein Empfehlungssystem zur optimierten Behandlung von COVID-19 unter Verwendung von konvolutionellem Netzwerk - Google Patents

Abstract

Ein Empfehlungssystem zur optimierten Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks, das System umfasst:
ein Trainingsprozessor umfassend:
eine Datenerfassungseinheit zum Erfassen der Brust-Röntgenbilder von COVID-19 als Trainingsdaten;
eine Vorverarbeitungseinheit zum zufälligen Zuschneiden der Brust-Röntgenbilder auf 224 × 224 und Drehen um 30°;
ein Convolutional Neural Network (CNN)-Klassifikatormodell zum Empfangen die transformierten Röntgenbilder des Brustkorbs zur Feinabstimmung und zum Training des CNN-Klassifikatormodells, wodurch die extrahiert werden gewünschte Merkmale der Ausgabeschicht und Speichern des CNN-Klassifikatormodells;
eine Eingabeeinheit 110 zum Sammeln eines oder mehrerer Abfrage-Thorax-Röntgenbilder eines Patienten;
eine Vorverarbeitungseinheit zum Ändern der Größe der Brust-Röntgenbilder von 225 × 225 und zum Durchführen eines Mittenausschnitts von 224 × 224;
eine Merkmalsvektor-Extraktionseinheit zum Extrahieren von Merkmalsvektoren von Abfrage-Thorax-Röntgenbildern unter Verwendung des vorab trainierten CNN-Modells;
eine zentrale Verarbeitungseinheit zum Klassifizieren des Anfragebilds in eines von normal oder Krebs und Erzeugen einer Empfehlungsausgabe einschließlich Ärzten, Medikamenten und Ressourcen, die in einem abgerufenen Metadatensatz vorhanden sind, für den Patienten beim Vergleichen des Anfragebild-Merkmalsvektors mit den gespeicherten Datenbank-Merkmalsvektoren unter Verwendung des CNN-Modells; und
eine graphische Benutzerschnittstelle zum Anzeigen der normalen oder Krebsausgaben, die durch das CNN-Modell dargestellt werden, einschließlich Empfehlungen für Ärzte, Medikamente und Ressourcen.

Description

• GEBIET DER ERFINDUNG
• Die vorliegende Offenbarung bezieht sich auf ein Empfehlungssystem zur optimierten Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks basierend auf maschinellen Lerntechniken und Bildähnlichkeit.
• HINTERGRUND DER ERFINDUNG
• Das SARS-CoV-2-Coronavirus wird zuerst entdeckt und gemeldet und hat sich weltweit verbreitet, was zu einem Gesundheitsrisiko führt. Es wurde zur Pandemie erklärt. COVID-19 hat unterschiedliche Auswirkungen auf verschiedene Menschen. Die Mehrheit der infizierten Patienten weist leichte bis mittelschwere Symptome auf und muss nicht ins Krankenhaus eingeliefert werden. Fieber, Erschöpfung, Husten und Geschmacks- oder Geruchsverlust sind allesamt häufige COVID-19-Symptome. Geruchsverlust, Verwirrung, Atembeschwerden oder Kurzatmigkeit und Brustbeschwerden sind einige der Hauptsymptome, die zu einer schweren Lungenentzündung in beiden Lungen führen können. COVID-19-Pneumonie ist eine schwere Infektion mit einer hohen Sterblichkeitsrate. Zu den Anzeichen einer COVID-19-Infektion, die sich zu einer gefährlichen Lungenentzündung entwickelt, gehören ein schneller Puls, Atemnot, Verwirrtheit, schnelle Atmung, starkes Schwitzen und Lungenembolie. Es induziert eine schwere Lungenentzündung, wie in der Lungenmikroskopie zu sehen ist. Es belastet die Zellen und das Gewebe, die die Luftsäcke der Lunge bedecken. Durch diese Säcke wird der Sauerstoff zum Atmen gesammelt und dem Blutkreislauf zugeführt. Durch Verletzungen bricht Gewebe ab und blockiert die Lunge. Die Wände der Säcke können sich verdicken, was das Atmen extrem erschwert.
• Die am weitesten verbreitete Methode zur Diagnose von Personen mit Atemwegserkrankungen ist die Röntgenaufnahme des Brustkorbs. Zu Beginn von COVID-19 erschien ein Röntgenbild des Brustkorbs normal, aber es veränderte sich allmählich in einer Weise, die mit einer Lungenentzündung oder einem akuten Atemnotsyndrom (ARDS) in Verbindung gebracht werden kann. Der Verlauf von Röntgenbildern des Brustkorbs für eine 45-jährige Person, die mit COVID-19 infiziert ist. Etwa 15 % der COVID-19-Patienten benötigen einen Krankenhausaufenthalt und eine Sauerstofftherapie. Etwa 5 % der Menschen entwickeln schwere Infektionen und benötigen ein Beatmungsgerät.
• In der Hochphase der Infektionsübertragung ist es auch für Krankenhäuser eine große Herausforderung, über genügend Sauerstoff und ein Beatmungsgerät zu verfügen. Infolgedessen stehen Krankenhäuser und Ärzte unter großem Stress, wenn sie versuchen, mit kritischen Patienten umzugehen, die in Krankenhäuser eingeliefert wurden. Sie konzentrieren sich darauf, Krankenhauspatienten gut zu versorgen, damit die Sterblichkeitsrate gesenkt werden kann und die Patienten sich schnell erholen können. Die Fähigkeit von Krankenhäusern, stationäre Patienten angemessen zu behandeln, ist jedoch manchmal durch die Verfügbarkeit von Ärzten und Ressourcen begrenzt. In diesem Szenario könnte ein Empfehlungssystem (RS) mit Ansätzen des maschinellen Lernens (ML) verwendet werden, um die beste Behandlung zu verwalten und gleichzeitig mit begrenzten Ressourcen zu arbeiten. Da die Sterblichkeitsrate und Genesungsrate von ernsthaft ins Krankenhaus eingelieferten COVID-19-Patienten im Allgemeinen von der Menge der Infektion in der Lunge abhängen, können die radiologischen Lungenbilder dieser Patienten verwendet werden, um eine angemessene Behandlung in Bezug auf einen Arzt, Medikamente und andere damit verbundene Empfehlungen zu geben Ressourcen.
• Aus der Perspektive der RS-Implementierung wird das Bruströntgenbild eines neuen Patienten an das vorgeschlagene System gesendet, und es werden Ärzte, Medikamente und Ressourcen für diesen Patienten empfohlen. Das vorgeschlagene System geht davon aus, dass die Datenbank aus Lungenbildern und anderen Informationen wie dem Namen des zugewiesenen Arztes, Medikamenten und bereitgestellten Ressourcen wie Intensivstation (ICU), Sauerstofftherapie und Beatmungsgeräten besteht. Die COVID-19-Patienten, die in der Vergangenheit ins Krankenhaus eingeliefert wurden, erholten sich erfolgreich vom Krankenhaus. Es verwendet eine kollaborative Filtermethode, um mithilfe von Bildähnlichkeit ähnliche COVID-19-Patienten für neue COVID-19-Patienten zu finden. Der vorgeschlagene Ansatz verwendet Convolutional Neural Networks (CNN) für die Merkmalsextraktion aus Bildern und nutzt diese Merkmalsvektoren für die Ähnlichkeitsberechnung.
• Viele Forscher haben in der Vergangenheit verschiedene Modelle vorgestellt, die traditionelle Ansätze des maschinellen Lernens zur Identifizierung von COVID-19 anhand von Röntgenbildern verwenden. Der Großteil der bisherigen Forschung zu RS auf der Grundlage von Computer Vision wurde für den E-Commerce-Bereich durchgeführt, wobei laut Literatur nur wenige Arbeiten für den Gesundheitsbereich durchgeführt wurden. Es zeigte sich auch, dass die Bildähnlichkeit eine der erfolgreichen Techniken ist, die zum Entwerfen von RS in der Computervision verwendet werden. Darüber hinaus muss die Wirksamkeit von Computer Vision bei RS bei der Bereitstellung von Lösungen zur Bekämpfung der COVID-19-Pandemie noch untersucht werden.
• Angesichts der vorstehenden Diskussion wird deutlich, dass ein Bedarf an einem Empfehlungssystem zur optimierten Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks auf der Grundlage von Techniken des maschinellen Lernens und Bildähnlichkeit besteht.
• ZUSAMMENFASSUNG DER ERFINDUNG
• Die vorliegende Offenbarung strebt danach, ein Empfehlungssystem für eine optimierte Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks bereitzustellen, das auf Maschinenlerntechniken und Bildähnlichkeit basiert. Dieses System verwendet ein Convolutional Neural Network (CNN)-Modell für die Merkmalsextraktion der Bilder und entdeckt die ähnlichsten Patienten zur Eingabe, indem es Patienten aus der Krankenhausdatenbank mit ähnlichen Thorax-Röntgenbildern abfragt. Es verwendet eine Ähnlichkeitsmetrik für die Ähnlichkeitsberechnung der Bilder. Diese Methodik empfiehlt die Ärzte, Medikamente und Ressourcen, die mit ähnlichen Patienten in Verbindung stehen, mit einem COVID-19-Patienten, der ins Krankenhaus eingeliefert wird. Die Leistung des vorgeschlagenen RS wird mit fünf verschiedenen Merkmalsextraktions-CNN-Modellen und vier Ähnlichkeitsmaßen verifiziert. Die vorgeschlagene RS mit einem ResNet-50-CNN-Merkmalsextraktionsmodell und Maxwell-Boltzmann-Ähnlichkeit erweist sich als geeigneter Rahmen für Behandlungsempfehlungen mit einer mittleren durchschnittlichen Genauigkeit von mehr als 0.90 für Schwellenähnlichkeiten im Bereich von 0.7 bis 0.9 und einem durchschnittlich höchsten Kosinusähnlichkeit von mehr als 0.95. Insgesamt hat sich ein RS mit CNN-Modell und Bildähnlichkeit als effizientes Instrument für das ordnungsgemäße Ressourcenmanagement während der Spitzenzeiten von Pandemien erwiesen und kann in klinischen Umgebungen eingesetzt werden.
• In einer Ausführungsform Ein Empfehlungssystem zur optimierten Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks wird offenbart. Das System umfasst einen Trainingsprozessor, der Folgendes umfasst: eine Datenerfassungseinheit zum Erhalten der Brust-Röntgenbilder von COVID-19 als Trainingsdaten; eine Vorverarbeitungseinheit zum zufälligen Zuschneiden der Brust-Röntgenbilder auf 224 × 224 und Drehen um 30°; ein Convolutional Neural Network (CNN)-Klassifikatormodell zum Empfangen der transformierten Bruströntgenbilder zur Feinabstimmung und zum Training des CNN-Klassifikatormodells, wodurch die gewünschten Merkmale der Ausgabeschicht extrahiert und das CNN-Klassifikatormodell gespeichert werden.
• Das System umfasst ferner eine Eingabeeinheit zum Sammeln eines oder mehrerer Abfrage-Thorax-Röntgenbilder eines Patienten.
• Das System umfasst ferner einen Vorprozessor zum Ändern der Größe der Bruströntgenbilder von 225 × 225 und zum Durchführen eines Mittenausschnitts von 224 × 224.
• Das System umfasst ferner eine Merkmalsvektor-Extraktionseinheit zum Extrahieren von Merkmalsvektoren von Abfrage-Thorax-Röntgenbildern unter Verwendung des vorab trainierten CNN-Modells.
• Das System umfasst ferner eine zentrale Verarbeitungseinheit zum Klassifizieren des Abfragebilds in eines von normal oder Krebs und zum Erzeugen einer Empfehlungsausgabe einschließlich Ärzten, Medikamenten und Ressourcen, die in einem abgerufenen Metadatensatz für den Patienten vorhanden sind, beim Vergleichen des Abfragebild-Merkmalsvektors mit dem gespeicherte Datenbankmerkmalsvektoren unter Verwendung des CNN-Modells.
• Das System umfasst ferner eine grafische Benutzerschnittstelle zum Anzeigen der normalen oder Krebsausgaben, die durch das CNN-Modell dargestellt werden, einschließlich Empfehlungen für Ärzte, Medikamente und Ressourcen.
• Eine Aufgabe der vorliegenden Offenbarung ist es , ein effizientes RS-System für COVID-19 basierend auf Röntgenbildern des Brustkorbs vorzuschlagen, um die Auswirkungen eines RS auf die effiziente Handhabung von Situationen in Krankenhäusern während der Spitzenzeit einer Pandemie mit begrenzten Ressourcen anzugehen.
• Eine weitere Aufgabe der vorliegenden Offenbarung ist es, mehrere CNN-Modelle zu verwenden, um einen RS unter Verwendung von COVID-19-Thorax-Röntgenbildern zu konstruieren.
• Eine weitere Aufgabe der vorliegenden Offenbarung besteht darin, ein einzigartiges Design vorzuschlagen, indem vier Arten von Suchparadigmen in das CNN-basierte Rahmenwerk eingebettet werden.
• Eine weitere Aufgabe der vorliegenden Offenbarung ist es, die vergleichende Datenanalyse verschiedener Ähnlichkeitsmaße im RS-Rahmenwerk zu fördern, indem Metadaten bereitgestellt werden, die Ärzte, Medikamente und Ressourcen umfassen.
• Eine weitere Aufgabe der vorliegenden Offenbarung besteht darin, die Auswirkungen eines RS im Gesundheitsbereich durch verbesserte Dienste und effizientes Ressourcenmanagement zu mildern.
• Eine weitere Aufgabe der vorliegenden Offenbarung besteht darin , einem ins Krankenhaus eingelieferten COVID-19-Patienten die mit ähnlichen Patienten verbundenen Ärzte, Medikamente und Ressourcen zu empfehlen.
• Noch eine weitere Aufgabe der vorliegenden Erfindung ist es , ein schnelles und kosteneffektives Empfehlungssystem zur optimierten Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks basierend auf Maschinenlerntechniken und Bildähnlichkeit bereitzustellen.
• Um die Vorteile und Merkmale der vorliegenden Offenbarung weiter zu verdeutlichen, erfolgt eine genauere Beschreibung der Erfindung unter Bezugnahme auf spezifische Ausführungsformen davon, die in den beigefügten Zeichnungen dargestellt ist. Es versteht sich, dass diese Zeichnungen nur typische Ausführungsformen der Erfindung darstellen und daher nicht als Einschränkung ihres Umfangs anzusehen sind. Die Erfindung wird mit zusätzlicher Spezifität und Einzelheiten mit den beigefügten Zeichnungen beschrieben und erläutert.
• Figurenliste
• Diese und andere Merkmale, Aspekte und Vorteile der vorliegenden Offenbarung werden besser verständlich, wenn die folgende detaillierte Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen gelesen wird, in denen gleiche Zeichen in allen Zeichnungen gleiche Teile darstellen, wobei:
• 1 veranschaulicht ein Blockdiagramm eines Empfehlungssystems zur optimierten Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks gemäß einer Ausführungsform der vorliegenden Offenbarung;
• 2 eine Architektur oder ein lokales System für das vorgeschlagene System gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht;
• 3 veranschaulicht eine Phase-1 des vorgeschlagenen Systems gemäß einer Ausführungsform der vorliegenden Offenbarung;
• 4 einen Datenfluss des vorgeschlagenen Systems gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt;
• 5 veranschaulicht, dass Tabelle 1 einen Datensatz zum Training und zur Verifizierung darstellt, einen DFCV-Datensatz zur Kreuzvalidierung gemäß einer Ausführungsform der vorliegenden Offenbarung;
• 6 veranschaulicht, dass Tabelle 2 die mittlere durchschnittliche Genauigkeit @5 für DFTV- und DFCV-Datensätze unter Verwendung des Resnet-50-CNN-Modells gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt; und
• 7 zeigt Tabelle 3 zeigt AUC und p-Wert für die CNN-Modelle gemäß einer Ausführungsform der vorliegenden Offenbarung.
• Ferner werden Fachleute erkennen, dass Elemente in den Zeichnungen der Einfachheit halber dargestellt sind und nicht unbedingt maßstabsgetreu gezeichnet sein müssen. Zum Beispiel veranschaulichen die Flussdiagramme das Verfahren in Bezug auf die hervorstechendsten Schritte, die beteiligt sind, um dabei zu helfen, das Verständnis von Aspekten der vorliegenden Offenbarung zu verbessern. Darüber hinaus können in Bezug auf die Konstruktion der Vorrichtung eine oder mehrere Komponenten der Vorrichtung in den Zeichnungen durch herkömmliche Symbole dargestellt worden sein, und die Zeichnungen können nur solche spezifischen Details zeigen, die für das Verständnis der Ausführungsformen der vorliegenden Offenbarung relevant sind um die Zeichnungen nicht mit Details zu verdecken, die für den Durchschnittsfachmann, der von der hierin enthaltenen Beschreibung profitiert, leicht ersichtlich sind.
• DETAILLIERTE BESCHREIBUNG
• Um das Verständnis der Prinzipien der Erfindung zu fördern, wird nun auf die in den Zeichnungen dargestellte Ausführungsform Bezug genommen, und es wird eine spezifische Sprache verwendet, um diese zu beschreiben. Es versteht sich jedoch, dass dadurch keine Einschränkung des Umfangs der Erfindung beabsichtigt ist, wobei solche Änderungen und weiteren Modifikationen des dargestellten Systems und solche weiteren Anwendungen der darin dargestellten Prinzipien der Erfindung in Betracht gezogen werden, wie sie einem Fachmann normalerweise einfallen würden in der Technik, auf die sich die Erfindung bezieht.
• Fachleute werden verstehen, dass die vorstehende allgemeine Beschreibung und die folgende detaillierte Beschreibung beispielhaft und erläuternd für die Erfindung sind und diese nicht beschränken sollen.
• Die Bezugnahme in dieser gesamten Beschreibung auf „einen Aspekt“, „einen anderen Aspekt“ oder ähnliche Ausdrücke bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft, die in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform der vorliegenden Offenbarung enthalten ist. Somit können sich die Ausdrücke „in einer Ausführungsform“, „in einer anderen Ausführungsform“ und ähnliche Ausdrücke in dieser Beschreibung alle auf dieselbe Ausführungsform beziehen, müssen dies aber nicht.
• Die Begriffe „umfassen“, „umfassend“ oder andere Variationen davon sollen einen nicht ausschließlichen Einschluss abdecken, so dass ein Prozess oder Verfahren, das eine Liste von Schritten umfasst, nicht nur diese Schritte umfasst, sondern andere Schritte nicht umfassen kann ausdrücklich aufgeführt oder einem solchen Prozess oder Verfahren innewohnend. In ähnlicher Weise schließen ein oder mehrere Geräte oder Teilsysteme oder Elemente oder Strukturen oder Komponenten, denen „umfasst ... ein“ vorangestellt ist, ohne weitere Einschränkungen nicht die Existenz anderer Geräte oder anderer Teilsysteme oder anderer Elemente oder anderer Strukturen aus oder andere Komponenten oder zusätzliche Geräte oder zusätzliche Teilsysteme oder zusätzliche Elemente oder zusätzliche Strukturen oder zusätzliche Komponenten.
• Sofern nicht anders definiert, haben alle hierin verwendeten technischen und wissenschaftlichen Begriffe die gleiche Bedeutung, wie sie allgemein von einem Durchschnittsfachmann auf dem Gebiet verstanden wird, zu dem diese Erfindung gehört. Das hierin bereitgestellte System, Verfahren und Beispiele sind nur veranschaulichend und sollen nicht einschränkend sein.
• Ausführungsformen der vorliegenden Offenbarung werden unten im Detail unter Bezugnahme auf die begleitenden Zeichnungen beschrieben.
• Unter Bezugnahme auf 1 ist ein Blockdiagramm eines Empfehlungssystems zur optimierten Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks gemäß einer Ausführungsform der vorliegenden Offenbarung dargestellt . Das System 100 umfasst einen Trainingsprozessor 102, der eine Datenerfassungseinheit 104 umfasst, um die Thorax-Röntgenbilder von COVID-19 als Trainingsdaten zu erhalten.
• In einer Ausführungsform ist eine Vorverarbeitungseinheit 106 mit der Datenerfassungseinheit 104 verbunden, um die Brust-Röntgenbilder zufällig auf 224 × 224 zuzuschneiden und um 30° zu drehen.
• In einer Ausführungsform ist ein Convolutional Neural Network (CNN)-Klassifikatormodell 108 mit der Vorverarbeitungseinheit 106 zum Empfangen der transformierten Bruströntgenbilder zur Feinabstimmung und zum Training des CNN-Klassifikatormodells 108 verbunden, wodurch die gewünschten Merkmale der Ausgabeschicht extrahiert werden und Speichern des CNN-Klassifikatormodells 108.
• In einer Ausführungsform ist eine Eingabeeinheit 110 mit dem Klassifizierermodell 108 eines konvolutionellen neuralen Netzwerks (CNN) verbunden, um ein oder mehrere Abfrage-Röntgenbilder des Brustkorbs eines Patienten zu sammeln.
• In einer Ausführungsform ist ein Vorprozessor 112 mit der Eingabeeinheit 110 verbunden, um die Brust-Röntgenbilder von 225 × 225 in der Größe zu ändern und einen Mittenausschnitt von 224 × 224 durchzuführen.
• In einer Ausführungsform ist eine Merkmalsvektor-Extraktionseinheit 114 mit dem Vorprozessor 112 zum Extrahieren von Merkmalsvektoren von Abfrage-Thorax-Röntgenbildern unter Verwendung des vorab trainierten CNN-Modells verbunden.
• In einer Ausführungsform ist eine zentrale Verarbeitungseinheit 116 mit der Merkmalsvektor-Extraktionseinheit 114 verbunden, um das Abfragebild entweder normal oder Krebs zu klassifizieren und eine Empfehlungsausgabe zu erzeugen, die Ärzte, Medikamente und Ressourcen enthält, die in einem abgerufenen Metadatensatz für den Patienten vorhanden sind beim Vergleichen des Abfragebild-Merkmalsvektors mit den gespeicherten Datenbank-Merkmalsvektoren unter Verwendung des CNN-Modells .
• In einer Ausführungsform ist eine grafische Benutzerschnittstelle 118 mit der zentralen Verarbeitungseinheit 116 verbunden, um die durch das CNN-Modell dargestellte Normal- oder Krebsausgabe einschließlich Empfehlungen für Ärzte, Medikamente und Ressourcen anzuzeigen.
• In einer anderen Ausführungsform umfasst die Erzeugung der Empfehlungsausgabe das Berechnen der Ähnlichkeit des Abfragebild-Merkmalsvektors mit den gespeicherten Datenbank-Merkmalsvektoren, dann das Finden der obersten k ähnlichen Merkmalsvektoren in der Datenbank, wobei k eine positive ganze Zahl ist, dann das Abrufen der Brust Röntgenbilder mit ihren Metadatensätzen aus der Datenbank, die den Top-k-ähnlichen Merkmalsvektoren entsprechen, empfehlen dann die in den abgerufenen Metadatensätzen vorhandenen Ärzte, Medikamente und Hilfsmittel dem neuen Patienten als Ausgabe.
• In einer anderen Ausführungsform ist das System so konfiguriert, dass es sowohl im Offline-Modus (dh Phase 1) als auch im Online-Modus (dh Phase 2) arbeitet, wobei im Offline-Modus eine Reihe von Infektionsmerkmalen aus der Brust X- von COVID-19-Patienten extrahiert werden. Röntgenbilder auf der Grundlage von Bildmerkmalen und das CNN-Modell wird darauf trainiert, die Merkmale zu lernen, indem die Röntgenbilder des Brustkorbs in die jeweiligen Lungenzustandskategorien klassifiziert werden, wie sie in den Trainingsdaten vorhanden sind, während der Online-Modus Empfehlungen basierend auf den Merkmalen liefert, die aus Röntgen- Strahlenbilder unter Verwendung der fein abgestimmten Faltungsbasis aus Phase 1, die in Phase 2 als Merkmalsextraktor fungiert, in der die jedem Bild in der Datenbank zugeordneten Metadaten verwendet werden, um Empfehlungen wie Ärzte, Medikamente und Ressourcen bereitzustellen.
• In einer anderen Ausführungsform, einer Empfehlung, verwendet die zentrale Verarbeitungseinheit 116 ähnliche Patienten aus der Datenbank, die die gleiche Art von Infektion im Brustkorb aufgrund von COVID-19 haben wie der Patient, der dem BrustRöntgenbild der Eingabeabfrage entspricht, wobei bei der Arztempfehlung empfiehlt die zentrale Verarbeitungseinheit 116 Ärzte, die ähnliche Patienten bereits erfolgreich behandelt haben wie der Patient, der der eingegebenen Abfrage des Thorax-Röntgenbildes entspricht, wobei die zentrale Verarbeitungseinheit 116 bei der Medikamentenempfehlung Medikamente empfiehlt, die zuvor eingenommen wurden Patienten mit ähnlichen Brustinfektionen, wobei die zentrale Verarbeitungseinheit 116 für Ressourcenempfehlungen Notfallressourcen wie Sauerstoffmasken, Beatmungsgeräte und ICU empfiehlt , falls der Patient dies in Zukunft benötigt, so dass das Krankenhaus in der Lage ist, die möglicherweise erforderlichen Ressourcen im Voraus zu arrangieren.
• In einer anderen Ausführungsform werden die extrahierten Merkmalsvektoren des eingegebenen Abfragebildes und der Brust-Röntgenbilder genesener COVID-19-Patienten, die in der Datenbank vorhanden sind, weiter verwendet, um ähnliche Bilder für ein gegebenes eingegebenes Abfragebild abzurufen.
• In einer anderen Ausführungsform wird ein Ähnlichkeitsmaß verwendet, um die Top-k-ähnlichen Patienten für einen gegebenen Abfragepatienten zu finden, wobei k eine positive ganze Zahl ist und die Top-k-ähnlichen Patienten verwendet werden, um verschiedene Empfehlungen wie Ärzte, Medikamente und Ressourcen bereitzustellen an den Patienten, der dem gegebenen Eingangs-Röntgenbild des Brustkorbs entspricht.
• In einer anderen Ausführungsform umfasst das CNN-Modell einen Merkmalsvektorextraktor 120 zum Extrahieren von Infektionsmerkmalen aus Bruströntgenbildern von COVID-19-Patienten basierend auf Bildeigenschaften.
• In einer Ausführungsform einen Klassifizierer 122 zum Berechnen der Gewichtung der Merkmale zum Klassifizieren des Abfragebilds in entweder normal oder Krebs.
• In einer anderen Ausführungsform ist ein Cloud-Server 124 drahtlos mit der zentralen Verarbeitungseinheit 116 über eine Kommunikationsvorrichtung 126 gekoppelt, um die Metadaten zu speichern und das Röntgenbild des Brustkorbs abzufragen.
• In einer anderen Ausführungsform werden ein oder mehrere Ähnlichkeitsmaße aus einer Gruppe von Kosinus-Ähnlichkeit, Euklidische-Distanz-Ähnlichkeit, Jaccard-Ähnlichkeit und Maxwell-Boltzmann ausgewählt.
• In einer anderen Ausführungsform wird die Ähnlichkeit mit jedem Datenbankbild berechnet und die Top-k-Bilder aus der Krankenhausdatenbank mit der höchsten Ähnlichkeit werden für jedes Abfragebild abgerufen, wobei k die Anzahl der Empfehlungen ist, wobei ein Ähnlichkeitsschwellenwert bestimmt wird um relevante ähnliche Bilder für jedes Abfragebild zu identifizieren, und das abgerufene Datenbankbild wird als relevant angesehen, wenn es eine Ähnlichkeit aufweist, die größer oder gleich dem Schwellenwert ist.
• 2 veranschaulicht eine Architektur oder ein lokales System für das vorgeschlagene System gemäß einer Ausführungsform der vorliegenden Offenbarung. RS ist ein Softwareprogramm, das bei der Personalisierung von Benutzern hilft und auf dem Prinzip der Informationsfilterung basiert. RS hat die folgende formale Definition. P sei die Menge aller Benutzer und Q die Menge aller Elemente, die empfohlen werden können. Sei t eine Nutzenfunktion, die den Nutzen von Element q für Benutzer p misst, dh t: p × q → S, wobei S eine geordnete Menge ist. Für jeden Benutzer p ∈ P werden dann die Items q' ∈ Q empfohlen, die den Nutzen des Benutzers maximieren . Als Ergebnis kann ∀ p ∈ P, q_p' = arg max _{q ∈ Q} t (p, q) mehr angegeben werden formal. RS kann grob in vier Typen unterteilt werden.
• Content-based RS oder Cognitive RS bietet Empfehlungen basierend auf einem Vergleich des Inhalts der Artikel mit einem Benutzerprofil. Collaborative RS sammelt Präferenzen oder Geschmacksinformationen von den kollaborierenden Benutzern, um automatische Vorhersagen bezüglich der Interessen des Benutzers zu erstellen. Speicherbasiert und modellbasiert sind die zwei verschiedenen Kategorien einer kollaborativen RS. Eine speicherbasierte kollaborative RS verwendet alle Daten, um Empfehlungen basierend auf Benutzer- oder Artikelähnlichkeit bereitzustellen, während eine modellbasierte kollaborative Filter-RS die Erstellung eines Modells auf der Grundlage aller Daten beinhaltet, um Ähnlichkeiten zwischen Benutzern oder Artikeln für die Empfehlung zu erkennen Zwecke. Hybrid RS kombiniert zwei oder mehr Empfehlungstechniken auf unterschiedliche Weise, um ihre unterschiedlichen Stärken zu nutzen. Ein wissensbasierter RS filtert auf intelligente Weise eine Gruppe von Zielen, um die Präferenzen des Benutzers zu erfüllen. Es hilft bei der Überwindung der Schwierigkeiten von kollaborativen und inhaltsbasierten RSs.
• Ein RS, das in Gesundheitsanwendungen verwendet wird, um die digitalen Daten von Patienten zu analysieren und die besten Informationen gemäß ihrem Profil herauszufiltern, wird als Health Recommender System (HRS) bezeichnet. HRS kann als Entscheidungsfindungssystem betrachtet werden, das eine große Rolle in der Gesellschaft spielt, indem es Patienten über geeignete Krankheitsbehandlungen und Ärzte über gute Krankheitsdiagnosen berät.
• Faltungsneuronales Netzwerk
• Ein CNN ist ein leistungsstarkes DL-Tool zur Bildverarbeitung und -erkennung. Die grundlegende Architektur eines CNN enthält drei unterschiedliche Arten von Schichten: Convolutional, Pooling und Fully Connected.
• Faltungsschicht
• Die grundlegende Schicht von CNN ist die Faltungsschicht, die für das Extrahieren von Merkmalen und das Erkennen von Mustern in Eingabebildern verantwortlich ist. Das CNN extrahiert Low-Level- und High-Level-Features, indem es Bilder aus dem Trainingsdatensatz durch einen Filter leitet, der aus Feature-Maps und Kernels besteht. Die Ausgabe der Faltungsschicht kann wie folgt ausgedrückt werden : $$q_s^T\left(m,n\right){\displaystyle {\sum }_c{\displaystyle {\sum }_{x,y}{p}_c\left(x,y\right)g_r^s\left(u,v\right)}}$$

  

  wo $q_s^r$

  

  (m, n) ist die Faltungsschicht und p_c (x, y) ist ein Element des Eingabebildtensors p_c, multipliziert mit dem $g_r^s\left(u,v\right)$

  

  Index des s ^-ten Faltungskerns s_r der r^-ten Schicht elementweise.
• Pooling-Schicht
• Die Pooling-Schicht oder die Downsampling-Schicht sammelt vergleichbare Daten in der Nähe der Feature-Schicht und generiert die dominierende Antwort innerhalb dieser Schicht. Der Pooling-Prozess hilft bei der Extraktion einer Gruppe von Merkmalen, die invariant zu x_i sind, und kann als Gleichung (2) definiert werden. $$y_{r^s}=t_i\left(Q^{s_r}\right)$$

  

  wobei für die s-te Eingabe-Feature-Map $Q^{s_r}$

  

  die gepoolte Feature-Map der r-ten Schicht übermittelt wird $y_{r^s}$

  
• Vollständig verbundene Schicht
• Die vollständig verbundene Schicht wird für die Klassifizierung am Ende des CNN-Netzwerks verwendet. Diese Ebene verwendet die Features, die in verschiedenen Phasen des Netzwerks gesammelt wurden, als Eingabe und analysiert und vergleicht diese Features dann mit den Ergebnissen aller anderen Ebenen.
• Aktivierungsfunktion
• Die Aktivierungsfunktion modifiziert die gewichtete Summeneingabe eines Knotens für eine gegebene Schicht und verwendet sie, um diesen Knoten für eine bestimmte Eingabe zu aktivieren. Die Aktivierungsfunktion hilft beim Lernen von Merkmalsmustern, indem sie als Entscheidungsfunktion wirkt. ReLU ist eine der am häufigsten verwendeten Aktivierungsfunktionen, da sie das Gradientenproblem in CNN-Modellen handhaben kann. Mathematisch lässt sich die ReLU-Aktivierungsfunktion wie folgt definieren: $$ReLU\left(x\right)=\{\begin{array}{cc}0& x<0\\ x& x\ge 0\end{array}$$

  
• Batch-Normalisierung
• Die Stapelnormalisierung wird für die Normalisierung der Ausgabe der vorhergehenden Schichten verwendet, was bei Problemen wie internen Kovarianzverschiebungen in Feature-Maps hilfreich sein kann. Die Gleichung für die Batch-Normalisierung der transformierten Merkmalskarte $Q^{s_r}$

  

  kann wie in Gleichung (4) gezeigt definiert werden. $$B_r^s=\frac{Q_r^s-{\mu }_b}{\sqrt{{\sigma }_b^2+\epsilon }}$$

  

  wobei $B_r^s$

  

  die normalisierte Feature-Karte bezeichnet und Qrs die Eingabe-Feature-Karte darstellt. Der Mittelwert und die Varianz der Merkmalskarte werden jeweils durch µb und σ2b dargestellt. ∈ wird verwendet, um mit der numerischen Instabilität fertig zu werden, die durch die Division durch Null verursacht wird.
• Dropout und Flatten Layer
• Dropout ist eine Technik zum Hinzufügen einer Regularisierung zu einem CNN-Netzwerk, das eine Generalisierung herstellt, indem einige Verbindungen nach dem Zufallsprinzip weggelassen werden. Nach dem Entfernen einiger zufälliger Verbindungen wird das Netzwerkdesign mit dem niedrigsten Gewichtungswert als enge Annäherung aller vorgeschlagenen Netzwerke gewählt. Der Flatten-Layer wandelt die gepoolte Feature-Map in ein eindimensionales Array um, das als einzelner Feature-Vektor an den nächsten Layer übergeben wird.
• Methoden zur Merkmalsextraktion
• CNN wird in der Computervision häufig zur Merkmalsextraktion verwendet, da es relevante Merkmale aus Bildern erkennen kann, ohne dass eine menschliche Interaktion erforderlich ist, und rechnerisch effizient ist. Es gibt verschiedene CNN-Modelle für den Merkmalsextraktionsprozess. Es wird die Leistung unseres vorgeschlagenen Systems mit zwei spezifischen CNN-Modellen getestet, nämlich dem Residual Neural Network (ResNet) und der Visual Geometry Group (VGG). Es verwendet drei verschiedene Versionen von ResNet, nämlich ResNet-50, ResNet-101 und ResNet-152, und zwei Versionen von VGG, nämlich VGG-16 und VGG-19.
• ResNet
• ResNet ist ein künstliches neuronales Netzwerk, das das Problem des Trainierens sehr tiefer Netzwerke mithilfe von Restblöcken lösen kann. Mehrere Veröffentlichungen im Zusammenhang mit COVID-19 wurden mit ResNet oder der hybriden Natur von ResNet ausprobiert. Ein ResNet-Modell mit diesen Restblöcken. Eine direkte Verbindung im ResNet-Modell kann einige Schichten überspringen und wird als „Skip-Verbindung“ bezeichnet, die das Herzstück des Modells darstellt. Das Modell erzeugt aufgrund dieser übersprungenen Verbindung eine andere Ausgabe. Wenn die Verbindung nicht übersprungen wird, wird die Eingabe X mit den Gewichten der folgenden Schicht multipliziert, und dazu wird ein Bias-Term hinzugefügt. Daher kann Gleichung (5) verwendet werden, um die Ausgabefunktion des Modells zu beschreiben: $$H\left(x\right)=\{\begin{array}{c}ƒ\left(x+b\right)\\ ƒ\left(x\right)\end{array}$$

  
• Double- oder Triple-Layer-Skips mit Nichtlinearitäten (ReLU) und Batch-Normalisierung werden in den meisten ResNet-Modellen verwendet. Eine zusätzliche Gewichtsmatrix kann verwendet werden, und solche Modelle werden als „Autobahnnetze“ bezeichnet. Es verwendet drei Varianten von ResNet, nämlich ResNet-50, ResNet-101 und ResNet-152.
• VGG-Netz
• VGG Net ist ein traditionelles CNN-Modell, das aus Blöcken besteht, die jeweils aus 2D-Faltungs- und Max-Pooling-Layern bestehen. Es wurde erstellt, um die Leistung eines CNN-Modells zu verbessern, indem die Tiefe des Modells erhöht wird. Die beiden verfügbaren Versionen sind VGG16 und VGG-19. VGG-16 und VGG-19 umfassen 16 bzw. 19 Schichten von Faltungsschichten. Die VGG-Net-Architektur dient als Grundlage für modernste Objekterkennungsmodelle. Das VGG-Netz, das als Deep Neural Network (DNN) erstellt wurde, übertrifft die Basiswerte bei einer Vielzahl von Aufgaben und Datensätzen. Kleine Faltungsfilter werden verwendet, um das VGG-Netzwerk aufzubauen. VGG-16 und VGG-19 sind zwei verschiedene Versionen von VGG, die zum Testen unseres vorgeschlagenen Systems verwendet werden.
• Ähnlichkeitsmaße
• Das Ähnlichkeitsmaß ist ein Mittel zur Bestimmung, wie eng Datenproben verwandt sind. Es spielt eine wichtige Rolle in der Computervision, indem es beim Vergleich zweier Bilder hilft, indem es ihre Merkmalsvektorähnlichkeit bestimmt. Das vorgeschlagene Modell verwendet das Kosinus-Ähnlichkeitsmaß , um die Ähnlichkeit zwischen zwei Merkmalsvektoren zu berechnen, um die Bilder zu finden, die dem Eingabebild am ähnlichsten sind, die weiter für den Empfehlungsprozess verwendet werden.
• Kosinus-Ähnlichkeitsmaß
• Die Ähnlichkeit zwischen zwei Vektoren unter Verwendung der Kosinusähnlichkeit kann wie folgt berechnet werden: $$CosSin\left(U,V\right)=\frac{U.V}{\Vert U\Vert \Vert V\Vert }=\frac{{\displaystyle {\sum }_{i=1}^n{U}_i{V}_i}}{\sqrt{{\displaystyle {\sum }_{i=1}^n{U}_i^2\sqrt{{\displaystyle {\sum }_{i=1}^n{V}_i^2}}}}}$$

  

  wobei U und V zwei Vektorkomponenten darstellen. Die Cosinus-Ähnlichkeit wird auf einer Skala von 0 bis 1 gemessen, wobei 0 keine Ähnlichkeit darstellt und 1 100 % Ähnlichkeit darstellt. Alle anderen Werte im Bereich [0, 1] zeigen den äquivalenten Prozentsatz an Ähnlichkeit.
• Euklidisches Abstands-Ähnlichkeitsmaß
• Die euklidische Ähnlichkeit zwischen den Bildvektoren U und V kann wie folgt berechnet werden: $$EucSim=\sqrt{{\displaystyle {\sum }_{i=1}^n\left(U_i-V_i\right)}}$$

  
• Die euklidische Ähnlichkeit wird ebenfalls auf einer Skala von 0 bis 1 gemessen, wobei 0 keine Ähnlichkeit darstellt und 1 100 % Ähnlichkeit darstellt. Alle anderen Werte im Bereich [0, 1] geben den äquivalenten Ähnlichkeitsprozentsatz wieder.
• Jaccard-Ähnlichkeitsmaß
• Die Jaccard-Ähnlichkeit ist ein beliebtes Näherungsmaß, das verwendet wird, um die Ähnlichkeit zwischen zwei Objekten zu bestimmen. Die Jaccard-Ähnlichkeit wird berechnet, indem die Anzahl der Beobachtungen in beiden Sätzen durch die Anzahl der Beobachtungen in jedem Satz dividiert wird. Es wird auch auf einer Skala von 0 bis 1 bewertet, wobei 0 keine Ähnlichkeit und 1 vollständige Ähnlichkeit anzeigt. Alle anderen Werte im Bereich [0, 1] entsprechen dem gleichen Prozentsatz an Ähnlichkeit. Die Ähnlichkeit zwischen zwei Vektoren unter Verwendung der Jaccard-Ähnlichkeit kann wie folgt berechnet werden: $$JacSim\left(U,V\right)=\frac{\left|U\cap V\right|}{\left|U\cup V\right|}$$

  
• Maxwell-Boltzmann-Ähnlichkeitsmaß
• Die Maxwell-Boltzmann-Ähnlichkeit ist ein beliebtes Ähnlichkeitsmaß für die Klassifizierung und Clusterbildung von Dokumenten. Sie wird anhand der Gesamtverteilung der Merkmalswerte und der Gesamtzahl der in den Dokumenten gefundenen Merkmale ungleich Null berechnet. Der Unterschied zwischen den beiden Dokumenten wird wie folgt dargestellt:
• Wo, $$D\left(\text{U},\text{V}\right)\approx log\frac{N_D}{G_D},$$

  

  $$N_D=\{\begin{array}{ccc}0.5\ast {\displaystyle \sum {\left(U_k-V_k\right)}^2}& if& U_k\mathbf{und}{V}_k>0\\ {\lambda }_k{}^q\ast 0.5\ast {\displaystyle \sum {\left(U_k\right)}^2}& if& U_k>0\mathbf{und}{V}_k=0\\ {\lambda }_k{}^q\ast 0.5\ast {\displaystyle \sum {\left(V_k\right)}^2}& if& V_k>0\mathbf{und}{U}_k=0\\ 0& & \mathbf{andernfalls}\end{array}$$

  

  und $$G_D=\{\begin{array}{ccc}tnz& & \\ & tnzu& \\ & tnzv& \\ & & 0\end{array}\begin{array}{cc}if& U_k\mathbf{und}{V}_k>0\\ if& U_k>0\mathbf{und}{V}_k=0\\ if& V_k>0\mathbf{und}{U}_k=0\\ & \mathbf{andernfalls}\end{array}$$

  
• Woher,
  tnz = die Gesamtzahl der Attribute ungleich Null,
  tnzu = die Gesamtzahl der Merkmale von U mit Elementen ungleich Null,
  tnzv = die Gesamtzahl der Merkmale von V mit Elementen ungleich Null,
  0 < λ < 1, k bezeichnet Merkmale und q bezeichnet die Anzahl der Anwesenheits-Abwesenheits-Paare. Die Maxwell-Boltzmann-Ähnlichkeit wird aus dem Wert von D wie folgt berechnet: $$MaxwellBoltzSim\left(U,V\right)=\frac{1}{1+D}$$

  
• Im Allgemeinen basieren auf maschinellem Sehen basierende RSs auf der Annahme, dass ein Benutzer ein Bild eines Produkts einreicht oder auswählt, und dem Benutzer dann ähnliche ProdukteBilder bereitgestellt werden. Die vorgeschlagene Methode weicht geringfügig von dieser Annahme ab, da sie Merkmale aus früheren Röntgenaufnahmen des Brustkorbs von COVID-19-Patienten extrahiert und einige Metadateninformationen zu Behandlungsalternativen auf der Grundlage dieser Bilder empfiehlt.
• Der vorgeschlagene Rahmen zielt darauf ab, Krankenhäusern während der COVID-19-Pandemie Notfalllösungen bereitzustellen, indem die Informationen früherer COVID-19-Patienten verwendet werden, die sich erfolgreich aus dem Krankenhaus erholt haben. Daher wird auch davon ausgegangen, dass die Krankenhausdatenbank, die zur Umsetzung des vorgeschlagenen RS verwendet wird, die Thorax-Röntgenbilder von COVID-19-Patienten enthält, die sich aus dem Krankenhaus erholt haben, zusammen mit den Metadaten (zugehörige Informationen) wie Ärzte, die den Patienten untersucht haben, Medikamente und Ressourcen (ICU, Sauerstoffmaske und Beatmungsgerät), die dem Patienten zur Verfügung gestellt werden. Die Architektur oder das lokale System für den vorgeschlagenen RS ist in dargestellt und besteht aus zwei Hauptphasen: Feinabstimmung von CNN-Modellen für Merkmalslernen (Phase-1) und Empfehlung (Phase-2). Phase 1 des Systems ist ein Offline-System, während Phase 2 ein Online-System ist.
• Die Gesamttechnik des vorgeschlagenen Frameworks wird ebenfalls bereitgestellt. Die Technik veranschaulicht den grundlegenden Arbeitsablauf des vorgeschlagenen Systems. Das System verwendet das Röntgenbild des Brustkorbs eines neuen Patienten als Eingabe und empfiehlt Ärzte, Medikamente und Krankenhausressourcen als Ausgabe. Es verwendet ein CNN-Modell, um die Merkmalsvektoren des eingegebenen Thorax-Röntgenbildes und aller Thorax-Röntgenbilder früherer COVID-19-Patienten, die in der Krankenhausdatenbank gespeichert sind, zu extrahieren. Es verwendet ein Ähnlichkeitsmaß, um die ähnlichsten COVID-19-Patienten zu einem neuen Patienten zu berechnen, und verwendet die damit verbundenen Metadaten für die Empfehlungen, die im Testprotokoll dargestellt werden.
• 3 veranschaulicht eine Phase-1 des vorgeschlagenen Systems gemäß einer Ausführungsform der vorliegenden Offenbarung. In Phase 1 lernt das vorgeschlagene Verfahren, Infektionsmerkmale aus Röntgenbildern des Brustkorbs von COVID-19-Patienten anhand von Bildmerkmalen zu extrahieren. Ein CNN-Modell wird darauf trainiert, diese Merkmale zu lernen, indem diese Thorax-Röntgenbilder in die jeweiligen Lungenzustandskategorien (von denen eine COVID-19 sein sollte) klassifiziert werden, wie sie in den Trainingsdaten vorhanden sind. Die Architektur eines CNN-Modells besteht aus zwei Komponenten (1) Merkmalsvektorextraktor und (2) Klassifizierer 122, wie in 3 gezeigt.
• Auf mehrere Faltungsschichten folgen Max-Pooling und eine Aktivierungsfunktion im Merkmalsextraktionsprozess. Typischerweise besteht der Klassifizierer 122 aus vollständig verbundenen Schichten. Der vorgeschlagene Ansatz verwendet eine Feinabstimmungsmethode, die häufiger in der Radiologieforschung verwendet wird. Es beinhaltet nicht nur das Ersetzen der vollständig verbundenen Schichten des vortrainierten Modells durch einen neuen Satz, um sie auf dem gegebenen Datensatz neu zu trainieren, sondern auch die Verwendung von Back-Propagation, um einige der Schichten in der vortrainierten Faltungsbasis zu optimieren. Die binäre Kreuzentropieverlustfunktion wird zur Optimierung beim Training der CNN-Modelle verwendet. Der binäre Kreuzentropieverlust kann durch die folgende Gleichung definiert werden: $$\text{Verlust}=-\frac{1}{N}{\displaystyle {\sum }_{t=1}^N{y}_i\text{ log}\left(p\left(y_i\right)\right)+\left(1-y_i\right).\text{ log}\left(1-p\left(y_i\right)\right)}$$

  
• Während des Trainings werden auch die ReLU-Aktivierungsfunktion und ihre Variationen verwendet, da sie das Problem verschwindender Gradienten lösen können, das häufig in CNN-Modellen auftritt. Vor dem Training des Modells für das Merkmalslernen verwendet die vorgeschlagene Methode spezifische Bildtransformationen oder -erweiterungen, wie in Phase 1 gezeigt. Dadurch kann das Modell besser an die enormen Variationen im interessierenden Bereich (Lunge) innerhalb des Bildes angepasst werden. mit weniger Betonung auf Standort, Ausrichtung und Größe. Modelle, die mit Datentransformationen trainiert werden, verbessern mit größerer Wahrscheinlichkeit die Leistung von CNN bei Bilddatensätzen und machen sie allgemeiner. In dieser Phase kann jedes effiziente CNN-Modell wie VGG oder ResNet trainiert werden. Die trainierten Modellgewichte werden dann gespeichert, und die fein abgestimmte Faltungsbasis wird dann in Phase 2 verwendet, um Merkmale zu extrahieren.
• 4 veranschaulicht einen Datenfluss des vorgeschlagenen Systems gemäß einer Ausführungsform der vorliegenden Offenbarung. Phase 2 des vorgeschlagenen Ansatzes wird verwendet, um Empfehlungen basierend auf den Merkmalen bereitzustellen, die aus Röntgenbildern unter Verwendung der fein abgestimmten Faltungsbasis aus Phase 1 erhalten wurden, die in Phase 2 als Merkmalsextrahierung dient. Die jedem Bild zugeordneten Metadaten in der Datenbank wird verwendet, um Empfehlungen wie Ärzte, Medikamente und Ressourcen bereitzustellen. Als Empfehlung verwendet das System ähnliche Patienten aus der Datenbank, die aufgrund von COVID-19 dieselbe Art von Infektion in der Brust haben wie der Patient, der dem Röntgenbild des Brustkorbs der Eingabeabfrage entspricht. Bei der Arztempfehlung empfiehlt es Ärzten, die ähnliche Patienten bereits erfolgreich behandelt haben, dem Patienten, der der eingegebenen Abfrage eines Röntgen-Thoraxbildes entspricht. Bei der Arzneimittelempfehlung empfiehlt das System Arzneimittel, die bereits von zuvor genesenen Patienten mit ähnlichen Brustinfektionen eingenommen wurden. Für Ressourcenempfehlungen werden Notfallressourcen wie Sauerstoffmasken, Beatmungsgeräte und Intensivstationen empfohlen, falls der Patient dies in Zukunft benötigt, damit das Krankenhaus diese Ressourcen im Voraus organisieren kann. Phase 2 des vorgeschlagenen Verfahrens ist wiederum in zwei Teilphasen (1) Merkmalsvektorextraktion und (2) ähnlichkeitsbasiertes Abrufen unterteilt.
• Feature-Vektor-Extraktion
• Die Elemente oder Muster eines Objekts in einem Bild, die bei seiner Identifizierung helfen, werden als „Merkmale“ bezeichnet. Die Merkmalsextraktion ist ein Schritt im Dimensionsreduktionsprozess, der eine große Sammlung von Rohdaten in kleinere Gruppierungen aufteilt und reduziert. Es hilft dabei, die nützlichsten Informationen aus höherdimensionalen Daten zu extrahieren, indem Variablen ausgewählt und zu Merkmalen zusammengeführt werden, wodurch die Datenmenge minimiert wird. Diese Funktionen sind einfach zu bedienen und beschreiben die echte Datenerfassung einzigartig und genau. CNNs zeichnen sich dadurch aus, dass sie komplexe Merkmale in Form von Merkmalsvektoren extrahieren, die das Bild sehr detailliert darstellen, aufgabenspezifische Merkmale lernen und gleichzeitig äußerst effizient sind. Daher verwendet das vorgeschlagene Verfahren CNN-basierte Merkmalsextraktoren, die aus Phase 1 erhalten wurden, um Merkmale der Infektion zu extrahieren, die in den Röntgenbildern des Brustkorbs von COVID-19-Patienten vorhanden sind.
• Die Merkmalsvektorextraktion wird sowohl auf das eingegebene Abfragebild als auch auf die Röntgenbilder des Brustkorbs von COVID-19-Patienten angewendet, die in der Krankenhausdatenbank vorhanden sind. Die vorgeschlagene Technik beschreibt den Merkmalsvektor-Extraktionsprozess. Die extrahierten Merkmalsvektoren werden jedoch weiter für einen ähnlichkeitsbasierten Abruf ausgenutzt.
• Ähnlichkeitsbasierter Abruf
• Die extrahierten Merkmalsvektoren des eingegebenen Abfragebildes und der Bruströntgenbilder genesener COVID-19-Patienten, die in der aus dem vorherigen Schritt erhaltenen Datenbank vorhanden sind, werden weiter verwendet, um ähnliche Bilder für ein gegebenes eingegebenes Abfragebild abzurufen. Das System verwendet das Kosinus-Ähnlichkeitsmaß, um die Top-k-ähnlichen Patienten für einen gegebenen Suchpatienten zu finden, wobei k eine positive ganze Zahl ist. Das System verwendet ferner diese Top-k-ähnlichen Patienten, um dem Patienten verschiedene Empfehlungen wie etwa Ärzte, Medikamente und Ressourcen bereitzustellen, die dem gegebenen Eingangs-Röntgenbild des Brustkorbs entsprechen. Die Ärzte, Medikamente und Ressourcen, die diesen ähnlichen Patienten zugeteilt wurden, werden dem Anfragepatienten empfohlen.
• 5 veranschaulicht, dass Tabelle 1 einen Datensatz zum Training und zur Verifizierung darstellt, einen DFCV-Datensatz zur Kreuzvalidierung gemäß einer Ausführungsform der vorliegenden Offenbarung.
• 6 veranschaulicht, dass Tabelle 2 die mittlere durchschnittliche Genauigkeit @5 für DFTV- und DFCV-Datensätze unter Verwendung des Resnet-50-CNN-Modells gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
• 7 zeigt Tabelle 3 zeigt AUC und p-Wert für die CNN-Modelle gemäß einer Ausführungsform der vorliegenden Offenbarung.
• Versuchsprotokoll
• Um die Wirksamkeit des vorgeschlagenen Ansatzes zu überprüfen, werden die experimentelle Umgebung, die Datensatzbeschreibung, die Vorverarbeitung der Datensätze und die zugehörigen Ergebnisse der Experimente diskutiert.
• Beschreibung des Datensatzes
• Für die Implementierung und Leistungsbewertung unseres vorgeschlagenen Modells werden zwei Datensätze verwendet, einschließlich der Röntgenaufnahmen des Brustkorbs von COVID-19-Patienten. Die detaillierten Beschreibungen der Datensätze finden sich in Tabelle 1. Der „Datensatz für Training und Verifizierung (DFTV)“ dient zum Trainieren der CNN-Modelle und dient auch zur Analyse der Modellleistung. Es wird nach dem KS-Protokoll im Verhältnis 8:1:1 in Trainings-, Validierungs- und Testsätze aufgeteilt, bevor die Modelle trainiert werden. Insgesamt werden 16.932 Bilder für das Training und 2116 Bilder für Tests verwendet. Für die Leistungsanalyse unseres vorgeschlagenen Empfehlungsmodells werden alle Bilder der COVID-Klasse in diesem Datensatz auch noch einmal separat genommen und in fünf verschiedene Teilmengen gleicher Größe aufgeteilt, nämlich DFTV-1, DFTV-2, DFTV-3, DFTV- 4 und DFTV-5. Der zweite Datensatz, „Dataset for Cross Verification (DFCV)“, wird als Datensatz für die Cross-Verifizierung der Systemleistung auf völlig neuen Daten verwendet, die von den CNN-Modellen nicht gesehen werden. Es ist auch in fünf Untergruppen gleicher Größe aufgeteilt, nämlich DFCV-1, DFCV-2, DFCV-3, DFCV-4 und DFCV-5.
• Datenvorverarbeitung
• Zuerst werden die Bilder zufällig zugeschnitten und auf 224 × 224 verkleinert und dann zufällig um 30 Grad gedreht, bevor sie zum Training in das CNN-Modell gehen. In Phase 2 des Ansatzes werden die Abfrage und die Datenbankbilder vorverarbeitet, bevor die Merkmalsextraktion stattfand. Die Thorax-Röntgenbilder werden zunächst auf 225 × 225 verkleinert und dann auf die Größe 224 × 224 zugeschnitten, was die Eingabe in ResNet- und VGG-Architekturen erleichtert.
• Die Ergebnisse des vorgeschlagenen Systems werden basierend auf den zwei Phasen des Systems unterteilt. Die Leistung von Offline- (Phase-1) und Online-Systemen (Phase-2) wird anhand verschiedener CNN-Modelle und Ähnlichkeitsmaße bewertet.
• Die Ergebnisse werden für die zwei Phasen des vorgeschlagenen Systems erhalten. In Phase 1 werden die Ergebnisse durch die Feinabstimmung des CNN-Modells ermittelt. In Phase 2 werden die Ergebnisse erfasst und aus dem Empfehlungsprozess gewonnen. Die Ergebnisse werden erhalten, indem sowohl die DFTV- als auch die DFCV-Datensätze berücksichtigt werden.
• In Phase 1 des vorgeschlagenen Systems wird das CNN-Modell feinabgestimmt, und das Modell wird für die weitere Verwendung in Phase 2 gespeichert. Das Training wird unter Verwendung des Optimierers für stochastischen Gradientenabstieg (SGD) durch eine binäre Kreuzentropieverlustfunktion auf dem optimiert DFTV-Datensatz. Die in den Ergebnissen verwendeten Metriken sind in den folgenden Gleichungen definiert. $$\text{Pr}\ddot{\text{a}}\text{zision}=\frac{TP}{TP+FP}$$

  

  $$\text{R}\ddot{\text{u}}\text{ckruf}=\frac{TP}{TP+FN}$$

  

  $$F1-\text{Ergebnis}=2\left(\frac{\text{Pr}\ddot{\text{a}}\text{zision}*\text{R}\ddot{\text{u}}\text{chruf}}{\text{Pr}\ddot{\text{a}}\text{zision}+\text{R}\ddot{\text{u}}\text{ckruf}}\right)$$

  

  $$\text{Genauigkeit}=\frac{TP+TN}{\text{Gr}\ddot{\text{o}}\text{ße des Datensatzes}}$$

  
• Woher,
  TP ist das wahre Positiv, und das ist der Fall, wenn das Modell die positive Klasse korrekt vorhersagt.
  TN ist das wahre Negativ, und in diesem Fall sagt das Modell die Negativklasse korrekt voraus.
  FP ist das falsche Positiv, und das ist der Fall, wenn das Modell die positive Klasse falsch vorhersagt.
  FN ist das falsche Negativ, und das ist der Fall, wenn das Modell die negative Klasse falsch vorhersagt.
• Es zeigt sich, dass die gewichtete Genauigkeit, der Erinnerungswert und der f 1 -Score aller CNN-Modelle zwischen 0.90 und 0.95 liegen. Die durchschnittliche gewichtete Genauigkeit, Erinnerung und der f1-Wert aller fünf CNN-Modelle betragen 0.938, 0.936 bzw. 0.936.
• Phase 2: Empfehlung - Online-System
• Die aus Phase 1 erhaltenen endgültigen Gewichte des fein abgestimmten CNN-Modells werden in Phase 2 zur Merkmalsextraktion verwendet. Die Gewichtungen werden für die Merkmalsextraktion sowohl des Abfragebildes als auch der Datenbankbilder verwendet. Die Ähnlichkeit des Merkmalsvektors, der dem eingegebenen Abfragebild entspricht, wird bezüglich aller Merkmalsvektoren bestimmt, die den Datenbankbildern entsprechen. Die vier Ähnlichkeitsmaße, nämlich Kosinus-Ähnlichkeit, Euklidische Distanz-Ähnlichkeit, Jaccard-Ähnlichkeit und Maxwell-Boltzmann-Ähnlichkeit, werden zur Bewertung der Leistung des vorgeschlagenen Systems betrachtet. Die Ergebnisse werden erhalten, indem alle Bilder der COVID-19-Klasse aufgenommen werden, die in jedem Datensatz vorhanden sind. Für jeden Datensatz gelten 80 % dieser Bilder als Krankenhausdatenbankbilder, d. h. Röntgenaufnahmen des Brustkorbs von COVID-19-Patienten des Krankenhauses, die früher genesen sind. Die Merkmalsvektoren sind bereits extrahiert und im Backend gespeichert, und die verbleibenden 20 % der Bilder gelten als neue Eingangsabfragebilder, dh Bruströntgenbilder neuer Patienten. Für jedes Abfragebild werden die berechnete Ähnlichkeit mit jedem Datenbankbild und die Top-k-Bilder aus der Krankenhausdatenbank mit der höchsten Ähnlichkeit abgerufen, wobei k die Anzahl der Empfehlungen ist. Ein „Schwellenwert (T)“ der Ähnlichkeit wird festgelegt, um relevante ähnliche Bilder für jedes Abfragebild zu identifizieren. Ein abgerufenes Datenbankbild wird als relevant angesehen, wenn es eine Ähnlichkeit hatte, die größer oder gleich dem Schwellenwert war, wie in Gleichung (18) definiert.
• Relevante Empfehlung = abgerufenes Datenbankbild mit Kosinusähnlichkeit ≥ T. (18)
• Der Schwellenwert wird zwischen 0,7 und 0,95 variiert, um verschiedene Szenarien zu analysieren. Dieser Schwellenwert stellt die minimale Ähnlichkeit von Bildmerkmalen in der Röntgenaufnahme des Brustkorbs dar, die erforderlich ist, damit die empfohlenen Medikamente, Ärzte und Ressourcen als gültig angesehen werden. Dieser Schwellenwert kann nach Rücksprache mit einem Arzt für die praktische Anwendung festgelegt werden.
• Für den Eingabeabfragesatz wird der Durchschnitt der höchsten Ähnlichkeit, die dem ähnlichsten Bild (Top-1) für jede Abfrage entspricht, berechnet und als die durchschnittliche höchste Ähnlichkeit (AHS) unseres vorgeschlagenen Verfahrens bezeichnet. Die durchschnittlich höchste Ähnlichkeit, die bei verschiedenen Datensätzen unter Verwendung unterschiedlicher Ähnlichkeitsmaße und CNN-Modelle für die Merkmalsextraktion beobachtet wurde.
• Die Leistung der verschiedenen Ähnlichkeitsmaße kann analysiert werden. Es wird beobachtet, dass der Mittelwert von AHS aller Datensätze für Maxwell-Boltzmann-Ähnlichkeit maximal ist. Die Leistung des Kosinus-Ähnlichkeitsmaßes ist näher an der Maxwell-Boltzmann-Ähnlichkeit. Die zusammengesetzten Mittel und die Standardabweichung von AHS unter Berücksichtigung aller Datensätze für alle Modelle werden dargestellt. Die Leistung der verschiedenen CNN-Modelle wird unter Berücksichtigung der Maxwell-Boltzmann-Ähnlichkeit weiter analysiert.
• Die Metrik der mittleren durchschnittlichen Präzision (MAP@k) wird verwendet, um die Leistung von Phase 2 (Online-System) des vorgeschlagenen RS zu bewerten, die in der folgenden Gleichung (19) definiert ist. $$MAP@K=\frac{1}{N}{\displaystyle {\sum }_{m=1}^n\left(p\left(m\right)\times rel\left(m\right)\right)}$$

  

  wobei N die Gesamtzahl der Benutzer oder die Länge des Eingabeabfragesatzes bezeichnet, k die Anzahl der Empfehlungen des Empfehlungssystems bezeichnet und P(m) die Genauigkeit bis zu den ersten m Empfehlungen bezeichnet. rel(m) ist eine Relevanzindikatorfunktion für jedes empfohlene Element, die 1 zurückgibt, wenn das m-te Element ein relevantes empfohlenes Röntgenbild des Brustkorbs ist, mit einer Ähnlichkeit, die höher als der Schwellenwert T ist, und andernfalls 0. Um die Leistung unseres vorgeschlagenen RS zu überprüfen, wird MAP@k für k = 5 und k = 10 bestimmt. Die Werte, die für MAP@k für k = 5 und k = 10 unter Verwendung der fünf CNN-Merkmalsextraktionsmodelle erhalten wurden, sind aufgelistet.
• Aufgrund der Nichtverfügbarkeit der Rauschunterdrückungstechnik im vorgeschlagenen RS kann die Qualität der Empfehlung jedoch aufgrund des Vorhandenseins von Rauschen in den Thorax-Röntgenbildern beeinträchtigt werden. Denoising kann in den Offline- und Online-Systemen durchgeführt werden. Entrauschen ist eine berechnungsintensive Operation. Daher schadet das Offline-Denoising dem System nicht so sehr, aber das Online-System muss Hardware-interaktiv sein. Auch die geringe Auflösung von Thorax-Röntgenbildern kann die Qualität der Empfehlungen beeinträchtigen. Aufgrund der begrenzten Anzahl von Bildern, die für die Ähnlichkeitsberechnung zur Verfügung stehen, kann eine kleine Datenbankgröße zu falschen Empfehlungen führen. Eine große Datenbankgröße kann zu einer längeren Trainingszeit führen. Während in der Studie grundlegende ResNet-basierte Systeme verwendet wurden, kann dies auf hybride ResNet-Systeme erweitert werden.
• In Zukunft könnte es ausgefeiltere Merkmalsextraktionstechniken anwenden, indem es die verschiedenen Deep-Learning-Modelle fusioniert, um genaue Empfehlungen zu erhalten. Bessere Ähnlichkeitsverfahren können untersucht werden, um die Effizienz des vorgeschlagenen Systems zu steigern. Es könnte auch durch Anwendung von Segmentierungstechniken verbessert werden, um das System robuster zu machen. Es kann auch auf Cloud-Einstellungen und Big-Data-Plattformen erweitert werden.
• Durch diese Studie wird ihr ein RS zur Behandlung von COVID-19-Patienten auf der Grundlage von Röntgenbildern des Brustkorbs angeboten. Die vorgeschlagene RS ist in zwei Phasen unterteilt. In Phase 1 hat das vorgeschlagene System die CNN-Modelle für die Merkmalsextraktion in Phase 2 fein abgestimmt. In Phase 2 wird das fein abgestimmte CNN-Modell verwendet, um Merkmale sowohl aus der Röntgenaufnahme des Brustkorbs eines neuen COVID-19- Patienten als auch aus dem zu extrahieren Röntgenaufnahmen des Brustkorbs von COVID-19-Patienten, die in der Krankenhausdatenbank vorhanden sind und bereits erfolgreich behandelt wurden. Die Top-k-Bilder, die dem eingegebenen Abfragebild eines neuen COVID-19-Patienten ähnlich sind, werden bestimmt und weiter zur Empfehlung verwendet. In seiner Empfehlung empfiehlt der vorgeschlagene RS Ärzte, Medikamente und Ressourcen für neue COVID-19-Patienten gemäß den Metadateninformationen ähnlicher Patienten.
• Die vorgeschlagene RS, die mit dem CNN-Modell zur Merkmalsextraktion von ResNet-50 implementiert wurde, liefert die höchste MAP@k mit k = 5 (Top-5) und k = 10 (Top-10) für alle Datensätze mit höheren Schwellenwerten für Ähnlichkeit. Das vorgeschlagene RS mit ResNet-50 CNN-Merkmalsextraktionsmodell erweist sich als geeigneter Rahmen für die Behandlungsempfehlung mit einer mittleren durchschnittlichen Präzision (MAP) von mehr als 0,90 für die Schwellenähnlichkeiten im Bereich von 0,7 bis 0,9. Die Ergebnisse der vorgeschlagenen Studie werden unter Verwendung verschiedener Parameter hypothetisiert und validiert. Die vorgeschlagene RS geht davon aus, dass die Krankenhausdatenbank verwandte Metadaten enthält, wie z. B. Informationen über die untersuchten Ärzte, Medikamente und einem Patienten zugewiesene Ressourcen. Die größte Einschränkung unseres vorgeschlagenen Systems besteht darin, dass es die damit verbundenen physiologischen Parameter wie Zuckerspiegel, Blutdruck und andere damit verbundene Parameter nicht berücksichtigt, die den Zustand eines COVID-19-Patienten mit ähnlichen Brustinfektionen beeinflussen können. In Zukunft kann die vorgeschlagene RS durch Berücksichtigung dieser Parameter für bessere Empfehlungen verbessert werden.
• Die Zeichnungen und die vorstehende Beschreibung geben Ausführungsbeispiele. Der Fachmann wird erkennen, dass eines oder mehrere der beschriebenen Elemente gut zu einem einzigen Funktionselement kombiniert werden können. Alternativ können bestimmte Elemente in mehrere Funktionselemente aufgeteilt werden. Elemente von einer Ausführungsform können zu einer anderen Ausführungsform hinzugefügt werden. Beispielsweise können hierin beschriebene Reihenfolgen von Prozessen geändert werden und sind nicht auf die hierin beschriebene Weise beschränkt. Darüber hinaus müssen die Aktionen irgendeines Flussdiagramms nicht in der gezeigten Reihenfolge implementiert werden; auch müssen nicht unbedingt alle Handlungen durchgeführt werden. Auch solche Handlungen, die nicht von anderen Handlungen abhängig sind, können parallel zu den anderen Handlungen durchgeführt werden. Der Umfang der Ausführungsformen ist keineswegs durch diese spezifischen Beispiele beschränkt. Zahlreiche Variationen, ob ausdrücklich in der Beschreibung angegeben oder nicht, wie Unterschiede in Struktur, Abmessung und Materialverwendung, sind möglich. Der Umfang der Ausführungsformen ist mindestens so breit wie durch die folgenden Ansprüche angegeben.
• Vorteile, andere Vorzüge und Problemlösungen wurden oben in Bezug auf spezifische Ausführungsformen beschrieben. Die Vorteile, Vorzüge, Problemlösungen und Komponenten, die dazu führen können, dass Vorteile, Vorzüge oder Lösungen auftreten oder stärker ausgeprägt werden, sind jedoch nicht als kritische, erforderliche oder wesentliche Merkmale oder Komponenten von auszulegen einige oder alle Ansprüche.
• Bezugszeichenliste

100

Ein Empfehlungssystem für die optimierte Behandlung von Covid-19 unter Verwendung von Faltungsnetzwerken .

102

Trainingsprozessor

104

Datenerfassungseinheit

106

Vorverarbeitungseinheit

108

CNN-Klassifikatormodell

110

Eingabeeinheit

112

Vorprozessor

114

Einheit zur Extraktion von Merkmalsvektoren

116

Zentrale Verarbeitungseinheit

118

Grafische Benutzeroberfläche

120

Merkmalsvektor-Extrahierer

122

Klassifikator

124

Cloud-Server

126

Kommunikationsgerät

202

Offline-Modus

204

Trainings-DB

206

Vor-Verarbeitung

208

Verarbeitete DB

210

Trainingssystem oder Merkmalsextraktion

212

Verarbeiteter DB

214

GT

216

CNN

218

Online-Modus

220

Test-DB

222

Vor-Verarbeitung

224

Verarbeitete Daten

226

Ähnlichkeitsberechnung

228

Top-K ähnliche Bilder

230

Empfehlungssystem

232

Empfehlung an Patienten

234

Ärzte

236

Medikamente

238

Ressourcen

240

SM*

302

Trainingsdaten

304

CNN-Modell

306

Merkmalsvektor-Extraktor

307

Vortrainierte Faltungsbasis

308

Feinabgestimmte Faltungsdatenbank (Convolutional Base)

312

Klassifikator

314

Trainingsmodell-Gewichte

316

Feinabgestimmtes CNN-Modell für die Merkmalsextraktion

402

Zugehörige Metadaten

404

Röntgenbild-Datenbank

406

Abfrage Röntgenbild

408

Merkmalsextraktion mit fein abgestimmtem CNN-Modell

410

Extrahierter Merkmalsvektor der Datenbankbilder

412

Ähnlichkeitsberechnung des Merkmalsvektors

414

Abruf der Top-K ähnlichen Röntgenbilder

416

Extrahierter Merkmalsvektor von Abfragebildern

418

Abfrage von Metadaten, die mit Top-K ähnlichen Röntgenbildern assoziiert sind

420

Empfehlung von Ressourcen

422

Empfehlung von Medikamenten

424

Arzt-Empfehlung

Claims (10)

1. Ein Empfehlungssystem zur optimierten Behandlung von Covid-19 unter Verwendung eines Faltungsnetzwerks, das System umfasst: ein Trainingsprozessor umfassend: eine Datenerfassungseinheit zum Erfassen der Brust-Röntgenbilder von COVID-19 als Trainingsdaten; eine Vorverarbeitungseinheit zum zufälligen Zuschneiden der Brust-Röntgenbilder auf 224 × 224 und Drehen um 30°; ein Convolutional Neural Network (CNN)-Klassifikatormodell zum Empfangen die transformierten Röntgenbilder des Brustkorbs zur Feinabstimmung und zum Training des CNN-Klassifikatormodells, wodurch die extrahiert werden gewünschte Merkmale der Ausgabeschicht und Speichern des CNN-Klassifikatormodells; eine Eingabeeinheit 110 zum Sammeln eines oder mehrerer Abfrage-Thorax-Röntgenbilder eines Patienten; eine Vorverarbeitungseinheit zum Ändern der Größe der Brust-Röntgenbilder von 225 × 225 und zum Durchführen eines Mittenausschnitts von 224 × 224; eine Merkmalsvektor-Extraktionseinheit zum Extrahieren von Merkmalsvektoren von Abfrage-Thorax-Röntgenbildern unter Verwendung des vorab trainierten CNN-Modells; eine zentrale Verarbeitungseinheit zum Klassifizieren des Anfragebilds in eines von normal oder Krebs und Erzeugen einer Empfehlungsausgabe einschließlich Ärzten, Medikamenten und Ressourcen, die in einem abgerufenen Metadatensatz vorhanden sind, für den Patienten beim Vergleichen des Anfragebild-Merkmalsvektors mit den gespeicherten Datenbank-Merkmalsvektoren unter Verwendung des CNN-Modells; und eine graphische Benutzerschnittstelle zum Anzeigen der normalen oder Krebsausgaben, die durch das CNN-Modell dargestellt werden, einschließlich Empfehlungen für Ärzte, Medikamente und Ressourcen.
2. System nach Anspruch 1, wobei die Erzeugung der Empfehlungsausgabe umfasst: Berechnen der Ähnlichkeit des Abfragebild-Merkmalsvektors mit den gespeicherten Datenbank-Merkmalsvektoren; Finden der Top-k ähnlichen Merkmalsvektoren in der Datenbank, wobei k eine positive ganze Zahl ist; Abrufen der Brust-Röntgenbilder mit ihren Aufzeichnungen von Metadaten aus der Datenbank, die den Top-k-ähnlichen Merkmalsvektoren entsprechen; und die in den abgerufenen Metadatensätzen enthaltenen Ärzte, Medikamente und Hilfsmittel dem neuen Patienten als Ausgabe empfehlen.
3. System nach Anspruch 1, wobei das System so konfiguriert ist, dass es sowohl im Offline-Modus (dh Phase 1) als auch im Online-Modus (dh Phase 2) arbeitet, wobei im Offline-Modus eine Reihe von Infektionsmerkmalen aus COVID-19 extrahiert werden Thorax-Röntgenbilder von Patienten auf der Grundlage von Bildeigenschaften und das CNN-Modell wird trainiert, um die Merkmale zu lernen, indem die Thorax-Röntgenbilder in die jeweiligen Lungenzustandskategorien klassifiziert werden, wie sie in den Trainingsdaten vorhanden sind, während der Online-Modus liefert Empfehlungen basierend auf den aus Röntgenbildern erhaltenen Merkmalen unter Verwendung der fein abgestimmten Faltungsbasis aus Phase 1, die in Phase 2 als Merkmalsextrahierung fungiert, in der die mit jedem Bild in der Datenbank verknüpften Metadaten verwendet werden, um Empfehlungen wie z wie Ärzte, Medikamente und Ressourcen.
4. System nach Anspruch 1 und 3, wobei die zentrale Verarbeitungseinheit für eine Empfehlung ähnliche Patienten aus der Datenbank verwendet, die die gleiche Art von Infektion im Brustkorb aufgrund von COVID-19 haben wie der Patient, der der Eingabeabfrage entspricht Thorax-Röntgenbild, wobei bei Arztempfehlung die Zentraleinheit Ärzte empfiehlt, die ähnliche Patienten bereits erfolgreich behandelt haben wie der der Eingabeanfrage Röntgen-Thorax entsprechende Patient, wobei bei Medikamentenempfehlung die Zentraleinheit Medikamente empfiehlt von zuvor genesenen Patienten mit ähnlichen Brustinfektionen konsumiert wird, wobei die zentrale Verarbeitungseinheit für Ressourcenempfehlungen Notfallressourcen wie Sauerstoffmasken, Beatmungsgeräte und Intensivstationen empfiehlt, falls der Patient dies in Zukunft benötigt, damit das Krankenhaus in der Lage ist, das Mögliche zu arrangieren benötigte Ressourcen vorher.
5. System nach Anspruch 1, wobei die extrahierten Merkmalsvektoren des eingegebenen Abfragebildes und der Brust-Röntgenbilder genesener COVID-19-Patienten, die in der Datenbank vorhanden sind, weiter verwendet werden, um ähnliche Bilder für ein gegebenes eingegebenes Abfragebild abzurufen.
6. System nach Anspruch 1, wobei ein Ähnlichkeitsmaß verwendet wird, um die Top-k-ähnlichen Patienten für einen gegebenen Suchpatienten zu finden, wobei k eine positive ganze Zahl ist und die Top-k-ähnlichen Patienten verwendet werden, um verschiedene Empfehlungen wie Ärzte bereitzustellen , Medikamente und Ressourcen an den Patienten, die dem gegebenen Eingangs-Röntgenbild des Brustkorbs entsprechen.
7. System nach Anspruch 1, wobei das CNN-Modell umfasst: einen Merkmalsvektor-Extraktor zum Extrahieren von Infektionsmerkmalen aus BrustRöntgenbildern von COVID-19-Patienten basierend auf Bildmerkmalen; und einen Klassifizierer zum Berechnen der Gewichtung der Merkmale zum Klassifizieren des Abfragebilds in eines von normal oder Krebs.
8. System nach Anspruch 1, ferner umfassend einen Cloud-Server, der drahtlos mit der Zentraleinheit über eine Kommunikationsvorrichtung gekoppelt ist, um die Metadaten zu speichern und das Röntgenbild des Brustkorbs abzufragen.
9. System nach Anspruch 6, wobei ein oder mehrere Ähnlichkeitsmaße aus einer Gruppe von Kosinus-Ähnlichkeit, Euklidischer-Distanz-Ähnlichkeit, Jaccard-Ähnlichkeit und Maxwell-Boltzmann ausgewählt werden.
10. System nach Anspruch 1, wobei die Ähnlichkeit mit jedem Datenbankbild berechnet wird und die Top-k-Bilder aus der Krankenhausdatenbank mit der höchsten Ähnlichkeit für jedes Abfragebild abgerufen werden, wobei k die Anzahl von Empfehlungen ist, wobei ein Schwellenwert ist Der Ähnlichkeitswert wird bestimmt, um relevante ähnliche Bilder für jedes Abfragebild zu identifizieren, und das abgerufene Datenbankbild wird als relevant angesehen, wenn es eine Ähnlichkeit größer oder gleich dem Schwellenwert aufweist.

Images