DE112019000920T5

DE112019000920T5 - Verfahren und system zur robusten bilddetektion zur automatischen detektion von symptomen

Info

Publication number: DE112019000920T5
Application number: DE112019000920.6T
Authority: DE
Inventors: Allen Yang Yang; Manish Mukherjee
Original assignee: Grafty Inc
Current assignee: Gyt Health Care Services Inc Cn
Priority date: 2018-03-20
Filing date: 2019-03-14
Publication date: 2020-11-05
Also published as: US20190295256A1; WO2019182873A1; CN111919218B; CN111919218A; US10783635B2

Abstract

Ein System und Verfahren zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse, wie z. B. unter Verwendung eines Mobilgeräts mit einem Bildaufnahmesystem.

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung ist eine Non-Provisional von und beansprucht die Priorität der US-Provisional-Anmeldung Nr. 62/645,586 , eingereicht am 20. März 2018, und der US-Provisional-Anmeldung Nr. 62/711,382 , eingereicht am 27. Juli 2018; die Offenbarungen der Provisional-Anmeldungen werden hiermit durch Bezugnahme in ihrer Gesamtheit und für alle Zwecke einbezogen.
GEBIET
Die vorliegende Offenbarung bezieht sich auf Systeme und Verfahren zur Bildanalyse und medizinisch-diagnostisches Testen unter Verwendung derselben. Insbesondere, aber nicht ausschließlich, bezieht sich die vorliegende Offenbarung auf ein System und Verfahren zur robusten Bilddetektion, wie z. B. zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse.
HINTERGRUND
Patienten mit schwerer chronischer Nierenerkrankung können mit Peritonealdialyse (PD) behandelt werden. Eine häufige Komplikation von PD ist Peritonitis, was eine häufige Ursache ist, die Patienten dazu zwingen kann, die PD vorübergehend oder dauerhaft abzusetzen. Eine verspätete Diagnose von Peritonitis kann zudem zum Tod führen.
Darüber hinaus gibt es eine Reihe von Komplikationen, die während der PD auftreten können, einschließlich z. B. der Komplikationen, die in „Differential Diagnosis of Cloudy effluent in Peritoneal Dialysis“, verfügbar unter https://www.slideshare.net/ssuser79d8c1/differential-diagnosis-of-cloudy-effluent-in-peritonealdialysis, diskutiert werden; diese Diashow wird hier durch Bezugnahme in ihrer Gesamtheit einbezogen.
Um frühe Anzeichen von Komplikationen während der PD zu detektieren, ist eines der visuellen Signale als „trüber Ausfluss“ oder „trüber Beutel“ bekannt, was sich darauf bezieht, dass die Ausflussflüssigkeit nach Anwendung der PD trüb wird. 1 zeigt einige Beispiele der Ausflussflüssigkeit nach verschiedenen Stadien der PD. In 1 wird von rechts nach links ein normaler PD-Ausfluss vor einer Rhabdomyolyse-Episode gezeigt, der durch verschiedene Stadien der Peritonitis eine Verfärbung erfährt.
Wie von PD-Pharmaunternehmen bescheinigt, besteht der konventionelle Ansatz zur Überwachung von Ausflussflüssigkeit in Krankenhäusern und während Heim-Behandlungen darin, einen Patienten zu trainieren, über ein klares Fenster zu schauen, das sich an der Seite des Ausflussbeutels befindet. Das Fenster ist speziell für eine menschliche visuelle Inspektion (oder manuelle Inspektion) konzipiert. Zum Beispiel verhindert eine hinreichend trübe Ausflussflüssigkeit, dass der Patient einen Text, bedrucktes Papier oder andere visuelle Signale, die unter dem Beutel angeordnet sind, klar identifizieren kann. Anders ausgedrückt: Wenn der Patient ein Textmuster durch den gefüllten Beutel visuell nicht bestimmen kann, ist dies ein Hinweis auf eine mögliche Infektion. In dieser Situation wird dem Patienten geraten, unverzüglich sein Pflegepersonal zu kontaktieren, um weitere Labortests zur Bestätigung einer möglichen Peritoneal-Infektion durchzuführen.
Die manuelle Inspektion hat jedoch mehrere Nachteile. Zum Beispiel erfordert die manuelle Inspektion, dass die Patienten trainiert werden. Darüber hinaus erfordert die manuelle Inspektion, dass die Patienten sowohl die geistige als auch die visuelle Fähigkeit haben, um die Inspektion streng nach dem Standardbehandlungsverfahren durchzuführen. Oftmals vergessen Patienten die Inspektion einfach. Ein weiterer Nachteil besteht darin, dass die manuelle Inspektion bedeutet, dass das Pflegepersonal möglicherweise die Gelegenheit verpasst, kritische Patienten-Gesundheitsdaten täglich zu erhalten und zu analysieren.
In Anbetracht des Vorstehenden besteht ein Bedarf an einem verbesserten System zum medizinisch-diagnostischen Testen, um die oben genannten Hindernisse und Mängel der herkömmlichen Verfahren zur Detektion von Peritonitis zu überwinden.
ZUSAMMENFASSUNG
Die vorliegende Offenbarung bezieht sich auf ein System zur Bildanalyse und zum medizinisch-diagnostischen Testen sowie auf Verfahren zur Herstellung und Verwendung desselben. Zum Beispiel bezieht sich die vorliegende Offenbarung auf ein System und ein Verfahren zur robusten Bilddetektion, wie z. B. zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse. Gemäß einem ersten Aspekt, der hier offenbart wird, wird ein System zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse vorgestellt, das Folgendes umfasst:

eine Bildaufnahmevorrichtung in Kommunikation mit einem Prozessor;
einen Ausflussbeutel zur Aufnahme von Ausflussflüssigkeit während der Peritonealdialyse, wobei der Beutel ein klares Fenster zur visuellen Inspektion der Ausflussflüssigkeit aufweist; und
ein visuelles Signal, das auf einer Fläche des Ausflussbeutels angeordnet ist, um von der Bildaufnahmevorrichtung durch die Ausflussflüssigkeit hindurch inspiziert zu werden, wobei das visuelle Signal ein computerlesbares Signal ist, wenn keine Verzerrungen vorhanden sind, und wobei die Qualität des visuellen Signals durch die Ausflussflüssigkeit hindurch auf einem aufgenommenen Bild der Bildaufnahmevorrichtung das Vorhandensein einer Infektion bestimmt.

In einigen Ausführungsformen des offenbarten Systems ist das visuelle Signal ein Quick-Response-(QR-)Code oder ein Barcode.
In einigen Ausführungsformen des offenbarten Systems ist die Bildaufnahmevorrichtung ein Mobilgerät.
In einigen Ausführungsformen des offenbarten Systems korrigiert der Prozessor ein Bildrauschen für eine robuste Bilddetektion des visuellen Signals.
Gemäß einem weiteren Aspekt, der hier offenbart wird, wird ein computerbasiertes Verfahren zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse unter Verwendung einer Bildaufnahmevorrichtung in Kommunikation mit einem Prozessor des Computers vorgestellt, wobei das Verfahren umfasst:

Aufnehmen, über die Bildaufnahmevorrichtung, eines Bilds eines visuellen Signals, das auf einer inneren Fläche eines Ausflussbeutels angeordnet ist, wobei der Ausflussbeutel zur Aufnahme von Ausflussflüssigkeit während der Peritonealdialyse dient und ein klares Fenster zur visuellen Inspektion der Ausflussflüssigkeit aufweist, wobei das visuelle Signal ein computerlesbares Signal ist, wenn keine Verzerrungen vorhanden sind, und über das klare Fenster durch die Ausflussflüssigkeit hindurch sichtbar ist; und
Bestimmen, über den Prozessor, einer Qualität des visuellen Signals durch die Ausflussflüssigkeit hindurch auf dem aufgenommenen Bild, wobei die Qualität des visuellen Signals auf dem aufgenommenen Bild das Vorhandensein einer Infektion anzeigt.

In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Bestimmen: Bestimmen, ob der Prozessor das visuelle Signal des aufgenommenen Bilds abtasten kann.
In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Aufnehmen des Bilds des visuellen Signals: Aufnehmen des Bilds eines Quick-Response-(QR-)Codes oder Aufnehmen des Bilds eines Barcodes.
In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Verfahren ferner: Korrigieren von Bildrauschen des aufgenommenen Bilds, wobei das Korrigieren des Bildrauschens optional umfasst:

Zuschneiden eines visuellen Signalbereichs aus dem aufgenommenen Bild, um ein Quellbild zu erzeugen, wobei der zugeschnittene visuelle Signalbereich durch einen Bereich des aufgenommenen Bilds definiert wird, der aus dem visuellen Signal besteht;
Umwandeln des Quellbilds in ein Schwarz-Weiß-Bild;
Zerlegen des umgewandelten Quellbilds in zwei Bilder mit den gleichen Dimensionen, wobei ein erstes Bild ein niedrigdimensionaler Abschnitt ist und ein zweites Bild ein spärlicher Rauschfehlerterm-Abschnitt ist; und
Optimieren des umgewandelten Quellbilds optional unter Verwendung einer niedrigrangigen Matrixzerlegung durch Minimieren einer Summe aus einer Kernnormalen des ersten Bilds und einer elementweisen L-1-Normalen des zweiten Bilds,
wobei das Bestimmen auf der Qualität des visuellen Signals durch die Ausflussflüssigkeit hindurch auf dem korrigierten Bild basiert.

In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Optimieren: Verwenden einer robusten Hauptkomponentenanalyse.
In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Verfahren ferner: Drehen des Quellbilds um eine vorbestimmte Anzahl von Rotationen, wobei das Umwandeln des Quellbilds umfasst: Umwandeln des gedrehten Quellbilds.
Gemäß einem weiteren Aspekt, der hier offenbart wird, wird ein computerbasiertes Verfahren zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse unter Verwendung einer Bildaufnahmevorrichtung in Kommunikation mit einem Prozessor des Computers vorgestellt, wobei das Verfahren umfasst:

Aufnehmen, über die Bildaufnahmevorrichtung, eines Bilds eines visuellen Signals, das auf einer inneren Fläche eines Ausflussbeutels angeordnet ist, wobei der Ausflussbeutel zur Aufnahme von Ausflussflüssigkeit während der Peritonealdialyse dient und ein klares Fenster zur visuellen Inspektion der Ausflussflüssigkeit aufweist, wobei das visuelle Signal ein computerlesbares Signal ist, wenn keine Verzerrungen vorhanden sind, und über das klare Fenster durch die Ausflussflüssigkeit hindurch sichtbar ist;
Korrigieren von Bildrauschen des aufgenommenen Bilds; und
Versuchen, über den Prozessor ein Analogsignal aus dem visuellen Signal des aufgenommenen Bilds zu erzeugen, wobei der Versuch, das Analogsignal aus dem visuellen Signal auf dem aufgenommenen Bild zu erzeugen, das Vorhandensein einer Infektion anzeigt.

In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Aufnehmen des Bilds des visuellen Signals: Aufnehmen des Bilds eines Quick-Response-(QR-)Codes oder Aufnehmen des Bilds eines Barcodes.
In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Korrigieren des Bildrauschens:

Zuschneiden eines visuellen Signalbereichs aus dem aufgenommenen Bild, um ein Quellbild zu erzeugen, wobei der zugeschnittene visuelle Signalbereich durch einen Bereich des aufgenommenen Bilds definiert wird, der aus dem visuellen Signal besteht;
Umwandeln des Quellbilds in ein Schwarz-Weiß-Bild;
Zerlegen des umgewandelten Quellbilds in zwei Bilder mit den gleichen Dimensionen, wobei ein erstes Bild ein niedrigdimensionaler Abschnitt ist und ein zweites Bild ein spärlicher Rauschfehlerterm-Abschnitt ist; und
Optimieren des umgewandelten Quellbilds durch Minimieren einer Summe aus einer Kernnormalen des ersten Bilds und einer elementweisen L-1 -Normalen des zweiten Bilds,
wobei das Versuchen zu erzeugen auf dem erzeugten Analogsignal des visuellen Signals durch die Ausflussflüssigkeit hindurch auf dem korrigierten Bild basiert.

In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Verfahren ferner: Drehen des Quellbilds um eine vorbestimmte Anzahl von Rotationen, wobei das Umwandeln des Quellbilds umfasst: Umwandeln des gedrehten Quellbilds.
In einigen Ausführungsformen des offenbarten Verfahrens umfasst das Versuchen, das Analogsignal zu erzeugen: Bestimmen, ob der Prozessor das visuelle Signal des aufgenommenen Bilds dekodieren kann.
Figurenliste

1 ist eine beispielhafte Fotografie, die einige Ausführungsformen einer Ausflussflüssigkeit nach einer Peritonealdialyse zeigt.
2 ist ein beispielhaftes Blockdiagramm, das eine Ausführungsform eines medizinisch-diagnostischen Testsystems zeigt.
3A ist eine beispielhafte Fotografie, die eine Ausführungsform des medizinisch-diagnostischen Testsystems aus 2 zeigt.
3B ist eine beispielhafte Fotografie, die eine weitere Ausführungsform des medizinisch-diagnostischen Testsystems aus 2 zeigt.
3C ist eine beispielhafte Fotografie, die eine weitere Ausführungsform des medizinisch-diagnostischen Testsystems aus 2 zeigt.
4 ist eine beispielhafte Fotografie, die noch eine weitere Ausführungsform des medizinisch-diagnostischen Testsystems aus 2 zeigt.
5A ist eine beispielhafte Fotografie, die eine weitere Ausführungsform des medizinisch-diagnostischen Testsystems aus 2 zeigt, wobei eine Infektion vorliegt.
5B ist eine beispielhafte Fotografie, die eine weitere Ausführungsform des medizinisch-diagnostischen Testsystems aus 2 zeigt, wobei eine Infektion vorliegt.
6 ist eine beispielhafte Fotografie, die eine Ausführungsform einer robusten Bilddetektion für das medizinisch-diagnostische Testsystem aus 2 zeigt.

Man beachte, dass die Figuren nicht maßstabsgetreu gezeichnet sind und dass Elemente ähnlicher Strukturen oder Funktionen im Allgemeinen zur Veranschaulichung in allen Figuren durch gleichartige Bezugszeichen dargestellt werden. Man beachte ferner, dass die Figuren nur dazu dienen, die Beschreibung der bevorzugten Ausführungsformen zu erleichtern. Die Figuren veranschaulichen nicht jeden Aspekt der beschriebenen Ausführungsformen und schränken den Umfang der vorliegenden Offenbarung nicht ein.
DETAILLIERTE BESCHREIBUNG
Die vorliegende Offenbarung beschreibt eine Reihe von Verfahren und computergestützten Systemen zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse. Da die derzeit verfügbaren medizinischen Systeme und Verfahren zur Behandlung der Peritonitis unzureichend sind, weil sie Selbstberichte von Patienten erfordern und keine automatisierte medizinische Inspektion bieten können, kann sich ein System zur automatischen Detektion von Peritonitis-Symptomen während der Peritonealdialyse und zum Berichten derselben als wünschenswert erweisen und eine Grundlage für ein breites Spektrum medizinischer Anwendungen bieten, wie z. B. die Verhinderung einer fehlerhaften manuellen Inspektion. Dieses Ergebnis kann, gemäß einer hier offenbarten Ausführungsform, durch ein bildbasiertes Diagnosesystem 200 erreicht werden, wie in 2 dargestellt.
In 2 wird ein vollautomatisches PD-Infektions-Detektionssystem (z. B. das bildbasierte Diagnosesystem 200) gezeigt. Das bildbasierte Diagnosesystem 200 beinhaltet einen Ausflussbeutel 250. Der Ausflussbeutel 250 sammelt die dem Körper entnommene Flüssigkeit, z. B. nach einer PD. In einer bevorzugten Ausführungsform definiert der Ausflussbeutel 250 ein klares Fenster, um eine transparente Sicht in den Ausflussbeutel 250 zu ermöglichen. Wie in 2 dargestellt, legt das klare Fenster des Ausflussbeutels 250 ein visuelles Signal 260 frei. In einer bevorzugten Ausführungsform kann das visuelle Signal 260 ein Barcode sein (wie in 2 und 4-6 gezeigt), der unter dem Ausflussbeutel 250 angeordnet ist. In einer weiteren Ausführungsform kann das visuelle Signal 260 ein QR-Code sein (wie in 3A-C gezeigt). Bei einer Verwendung wird der Patient gebeten, ein Bild des visuellen Signals 260 durch das klare Fenster aufzunehmen. Das Bild wird an ein automatisches Barcode- oder QR-Code-Leseprogramm geliefert, das auf dem Computer läuft.
In einigen Ausführungsformen nimmt der Patient ein Bild des visuellen Signals 260 mit einer Bildaufnahmevorrichtung 210 auf, z. B. einer Kamera, die kommunikativ mit einem Computer gekoppelt ist. In einer bevorzugten Ausführungsform ist die Bildaufnahmevorrichtung 210 und der Computer ein Smartphone mit einer eingebauten Kamera.
Um zwischen möglichen positiven und negativen Peritonitis-Symptomen zu unterscheiden, kann die Qualität des visuellen Signals 260, wie es von der Bildaufnahmevorrichtung 210 aufgenommen wird, verwendet werden. Wenn z. B. ein Verfahren zum QR-Code-Lesen den ursprünglichen QR-Code korrekt dekodieren kann, weil die Flüssigkeit ausreichend klar ist, kann der Computer bestimmen, dass keine Infektion vorliegt. In einigen Ausführungsformen kann der QR-Code ausreichend „dekodiert“ werden, wenn das Verfahren zum QR-Code-Lesen ein Analogsignal aus dem Bild des QR-Codes korrekt erzeugen kann. Wenn umgekehrt das QR-Code-Lesegerät das zugrundeliegende QR-Code-Muster nicht identifizieren kann, ist die Flüssigkeit wahrscheinlich ausreichend „trüb“, was auf eine mögliche Infektion hinweist.
In dem Barcode-Beispiel kann, wenn der Barcode-Lesealgorithmus den ursprünglichen Barcode korrekt dekodieren kann, der Computer bestimmen, dass keine Infektion vorliegt. In einigen Ausführungsformen kann der Barcode ausreichend „dekodiert“ werden, wenn das Verfahren zum Barcode-Lesen ein Analogsignal aus dem Bild des Barcodes korrekt erzeugen kann. Umgekehrt ist, wenn der Barcode-Lesealgorithmus das zugrunde liegende Barcode-Muster nicht identifizieren kann, die Flüssigkeit wahrscheinlich ausreichend „trüb“, was auf eine mögliche Infektion hinweist.
In einigen Ausführungsformen lädt der Computer automatisch die aufgezeichneten Bilder des Ausflussbeutels 250 hoch, und die automatische Symptomdetektion liefert Ergebnisse an ein Gesundheitsinformationssystem (nicht abgebildet). Das Ergebnis kann z. B. eine Markierung oder eine Wahrscheinlichkeit für eine Infektion, wie hier beschrieben, sein. Von Vorteil ist, dass das bildbasierte Diagnosesystem 200 die Qualität der Versorgung für Heim-PD-Patienten deutlich verbessert.
Beispielhaft zeigen die 3A-C verschiedene Zustände der Flüssigkeit innerhalb des Ausflussbeutels 250 und die entsprechende Sichtbarkeit des visuellen Signals 260. Zum Beispiel zeigt 3A den Ausflussbeutel 250 mit einer ausreichend klaren Flüssigkeit, was auf ein negatives Beispiel einer Peritoneal-Infektion hindeutet. Im Gegensatz dazu zeigen die 3B-C Ausflussbeutel 250, die jeweils einige positive Symptombeispiele zeigen, wobei ein trüber Beutel das QR-Code-Lesen verhindern würde.
Zusätzlich und/oder alternativ kann das unter dem klaren Fenster angeordnete visuelle Signal 260 andere Barcodes, Text, Textur oder Bildmuster sein. In bevorzugten Ausführungsformen beinhaltet das visuelle Signal 260 ein Symbol mit einer Klarheit, die durch Vergleich des ursprünglichen Musters (das dem Computer bekannt ist) und des aufgenommenen Bild des Musters berechnet werden kann.
In einigen Ausführungsformen kann das visuelle Signal 260 über jedes hier beschriebene Mittel bereitgestellt sein. Zum Beispiel kann das visuelle Signal 260 direkt auf den Ausflussbeutel 250 gedruckt sein, um das Verfahren ohne die Notwendigkeit zusätzlicher Medien weiter zu erleichtern. Außerdem kann das visuelle Signal 260 auch durch digitale Bildschirme angezeigt werden, die hinter dem Ausflussbeutel 250 angeordnet werden. In noch einer weiteren Ausführungsform kann das visuelle Signal 260 auf ein Medium gedruckt sein, das unter dem Ausflussbeutel 250 angeordnet werden kann.
Die Bildaufnahmevorrichtung 210 kann beliebige Kameras, einschließlich RGB-Kameras, eine kamerafähige und/oder Optik-basierte Aufnahmevorrichtung beinhalten, wie z. B. eine tragbare Kamera, eine Digitalkamera, eine tragbare Spielkonsole, ein MP3-Player, ein Notebook-Computer, ein Tablet-PC, ein globales Positionierungssystem, ein Ereignisdatenrecorder usw. Die Bildaufnahmevorrichtung 210 kann Bildsensoren anderer Lichtspektren enthalten, wie z. B. Infrarotkameras, Schwarz-Weiß-Kameras, Nachtsichtkameras usw.
Die Erkennung des visuellen Signals kann auch QR-Code- oder Barcode-Leseprogramme beinhalten. Da das zugrundeliegende Muster dem Computer bekannt ist, braucht ein qualifiziertes Detektionsverfahren nur den Pixelwert-Level-Unterschied zwischen der Ground Truth und den aufgenommenen Mustern auf dem Bild zu vergleichen. Wenn der Unterschied in einem Teil des Musterbilds ausreichend groß ist, zeigt dies an, dass die Flüssigkeit in dem Beutel „trübe“ genug ist, um das unter dem Bildsensor angezeigte Muster zu verändern.
In einigen Ausführungsformen kann das bildbasierte Diagnosesystem 200 für eine robuste Bilddetektion des visuellen Signals 260 sorgen. Beispielsweise gehen bestehende Barcode-Leser davon aus, dass das Barcode-Muster direkt auf der Objektoberfläche freiliegt. Die Verzerrung auf dem Barcode-Bild ist nämlich minimal oder unbedeutend.
In einigen hier offenbarten Ausführungsformen ist das visuelle Signal 260 jedoch unter einem Medium angeordnet (wie z. B. unter dem Ausflussbeutel 250), das die Qualität des Bilds erheblich verzerren kann, wenn es durch das Medium gemessen wird, wie in 4 gezeigt. Häufig deutet dies nicht immer auf ein Symptom einer PD hin, da die ursprüngliche Bildqualität zu einigen falschen Negativitäten führen kann. Man vergleiche die Situation, in der die Eintrübung des Bilds auf Symptome zurückzuführen ist, wie in 5A-B gezeigt.
In dem Fall eines Beutels einer Körperflüssigkeit in einigen medizinischen Anwendungen kann die Klarheit der Barcode-Bilder durch Blasen in der Flüssigkeit, ein Wasserzeichen von einem Plastikbeutel und/oder Umgebungs-/Raumbeleuchtung, die eine Reflexion verursacht, und/oder die Orientierung des Barcodes beeinträchtigt werden.
Der Barcode ist jedoch robust gegenüber materieller Medienverzerrung, da sein Bild, wenn es als eine Bildmatrix behandelt wird, niedrigrangig sein soll, wenn kein Rauschen oder korrigierbares Rauschen vorhanden ist. Dementsprechend sollte in einigen Ausführungsformen ein numerisches Verfahren zur Korrektur von Bildrauschen durch Erzwingen des resultierenden Barcode-Bilds niedrigrangig sein.
Wenn die Niedrigrang-Eigenschaft nicht ausreichend erzwungen werden kann, dann kann bestimmt werden, dass die Medien, durch die das Bild erhalten wird, nicht klar sind. Bei medizinischen Anwendungen kann dann vernünftigerweise geschlossen werden, dass die Flüssigkeit darauf hinweist, dass der Patient infiziert ist.
Dementsprechend wird hier ein neues Verfahren zur robusten Bilddetektion bereitgestellt. Zunächst wird ein Barcode-Bereich aus dem visuellen Signal 260, das den Barcode enthält, zugeschnitten, genannt Quellbild Y, wie in 6 gezeigt.
In einigen Ausführungsformen kann das Quellbild Y durch Umwandeln in ein Schwarz-Weiß-Bild gereinigt werden und somit der Kontrast zwischen dem schwarzen Barcode-Muster und dem weißen Hintergrund erhöht werden. In solchen Fällen wird das Quellbild Y zu einem einkanaligen Schwarz-Weiß-Bild der Dimensionen w und h.
Zur Korrektur von Bildfehlern kann das Quellbild Y in zwei Bilder der gleichen Dimension zerlegt werden: Y = L + S, wobei L ein niedrigdimensionaler Teil ist und S ein spärlicher Rauschteil ist. Eine solche Optimierung beinhaltet eine niedrigrangige Matrixzerlegung, wie z. B. eine robuste Hauptkomponentenanalyse (Robust Principal Component Analysis, RPCA), die in Gleichung 1 unten gezeigt wird.
(_*bezeichnet die Matrix-Kernnorm, der Index_1 bezeichnet die elementweise L-1-Norm). $\begin{matrix} minimiere & {‖ L ‖}_{*} + λ {‖ S ‖}_{1} \\ unter der Nebenbedingung & L + S = Y . \end{matrix}$
Variationen von RPCA können in Betracht gezogen werden, um verschiedene Modelle des spärlichen Fehlerterms S einzuführen. In einer Ausführungsform ist das Quellbild Y verzerrt, weil dessen Bild gekippt ist, und daher ist dessen Matrixrang nicht minimiert. In solchen Fällen kann eine Branch-and-Bound-Technik angewendet werden, um schnell einen Bereich eines Kippoperators auf dem Bild einzugrenzen.
Insbesondere wenn angenommen wird, dass das Quellbild Y durch eine Rotation theta verzerrt ist, dann kann das Quellbild Y um eine endliche Anzahl von Rotationen gedreht werden (z. B. 60 Grad, 45 Grad, 30 Grad, 15 Grad, 0 Grad, -15 Grad, -30 Grad, -45 Grad und -60 Grad).
Nach jeder Rotation auf Y wird RPCA implementiert und der Rang einer resultierenden niedrigrangigen Matrix L wird gemessen. Der niedrigste Rang L zeigt das Branch-and-Bound der Rotation an. Dieses Verfahren kann rekursiv sein. Dieses Verfahren kann auch auf andere Transformationsverzerrungen angewendet werden, wie z. B. affine Transformation oder Homographietransformation, oder eine andere komplexere nichtlineare Flächentransformation.
In einer weiteren Ausführungsform kann die elementweise L-1-Norm von S in andere Fehlernorm-Funktionen geändert werden. Eine davon ist die spaltenweise L-1-Norm; sie erzwingt nämlich nur Spärlichkeit für die kleinste Anzahl von Nicht-Null-Spalten, aber innerhalb einer Nicht-Null-Spalte bestraft sie nicht die Anzahl der Nicht-Null-Elemente. Dies ist besonders effektiv, um Barcode-Bilder zu entrauschen, wobei die Anzahl der Nicht-Null-Spalten in dem Fehlerterm L so klein wie möglich sein sollte. Viele Nicht-Null-Elemente innerhalb einer Spalte können jedoch zur Korrektur einer Bildverzerrung verwendet werden.
Obwohl unter Bezugnahme auf Kernnorm- und L-1-Norm-Matrixminimierungen beschrieben, würde ein gewöhnlicher Fachmann anerkennen, dass jede RPCA/niedrigrangige Matrixzerlegung, Minimierung und/oder Approximation verwendet werden kann. Anders ausgedrückt kann jedes Verfahren zur Erzielung von Robustheit durch Erzwingen einer Niedrigrang-Matrixeigenschaft wie gewünscht verwendet werden.
Mit der robusten Bilddetektion, die hier offenbart wird, können in einigen Ausführungsformen die vollständigen Barcode-Zahlen erfolgreich korrekt gelesen werden. Dies zeigt eine geringe Wahrscheinlichkeit einer Infektion an. Die geringe Wahrscheinlichkeit kann auch daran gemessen werden, wie viel Fehler in dem S-Term extrahiert wird.
Alternativ besteht, wenn ein vollständiger Lesefehler auftritt, eine hohe Wahrscheinlichkeit einer Infektion. Wenn ein Barcode jedoch durch die nur teilweise korrekten Zahlen wiederhergestellt wird, zeigt die Ähnlichkeit der Barcode-Lesung und der Ground Truth die Schwere der Infektion an. Beispielsweise kann die automatische Symptomdetektion einen Ereignisindikator für eine mögliche Infektion bereitstellen. Dies kann eine Markierung oder eine Wahrscheinlichkeit für eine Infektion sein. Wenn der Barcode z. B. vollständig eingetrübt ist, besteht eine hohe Wahrscheinlichkeit, dass der Patient eine Infektion hat. Alternativ kann, wenn der Barcode lesbar ist, eine Analyse des spärlichen Fehlerterms S verwendet werden. Für einen größeren spärlichen Fehler kann mehr Masse in der nicht sauberen Flüssigkeit sein. Der Barcode kann auch zwischen einer Ground Truth und einem ausgelesenen Barcode verglichen werden. Wenn der ausgelesene Barcode mit der gedruckten Ground Truth übereinstimmt, dann ist die Wahrscheinlichkeit einer Infektion geringer. Wenn es einen großen Unterschied zwischen dem ausgelesenen Barcode und den Ziffern auf der Ground Truth gibt, dann kann die Wahrscheinlichkeit für ein Infektionsrisiko mittel bis hoch sein.
In einer praktischen Anwendung verwendeten 114 Peritonealdialyse-Patienten das bildbasierte Diagnosesystem 200, unter denen 74 negative Proben waren (d. h. keine Infektion durch Laborarbeit detektiert) und 40 positive Proben waren. Das bildbasierte Diagnosesystem 200 ergab vorteilhafterweise ein 95,2% True Positive und nur ein 1,4% False Negative, wenn visuelle Signale zur PD-Infektionsdetektion durch berührungslose Analyse verwendet werden.
Die offenbarten Ausführungsformen sind empfänglich für verschiedene Modifikationen und alternative Formen, und konkrete Beispiele dafür wurden beispielhaft in den Zeichnungen gezeigt und werden hier ausführlich beschrieben. Es sollte jedoch verstanden werden, dass die offenbarten Ausführungsformen nicht auf die offenbarten speziellen Formen oder Verfahren beschränkt werden sollen, sondern im Gegenteil, die offenbarten Ausführungsformen alle Modifikationen, Äquivalente und Alternativen abdecken sollen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62645586 [0001]
US 62711382 [0001]

Claims

Ein System zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse, wobei das System umfasst: eine Bildaufnahmevorrichtung in Kommunikation mit einem Prozessor; einen Ausflussbeutel zur Aufnahme von Ausflussflüssigkeit während der Peritonealdialyse, wobei der Beutel ein klares Fenster zur visuellen Inspektion der Ausflussflüssigkeit aufweist; und ein visuelles Signal, das auf einer Fläche des Ausflussbeutels angeordnet ist, um von der Bildaufnahmevorrichtung durch die Ausflussflüssigkeit hindurch inspiziert zu werden, wobei das visuelle Signal ein computerlesbares Signal ist, wenn keine Verzerrungen vorhanden sind, und wobei die Qualität des visuellen Signals durch die Ausflussflüssigkeit hindurch auf einem aufgenommenen Bild der Bildaufnahmevorrichtung das Vorhandensein einer Infektion bestimmt.
Das System nach Anspruch 1, wobei das visuelle Signal ein Quick-Response-(QR-)Code oder ein Barcode ist.
Das System nach einem der Ansprüche 1 oder 2, wobei die Bildaufnahmevorrichtung ein Mobilgerät ist.
Das System nach einem der Ansprüche 1-3, wobei der Prozessor ein Bildrauschen für eine robuste Bilddetektion des visuellen Signals korrigiert.
Ein computerbasiertes Verfahren zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse unter Verwendung einer Bildaufnahmevorrichtung in Kommunikation mit einem Prozessor des Computers, wobei das Verfahren umfasst: Aufnehmen, über die Bildaufnahmevorrichtung, eines Bilds eines visuellen Signals, das auf einer inneren Fläche eines Ausflussbeutels angeordnet ist, wobei der Ausflussbeutel zur Aufnahme von Ausflussflüssigkeit während der Peritonealdialyse dient und ein klares Fenster zur visuellen Inspektion der Ausflussflüssigkeit aufweist, wobei das visuelle Signal ein computerlesbares Signal ist, wenn keine Verzerrungen vorhanden sind, und über das klare Fenster durch die Ausflussflüssigkeit hindurch sichtbar ist; und Bestimmen, über den Prozessor, einer Qualität des visuellen Signals durch die Ausflussflüssigkeit hindurch auf dem aufgenommenen Bild, wobei die Qualität des visuellen Signals auf dem aufgenommenen Bild das Vorhandensein einer Infektion anzeigt.
Das Verfahren nach Anspruch 5, wobei das Bestimmen umfasst: Bestimmen, ob der Prozessor das visuelle Signal des aufgenommenen Bilds abtasten kann.
Das Verfahren nach einem der Ansprüche 5 oder 6, wobei das Aufnehmen des Bilds des visuellen Signals umfasst: Aufnehmen des Bilds eines Quick-Response-(QR-)Codes oder Aufnehmen des Bilds eines Barcodes.
Das Verfahren nach einem der Ansprüche 5-7, welches ferner umfasst: Korrigieren von Bildrauschen des aufgenommenen Bilds, wobei das Korrigieren des Bildrauschens optional umfasst: Zuschneiden eines visuellen Signalbereichs aus dem aufgenommenen Bild, um ein Quellbild zu erzeugen, wobei der zugeschnittene visuelle Signalbereich durch einen Bereich des aufgenommenen Bilds definiert wird, der aus dem visuellen Signal besteht; Umwandeln des Quellbilds in ein Schwarz-Weiß-Bild; Zerlegen des umgewandelten Quellbilds in zwei Bilder mit den gleichen Dimensionen, wobei ein erstes Bild ein niedrigdimensionaler Abschnitt ist und ein zweites Bild ein spärlicher Rauschfehlerterm-Abschnitt ist, und Optimieren des umgewandelten Quellbilds optional unter Verwendung einer niedrigrangigen Matrixzerlegung durch Minimieren einer Summe aus einer Kernnormalen des ersten Bilds und einer elementweisen L-1-Normalen des zweiten Bilds, wobei das Bestimmen auf der Qualität des visuellen Signals durch die Ausflussflüssigkeit hindurch auf dem korrigierten Bild basiert.
Das Verfahren nach einem der Ansprüche 5-8, wobei das Optimieren umfasst: Verwenden einer robusten Hauptkomponentenanalyse.
Das Verfahren nach einem der Ansprüche 5-9, welches ferner umfasst: Drehen des Quellbilds um eine vorbestimmte Anzahl von Rotationen, wobei das Umwandeln des Quellbilds umfasst: Umwandeln des gedrehten Quellbilds.
Ein computerbasiertes Verfahren zur automatischen Detektion von Peritonitis-Symptomen während einer Peritonealdialyse unter Verwendung einer Bildaufnahmevorrichtung in Kommunikation mit einem Prozessor des Computers, wobei das Verfahren umfasst: Aufnehmen, über die Bildaufnahmevorrichtung, eines Bilds eines visuellen Signals, das auf einer inneren Fläche eines Ausflussbeutels angeordnet ist, wobei der Ausflussbeutel zur Aufnahme von Ausflussflüssigkeit während der Peritonealdialyse dient und ein klares Fenster zur visuellen Inspektion der Ausflussflüssigkeit aufweist, wobei das visuelle Signal ein computerlesbares Signal ist, wenn keine Verzerrungen vorhanden sind, und über das klare Fenster durch die Ausflussflüssigkeit hindurch sichtbar ist; Korrigieren von Bildrauschen des aufgenommenen Bilds; und Versuchen, über den Prozessor ein Analogsignal aus dem visuellen Signal des aufgenommenen Bilds zu erzeugen, wobei der Versuch, das Analogsignal aus dem visuellen Signal auf dem aufgenommenen Bild zu erzeugen, das Vorhandensein einer Infektion anzeigt.
Das Verfahren nach Anspruch 11, wobei das Aufnehmen des Bilds des visuellen Signals umfasst: Aufnehmen des Bilds eines Quick-Response-(QR-)Codes oder Aufnehmen des Bilds eines Barcodes.
Das Verfahren nach einem der Ansprüche 11 oder 12, wobei das Korrigieren des Bildrauschens umfasst: Zuschneiden eines visuellen Signalbereichs aus dem aufgenommenen Bild, um ein Quellbild zu erzeugen, wobei der zugeschnittene visuelle Signalbereich durch einen Bereich des aufgenommenen Bilds definiert wird, der aus dem visuellen Signal besteht; Umwandeln des Quellbilds in ein Schwarz-Weiß-Bild; Zerlegen des umgewandelten Quellbilds in zwei Bilder mit den gleichen Dimensionen, wobei ein erstes Bild ein niedrigdimensionaler Abschnitt ist und ein zweites Bild ein spärlicher Rauschfehlerterm-Abschnitt ist, und Optimieren des umgewandelten Quellbilds durch Minimieren einer Summe aus einer Kernnormalen des ersten Bilds und einer elementweisen L-1-Normalen des zweiten Bilds, wobei das Versuchen zu erzeugen auf dem erzeugten Analogsignal des visuellen Signals durch die Ausflussflüssigkeit hindurch auf dem korrigierten Bild basiert.
Das Verfahren nach einem der Ansprüche 11-13, welches ferner umfasst: Drehen des Quellbilds um eine vorbestimmte Anzahl von Rotationen, wobei das Umwandeln des Quellbilds umfasst: Umwandeln des gedrehten Quellbilds.
Das Verfahren nach einem der Ansprüche 11-14, wobei das Versuchen, das Analogsignal zu erzeugen, umfasst: Bestimmen, ob der Prozessor das visuelle Signal des aufgenommenen Bilds dekodieren kann.