DE112020004092T5 - Automatisches erfassen und ersetzen von identifikationsinformationen in bildern unter verwendung von maschinellem lernen - Google Patents

Automatisches erfassen und ersetzen von identifikationsinformationen in bildern unter verwendung von maschinellem lernen Download PDF

Info

Publication number
DE112020004092T5
DE112020004092T5 DE112020004092.5T DE112020004092T DE112020004092T5 DE 112020004092 T5 DE112020004092 T5 DE 112020004092T5 DE 112020004092 T DE112020004092 T DE 112020004092T DE 112020004092 T5 DE112020004092 T5 DE 112020004092T5
Authority
DE
Germany
Prior art keywords
image
text
information
identification information
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020004092.5T
Other languages
English (en)
Inventor
Dustin Michael Sargent
Sun Young PARK
Dale Seegmiller Maudlin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MERATIVE US L.P. (N.D.GES.D.STAATES DELAWARE),, US
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of DE112020004092T5 publication Critical patent/DE112020004092T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

Es werden Verfahren und Systeme zur Verwaltung von Identifikationsinformationen zu einer Rechtspersönlichkeit bereitgestellt. Die in ein digitales Bild eingebetteten oder diesem zugeordneten Identifikationsinformationen der Rechtspersönlichkeit werden erfasst, wobei die Identifikationsinformationen aus der aus Textinformationen und Bildinformationen, die einem oder mehreren Merkmale einer Rechtspersönlichkeit entsprechen, bestehenden Gruppe ausgewählt werden. Die Textinformationen können aus dem digitalen Bild entfernt werden. Die Bildinformationen können durch ein oder mehrere computergenerierte synthetische Bilder ersetzt werden, wobei die computergenerierten synthetischen Bilder auf einem natürlichen Erscheinungsbild des digitalen Bilds basieren. Der synthetische Inhalt, der von einem GAN erstellt werden kann, basiert auf einem natürlichen Erscheinungsbild des Bilds. Das medizinische Bild kann auch PHI in textbasierten Feldern enthalten, die privaten Kennsätzen/Feldern zugeordnet sind, die unter Verwendung der hier bereitgestellten Systeme und Verfahren automatisch identifiziert und entfernt werden.

Description

  • TECHNISCHER BEREICH
  • Ausführungsformen der vorliegenden Erfindung betreffen maschinelle Lernsysteme zum Identifizieren und Ersetzen von Identifikationsinformationen in Bildern und insbesondere zum automatischen Identifizieren und Ersetzen geschützter Gesundheitsinformationen in medizinischen Bildern durch synthetische und/oder gattungsmäßige Daten, die Kenngrößen der geschützten Gesundheitsinformationen umfassen.
  • HINTERGRUND
  • Medizinische Bildaufnahmen können unterschiedliche Formen geschützter Gesundheitsinformationen (PHI, protected health information) enthalten, die zum Identifizieren einer bestimmten Person verwendet werden können. Diese schließen patientenspezifische Informationen wie einen Patientennamen und ein Geburtsdatum, die in den Kopfzeilen medizinischer Bilddateien enthalten sind, oder Informationen wie eine Patientenadresse ein, die in einem medizinischen Bericht enthalten sind. Darüber hinaus sind PHI in privaten Kennsätzen zu finden, die vorrichtungs- oder softwarespezifisch sind.
  • PHI sind auch in den medizinischen Bildern selbst zu finden. So können beispielsweise eingebrannte Beschriftungen in Bildern den Patienten identifizieren. In einigen Fällen kann der Patient anhand anatomischer Merkmale identifiziert werden, die in der medizinischen Bildgebungsabtastung vorliegen. So kann es beispielsweise möglich sein, das Gesicht einer Person anhand einer 3D-Darstellung einer CT-Aufnahme des Kopfs oder durch Sichtbarmachen bestimmter Implantate (z.B. Zahnimplantate, medizinische Implantate, etc.) oder weiterer unverkennbarer Merkmale zu identifizieren, die in den Bildern sichtbar sein können.
  • Gegenwärtige Techniken zur Eindämmung der Weitergabe dieser Informationen sind auf menschliche Intervention angewiesen. Typischerweise überprüft ein menschlicher Prüfer Dateien zum Identifizieren und Ersetzen textbasierter PHI manuell. Dieser Ansatz ist jedoch ein zeitraubender und fehleranfälliger Prozess. So können menschlichen Prüfern beispielsweise Informationen in privaten Kennsätzen oder in den Bildern selbst entgehen.
  • Darüber hinaus werden identifizierte Daten oft geschwärzt oder gelöscht, was zu einem Datenverlust führt. Somit unterliegen gegenwärtige Ansätze einer versehentlichen Weitergabe geschützter Informationen, wodurch durch die unwissentliche oder versehentliche Offenlegung persönlicher Gesundheitsinformationen Datenschutzgesetze und -bestimmungen verletzt werden können.
  • ZUSAMMENFASSUNG
  • Gemäß Ausführungsformen der vorliegenden Erfindung werden Verfahren, Systeme und computerlesbare Medien zum automatischen Entfernen von Identifikationsinformationen bereitgestellt, die in digitale Bilder eingebettet und/oder diesen zugeordnet sind. Das Entfernen von PHI kann zum Verhindern der Identifikation einer dem digitalen Bild zugeordneten Rechtspersönlichkeit das Ersetzen der PHI durch Inhalt (z.B. gattungsmäßigen und/oder synthetischen Inhalt) einschließen, der keine PHI enthält.
  • Gemäß einigen Aspekten werden in ein digitales Bild eingebettete oder diesem zugeordnete Identifikationsinformationen erfasst, wobei die Identifikationsinformationen aus der aus Textinformationen und Bildinformationen, die einem oder mehreren einer Rechtspersönlichkeit zuzuordnenden Merkmalen (einschließlich anatomischer Merkmale) entsprechen, bestehenden Gruppe ausgewählt werden. Die Textinformationen können aus dem digitalen Bild entfernt werden. Die Bildinformationen können durch ein oder mehrere computergenerierte synthetische Bilder ersetzt werden, wobei die computergenerierten synthetischen Bilder auf einem natürlichen Erscheinungsbild des digitalen Bilds basieren. Die computergenerierten synthetischen Bilder können von einem maschinellen Lernsystem erstellt werden.
  • Die Bildinformationen können durch ein oder mehrere computergenerierte synthetische Bilder ersetzt werden, wobei die computergenerierten synthetischen Bilder auf einem natürlichen Erscheinungsbild des digitalen Bilds basieren (die synthetischen Bilder simulieren z.B. echte Objekte (z.B. anatomische Merkmale oder andere Merkmale) in dem digitalen Bild, um zu ermöglichen, dass das digitale Bild die echten Objekte wiederzugeben scheint). Ein synthetisches Bild mit einem natürlichen Erscheinungsbild kann beispielsweise ein Bild sein, in dem eine Entität (z.B. ein Benutzer, ein maschinelles Lernsystem, etc.) nicht unterscheiden kann, ob das synthetische Bild aus einer medizinischen Bildaufnahme eines Patienten stammt oder ein computergeneriertes (z.B. ein von einem maschinellen Lernsystem, etc. generiertes) Bild ist.
  • Bei Ausführungsformen können Identifikationsinformationen in einer Kopfzeilendatei, in Metadaten oder in anderen, dem digitalen Bild zugeordneten textbasierten Darstellungen erfasst werden. Diese Informationen können erfasst und entfernt werden. Gemäß einigen Aspekten kann das Entfernen das Ersetzen eines oder mehrerer Typen von Identifikationsinformationen durch gattungsmäßige Informationen aufweisen, die Aspekte der Identifikationsinformationen umfassen, während gleichzeitig die Identifikation der Rechtspersönlichkeit verhindert wird. PHI können in privaten Kennsätzen von Kopfzeilendateien erfasst werden. Bei weiteren Ausführungsformen können die hier bereitgestellten Verfahren, Systeme und computerlesbaren Medien darauf ausgelegt sein, digitale Bilder umzuwandeln, die medizinisch relevante PHI enthalten, um die Identität des Patienten unkenntlich zu machen.
  • Es versteht sich, dass die Zusammenfassung weder wesentliche oder Schlüsselmerkmale von Ausführungsformen der vorliegenden Offenbarung aufzeigen, noch zur Einschränkung des Umfangs der vorliegenden Offenbarung verwendet werden soll. Weitere Merkmale der vorliegenden Offenbarung werden durch die nachstehende Beschreibung leicht verständlich.
  • Figurenliste
  • Allgemein werden übereinstimmende Bezugszeichen in den unterschiedlichen Figuren zur Bezeichnung übereinstimmender Komponenten verwendet.
    • 1 ist eine diagrammartige Darstellung einer beispielhaften Rechenumgebung zum automatischen Identifizieren und Reduzieren von PHI gemäß einer Ausführungsform der vorliegenden Erfindung.
    • 2 ist ein Beispiel einer Rechenvorrichtung für die Rechenumgebung gemäß 1 gemäß einer Ausführungsform der vorliegenden Erfindung.
    • 3 ist ein Ablaufdiagramm, das ein Beispiel eines Datenflusses zwischen Komponenten eines maschinellen Lern- und synthetischen Datenerstellungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • 4 ist ein Beispiel der Erstellung abgegrenzter Bereiche durch das maschinelle Lern- und synthetische Datenerstellungssystem gemäß einer Ausführungsform der vorliegenden Erfindung.
    • 5 ist ein Ablaufdiagramm beispielhafter Operationen zum Trainieren eines Deep-Learning-Klassifikators und eines Generative Adversarial Network zum Erstellen synthetischer Daten gemäß einer Ausführungsform der vorliegenden Erfindung.
    • 6 ist ein detailliertes Ablaufdiagramm, das beispielhafte Operationen zum automatischen Entfernen von PHI gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • 7 ist ein Ablaufdiagramm höherer Ebene von beispielhaften Operationen zum automatischen Entfernen von PHI gemäß einer Ausführungsform der vorliegenden Erfindung.
  • DETAILLIERTE BESCHREIBUNG
  • Verfahren, Systeme und computerlesbare Medien zum Automatisieren der Entfernung von Identifikations- oder anderen Informationen (z.B. geschützten Gesundheitsinformationen (z.B. PHI, etc.)) zu einer Rechtspersönlichkeit in medizinischen oder anderen Abbildungen werden bereitgestellt. Durch diese Techniken kann der Datenverlust durch Ersetzen patientenspezifischer oder Identifikationsdaten durch gattungsmäßige und/oder synthetische Daten minimiert werden, die Aspekte der patientenspezifischen Daten enthalten. Diese Ansätze ersetzen Bildinhalt und zugehörigen Text, durch die der Patient identifiziert werden kann, durch gattungsmäßigen Inhalt, der Kenngrößen der PHI und/oder von dem Computer generierte synthetische Bilder mit einem natürlichen Erscheinungsbild erhält, wogegen sensible PHI-Daten entfernt werden.
  • Eine Beispielumgebung zur Verwendung mit Ausführungsformen der vorliegenden Erfindung ist in 1 dargestellt. Genauer weist die Umgebung ein oder mehr Server-Systeme 10, ein oder mehr Client- oder Endnutzersysteme 20, eine Datenbank 30 und ein Netzwerk 45 auf. Die Server-Systeme 10 und die Client-Systeme 20 können voneinander entfernt vorgesehen sein und über ein Netzwerk 45 kommunizieren. Das Netzwerk kann durch eine beliebige Anzahl beliebiger Kommunikationsmedien wie ein Weitbereichsnetzwerk (WAN), ein lokales Netzwerk (LAN), das Internet, ein Intranet, etc. implementiert sein.
  • Alternativ können die Server-Systeme 10 und die Client-Systeme 20 in Bezug aufeinander lokal vorgesehen sein und über ein beliebiges geeignetes lokales Kommunikationsmedium wie ein lokales Netzwerk (LAN), eine Verkabelung, eine drahtlose Verbindung, ein Intranet, etc. kommunizieren.
  • Client-Systeme 20 ermöglichen Benutzern die Übermittlung von Datensätzen zum Trainieren eines maschinellen Lern- und synthetischen Datenerstellungssystems an Server-Systeme 10 und die Verwendung dieses Systems zum Identifizieren und Minimieren von PHI in medizinischen Bildern. Die Server-Systeme 10 weisen ein maschinelles Lern- und synthetisches Datenerstellungssystem 15 auf, das einen Textklassifikator 105, einen OCR- und bildbasierten Klassifikator 110, einen Deep-Learning-Klassifikator 115, ein Generative Adversarial Network 120, ein morphologisches Netzwerk 122 und einen Bildgenerator 130 aufweist, wie hier beschrieben. In einer Datenbank 30 können unterschiedliche Informationen wie ein PHI-Datensatz 32, ein synthetischer Datensatz 36 und eine PHI-freier Datensatz 38, etc. zur Analyse gespeichert sein. Der PHI-Datensatz 32 enthält medizinische Bildgebungsdateien mit patientenspezifischen Informationen. Der synthetische Datensatz 36 enthält von dem Generative Adversarial Network 120 oder dem morphologischen Netzwerk 122 generierte Bilder. Der PHI-freie Datensatz 38 enthält Bilder, in denen Patientenidentifikationsinformationen entfernt oder modifiziert wurden.
  • Das Datenbanksystem 30 kann durch eine herkömmliche oder andere Datenbank- oder Speichereinheit implementiert sein, lokal oder von den Server-Systemen 10 und den Client-Systemen 20 entfernt sein und über jedes geeignete Kommunikationsmedium wie ein lokales Netzwerk (LAN), ein Weitbereichsnetzwerk (WAN), das Internet, eine Verkabelung, eine drahtlose Verbindung, ein Intranet, etc. kommunizieren. Die Client-Systeme können eine grafische Benutzerschnittstelle wie eine GUI, etc. oder eine andere Schnittstelle wie Befehlszeilen-Eingabeaufforderungen, Menübildschirme, etc. zum Einholen von Informationen, die sich auf gewünschte Datensätze, Identifikations- und Datenreduzierung beziehen, von Benutzern bieten und Berichte liefern, die Ergebnisse der Analyse des Datensatzes, darunter Typen, Speicherplätze und Quellen von PHI, enthalten. Gemäß einigen Aspekten kann der PHI-freie Datensatz z.B. durch Dritte analysiert werden, um medizinisch-diagnostische Informationen mit Kenngrößen des PHI-freien Datensatzes in Beziehung zu setzen. PHI-freie angiographische Bilder können beispielsweise gattungsmäßigen Text (z.B. wie die Altersgruppe des Patienten, die Stadt, etc.) und synthetische anatomische Merkmale enthalten. Diese Merkmale können zur Gruppierung von CT-Bildern und zur Analyse des Fortschreitens einer Koronararterienerkrankung als Funktion des Alters und weiterer damit in Zusammenhang stehender medizinischer Faktoren verwendet werden. Jede geeignete medizinische Analyse kann unter Verwendung der PHI-freien Daten vorgenommen werden.
  • Die Server-Systeme 10 und die Client-Systeme 20 können durch beliebige herkömmliche oder andere Computersysteme implementiert sein, die vorzugsweise mit einer Anzeige oder einem Monitor, einer Basis (die mindestens einen Hardware-Prozessor (z.B. einen Mikroprozessor, eine Steuerung, eine Zentraleinheit (CPU), etc. aufweist), einem oder mehreren Speichern und/oder internen oder externen Netzwerk-Schnittstellen oder Kommunikationsvorrichtungen (z.B. einem Modem, Netzwerkkarten, etc.), optional mit Eingabevorrichtungen (z.B. einer Tastatur, einer Maus oder einer anderen Eingabevorrichtung) und beliebiger im Handel erhältlicher und individueller Software (z.B. einer Server-/Kommunikations-Software, einer maschinellen Lern- und synthetischen Datenerstellungssystem-Software, einer Browser-/Schnittstellen-Software, etc.) ausgestattet sind. Beispielhaft weist der Server/Client mindestens einen Prozessor 16, 22, einen oder mehrere Speicher 17, 24 und/oder interne oder externe Netzwerk-Schnittstellen oder Kommunikationsvorrichtungen 18, 26 wie ein Modem oder Netzwerkkarten und eine Benutzerschnittstelle 19, 28 etc. auf. Die optionalen Eingabevorrichtungen können eine Tastatur, eine Maus oder eine andere Eingabevorrichtung einschließen.
  • Alternativ können ein oder mehrere Client-Systeme 20 ein Identifizieren und Entfernen/Ersetzen von auf medizinischen Bildern befindlichen oder diesen zugeordneten PHI als eigenständige Vorrichtung oder Einheit ausführen. In einem eigenständigen Betriebsmodus speichert das Client-System die Daten wie den PHI-Datensatz 32 oder hat Zugriff auf diese und erstellt einen synthetischen Datensatz 36 und einen PHI-freien Datensatz 38 und weist ein maschinelles Lern- und synthetisches Datenerstellungssystem 15 auf. Die grafische Benutzer- oder andere Schnittstelle 19, 28 wie eine GUI, Befehlszeilen-Eingabeaufforderungen, Menübildschirme, etc. fordert die gewünschte Identifikations- und PHI-Reduzierung betreffende Informationen von einen entsprechenden Benutzer an und kann Berichte bereitstellen, die Analyseergebnisse enthalten. Gemäß einigen Aspekten kann der PHI-freie Datensatz analysiert werden, um medizinisch-diagnostische Informationen mit Kenngrößen des Datensatzes in Beziehung zu setzen.
  • Das maschinelle Lern- und synthetische Datenerstellungssystem 15 kann ein oder mehrere Module oder Einheiten zum Ausführen der verschiedenen Funktionen der hier beschriebenen Ausführungsformen der vorliegenden Erfindung aufweisen. Die verschiedenen Module wie der Textklassifikator 105, der OCR- und bildbasierte Klassifikator 110, der Deep-Learning-Klassifikator 115, das Generative Adversarial Network 120, das morphologische Netzwerk 122 und der Bildgenerator 130, etc. können durch jede Kombination einer beliebigen Anzahl an Software- und/oder Hardware-Modulen oder -Einheiten implementiert sein und können sich zur Ausführung durch den Prozessor 16 in dem Speicher 17 des Servers befinden. Diese Module sind nachstehend genauer beschrieben.
  • Client-Systeme 20 und Server-Systeme 10 können durch jede geeignete Rechenvorrichtung wie die in 2 gezeigte Rechenvorrichtung 212 für die Rechenumgebung 100 implementiert sein. Dieses Beispiel soll keine irgendwie geartete Einschränkung hinsichtlich des Umfangs der Nutzung oder der Funktionalität der hier beschriebenen Ausführungsformen der Erfindung nahelegen. Unabhängig davon kann die Rechenvorrichtung 212 implementiert werden und/oder jede der hier aufgeführten Funktionen ausführen.
  • In der Rechenvorrichtung befindet sich ein Computersystem, das mit zahlreichen anderen Allzweck-Rechensystem-Umgebungen oder -Konfigurationen oder Rechensystem-Umgebungen oder -Konfigurationen mit besonderer Zweckbestimmung betrieben werden kann. Beispiele allgemein bekannter Rechensysteme, Umgebungen und/oder Konfigurationen, die zur Verwendung mit dem Computersystem geeignet sein können, schließen PersonalComputer-Systeme, Server-Computer-Systeme, Thin-Clients, Thick-Clients, Hand- oder Laptop-Geräte, Multiprozessor-Systeme, mikroprozessorbasierte Systeme, Digitalempfänger, programmierbare Verbraucherelektronik, Netzwerk-PCs, Minicomputersysteme, Mainframe-Computersysteme und verteilte Cloud-Rechenumgebungen, die beliebige der vorstehenden Systeme oder Vorrichtungen umfassen, und dergleichen ein, sind jedoch nicht darauf beschränkt.
  • Das Computersystem 212 kann im allgemeinen Kontext von durch ein Computersystem ausführbaren Anweisungen wie von Programmmodulen (z.B. dem maschinellen Lern- und synthetischen Datenerstellungssystem 15 und seinen entsprechenden Modulen) beschrieben werden, die von einem Computersystem ausgeführt werden. Allgemein können Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen, usw. aufweisen, die bestimmte Aufgaben ausführen oder bestimmte Datenzusammenfassungstypen implementieren.
  • Das Computersystem 212 ist in Form einer Allzweck-Rechenvorrichtung dargestellt. Die Komponenten des Computersystems 212 können einen oder mehrere Prozessoren oder Verarbeitungseinheiten 155, einen Systemspeicher 136 und einen Bus 218 einschließen, der unterschiedliche Systemkomponenten koppelt, darunter den Systemspeicher 136 mit dem Prozessor 155, sind jedoch nicht darauf beschränkt.
  • Der Bus 218 repräsentiert einen oder mehrere jedes von mehreren Typen von Busstrukturen, die einen Speicherbus oder eine Speichersteuerung, einen peripheren Bus, einen Accelerated Graphics Port und einen Prozessor oder lokalen Bus einschließen, die eine beliebige unter einer Vielzahl von Busarchitekturen nutzen. Beispielhaft und nicht einschränkend schließen derartige Architekturen einen Industry Standard Architecture Bus (einen ISA-Bus), einen Micro Channel Architecture Bus (einen MCA-Bus), einen Enhanced ISA Bus (einen EISA-Bus), einen lokalen Video Electronics Standards Association Bus (einen VESA-Bus) und einen Peripheral Component Interconnects Bus (einen PCI-Bus) ein.
  • Das Computersystem 212 weist typischerweise eine Vielzahl durch ein Computersystem lesbarer Medien auf. Derartige Medien können beliebige verfügbare Medien sein, auf die von dem Computersystem 212 zugegriffen werden kann, und schließen sowohl flüchtige als auch nicht flüchtige Medien, sowohl entnehmbare als auch nicht entnehmbare Medien ein.
  • Der Systemspeicher 136 kann durch ein Computersystem lesbare Medien in Form eines flüchtigen Speichers wie eines Direktzugriffsspeichers (eines RAM) 230 und/oder eines Cache-Speichers 232 aufweisen. Das Computersystem 212 kann ferner weitere entnehmbare/nicht entnehmbare, flüchtige/nicht flüchtige Computersystemspeichermedien aufweisen. Nur beispielhaft kann das Speichersystem 234 zum Lesen aus einem nicht entnehmbaren, nicht flüchtigen magnetische Medium (das nicht gezeigt ist und das typischerweise als „Festplatte“ bezeichnet wird) und zum Schreiben in dieses vorgesehen sein. Obwohl dies nicht gezeigt ist, können ein Magnetplattenlaufwerk zum Lesen von einer entnehmbaren, nicht flüchtigen magnetischen Platte (z.B. einer „Diskette“) und zum Schreiben auf diese und ein optisches Plattenlaufwerk zum Lesen von einer entnehmbaren, nicht flüchtigen optischen Platte wie einer CD-ROM, einer DVD-ROM oder anderen optischen Medien oder zum Schreiben auf diese vorgesehen sein. In derartigen Fällen können diese jeweils über eine oder mehrere Datenmedienschnittstellen mit dem Bus 218 verbunden sein. Wie nachstehend weiter beschrieben und dargestellt, der kann der Speicher 136 mindestens ein Programmprodukt mit einem Satz von Programmmodulen (z.B. mindestens einem) aufweisen, die darauf ausgelegt sind, die Funktionen von Ausführungsformen der Erfindung auszuführen.
  • Beispielhaft und nicht einschränkend können das Programm/Dienstprogramm 240, das einen Satz von (mindestens einem) Programmmodulen 242 (z.B. das maschinelle Lern- und synthetische Datenerstellungssystem 15 und die entsprechenden Module, etc.) umfasst, sowie ein Betriebssystem, ein oder mehrere Anwendungsprogramme, weitere Programmmodule und Programmdaten in dem Speicher 136 gespeichert sein. Das Betriebssystem, das eine oder die mehreren Anwendungsprogramme, die anderen Programmmodule und die Programmdaten oder einige Kombination dieser können jeweils eine Implementierung einer Netzwerkumgebung umfassen. Die Programmmodule 242 führen im Allgemeinen die Funktionen und/oder Methodologien von Ausführungsformen der Erfindung aus, wie hier beschrieben.
  • Das Computersystem 212 kann auch mit einer oder mehreren externen Vorrichtungen 214 wie einer Tastatur, eine Zeigevorrichtung, einer Anzeige 224, etc.; einer oder mehreren Vorrichtungen, die einem Benutzer eine Interaktion mit dem Computersystem 212 ermöglichen; und/oder beliebigen Vorrichtungen (z.B. einer Netzwerkkarte, einem Modem, etc.) kommunizieren, die dem Computersystem 212 ein Kommunizieren mit einer oder mehreren anderen Rechenvorrichtungen ermöglichen. Eine derartige Kommunikation kann über Eingabe-/Ausgabe-Schnittstellen (E-/A-Schnittstellen) 222 erfolgen. Darüber hinaus kann das Computersystem 212 über einen Netzwerkadapter 225 mit einem oder mehreren Netzwerken wie einem lokalen Netzwerk (einem LAN), einem allgemeinen Weitbereichsnetzwerk (einem WAN) und/oder einem öffentlichen Netzwerk (z.B. dem Internet) kommunizieren. Wie dargestellt, kommuniziert der Netzwerkadapter 225 über den Bus 218 mit den anderen Komponenten des Computersystems 212. Es versteht sich, dass weitere Hardware- und/oder Software-Komponenten in Verbindung mit dem Computersystem 212 verwendet werden könnten, obwohl dies nicht gezeigt ist. Beispiele schließen Mikrocode, Vorrichtungstreiber, redundante Verarbeitungseinheiten, externe Plattenlaufwerkanordnungen, RAID-Systeme, Bandlaufwerke und Datenarchivierungs-Speichersysteme, etc. ein, sind jedoch nicht darauf beschränkt.
  • 3 ist ein Ablaufdiagramm, das die verschiedenen Module und Ausgaben des maschinellen Lern- und synthetischen Datenerstellungssystems 15 zeigt. Ein medizinisches Bild 104 wird an den Textklassifikator 105 und den Deep-Learning-Klassifikator 115 übermittelt. Der Textklassifikator 105 kann die medizinischen Bilder empfangen, die ein Zeitreihenformat aufweisen können. Der Textklassifikator 105 kann die Dateien auf textbasierte Informationen, z.B. Text in der Kopfzeile der Datei, Metadaten der Datei, zugehörigen, mit der Datei, die die PHI enthält, in Verbindung stehenden Berichten, etc. analysieren. Die Analyse kann bei medizinischen Zeitreihen-Bildaufnahmen zum Identifizieren von PHI (z.B. textbasierten PHI) unter Verwendung eines rekursiven neuronalen Netzwerks (RNN) 106 ausgeführt werden.
  • Sind die PHI einmal identifiziert, kann ein regelbasierter Analysator 107 zum Ersetzen der identifizierten PHI durch gattungsmäßige PHI verwendet werden. Die gattungsmäßigen PHI enthalten Kenngrößen der patientenspezifischen PHI, wahren jedoch den Datenschutz des Patienten. Dementsprechend zielt der regelbasierte Analysator 107 auf eine derartige Generalisierung der PHI ab, dass der Datenverlust reduziert wird, während gleichzeitig die Qualität der Daten in dem Umfang erhalten bleibt, in dem die Privatsphäre des Patienten nicht gefährdet ist. In einigen Fällen kann von dem regelbasierten Analysator eine Schwärzung ausgeführt werden, wenn ein gattungsmäßiges Äquivalent nicht erstellt werden kann oder die Privatsphäre des Patienten nicht schützt.
  • In einigen Fällen können Kopfzeilen medizinischer Bilddateien private Felder enthalten, die PHI enthalten. Der dem privaten Feld zugeordnete Name/Kennsatz des privaten Felds kann nicht mit dem Inhalt der in dem privaten Feld enthaltenen Informationen in Beziehung gesetzt werden. Gemäß den vorliegenden Ansätzen kann das maschinelle Lern- und synthetische Datenerstellungssystem 15 privaten Feldern zugeordnete Informationen unabhängig von dem Namen des Namens/Kennsatzes des privaten Felds analysieren und klassifizieren, um zu bestimmen, ob derartige Felder PHI enthalten.
  • In einigen Fällen kann das Bild eingebetteten Text wie von der Bildaufnahme-Software erzeugten eingebrannten Text (z.B. Alter, Geburtsdatum, Name, etc.) aufweisen, der in dem Aufbau des digitalen Bilds vorliegt. Das Bild kann von dem OCR- und bildbasierten Klassifikator 110 zum Identifizieren des eingebetteten Texts zur Erstellung einer maschinenlesbaren Version des eingebetteten Texts einer optischen Zeichenerkennung (OCR: optical character recognition) unterzogen werden. Der resultierende maschinenlesbare Text kann zur weiteren Analyse an den Textklassifikator 105 übermittelt werden. In einigen Fällen kann der eingebettete oder eingebrannte Text geschwärzt werden, wogegen der eingebettete Text in anderen Fällen einem Bildwiederherstellungs- oder Korrekturprozess unterzogen werden kann, bei dem eingebettete Textabschnitte basierend auf dem digitalen Bild aufgefüllt werden. Der eingebettete Text kann, wenn er nicht in der Kopfzeilendatei vorhanden ist, generalisiert zu der Kopfzeilendatei hinzugefügt werden. Die generalisierten PHI können zur Integration mit der Ausgabe des GAN 120 zusammen mit dem die PHI enthaltenden Bild an den Bildgenerator 130 übermittelt werden.
  • Das Bild kann zum Identifizieren von Merkmalen des digitalen Bilds, die eine Identifikation des privaten Gesundheitszustands enthalten können, an den Deep-Learning-Klassifikator 115 übermittelt werden. Der Deep-Learning-Klassifikator 115 kann das Bild Pixel für Pixel analysieren und eine jedem Pixel zugeordnete Wahrscheinlichkeit hinsichtlich des Vorhandenseins oder Nichtvorhandenseins von PHI in dem Pixel erstellen. Gemäß einigen Aspekten kann der Deep-Learning-Klassifikator 115 ein Fully Convolutional Network (FCN) 117 zum Ausführen der Pixelanalyse nutzen.
  • Ist jedem Pixel einmal eine Wahrscheinlichkeit zugeordnet, kann der Deep-Learning-Klassifikator 115 Grenzlinien 310 um Gruppen von nahe beieinander liegenden Pixeln festlegen, wie in 4 gezeigt. Die schattierten Bereiche entsprechen Pixeln mit einer (z.B. über einem Schwellenwert liegenden) Wahrscheinlichkeit, die dem Vorliegen von PHI zugeordnet ist. Wie in dieser Figur gezeigt, können diese Pixel gruppiert werden, wodurch ein von einer Grenzlinie 310 umgebener Bereich gebildet wird, wobei der Bereich aus Gründen der Durchgängigkeit eine begrenzte Anzahl an nicht schattierten Pixeln enthalten kann. Diese Informationen (z.B. der abgegrenzte Bereich, der die PHI enthält, und die jeweilige Position des abgegrenzten Bereichs in Bezug auf das digitale Bild) können zur Erstellung eines synthetischen Bilds an das GAN 120 übermittelt werden.
  • Erneut Bezug nehmend auf 3 kann der Deep-Learning-Klassifikator 115 mit einem GAN 120 kommunizieren, um aufzuzeigen, welche Bereiche (z.B. abgegrenzten Bereiche) PHI enthalten. Das GAN 120 kann ein oder mehr PHI-freie synthetische Bilder zur Kombination mit dem die PHI enthaltenden digitalen Bild generieren.
  • Für Bereiche außerhalb des relevanten Bereichs, der PHI enthält, kann ein GAN synthetische GAN-Bilder 125 generieren, die in Bezug auf das medizinische Bild 104 ein realistisches oder natürliches Erscheinungsbild aufweisen. Diese Bilder können an den Bildgenerator 130 übermittelt werden, der die synthetischen GAN-Bilder 125 zur Erzeugung eines PHI-freien Bilds 140 über das Bild mit den generalisierten Text-PHI legen kann.
  • GANs umfassen typischerweise mindestens zwei neuronale Netzwerke. Das GAN 120 kann beispielsweise einen Generator 127, der Bilder generiert, und einen Diskriminator 126 zum Klassifizieren der Bilder als echte oder unechte Bilder aufweisen. Mit dem Fortschreiten des Trainings der gegnerischen neuronalen Netzwerke verbessert der Generator die Qualität der computergenerierten Bilder basierend auf dem Feedback von dem Diskriminator. Zu Beginn des Trainings kann das GAN 120 Bilder erstellen, die nicht realistisch sind (z.B. eine nicht korrekte Anzahl anatomischer Merkmale, anatomische Merkmale an unpassenden Positionen, Verlust der Dimensionalität oder flach wirkende Bilder, etc.). Mit fortschreitendem Training lernt das GAN, realistischere und natürlichere Bilder zu generieren (z.B. Merkmale an den korrekten Positionen, die korrekte Anzahl an Gliedmaßen, 3D-Erscheinungsbild, etc.).
  • Der Bildgenerator 130, der das Bild 107 mit dem PHI-freien Text (einschließlich des Bilds ohne textbasierte PHI) empfängt, kann die von dem GAN generierten synthetischen Bilder 125, die frei von PHI sind, über das Bild mit dem PHI-freien Text legen. Dementsprechend sind die resultierenden PHI-freien Bilder 140 sowohl frei von (der Kopfzeile zugeordneten oder in die Datei eingebrannten) textbasierten PHI als auch frei von Bild-PHI (z.B. identifizierenden Merkmalen wie Zahnimplantaten, Gesichtszügen, Körperkennzeichen, Metallimplantaten, etc.), die in dem medizinischen Bild vorhanden sind.
  • Der bildbasierte Klassifikator 115 kann Bereiche erkennen, die sowohl medizinisch relevante Informationen als auch PHI enthalten. Das morphologische Netzwerk 122 kann Aspekte des digitalen Bilds umwandeln, um eine Patientenidentifikation bei gleichzeitigem Erhalt medizinisch relevanter Informationen zu verbergen. Das System kann beispielsweise den medizinisch relevanten Abschnitt beibehalten und andere identifizierende Merkmale (z.B. Augen, Nase, etc.) umwandeln, um eine Identifikation des Patienten zu verhindern.
  • Somit sind der Textklassifikator 105, der OCR- und bildbasierte Klassifikator 110, der Deep-Learning-Klassifikator 115, das GAN 120, das morphologische Netzwerk 122 und der Bildgenerator 130 darauf ausgelegt, bei der automatischen Entfernung sämtlicher identifizierten PHI aus medizinischen Bildaufnahmen ohne manuelle menschliche Intervention Hand in Hand zu arbeiten. Gemäß den vorliegenden Ausführungsformen können diese Operationen automatisiert zum Ersetzen sämtlicher erfassbaren PHI in einem Bild jedweder Modalität genutzt werden.
  • Gemäß einigen Aspekten kann das Bild ein CT-Bild oder ein MRI-Bild sein. Die Bilder können als zeitreihenbasierter Satz von Bildern abgerufen werden. Neben MRI und CT schließen weitere Bildtpen, die gemäß den hier bereitgestellten Techniken analysiert werden können, Ultraschall, PET-Scans, Röntgen, etc. ein, sind jedoch nicht darauf beschränkt. Die vorliegenden Techniken können auf 2D- oder 3D-Bilder angewendet werden.
  • 5 zeigt Aspekte des Trainings des Deep-Learning-Klassifikators 115 und des GAN 120. Trainingsdaten 101, die segmentiert sein können, können dem Deep-Learning-Klassifikator 115 und dem GAN 120 zur Verfügung gestellt werden. Durch das Trainieren des GAN mit einem Typ von Bild (z.B. einer CT-Aufnahme des Gehirns) generiert der Generator 127, der ein neuronales Netzwerk sein kann, neue Bilder, die Ähnlichkeiten zu den in den Trainingsdaten zur Verfügung gestellten Bildern aufweisen. Dieses neue Bild kann dem Diskriminator 126 zur Verfügung gestellt werden, der unterscheidet, ob das neue Bild ein echtes (von einem Patienten erhaltenes) medizinisches Bild oder ein (von dem Generator 127 erstelltes) unechtes Bild ist. Mit fortschreitendem Training verliert der Diskriminator 126 die Fähigkeit, echte Bilder von unechten Bildern zu unterscheiden, da sich die Qualität der erstellten Bilder verbessert. Das Training kann fortgesetzt werden, bis ein Schwellenwert überschritten ist (z.B. ein bestimmter Prozentsatz an unechten Bildern als echt klassifiziert wird und daher eine zur Integration Bilder 107 mit PHI-freiem Text geeignete Qualität aufweist). Gemäß einigen Aspekten können erstellte GAN-Bilder 125 beim Training oder in Abständen während des Betriebs überprüft werden, um sicherzustellen, dass Bilderzeugungskriterien (die Erstellung realistischer Bilder) erfüllt werden.
  • Ähnlich kann der Deep-Learning-Klassifikator 115 zur Erstellung abgegrenzter Bereiche zur Übermittlung an das GAN einem Training unterzogen werden. Mit fortschreitendem Training verbessert sich der Klassifikator bei der Erkennung anatomischer oder weiterer unverwechselbarer Merkmale, die zur Identifikation eines Patienten anhand medizinisch relevanter Bereiche ohne PHI verwendet werden können. Bereiche mit PHI 135 können zur Sicherstellung der Korrektheit der Pixelklassifizierung überprüft und an das System rückgeführt werden, und der Deep-Learning-Klassifikator 115 kann anhand dieser Daten den Erfordernissen entsprechend weiter trainiert werden.
  • 6 zeigt ein Ablaufdiagramm spezifischer Operationen, die dem maschinellen Lern- und synthetischen Datenerstellungssystem 15 zugeordnet sind. In Operation 410 werden textbasierte PHI identifiziert. PHI können in den einer Bilddatei zugeordneten Kopfzeileninformationen, in den einer Bilddatei zugeordneten Metadaten oder sämtlichen anderen textbasierten Informationen vorhanden sein, die mit der Bilddatei in Verbindung stehen oder dieser zugeordnet sind. Gemäß einigen Aspekten kann für das Bild ein DICOM-Format, ein XML-basiertes Format, ein medizinisches Bildgebungs-Netzwerkübermittlungsformat oder jedes andere geeignete bildbasierte Format (z.B. JPEG, TIFF, GIF, PNG, etc.) oder jedes andere geeignete Äquivalent genutzt werden.
  • Der Textklassifikator 105 kann textbasierte Informationen beispielsweise in DICOM-Bild-Kopfzeilen, zugehörigen DICOM-strukturierten Berichten und sämtlichen anderen Daten eines medizinischen Berichts abtasten und analysieren, die dem Bild zugeordnet sind oder mit diesem in Verbindung stehen.
  • Gemäß einigen Aspekten kann der Textklassifikator das anhand von DICOM-Kopfzeilen, die zum Aufzeigen von PHI enthaltenden Wortgruppen gekennzeichnet wurden, trainierte RNN 106 nutzen. PHI können einen Patientennamen, eine Patientenkennung (z.B. eine numerische Kennung), eine Patientenadresse, das Alter, das Geburtsdatum des Patienten, den Typ der medizinischen Bildaufnahme, das Geschlecht, das Gewicht, die medizinische Vorgeschichte, das Datum der Bildaufnahme, die zum Erstellen der Bildaufnahme verwendeten Geräteeinstellungen, die medizinische Einrichtung und der medizinischen Bildaufnahme zugeordnete geografische Daten, etc. einschließen, sind jedoch nicht darauf beschränkt. RNNs können zur Analyse zeitreihenbasierter Informationen genutzt werden. Andere Typen von maschinellen Lernalgorithmen können zur Erkennung von PHI in zeitreihenbasierten Bildaufnahmen genutzt werden, darunter LSTM-Einheiten (LSTM: long short-term memory, langes Kurzzeitgedächtnis), rekurrente Netzwerke oder jeder andere geeignete Typ von neuronalem Netzwerk, das zur Erkennung von Mustern in zeitlichen Abfolgen von Daten (z.B. Text, etc.) geeignet ist.
  • In Operation 420 kann nach der Erkennung der PHI durch das RNN 106 der regelbasierte Analysator 107 zur Generalisierung der PHI verwendet werden. Gemäß einigen Aspekten können RNNs zum Ersetzen identifizierter PHI enthaltender Felder durch gattungsmäßigen Inhalt mit einem oder mehreren regelbasierten Algorithmen kombiniert werden. Somit können PHI so modifiziert werden, dass keine Identifikation des Patienten erfolgen kann, während gleichzeitig Kenngrößen der PHI beibehalten werden (z.B. die Altersgruppe anstelle des Alters, die Stadt anstelle der Adresse, etc.).
  • In einigen Fällen kann das System 15, wenn die DICOM-Bilder (oder andere Bilder) in einem Datenspeicher gespeichert sind, die Kenngrößen der gespeicherten Daten analysieren, um zu bestimmen, ob die Daten generalisiert werden sollen. Das System kann zur Erkennung spezifischer zu generalisierender PHI oder Kombinationen von PHI statistische Informationen nachverfolgen, die mit Datenkenngrößen in Verbindung stehen.
  • Gemäß einigen Aspekten kann das System zum Erhalt von Kenngrößen der patientenspezifischen Daten bei gleichzeitiger Wahrung der Privatsphäre des Patienten Kenngrößen der Textfelder berücksichtigen und in dem Textfeld gespeicherte Daten oder darin enthaltene Kombinationen von Daten generalisieren. Wenn der Datensatz beispielsweise eine einzelne, einer Bildaufnahme zugeordnete Person im Alter von 51 Jahren enthält, kann das System das Alter der Einzelperson in der DICOM zum Verhindern der Identifikation anhand des Alters durch eine Altersgruppe ersetzen, die eine Gruppe von Patienten umfasst. Wenn der Datensatz (der PHI-Datensatz 32) analysiert wird und festgestellt wird, dass er eine große Anzahl an 51-jährigen enthält, muss das Alter jedoch nicht notwendigerweise generalisiert werden, da der Patient nicht allein anhand des Alters identifiziert werden kann.
  • Das System kann zur Bestimmung, welche Felder generalisiert werden sollen, auch Kombinationen von PHI berücksichtigen. Die DICOM-Kopfzeile kann beispielsweise das Geschlecht, das Alter und den Wohnort enthalten. Obwohl nicht jeder Parameter für sich eine Identifikation der Einzelperson ermöglichen muss, kann die kombinierte Gruppe nur ein Mitglied eines spezifischen Geschlechts und Alters aufweisen, das in einer bestimmten Stadt lebt. Somit kann das System PHI entsprechend Kombinationen von Kategorien generalisieren.
  • In Operation 430 kann zur Erkennung von nicht lesbarem Text und zur Erstellung einer maschinengenerierten Version dieses Texts eine OCR an dem Bild ausgeführt werden. Die OCR kann zum Extrahieren von Text aus jedem Bild der Zeitreihe von Bildern genutzt werden. Der extrahierte Text kann zur Erkennung textbasierter PHI an das RNN des Textklassifikators 105 übermittelt werden.
  • In Operation 440 wird der verarbeitete Text von dem Textklassifikator 105 analysiert, um PHI enthaltenden Text zu suchen und zu entfernen/modifizieren. In einigen Fällen kann der erkannte Text in dem Bild geschwärzt und/oder zu der DICOM-Kopfzeile der Datei hinzugefügt werden. In anderen Fällen müssen, wenn der identifizierte Text eine Wiederholung von in der DICOM-Kopfzeile vorhandenem Text ist, die doppelt vorhandenen Daten nicht erhalten werden und können in dem Bild geschwärzt werden. Alternativ kann das Bild einer Bildkorrektur zur Entfernung des eingebetteten Texts unterzogen werden.
  • In Operation 450 kann zur Erkennung anatomischer Merkmale, die zum Identifizieren des Patienten verwendet werden könnten, das Bild selbst analysiert werden. Der Deep-Learning-Klassifikator 115 kann zur Analyse anatomischer oder anderer Merkmale des Bilds (z.B. jedes Bild in der Zeitreihe) verwendet werden, das den Patienten identifizieren kann. Diese Merkmale können beispielsweise das Gesicht eines Individuums, Zahnimplantate, medizinische Implantate, körperliche Kennzeichen, Muttermale, Schmuck, Anomalien oder andere unverwechselbare Merkmale einschließen. Der Deep-Learning-Klassifikator 115 markiert Pixel hinsichtlich einer Wahrscheinlichkeit, mit der sie PHI enthalten oder keine PHI enthalten, um zu bestimmen, welche Pixel oder Bereiche dieser an das GAN übermittelt werden sollen.
  • In anderen Fällen können PHI-Merkmale anhand mehrerer Bilder (z.B. eines Bildstapels in Bezug auf eine vertikale Achse) rekonstruiert werden, wie bei der Rekonstruktion eines Gesichts. Bereiche mit PHI können an das GAN 120 übermittelt werden, und das GAN erstellt zum Ersetzen des Abschnitts des Bilds mit den PHI ein entsprechendes Bild (ein unechtes Bild) ohne PHI.
  • Gemäß einigen Aspekten kann ein Fully Convolutional Network (FCN) zur Erkennung, welche Pixeln/Voxel in der Zeitreihe anatomische oder sonstige Merkmale enthalten, die z.B. bei einer Betrachtung mit einem geeigneten 3D-Darstellungsprogramm zum Identifizieren des Patienten verwendet werden könnten, anhand von stark markierten medizinischen Bildfolgen trainiert werden. Algorithmen, die an Bereichen (Gruppen von Pixeln anstelle von einzelnen Pixeln) arbeiten, darunter eine allgemeine Segmentierung oder Erfassungsalgorithmen mit Lokalisierungskomponenten, wären jedoch ebenfalls geeignet.
  • In Operation 460 bestimmt das System, ob der Bereich, der die PHI enthält, für die ausgeführte medizinische Studie relevant ist. Das System bestimmt, ob durch die Entfernung der PHI unabsichtlich relevante medizinische Informationen entfernt werden können.
  • Würden durch die Entfernung der PHI auch für die Bildaufnahme relevante medizinischen Informationen entfernt, fährt das System mit Operation 490 fort. Anderenfalls, wenn die Entfernung der PHI keine erkennbaren Auswirkungen auf die medizinischen Informationen in der Bildaufnahme hat oder wenn der Bereich, der PHI enthält, von den Bereichen, die für eine Diagnose relevante medizinische Informationen enthalten, getrennt ist und diese nicht überlagert, fährt das System gemäß Operation 470 fort.
  • In Operation 470 kann das GAN 120 zur Erstellung in die medizinischen Bildaufnahme zu integrierender synthetischer Bilder zum Ersetzen identifizierter PHI enthaltender Merkmale zur Wahrung der Privatsphäre des Patienten verwendet werden. Zum Erstellen synthetischer Bilder können GANs anhand der gleichen Daten trainiert werden, die zum Trainieren des Deep-Learning-Klassifikators 115 verwendet werden. In einigen Fällen kann ein GAN an vollständigen Körperbereichen (z.B. dem gesamten Bild) trainiert werden. In anderen Fällen können GANs für jeden Körperbereich trainiert werden, für den ein synthetisches Bild generiert werden soll. Gemäß einigen Aspekten kann der Körper beispielsweise in Kopf-, Hals-, Schulter-, Brust-, Bauch-, Hüft-, Bein-, Hand-, Fuß- und Armbereich segmentiert werden. Für jeden Körperbereich kann das GAN auf das Erstellen gattungsmäßiger Körperteile zum Ersetzen von Bildinhalt trainiert werden, der den Patienten identifiziert. Das GAN kann beispielsweise auf das Erstellen eines realistischen Gesichts trainiert werden, wenn der Deep-Learning-Klassifikator 115 bestimmt, dass das Gesicht in den Bildern sichtbar (und nicht medizinisch relevant) ist. Die von dem GAN 120 generierten synthetischen Bilder erhalten ein realistisches Erscheinungsbild, ohne den Patienten zu identifizieren.
  • Darüber hinaus können die Bilder durch das Erstellen realistischer Ersatzbilder und Überdecken (Ersetzen) des entsprechenden Abschnitts des medizinischen Bilds durch diese Bilder gemäß Operation 480 (anstelle der Erstellung geschwärzter Bilder, auf denen das Gesicht oder andere Merkmale ausgestrichen sind), weiterhin für Anwendungen genutzt werden, die auf einer Bildregistrierung und Multi-Atlas-Segmentierung beruhen und zur korrekten Verarbeitung von Bildern mit fehlenden oder geschwärzten Bereichen ungeeignet sein können. Einige Anwendungen sind bei der Verarbeitung von Bildern beispielsweise auf das Vorhandensein bestimmter Merkmale, z.B. des Gesichts oder des Schädels, angewiesen. Das Entfernen dieser Merkmale durch Schwärzen kann zu einer nicht korrekten Ausgabe durch die Anwendung oder zum Scheitern der Anwendung am Laden und Verarbeiten des Bilds führen. Die vorliegenden Techniken bewahren den Bildinhalt durch das Ersetzen oder Modifizieren von Bereichen, die PHI enthalten, wodurch ein ordnungsgemäßes Funktionieren derartiger Anwendungen ermöglicht wird.
  • Wie vorstehend besprochen, kann der bildbasierte Klassifikator 115 Bereiche identifizieren, die medizinische Informationen und PHI enthalten. In Operation 490 kann das morphologische Netzwerk 122 andere Strukturen verändern, um die Identität zu bewahren. So kann beispielsweise eine Gesichtsstruktur (z.B. die Form von Gesicht, Augen, Nase, etc.) in ein anderes Gesicht umgewandelt werden, wobei die Gesamtform des Gesichts verändert wird, um eine Identifikation des Patienten bei gleichzeitigem Erhalt medizinisch relevanter Informationen, die PHI enthalten können, zu verhindern.
  • 7 zeigt ein Beispiel von Operationen höherer Ordnung zur Verwendung eines synthetischen Daten- und generativen maschinellen Lernsystems 15 zur Verwaltung von PHI oder anderen Identifikationsinformationen durch Erkennen und Reduzieren von PHI. In Operation 510 erfasst das synthetische Daten- und generative maschinelle Lernsystem geschützte Gesundheitsinformationen, die in ein digitales Bild eingebettet sind, wobei die PHI aus Text und anatomischen Merkmalen des Patienten ausgewählt werden. In Operation 520 werden die PHI aus dem digitalen Bild entfernt. In Operation 530 werden textbasierte PHI durch gattungsmäßigen Inhalt ersetzt, und bildbasierte PHI werden durch synthetische Bilder ersetzt, wobei das synthetische Bild im Vergleich zu dem digitalen Bild ein natürliches Erscheinungsbild aufweist. PHI-freie Bilder können von einem Generative Adversarial Network erzeugt werden. Textfreie PHI können von einer regelbasierten Plattform generiert werden.
  • Das vorliegende System entfernt unter Verwendung mehrerer Ansätze automatisch PHI oder andere Identifikationsinformationen. Im Vergleich zu bisherigen PHI-Entfernungssystemen ersetzen die vorliegenden Techniken sensiblen Text- und Bildinhalt durch gattungsmäßigen oder synthetischen Inhalt, statt die identifizierten PHI einfach zu schwärzen. Dieser Ansatz minimiert den Datenverlust, erhält das natürliche Erscheinungsbild der Daten und Gesamtmerkmale, wobei gleichzeitig die Qualität und die gemeinsame Nutzung der PHI-freien digitalen Bilder mit verschiedenen Verarbeitungsanwendungen vorangebracht werden.
  • Es versteht sich, dass die vorstehend beschriebenen und in den Zeichnungen dargestellten Ausführungsformen nur einige wenige der zahlreichen Möglichkeiten zur Implementierung von Ausführungsformen zur Automatisierung der Identifikation und Reduzierung von PHI durch das Ersetzen von PHI enthaltendem Inhalt durch generalisierteren Inhalt und/oder modifizierte oder umgewandelte Bilder repräsentieren.
  • Die Umgebung gemäß Ausführungsformen der vorliegenden Erfindung kann eine beliebige Anzahl an Computern oder anderen Verarbeitungssystemen (z.B. Client- oder Endnutzersystemen, Server-Systemen, etc.) und Datenbanken oder anderen Datenspeichern aufweisen, die in jeder gewünschten Form angeordnet sind, wobei die Ausführungsformen der vorliegenden Erfindung auf jeden gewünschten Typ von Rechenumgebung (z.B. Cloud Computing, Client-Server, Network Computing, Mainframe, eigenständige Systeme, etc.) angewendet werden können. Die Computer oder anderen Verarbeitungssysteme, die gemäß den Ausführungsformen der vorliegenden Erfindung verwendet werden, können durch eine beliebige Anzahl an beliebigen Personal Computern oder anderen Typen von Computern oder Verarbeitungssystemen (z.B. Desktop, Laptop, PDA, mobile Vorrichtungen, etc.) implementiert sein und jedes im Handel erhältliche Betriebssystem und jede Kombination von im Handel erhältlicher und individueller Software (z.B. Browser-Software, Kommunikations-Software, Server-Software, ein maschinelles Lern- und synthetisches Datenerstellungssystem 15, etc.) aufweisen. Diese Systeme können jeden Typ von Monitoren und Eingabevorrichtungen (z.B. Tastatur, Maus, Spracherkennung, etc.) zur Eingabe und/oder Ansicht von Informationen aufweisen.
  • Es versteht sich, dass die Software (z.B. das maschinelle Lern- und synthetische Datenerstellungssystem 15, das den Textklassifikator 105, den OCR- und bildbasierten Klassifikator 110, den Deep-Learning-Klassifikator 115, das Generative Adversarial Network 120, das morphologische Netzwerk 122, den Bildgenerator 130, etc. aufweist) gemäß Ausführungsformen der vorliegenden Erfindung in jeder gewünschten Computersprache implementiert sein kann und von Durchschnittsfachleuten in Informatik anhand der in der Beschreibung enthaltenen funktionalen Beschreibungen und der in den Zeichnungen dargestellten Ablaufdiagramme entwickelt werden könnte. Ferner beziehen sich jegliche Bezugnahmen auf Software, die verschiedene Funktionen ausführt, hier allgemein auf Computersysteme oder Prozessoren, die diese Funktionen softwaregesteuert ausführen. Die Computersysteme gemäß den Ausführungsformen der vorliegenden Erfindung können alternativ durch jeden Typ von Hardware und/oder anderem Verarbeitungsschaltkreis implementiert werden.
  • Die unterschiedlichen Funktionen des Computers oder der anderen Verarbeitungssysteme können auf jede Weise auf eine beliebige Anzahl von Software- und/oder Hardware-Modulen oder Einheiten, Verarbeitungs- oder Computersystemen und/oder Schaltkreisen verteilt sein, wobei die Computer oder Verarbeitungssysteme lokal oder voneinander entfernt angeordnet sein und über jedes geeignete Kommunikationsmedium (z.B. ein LAN, ein WAN, ein Intranet, das Internet, eine Verkabelung, eine Modemverbindung, drahtlos, etc.) kommunizieren können. Die Funktionen der Ausführungsformen der vorliegenden Erfindung können beispielsweise auf jede Weise auf die verschiedenen Endnutzer-/Client- und Server-Systeme und/oder beliebige andere zwischengeschaltete Verarbeitungsvorrichtungen verteilt sein. Die Software und/oder die Algorithmen, die vorstehend beschrieben und in den Ablaufdiagrammen dargestellt sind, können auf jede Weise modifiziert werden, auf die die hier beschriebenen Funktionen bewerkstelligt werden. Darüber hinaus können die Funktionen gemäß den Ablaufdiagrammen oder der Beschreibung in jeder Reihenfolge ausgeführt werden, in der eine gewünschte Operation bewerkstelligt wird.
  • Die Software gemäß den Ausführungsformen der vorliegenden Erfindung (z.B. das maschinelle Lern- und synthetische Datenerstellungssystem 15, das den Textklassifikator 105, den OCR- und bildbasierten Klassifikator 110, den Deep-Learning-Klassifikator 115, das Generative Adversarial Network 120, das morphologische Netzwerk 122, den Bildgenerator 130, etc. aufweist) kann auf einem nicht flüchtigen, von einem Computer verwendbaren Medium (z.B. magnetischen oder optischen Medien, magneto-optischen Medien, Disketten, einer CD-ROM, einer DVD, Speichervorrichtungen, etc.), einer stationären oder tragbaren Programmproduktvorrichtung oder einer Vorrichtung zur Verwendung mit eigenständigen Systemen oder über ein Netzwerk oder ein anderes Kommunikationsmedium verbundenen Systemen verfügbar sein.
  • Das Kommunikationsnetzwerk kann durch eine beliebige Anzahl beliebiger Typen von Kommunikationsnetzwerk (z.B. ein LAN, ein WAN, das Internet, ein Intranet, ein VPN, etc.) implementiert sein. Der Computer oder andere Verarbeitungssysteme gemäß Ausführungsformen der vorliegenden Erfindung können zur Kommunikation über das Netzwerk über jedes herkömmliche oder andere Protokoll beliebige herkömmliche oder andere Kommunikationsvorrichtungen aufweisen. Der Computer oder die anderen Verarbeitungssysteme können jeden Typ von Verbindung (z.B. kabelgebunden, drahtlos, etc.) für den Zugriff auf das Netzwerk nutzen. Lokale Kommunikationsmedien können durch beliebige geeignete Kommunikationsmedien (z.B. ein lokales Netzwerk (LAN), eine Verkabelung, eine drahtlose Verbindung, ein Intranet, etc.) implementiert sein.
  • Das System kann eine beliebige Anzahl beliebiger herkömmlicher oder anderer Datenbanken, Datenspeicher oder Speicherstrukturen (z.B. Dateien, Datenbanken, Datenstrukturen, Daten oder andere Datenspeicher, etc.) zum Speichern von Informationen (z.B. des maschinellen Lern- und synthetischen Datenerstellungssystems 15, das den Textklassifikator 105, den OCR- und bildbasierten Klassifikator 110, den Deep-Learning-Klassifikator 115, das Generative Adversarial Network 120, das morphologische Netzwerk 122, den Bildgenerator 130, etc. aufweist) nutzen. Das Datenbanksystem kann durch eine beliebige Anzahl beliebiger herkömmlicher oder anderer Datenbanken, Datenspeicher oder Speicherstrukturen (z.B. Dateien, Datenbanken, Datenstrukturen, Daten oder andere Datenspeicher, etc.) zum Speichern von Informationen (z.B. des PHI-Datensatzes 32, des synthetischen Datensatzes 36, des PHI-freien Datensatzes 36, etc.) implementiert sein. Das Datenbanksystem kann in den Server und/oder Client-Systemen enthalten oder mit diesen gekoppelt sein. Die Datenbanksysteme und/oder Speicherstrukturen können von dem Computer oder den anderen Verarbeitungssystemen entfernt oder lokal sein und beliebige gewünschte Daten (z.B. den PHI-Datensatz 32, den synthetischen Datensatz 36, den PHI-freien Datensatz 36, etc.) speichern.
  • Die Ausführungsformen der vorliegenden Erfindung können jede beliebige Anzahl jedes beliebigen Typs von Benutzerschnittstelle (z.B. eine grafische Benutzerschnittstelle (GUI), eine Befehlszeile, eine Eingabeaufforderung, etc.) zum Abrufen oder Bereitstelen von Informationen (z.B. des PHI-Datensatzes 32, des synthetischen Datensatzes 36, des PHI-freien Datensatzes 36, etc.) nutzen, wobei die Schnittstelle beliebige, auf beliebige Weise angeordnete Informationen einschließen kann. Die Schnittstelle kann zur Eingabe/Anzeige von Informationen und zum Initialisieren gewünschter Vorgänge über beliebige geeignete Eingabevorrichtungen (z.B. eine Maus, eine Tastatur, etc.) eine beliebige Anzahl beliebiger Typen von Eingabe- oder Betätigungsmechanismen (z.B. Schalter, Piktogramme, Felder, Kästchen, Verknüpfungen, etc.) aufweisen, die an beliebigen Positionen angeordnet sind. Die Schnittstellenbildschirme können beliebige geeignete Betätigungseinrichtungen (z.B. Verknüpfungen, Register, etc.) zum Navigieren zwischen den Bildschirmen in beliebiger Form aufweisen.
  • Die Ausgabe des maschinellen Lern- und synthetischen Datenerstellungssystems 15 kann beliebige, in beliebiger Form angeordnete Informationen einschließen und zur Bereitstellung gewünschter Informationen (z.B. Klassifizierungsergebnissen, Bildanalyseergebnissen, PHI-Analysen, einer auf den PHI-Bildern und den PHI-freien Bildern basierenden medizinischen Analyse, etc.) für einen Benutzer entsprechend Regeln oder anderen Kriterien konfigurierbar sein.
  • Die Ausführungsformen der vorliegenden Erfindung sind nicht auf die spezifischen vorstehend beschriebenen Aufgaben oder Algorithmen beschränkt, sondern können für jede Anwendung genutzt werden, bei der die Entfernung von PHI nützlich ist. Obwohl die vorliegenden Beispiele im Kontext neuronaler Netzwerke beschrieben sind, kann beispielsweise jeder geeignete Klassifikator verwendet werden. Ferner kann dieser Ansatz allgemein auf die Reduzierung beliebiger Identifikations- oder anderen Informationen jedem beliebigen Kontext angewendet werden und ist nicht auf medizinische Implementierungen beschränkt.
  • Die hier verwendete Terminologie dient ausschließlich dem Zweck der Beschreibung bestimmter Ausführungsformen und soll die Erfindung nicht einschränken. In dem hier verwendeten Sinne sollen die Singularformen „ein“, „eine“ und „der“, „die“, „das“ auch die die Pluralformen einschließen, sofern aus dem Kontext nicht eindeutig anderes hervorgeht. Es versteht sich ferner, dass die Begriffe „aufweisen“, „weist auf“, „umfassen“, „umfasst“, „einschließen“, „schließt ein“, „enthalten“, „enthält“, „mit“ und dergleichen bei der Verwendung in der vorliegenden Beschreibung das Vorhandensein der aufgeführten Merkmale, ganzzahligen Werte, Schritte, Operationen, Elemente und/oder Komponenten aufzeigen, das Vorhandensein oder Hinzukommen eines oder mehrerer weiterer Merkmale, ganzzahligen Werte, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen dieser jedoch nicht ausschließen.
  • Die entsprechenden Strukturen, Materialien, Vorgänge und Äquivalente sämtlicher Einrichtungen oder Schritte sowie Funktionselemente in den nachstehenden Ansprüche sollen jede Struktur, jedes Material oder jeden Vorgang zum Ausführen der Funktion in Kombination mit weiteren beanspruchten Elementen einschließen, wie spezifisch beansprucht. Die Beschreibung der vorliegenden Erfindung wurde für die Zwecke der Veranschaulichung und Beschreibung vorgelegt, soll jedoch nicht erschöpfend oder auf die Erfindung in der offenbarten Form beschränkt sein. Zahlreiche Modifikationen und Varianten sind für Durchschnittsfachleute offensichtlich, ohne dass vom Umfang der Erfindung abgewichen würde. Die Ausführungsform wurde zur bestmöglichen Erläuterung der Prinzipien der Erfindung und der praktischen Anwendung gewählt und beschrieben und soll anderen Durchschnittsfachleuten das Verständnis der Erfindung in verschiedenen Ausführungsformen mit unterschiedlichen für die spezifische vorgesehene Nutzung geeigneten Modifikationen ermöglichen.
  • Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung erfolgen zum Zwecke der Veranschaulichung, sollen jedoch nicht erschöpfend oder auf die offenbarten Ausführungsformen beschränkt sein. Zahlreiche Modifikationen und Varianten sind für Durchschnittsfachleute offensichtlich, ohne dass vom Umfang der beschriebenen Ausführungsformen abgewichen würde. Die hier verwendete Terminologie wurde zur bestmöglichen Erläuterung der Prinzipien der Ausführungsformen, der praktischen Anwendung oder der technischen Verbesserung gegenüber auf dem Markt zu findenden Technologien gewählt und soll anderen Durchschnittsfachleuten das Verständnis der hier offenbarten Ausführungsformen ermöglichen.
  • Die vorliegende Erfindung kann ein System, ein Verfahren und/oder ein Computerprogrammprodukt auf jeder möglichen technischen Detailintegrationsstufe sein. Das Computerprogrammprodukt kann ein computerlesbares Speichermedium (oder Medien) mit darin enthaltenen computerlesbaren Programmanweisungen zum Veranlassen eines Prozessors zum Ausführen von Aspekten der vorliegenden Erfindung einschließen.
  • Das computerlesbare Speichermedium kann eine konkrete Vorrichtung sein, die Anweisungen zur Verwendung durch eine Anweisungsausführungsvorrichtung halten und speichern kann. Das computerlesbare Speichermedium kann beispielsweise eine elektronische Speichervorrichtung, eine magnetische Speichervorrichtung, eine optische Speichervorrichtung, eine elektromagnetische Speichervorrichtung, eine Halbleiterspeichervorrichtung oder jede geeignete Kombination der vorstehenden sein, ist jedoch nicht darauf beschränkt. Eine nicht erschöpfende Liste spezifischer Beispiele des computerlesbaren Speichermediums schließt die folgenden ein: eine tragbare Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (ein RAM), einen Festspeicher (ein ROM), einen löschbaren programmierbaren Festspeicher (ein EPROM oder einen Flash-Speicher), einen statischen Direktzugriffsspeicher (ein SRAM), einen tragbaren Compact-Disc-Festspeicher (eine CD-ROM), eine digitale vielseitig verwendbare Platte (eine DVD), einen Speicherstick, eine Diskette, eine mechanisch codierte Vorrichtung wie Lochkarten oder erhabene Strukturen in einer Rille mit darauf aufgezeichneten Anweisungen und jede geeignete Kombination der vorstehenden. Ein computerlesbares Speichermedium im hier verwendeten Sinne darf nicht als flüchtige Signale per se wie Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich über einen Wellenleiter oder andere Sendemedien ausbreiten (z.B. Lichtimpulse, die ein Glasfaserkabel durchlaufen) oder über ein Kabel gesendete elektrische Signale aufgefasst werden.
  • Die hier beschriebenen computerlesbaren Programmanweisungen können von einem computerlesbaren Speichermedium auf jeweilige Rechen-/Verarbeitungsvorrichtungen oder über ein Netzwerk, beispielsweise das Internet, ein lokales Netzwerk, ein Weitbereichsnetzwerk und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichervorrichtung heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, optische Übertragungsfasern, eine drahtlose Übertragung, Router, Firewalls, Schalter, Netzkopplercomputer und/oder Edge-Server umfassen. Eine Netzadapterkarte oder eine Netzschnittstelle in jeder Rechen-/Verarbeitungsvorrichtung empfängt computerlesbare Programmanweisungen aus dem Netzwerk und leitet die computerlesbaren Programmanweisungen zur Speicherung auf einem computerlesbaren Speichermedium in der jeweiligen Rechen-/Verarbeitungsvorrichtung weiter.
  • Computerlesbare Programmanweisungen zum Ausführen von Operationen gemäß der vorliegenden Erfindung können Assembler-Anweisungen, Befehlssatzarchitekturanweisungen (ISA-Anweisungen, ISA: instruction set architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten, Konfigurationsdaten für integrierte Schaltkreise oder jeder in einer beliebigen Kombination einer oder mehrerer Programmiersprachen, darunter einer objektorientierten Programmiersprache wie Smalltalk, C++ oder dergleichen und prozeduralen Programmiersprachen wie der Programmiersprache „C“ oder ähnlichen Programmiersprachen geschriebene Source-Code oder Objektcode sein. Die computerlesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als unabhängiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernten Computer oder vollständig auf dem entfernten Computer oder Server ausgeführt werden. Bei dem zuletzt genannten Szenario kann der entfernte Computer über jeden Typ von Netzwerk einschließlich eines lokalen Netzwerks (LAN) oder eines Weitbereichsnetzwerks (WAN) mit dem Computer des Benutzers verbunden sein, oder die Verbindung zu einem externen Computer kann (beispielsweise über das Internet unter Verwendung eines Internetdienstanbieters) hergestellt werden. Bei einigen Ausführungsformen können elektronische Schaltkreise, darunter beispielsweise programmierbare Logikschaltkreise, feldprogrammierbare Gatteranordnungen (FPGA) oder programmierbare Logikanordnungen (PLA), die computerlesbaren Programmanweisungen durch die Nutzung von Zustandsinformationen der computerlesbaren Programmanweisungen zur Personalisierung der elektronischen Schaltkreise zum Ausführen von Aspekten der vorliegenden Erfindung ausführen.
  • Aspekte der vorliegenden Erfindung sind hier unter Bezugnahme auf Ablaufdiagrammdarstellungen und/oder Blockdiagramme von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es versteht sich, dass jeder Block der Ablaufdiagrammdarstellungen und/oder Blockdiagramme und Kombinationen von Blöcken in den Ablaufdiagrammdarstellungen und/oder Blockdiagrammen durch computerlesbare Programmanweisungen implementiert werden können.
  • Diese computerlesbaren Programmanweisungen können einem Prozessor eines Computers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung zur Erzeugung einer Maschine zugänglich gemacht werden, so dass die Anweisungen, die über den Prozessor des Computers oder der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, eine Einrichtung zur Implementierung der in dem bzw. den Ablaufdiagramm - und/oder Blockdiagramm-Block oder -Blöcken spezifizierten Funktionen/Vorgänge schaffen. Diese computerlesbaren Programmanweisungen können auch in einem computerlesbaren Speichermedium gespeichert werden, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Vorrichtungen anweisen kann, auf eine bestimmte Weise zu arbeiten, so dass das computerlesbare Speichermedium, in dem Anweisungen gespeichert sind, ein Fertigungserzeugnis umfasst, das Anweisungen einschließt, durch die Aspekte der Funktion/des Vorgangs implementiert werden, die bzw. der in dem bzw. den Ablaufdiagramm- und/oder Blockdiagramm-Block oder -Blöcken spezifiziert ist.
  • Die computerlesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Vorrichtung geladen werden, um zur Erzeugung eines computerimplementierten Prozesses die Ausführung einer Folge von Verfahrensschritten auf dem Computer, der anderen programmierbaren Vorrichtung oder sonstigen Vorrichtung zu veranlassen, so dass die Anweisungen, die auf dem Computer, der anderen programmierbaren Vorrichtung oder der sonstigen Vorrichtung ausgeführt werden, die in dem bzw. den Ablaufdiagramm- und/oder Blockdiagramm-Block oder -Blöcken spezifizierten Funktionen/Vorgänge implementieren.
  • Das Ablaufdiagramm und die Blockdiagramme in den Figuren zeigen die Architektur, den Funktionsumfang und die Funktionsweise möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß unterschiedlichen Ausführungsformen der vorliegenden Erfindung. In dieser Hinsicht kann jeder Block in dem Ablaufdiagramm oder den Blockdiagrammen ein Modul, ein Segment oder einen Anteil von Anweisungen repräsentieren, das bzw. der eine oder mehrere ausführbare Anweisungen zur Implementierung der spezifizierten logischen Funktion(en) umfasst. Bei einigen alternativen Implementierungen können die in den Blöcken aufgeführten Funktionen außerhalb der in den Figuren festgehaltenen Reihenfolge auftauchen. So können abhängig von dem beteiligten Funktionsumfang beispielsweise zwei als aufeinanderfolgend dargestellte Blöcke tatsächlich als ein Schritt, gleichzeitig, im Wesentlichen zeitgleich, auf eine sich teilweise oder vollständig zeitlich überschneidende Weise ausgeführt werden, oder die Blöcke können gelegentlich in umgekehrter Reihenfolge ausgeführt werden. Es ist auch ersichtlich, das jeder Block der Blockdiagramme und/oder der Ablaufdiagrammdarstellung und Kombinationen von Blöcken der Blockdiagramme und/oder der Ablaufdiagrammdarstellung durch hardwarebasierte Systeme mit besonderer Zweckbestimmung implementiert werden können, die die spezifizierten Funktionen oder Vorgänge ausführen oder Kombinationen von Spezialhardware und Computeranweisungen durchführen.

Claims (20)

  1. Verfahren in einem Datenverarbeitungssystem, das mindestens einen Prozessor und mindestens einen Speicher aufweist, wobei der mindestens eine Speicher Anweisungen, die von dem mindestens einen Prozessor ausgeführt werden, zum Veranlassen des mindestens einen Prozessors zur Verwaltung von Identifikationsinformationen zu einer Rechtspersönlichkeit enthält, wobei das Verfahren aufweist: Erfassen der Identifikationsinformationen der einem digitalen Bild zugeordneten Rechtspersönlichkeit, wobei die Identifikationsinformationen aus der aus Textinformationen und Bildinformationen, die einem oder mehreren Merkmalen der Rechtspersönlichkeit entsprechen, bestehenden Gruppe ausgewählt werden; Entfernen der Textinformationen aus dem digitalen Bild; und Ersetzen der Bildinformationen durch ein oder mehrere computergenerierte synthetische Bilder, wobei die computergenerierten synthetischen Bilder auf einem natürlichen Erscheinungsbild des digitalen Bilds basieren.
  2. Verfahren nach Anspruch 1, das ferner aufweist: Klassifizieren jedes Pixels des digitalen Bilds hinsichtlich des Vorliegens der Identifikationsinformationen unter Verwendung eines Deep-Learning-Klassifikators; Erstellen von Bereichen, die Gruppen von Pixeln entsprechen, die die Identifikationsinformationen enthalten; und Ersetzen der Bereiche, die die Identifikationsinformationen enthalten, durch von einem Generative Adversarial Network (GAN) erzeugte synthetische Bilder.
  3. Verfahren nach Anspruch 2, wobei die Rechtspersönlichkeit ein Patient ist und das Klassifizieren ferner aufweist: Bestimmen, dass ein Bereich, der die Identifikationsinformationen enthält, für eine medizinische Diagnose relevant ist; und Umwandeln der Bildinformationen zur Veränderung anatomischer Merkmale des Patienten, die nicht in dem relevanten Bereich liegen.
  4. Verfahren nach Anspruch 2, wobei das Synthetisieren des synthetischen Bilds ferner aufweist: Erstellen eines in Frage kommenden synthetischen Bilds durch ein neuronales Diskriminatornetzwerk; Bestimmen, ob das in Frage kommende synthetische Bild echt oder computergeneriert ist, durch ein Adversarial Neural Network; wiederholtes Neuerstellen des in Frage kommenden synthetischen Bilds, bis das Adversarial Neural Network bestimmt, dass das in Frage kommende synthetische Bild echt ist; und Ersetzen der entsprechenden Bildinformationen durch das in Frage kommende synthetische Bild bei der Bestimmung, dass das in Frage kommende synthetische Bild echt ist, durch das Adversarial Neural Network.
  5. Verfahren nach Anspruch 2, wobei der Deep-Learning-Klassifikator ein Fully Convolutional Netzwerk (FCN) aufweist.
  6. Verfahren nach Anspruch 1, das ferner aufweist: Identifizieren einer dem digitalen Bild zugeordneten Kopfzeile, die private Felder und Text enthält; Analysieren der privaten Felder und des Texts unter Verwendung eines rekursiven neuronalen Netzwerks (RNN) für die Textinformationen; und Ersetzen der Textinformationen in den privaten Feldern und der Kopfzeile durch gattungsmäßigen Text, der bei gleichzeitiger Aufrechterhaltung des Datenschutzes der Rechtspersönlichkeit Kenngrößen der Textinformationen umfasst.
  7. Verfahren nach Anspruch 1, das ferner aufweist: Ausführen einer optischen Zeichenerkennung (OCR) an dem digitalen Bild zum Identifizieren von in das digitale Bild eingebettetem Text; Erstellen von maschinenlesbarem Text aus dem eingebetteten Text und Auswerten des maschinenlesbaren Texts auf Identifikationsinformationen; und Entfernen von Abschnitten des eingebetteten Texts, die die Identifikationsinformationen enthalten, aus dem digitalen Bild.
  8. Verfahren nach Anspruch 2, wobei die Rechtspersönlichkeit einen Patienten einschließt und das Verfahren ferner aufweist: Segmentieren des digitalen Bilds in unterschiedliche Abschnitte, die bestimmten anatomischen Merkmalen des Patienten entsprechen; und Klassifizieren jedes Pixels der Abschnitte hinsichtlich des Vorliegens der Identifikationsinformationen unter Verwendung des Deep-Learning-Klassifikators.
  9. Vorrichtung zur Verwaltung von Identifikationsinformationen zu einer Rechtspersönlichkeit, wobei die Vorrichtung aufweist: einen oder mehrere Prozessoren; ein oder mehrere computerlesbare Speichermedien; in dem einen oder den mehreren computerlesbaren Speichermedien gespeicherte Programmanweisungen zur Ausführung durch mindestens einen unter dem einen oder den mehreren Computerprozessoren, wobei die Programmanweisungen Anweisungen einschließen zum: Erfassen der Identifikationsinformationen der einem digitalen Bild zugeordneten Rechtspersönlichkeit, wobei die Identifikationsinformationen aus der aus Textinformationen und Bildinformationen, die einem oder mehreren Merkmalen der Rechtspersönlichkeit entsprechen, bestehenden Gruppe ausgewählt werden; Entfernen der Textinformationen aus dem digitalen Bild; und Ersetzen der Bildinformationen durch ein oder mehrere computergenerierte synthetische Bilder, wobei die computergenerierten synthetischen Bilder auf einem natürlichen Erscheinungsbild des digitalen Bilds basieren.
  10. Vorrichtung nach Anspruch 9, wobei die Programmanweisungen ferner Anweisungen aufweisen zum: Klassifizieren jedes Pixels des digitalen Bilds hinsichtlich des Vorliegens der Identifikationsinformationen unter Verwendung eines Deep-Learning-Klassifikators; Erstellen von Bereichen, die Gruppen von Pixeln entsprechen, die die Identifikationsinformationen enthalten; und Ersetzen der Bereiche, die die Identifikationsinformationen enthalten, durch von einem Generative Adversarial Network (GAN) erzeugte synthetische Bilder.
  11. Vorrichtung nach Anspruch 10, wobei die Rechtspersönlichkeit ein Patient ist und die Programmanweisungen ferner Anweisungen aufweisen zum: Bestimmen, dass ein Bereich, der die Identifikationsinformationen enthält, für eine medizinische Diagnose relevant ist; und Umwandeln der Bildinformationen zur Veränderung anatomischer Merkmale des Patienten, die nicht in dem relevanten Bereich liegen.
  12. Vorrichtung nach Anspruch 10, wobei die Programmanweisungen ferner Anweisungen aufweisen zum: Erstellen eines in Frage kommenden synthetischen Bilds durch ein neuronales Diskriminatornetzwerk; Bestimmen, ob das in Frage kommende synthetische Bild echt oder computergeneriert ist, durch ein Adversarial Neural Network; wiederholtes Neuerstellen des in Frage kommenden synthetischen Bilds, bis das Adversarial Neural Network bestimmt, dass das in Frage kommende synthetische Bild echt ist; und Ersetzen der entsprechenden Bildinformationen durch das in Frage kommende synthetische Bild bei der Bestimmung, dass das in Frage kommende synthetische Bild echt ist, durch das Adversarial Neural Network.
  13. Vorrichtung nach Anspruch 9, wobei die Programmanweisungen ferner Anweisungen aufweisen zum: Identifizieren einer dem digitalen Bild zugeordneten Kopfzeile, die private Felder und Text enthält; Analysieren der privaten Felder und des Texts unter Verwendung eines rekursiven neuronalen Netzwerks (RNN) für die Textinformationen; und Ersetzen der Textinformationen in den privaten Feldern und der Kopfzeile durch gattungsmäßigen Text, der bei gleichzeitiger Aufrechterhaltung des Datenschutzes der Rechtspersönlichkeit Kenngrößen der Textinformationen umfasst.
  14. Vorrichtung nach Anspruch 9, wobei die Programmanweisungen ferner Anweisungen aufweisen zum: Ausführen einer optischen Zeichenerkennung (OCR) an dem digitalen Bild zum Identifizieren von in das digitale Bild eingebettetem Text; Erstellen von maschinenlesbarem Text aus dem eingebetteten Text und Auswerten des maschinenlesbaren Texts auf Identifikationsinformationen; und Entfernen von Abschnitten des eingebetteten Texts, die die Identifikationsinformationen enthalten, aus dem digitalen Bild.
  15. Vorrichtung nach Anspruch 10, wobei die Rechtspersönlichkeit ein Patient ist und die Programmanweisungen ferner Anweisungen aufweisen zum: Segmentieren des digitalen Bilds in unterschiedliche Abschnitte, die bestimmten anatomischen Merkmalen des Patienten entsprechen; und Klassifizieren jedes Pixels der Abschnitte hinsichtlich des Vorliegens der Identifikationsinformationen unter Verwendung des Deep-Learning-Klassifikators.
  16. Computerprogrammprodukt zum Konfigurieren von Verarbeitungselementen in einem verteilten Rechensystem, wobei das Computerprogrammprodukt ein computerlesbares Speichermedium aufweist, in dem Programmanweisungen realisiert sind, wobei die Programmanweisungen von einem Computer ausführbar sind, zum Veranlassen des Computers zum: Erfassen der Identifikationsinformationen der einem digitalen Bild zugeordneten Rechtspersönlichkeit, wobei die Identifikationsinformationen aus der aus Textinformationen und Bildinformationen, die einem oder mehreren Merkmalen der Rechtspersönlichkeit entsprechen, bestehenden Gruppe ausgewählt werden; Entfernen der Textinformationen aus dem digitalen Bild; und Ersetzen der Bildinformationen durch ein oder mehrere computergenerierte synthetische Bilder, wobei die computergenerierten synthetischen Bilder auf einem natürlichen Erscheinungsbild des digitalen Bilds basieren.
  17. Computerprogrammprodukt nach Anspruch 16, wobei die Programmanweisungen den Computer ferner veranlassen zum: Klassifizieren jedes Pixels des digitalen Bilds hinsichtlich des Vorliegens der Identifikationsinformationen unter Verwendung eines Deep-Learning-Klassifikators; Erstellen von Bereichen, die Gruppen von Pixeln entsprechen, die die Identifikationsinformationen enthalten; und Ersetzen die Bereiche, die die Identifikationsinformationen enthalten, durch von einem Generative Adversarial Network (GAN) erzeugte synthetische Bilder.
  18. Computerprogrammprodukt nach Anspruch 17, wobei die Programmanweisungen den Computer ferner veranlassen zum: Erstellen eines in Frage kommenden synthetischen Bilds durch ein neuronales Diskriminatornetzwerk; Bestimmen, ob das in Frage kommende synthetische Bild echt oder computergeneriert ist, durch ein Adversarial Neural Network; wiederholtes Neuerstellen des in Frage kommenden synthetischen Bilds, bis das Adversarial Neural Network bestimmt, dass das in Frage kommende synthetische Bild echt ist; und Ersetzen der entsprechenden Bildinformationen durch das in Frage kommende synthetische Bild bei der Bestimmung, dass das in Frage kommende synthetische Bild echt ist, durch das Adversarial Neural Network.
  19. Computerprogrammprodukt nach Anspruch 16, wobei die Programmanweisungen den Computer ferner veranlassen zum: Identifizieren einer dem digitalen Bild zugeordneten Kopfzeile, die private Felder und Text enthält; Analysieren der privaten Felder und des Texts unter Verwendung eines rekursiven neuronalen Netzwerks (RNN) für die Textinformationen; und Ersetzen der Textinformationen in den privaten Feldern und der Kopfzeile durch gattungsmäßigen Text, der bei gleichzeitiger Aufrechterhaltung des Datenschutzes der Rechtspersönlichkeit Kenngrößen der Textinformationen einschließt.
  20. Computerprogrammprodukt nach Anspruch 16, wobei die Programmanweisungen den Computer ferner veranlassen zum: Ausführen einer optischen Zeichenerkennung (OCR) an dem digitalen Bild zum Identifizieren von in das digitale Bild eingebettetem Text; Erstellen von maschinenlesbarem Text aus dem eingebetteten Text und Auswerten des maschinenlesbaren Texts auf Identifikationsinformationen; und Entfernen von Abschnitten des eingebetteten Texts, die die Identifikationsinformationen enthalten, aus dem digitalen Bild.
DE112020004092.5T 2019-08-30 2020-08-20 Automatisches erfassen und ersetzen von identifikationsinformationen in bildern unter verwendung von maschinellem lernen Pending DE112020004092T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/556,865 2019-08-30
US16/556,865 US11183294B2 (en) 2019-08-30 2019-08-30 Automatic detection and replacement of identifying information in images using machine learning
PCT/IB2020/057830 WO2021038399A1 (en) 2019-08-30 2020-08-20 Automatic detection and replacement of identifying information in images using machine learning

Publications (1)

Publication Number Publication Date
DE112020004092T5 true DE112020004092T5 (de) 2022-06-09

Family

ID=74681830

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020004092.5T Pending DE112020004092T5 (de) 2019-08-30 2020-08-20 Automatisches erfassen und ersetzen von identifikationsinformationen in bildern unter verwendung von maschinellem lernen

Country Status (6)

Country Link
US (1) US11183294B2 (de)
JP (1) JP2022546666A (de)
CN (1) CN114365181B (de)
DE (1) DE112020004092T5 (de)
GB (1) GB2602581B (de)
WO (1) WO2021038399A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856276B2 (en) * 2019-09-13 2023-12-26 Oracle International Corporation Scalable architecture for automatic generation of content distribution images
DE102019216745A1 (de) * 2019-10-30 2021-05-06 Siemens Healthcare Gmbh Anonymisierung von medizinischen Bilddaten
US11769056B2 (en) * 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
KR20210088914A (ko) * 2020-01-07 2021-07-15 엘지전자 주식회사 공간 맵 정보 생성 방법 및 생성된 공간을 이동하는 이동로봇
CN113238646B (zh) * 2021-04-20 2024-04-09 北京易华录信息技术股份有限公司 一种光存储集群的节能存储方法及装置
EP4402684A1 (de) 2021-09-13 2024-07-24 Koninklijke Philips N.V. Daten-de-identifikation
US11935238B2 (en) * 2021-12-22 2024-03-19 RealizeMD Ltd. Systems and methods for generating clinically relevant images that preserve physical attributes of humans while protecting personal identity
US20230351004A1 (en) * 2022-04-29 2023-11-02 Okta, Inc. Techniques for credential and identity synchronization
US20230418978A1 (en) * 2022-06-22 2023-12-28 Concord Iii, Llc Automated batch de-identification of unstructured healthcare documents

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067399A (en) 1998-09-02 2000-05-23 Sony Corporation Privacy mode for acquisition cameras and camcorders
US7605930B2 (en) 2002-08-09 2009-10-20 Brother Kogyo Kabushiki Kaisha Image processing device
JP5132050B2 (ja) 2005-09-30 2013-01-30 シスメックス株式会社 標本撮像装置及び標本撮像方法とその装置を制御するプログラム、並びに、標本分析装置
US20080077604A1 (en) * 2006-09-25 2008-03-27 General Electric Company Methods of de identifying an object data
US8811771B2 (en) * 2008-08-22 2014-08-19 Adobe Systems Incorporated Content aware slideshows
US9390236B2 (en) * 2009-05-19 2016-07-12 Koninklijke Philips N.V. Retrieving and viewing medical images
US8306345B2 (en) * 2009-09-22 2012-11-06 Xerox Corporation 3+N layer mixed raster content (MRC) images and processing thereof
JP5588074B2 (ja) 2011-12-05 2014-09-10 インターナショナル・ビジネス・マシーンズ・コーポレーション プライバシー情報管理装置、方法及びプログラム
US9056017B2 (en) 2012-03-08 2015-06-16 Brett Kotlus 3D design and fabrication system for implants
US20150106195A1 (en) 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for handling inserted data into captured images
US8811951B1 (en) 2014-01-07 2014-08-19 Google Inc. Managing display of private information
CN106170246A (zh) * 2014-01-17 2016-11-30 阿特瑞斯公司 用于四维(4d)流磁共振成像的设备、方法和产品
US10205708B1 (en) 2015-08-21 2019-02-12 Teletracking Technologies, Inc. Systems and methods for digital content protection and security in multi-computer networks
US20180349526A1 (en) * 2016-06-28 2018-12-06 Cognata Ltd. Method and system for creating and simulating a realistic 3d virtual world
US10722309B2 (en) 2016-07-11 2020-07-28 Bullseye Hip Replacement, Llc Methods to assist with medical procedures by utilizing patient-specific devices
US10242443B2 (en) * 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
US10311249B2 (en) 2017-03-31 2019-06-04 Google Llc Selectively obscuring private information based on contextual information

Also Published As

Publication number Publication date
GB2602581B (en) 2023-02-22
US20210065881A1 (en) 2021-03-04
US11183294B2 (en) 2021-11-23
CN114365181A (zh) 2022-04-15
WO2021038399A1 (en) 2021-03-04
GB202203689D0 (en) 2022-05-04
GB2602581A (en) 2022-07-06
JP2022546666A (ja) 2022-11-07
CN114365181B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
DE112020004092T5 (de) Automatisches erfassen und ersetzen von identifikationsinformationen in bildern unter verwendung von maschinellem lernen
DE102015212953B4 (de) Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
Nishimoto et al. Personal computer-based cephalometric landmark detection with deep learning, using cephalograms on the internet
Rahane et al. Lung cancer detection using image processing and machine learning healthcare
DE112019002206B4 (de) Knockout-autoencoder zum erkennen von anomalien in biomedizinischen bildern
US20200184252A1 (en) Deep Learning Network for Salient Region Identification in Images
DE202018006897U1 (de) Dynamisches, selbstlernendes System für medizinische Bilder
DE102019000171A1 (de) Digitalumgebung zur Verortung semantischer Klassen
US10667776B2 (en) Classifying views of an angiographic medical imaging system
DE112018006488T5 (de) Automatisierte extraktion echokardiografischer messwerte aus medizinischen bildern
DE102015217429A1 (de) Diagnosesystem und Diagnoseverfahren
DE202019005911U1 (de) Systeme zur Erkennung einer Indikation eines visuellen Befundtyps in einem anatomischen Bild
CN107851194A (zh) 用于脑肿瘤分类的视觉表示学习
DE102004057026A1 (de) Erfassung zeitlicher Bildveränderungen und Darstellungsverfahren und -vorrichtung
CN110110723B (zh) 一种图像中目标区域自动提取的方法及装置
DE112020001683T5 (de) Eine plattform zur auswertung medizinischer informationen und verfahren zu deren verwendung
DE102018214325A1 (de) Verfahren und Bereitstellungseinheit zum Bereitstellen eines virtuellen tomographischen Schlaganfall-Nachfolgeuntersuchungsbildes
DE102021210435A1 (de) Verfahren und Vorrichtung zur Visualisierung von dreidimensionalen Objekten
DE112021004926T5 (de) Bildkodiervorrichtung, bildkodierverfahren, bildkodierprogramm,bilddekodiervorrichtung, bilddekodierverfahren, bilddekodierprogramm,bildverarbeitungsvorrichtung, lernvorrichtung, lernverfahren, lernprogramm, suchvorrichtung für ähnliche bilder, suchverfahren für ähnliche bilder, und suchprogramm für ähnliche bilder
DE112019005308T5 (de) Erzeugungsvorrichtung, -verfahren und -programm für gewichtetes bild, bestimmerlernvorrichtung, -verfahren und -programm, bereichsextraktionsvorrichtung, -verfahren und -programm und bestimmer
DE112021000329T5 (de) Unterstützungsvorrichtung, verfahren und programm für dokumentenerstellung
DE112021005678T5 (de) Normieren von OCT-Bilddaten
EP4016543A1 (de) Verfahren und vorrichtung zur bereitstellung einer medizinischen information
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
DE102020211214A1 (de) System und Verfahren zum Erkennen von Anomalien in Bildern

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE

R081 Change of applicant/patentee

Owner name: MERATIVE US L.P. (N.D.GES.D.STAATES DELAWARE),, US

Free format text: FORMER OWNER: INTERNATIONAL BUSINESS MACHINES CORPORATION, ARMONK, NY, US