DE102018218751A1 - Machinengestützter arbeitsablauf bei der ultraschallbildgebung - Google Patents

Machinengestützter arbeitsablauf bei der ultraschallbildgebung Download PDF

Info

Publication number
DE102018218751A1
DE102018218751A1 DE102018218751.7A DE102018218751A DE102018218751A1 DE 102018218751 A1 DE102018218751 A1 DE 102018218751A1 DE 102018218751 A DE102018218751 A DE 102018218751A DE 102018218751 A1 DE102018218751 A1 DE 102018218751A1
Authority
DE
Germany
Prior art keywords
scan
ultrasound
workflow
machine
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018218751.7A
Other languages
English (en)
Inventor
Bimba Rao
Ismayil M. Guracar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of DE102018218751A1 publication Critical patent/DE102018218751A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Durch die Verwendung einer computergestützten Klassifikation und / oder einer computergestützten Segmentierung mit oder ohne Überwachung des Sichtfelds auf Änderungen kann der Arbeitsablauf für die Ultraschallbildgebung effizienter gestaltet werden. Die Klassifizierung und/ oder die Segmentierung wird verwendet, um einen nächsten Schritt in der Sequenz der die Ultraschalluntersuchung bildenden Schritte auszuführen. Anstatt einen Benutzer zur Bestimmung der Schritte und zur Implementierung der Schritte zu verpflichten, bestimmt und implementiert der Ultraschallscanner die Schritte auf der Grundlage der Identifizierung und / oder des Ortes eines abgebildeten Objekts. Beispielsweise löst die Identifizierung des Objekts als Niere unter Verwendung eines maschinell gelernten Klassifizierers einen Farbflussscan aus, und der Ort des Objekts bestimmt eine Platzierung für die Farbflussregion von Interesse (ROI), wobei vermieden wird, dass der Benutzer die Initiierung und / oder Platzierung der ROI ausführen muss, wodurch die Arbeitsablauf-Effizienz erhöht wird.

Description

  • STAND DER TECHNIK
  • Die vorliegenden Ausführungsformen beziehen sich auf die Ultraschallbildgebung. Das maschinelle Lernen hat enorme Fortschritte in Bezug auf die Klassifizierung und Segmentierung von Bildern gemacht. Zum Beispiel kann ein tiefes gefaltetes neuronales Netzwerk eine angemessene Leistung bei visuellen Erkennungsaufgaben in Ultraschallbereichen erzielen, die in einigen Bereichen die menschliche Leistung erreicht oder übertrifft. Die Klassifizierung oder Segmentierung aus Ultraschallbildern wird verwendet, um Ärzten mehr Informationen zur Diagnose, Prognose oder Behandlung bereitzustellen.
  • Die automatisierte Klassifizierung oder Segmentierung kann einen Ultraschalldiagnostiker unterstützen, wodurch die zur Untersuchung eines Patienten benötigte Zeit reduziert wird. Eine wachsende und alternde Patientenpopulation schafft eine Nachfrage nach verbesserter Gesundheitsversorgungseffizienz. Dies hat zu einem enormen Bedarf an einer Verbesserung des Arbeitsablaufs bei der Ultraschallbildgebung unter dem Gesichtspunkt eines erhöhten Patientendurchsatzes geführt, was die Untersuchungszeiten reduziert und die Belastung des Benutzers durch sich wiederholende Bewegungen verringert. Die Standardisierung von Ultraschalluntersuchungen und die automatisierte Segmentierung können zwar hilfreich sein, es können jedoch weitere Wirkungen gefunden werden, um die Untersuchungszeit und die daraus resultierende Belastung des Benutzers zu reduzieren.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Als Einführung umfassen die im Folgenden beschriebenen bevorzugten Ausführungsformen Verfahren, Anweisungen und Systeme für die maschinengestützte Unterstützung des Arbeitsablaufs für einen Ultraschallscanner. Durch die Verwendung einer computergestützten Klassifikation und / oder computergestützten Segmentierung mit oder ohne Überwachung des Sichtfelds auf Änderungen kann der Arbeitsablauf für die Ultraschallbildgebung effizienter gestaltet werden. Die Klassifizierung und/ oder die Segmentierung wird verwendet, um einen nächsten Schritt in der Reihenfolge der die Ultraschalluntersuchung bildenden Schritte auszuführen. Anstatt einen Benutzer zur Bestimmung des Schrittes und zur Implementierung des Schrittes zu verpflichten, bestimmt und implementiert der Ultraschallscanner den Schritt basierend auf der Identifizierung und / oder des Ortes eines abgebildeten Objekts. Beispielsweise löst die Identifizierung des Objekts als Niere unter Verwendung eines maschinell gelernten Klassifizierers einen Farbfluss-Scan aus, und der Ort des Objekts bestimmt eine Platzierung für die Farbflussregion von Interesse (ROI), wodurch verhindert wird, dass der Benutzer die Initiierung der ROI und / oder die Platzierung ausführen muss, und wobei die Effizienz des Arbeitsablaufs erhöht wird.
  • In einem ersten Aspekt wird ein Verfahren zur maschinengestützten Unterstützung des Arbeitsablaufs für einen Ultraschallscanner bereitgestellt. Eine innere Region eines Patienten wird mit einem Ultraschallwandler des Ultraschallscanners gescannt. Das Scannen wiederholt sich bei einer laufenden Ultraschalluntersuchung. Ein maschinell gelernter Klassifizierer, der während der laufenden Ultraschalluntersuchung auf die Scandaten von dem Scannen angewendet wird, identifiziert ein Objekt in der inneren Region. Ein maschinell gelernter Segmentierer wird basierend auf der Identifizierung des Objekts ausgewählt. Die Auswahl erfolgt während der laufenden Ultraschalluntersuchung. Der ausgewählte maschinell gelernte Segmentierer segmentiert das Objekt in den Scandaten während der laufenden Ultraschalluntersuchung. Der Ultraschallscanner implementiert basierend auf der Segmentierung des Objekts einen nächsten Schritt im Arbeitsablauf. Der nächste Schritt wird während der laufenden Ultraschalluntersuchung und ohne Benutzereingabe in den Ultraschallscanner zwischen der Segmentierung und der Implementierung implementiert. Der Ultraschallscanner erzeugt ein Bild des Objekts. Bevorzugt ist ein Verfahren, wobei das Scannen ein kontinuierliches Scannen umfasst, wobei das Identifizieren, das Auswählen, das Segmentieren und das Implementieren in Echtzeit mit dem kontinuierlichen Scannen erfolgt. Ferner wird ein Verfahren bevorzugt, wobei das Identifizieren das Identifizieren eines Organs oder einer eingefügten Vorrichtung in der inneren Region umfasst, und wobei das Auswählen das Auswählen des maschinell gelernten Segmentierers umfasst, der für das Organ oder die eingefügte Vorrichtung trainiert ist. Bevorzugt ist ferner ein Verfahren, wobei das Identifizieren das Identifizieren einer Anomalie in der inneren Region umfasst und wobei das Implementieren das Implementieren des nächsten Schrittes basierend auf der Anomalie umfasst. Bevorzugt ist ein Verfahren, wobei das Auswählen das Auswählen von Gewichtungen umfasst, die den maschinell gelernten Segmentierer für das identifizierte Objekt konfigurieren. Ferner wird ein Verfahren bevorzugt, wobei das Segmentieren das Auffinden einer Grenze des Objekts umfasst und wobei das Implementieren das Implementieren als Funktion der Grenze umfasst. Bevorzugt ist ferner ein Verfahren, wobei das Implementieren das Implementieren des nächsten Schrittes umfasst, als Konfigurieren des Ultraschallscanners zum Scannen des Objekts, als Speichern des Bildes in einer Krankenakte des Patienten, zum Einrichten einer Region von Interesse um oder in dem Objekt und / oder zum Anordnen einer Messung des Objekts auf einer Benutzeroberfläche des Ultraschallscanners. Bevorzugt ist ein Verfahren, wobei das Implementieren das Implementieren des nächsten Schrittes im Arbeitsablauf als eine Handlung umfasst, die in einer Sequenz von Handlungen der laufenden Ultraschalluntersuchung ausgeführt wird, wobei die ausgeführte Handlung durch die Segmentierung ausgelöst wird. Ferner wird ein Verfahren bevorzugt, wobei das Scannen ein B-Modus-Scannen umfasst, und wobei das Implementieren das Implementieren des nächsten Schrittes als Einstellen einer Farbregion von Interesse umfasst basierend auf der Identifizierung des Objekts, einer Position des Objekts aus der Segmentierung und einer Größe des Objekts aus der Segmentierung. Ferner wird ein Verfahren bevorzugt, wobei das Implementieren das Implementieren des nächsten Schrittes als eine Änderung der Scantiefe des Scannens umfasst basierend auf einer Identifizierung des Objekts und eines Ortes des Objekts aus der Segmentierung. Bevorzugt ist ein Verfahren, wobei das Erzeugen des Bildes das Erzeugen des Bildes als Reaktion auf die Ausführung des nächsten Schrittes umfasst, oder wobei das Erzeugen des Bildes das Erzeugen des Bildes als Darstellung der Ausführung des nächsten Schrittes mit einer Grafik umfasst. Bevorzugt ist ferner ein Verfahren, wobei das Verfahren ferner folgendes umfasst: das Detektieren eines Änderungsgrads zwischen den Scandaten von unterschiedlichen Zeiten und das Ausführen des Identifizierens, Auswählens und Segmentierens als Reaktion darauf, dass der Änderungsgrad über einem Schwellenwert liegt, und das Ausführen der Segmentierung ohne ein Wiederholen des Identifizierens und Auswählen als Reaktion darauf, dass der Änderungsgrad unter dem Schwellenwert liegt.
  • In einem zweiten Aspekt wird ein System zur maschinengestützten Unterstützung des Arbeitsablaufs bei der Ultraschallbildgebung bereitgestellt. Ein Ultraschallscanner ist konfiguriert, mit einem Wandler eine Region eines Patienten mit Ultraschall zu scannen. Der Scan wiederholt sich während einer Untersuchung des Patienten. Ein Bildprozessor ist konfiguriert, eine computergestützte Klassifizierung eines oder mehrerer Objekte der Region aus Scandaten des Scans anzuwenden, eine computergestützte Segmentierung des einen oder der mehreren Objekte basierend auf der Klassifizierung anzuwenden und den Betrieb des Ultraschallscanners basierend auf der Segmentierung des einen oder der mehreren Objekte zu ändern. Die Änderung des Betriebes ist ein nächster Schritt in einem Arbeitsablauf zur Untersuchung des Patienten. Eine Anzeige kann betrieben werden, ein Bild der Region mit einer Grafik anzuzeigen, die die Änderung und / oder den nächsten Schritt im Arbeitsablauf zeigt. Bevorzugt ist ein System, wobei der Bildprozessor konfiguriert ist, die Scandaten im Laufe der Zeit auf Änderungen in einem Sichtfeld zu überwachen und weiter konfiguriert ist, die computergestützte Klassifizierung als Reaktion auf die Änderung anzuwenden, welche über einem Schwellenwert liegt. Bevorzugt ist ferner ein System, wobei die computergestützte Klassifizierung die Anwendung eines maschinell gelernten Klassifizierers umfasst, der konfiguriert ist, das eine oder die mehreren Objekte als Organe und / oder Anomalien zu identifizieren, und wobei die computergestützte Segmentierung die Anwendung eines maschinell gelernten Segmentierers umfasst, der konfiguriert ist, ein oder mehrere Organe und / oder Anomalien zu lokalisieren. Ferner wird ein System bevorzugt, wobei der Arbeitsablauf eine Sequenz von Schritten in einem Entscheidungsbaum von dem anfänglichen Scannen bis zum Abschluss der Untersuchung des Patienten mit Ultraschall umfasst, wobei der nächste Schritt einen der Schritte im Entscheidungsbaum umfasst. Bevorzugt ist ein System, wobei die Änderung das Platzieren einer Region von Interesse, eine Änderung der Tiefe für den Scan und / oder die Messung des einen oder der mehreren Objekte umfasst.
  • In einem dritten Aspekt wird ein Verfahren zur maschinengestützten Unterstützung des Arbeitsablaufs für einen Ultraschallscanner bereitgestellt. Der Ultraschallscanner scannt einen Patienten als Teil eines Arbeitsablaufs zur Ultraschalluntersuchung des Patienten. Der Arbeitsablauf umfasst eine Sequenz von Schritten. Der Ultraschallscanner überwacht eine Änderung in einem Sichtfeld des Scannens. Als Reaktion auf die Änderung wird ein Objekt von dem Scannen mit einem maschinell gelernten Netzwerk detektiert. Die Detektion umfasst das Identifizieren des Objekts und / oder das Lokalisieren des Objekts. Ohne Benutzersteuerung wird der Betrieb des Ultraschallscanners so geändert, dass er entlang der Sequenz des Arbeitsablaufs gesteigert wird. Die Änderung basiert auf der Identifizierung und / oder dem Ort des Objekts. Bevorzugt ist ein Verfahren gemäß dem dritten Aspekt der Erfindung, wobei das Überwachen das Identifizieren der Änderung oberhalb eines Schwellwerts umfasst, wobei das Detektieren das Identifizieren des Objekts mit einem maschinell gelernten Klassifizierer und das anschließende Segmentieren des identifizierten Objekts mit einem maschinell gelernten Segmentierer umfasst, der basierend auf der Identifizierung ausgewählt wird, und wobei die Änderung das Speichern eines Bildes mit einer Kommentierung der Identifizierung und des Ortes, das Ändern einer Tiefe des Sichtfelds, das Platzieren einer Region von Interesse und / oder das Platzieren eines Gates umfasst. Die Schritte des Verfahrens gemäß dem dritten Aspekt der Erfindung können mit den Schritten des Verfahrens gemäß dem ersten Aspekt der Erfindung kombiniert werden und umgekehrt.
  • Die vorliegende Erfindung wird durch die folgenden Ansprüche definiert, und nichts in diesem Abschnitt sollte als Einschränkung dieser Ansprüche verstanden werden. Weitere Aspekte und Vorteile der Erfindung werden im Folgenden in Verbindung mit den bevorzugten Ausführungsformen diskutiert und können später unabhängig voneinander oder in Kombination beansprucht werden.
  • Figurenliste
  • Die Komponenten und die Figuren sind nicht notwendigerweise maßstabsgerecht, stattdessen wird der Schwerpunkt auf die Veranschaulichung der Prinzipien der Erfindung gelegt. Darüber hinaus bezeichnen in den Figuren gleiche Bezugszeichen entsprechende Teile in den unterschiedlichen Ansichten.
    • 1 ist ein Flussdiagramm einer Ausführungsform eines Verfahrens zur maschinengestützten Unterstützung des Arbeitsablaufs für einen Ultraschallscanner;
    • 2 ist ein Flussdiagramm einer anderen Ausführungsform eines Verfahrens zur maschinengestützten Unterstützung des Arbeitsablaufs für einen Ultraschallscanner;
    • 3 zeigt einen beispielhaften grundlegenden Arbeitsablauf für die Ultraschalluntersuchung;
    • 4 zeigt ein beispielhaftes Ultraschallbild mit einer Bezeichnung für eine Region von Interesse, die als nächster Schritt in einem Arbeitsablauf platziert wird;
    • 5 zeigt ein beispielhaftes Ultraschallbild mit einer Bezeichnung für einen Messschieber, die als nächster Schritt in einem Arbeitsablauf platziert wird; und
    • 6 ist eine Ausführungsform eines Systems zur maschinengestützten Unterstützung des Arbeitsablaufs für die U ltraschallbildgebung.
  • DETAILLIERTE BESCHREIBUNG DER FIGUREN UND AKTUELL BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Die Bilderkennung wird nicht nur zum Erkennen, sondern zum Unterstützen und Verbessern des Arbeitsablaufs der Ultraschallbildgebung angewendet. Auf maschinellem Lernen basierende Techniken waren zunehmend erfolgreich bei der Bildklassifizierung und -segmentierung. Gleichzeitig ist die Nachfrage nach verbessertem Patientendurchsatz gestiegen. Die Bilderkennung wird verwendet, um den Arbeitsablauf der Ultraschallbildgebung für einen erhöhten Patientendurchsatz und zur Effizienz zu verbessern und zu unterstützen.
  • In einer Ausführungsform werden auf maschinellem Lernen basierende Bildklassifizierungs- und -segmentierungstechniken verwendet, um den Arbeitsablauf der Ultraschallbildgebung zu unterstützen und zu verbessern. Abweichungen vom Standard-Arbeitsablauf werden basierend auf der Pathologieidentifizierung vorgeschlagen und / oder implementiert. Die Bildklassifizierung und -segmentierung erfolgt während des Live-Scannens, um während der eigentlichen Live-Untersuchung eine Echtzeit-Unterstützung des Arbeitsablaufs zur Verfügung zu stellen, im Gegensatz zur Bereitstellung einer nachträglichen Klassifizierung. Der Echtzeitbetrieb ermöglicht das automatische Laden von Voreinstellungen, Messungen und Kommentierungen durch den Ultraschallscanner im Gegensatz zum manuellen Eingeben durch den Benutzer. Automatisierte Arbeitsablauf-Änderungen basierend auf der Pathologiedetektion werden implementiert, und der Ultraschallscanner kommuniziert dem Benutzer eindeutig, wenn jegliche Arbeitsablauf-Änderungen vorgenommen werden.
  • 1 zeigt ein Verfahren zur maschinengestützten Unterstützung des Arbeitsablaufs für einen Ultraschallscanner. Während einer Ultraschalluntersuchung eines Patienten wird eine Sequenz von Schritten ausgeführt. Zumindest einige der Schritte werden als Reaktion auf die Klassifizierung und / oder Segmentierung eines Objekts oder von Objekten in einer inneren Region des Patienten ausgeführt. Der Ultraschallscanner führt die Schritte automatisch als Reaktion auf eine computergestützte Klassifizierung und / oder Segmentierung aus, sodass es vermieden werden kann, dass der Benutzer den Ultraschallscanner zur Implementierung der Schritte verändert.
  • 2 zeigt eine andere Ausführungsform des Verfahrens von 1. Die Segmentierung kann für ein stabiles Sichtfeld relativ zu dem Patienten wiederholt werden. Wenn sich das Sichtfeld signifikant ändert, werden ein oder mehrere Klassifizierer angewendet, um das Objekt im Sichtfeld zu identifizieren und eine geeignete Segmentierung auszuwählen. Die Schritte des Arbeitsablaufs, die auf der Identifizierung und / oder Segmentierung des Objekts beruhen, werden in Reaktion auf die Identifizierung und / oder Segmentierung ohne Benutzersteuerung ausgeführt.
  • Das Verfahren wird durch das System von 6 oder ein anderes System implementiert. Zum Beispiel erzeugt ein Ultraschall-Bildgebungssystem Ultraschallbilder unter Verwendung von Strahlformern und eines Wandlers. Ein Bildprozessor des Ultraschall-Bildgebungssystems wendet eine computergestützte Detektion an, um ein Objekt zu identifizieren und / oder zu segmentieren, und implementiert Schritte im Untersuchungs-Arbeitsablauf als Reaktion auf die Identifizierung und / oder Segmentierung. Strahlformer, Speicher, Detektoren und / oder andere Vorrichtungen können verwendet werden, um die Daten zu erfassen, einen oder mehrere der Schritte auszuführen und / oder die Daten auszugeben. Der Bildprozessor kann die Vorrichtungen steuern, um die Verfahren der 1 und / oder 2 auszuführen.
  • Es können zusätzliche, andere oder weniger Schritte vorgesehen sein. Zum Beispiel wird das Verfahren ohne Erzeugen eines Bildes in Schritt 40 ausgeführt. Als ein anderes Beispiel wird die computerunterstützte Detektion in Schritt 30 ohne die spezifischen Schritte 32 bis 36 ausgeführt. In noch einem anderen Beispiel ist Schritt 28 nicht vorgesehen, beispielsweise wenn die Klassifizierung und / oder die Segmentierung unabhängig von einer Änderung des Sichtfelds ausgeführt wird. In anderen Beispielen ist der Schritt 32 ohne die Schritte 34 und 36 oder umgekehrt vorgesehen.
  • Die Schritte werden in der beschriebenen oder gezeigten Reihenfolge ausgeführt (z. B. von oben nach unten oder numerisch), können jedoch auch in anderen Reihenfolgen ausgeführt werden. Zum Beispiel wird die Segmentierung des Schritts 36 vor der Identifizierung durch die Klassifizierung des Schritts 32 ausgeführt. Als ein anderes Beispiel kann die Überwachung der Änderung des Schritts 28 nach dem Schritt 32 ausgeführt werden.
  • In Schritt 26 scannt der Ultraschallscanner eine innere Region eines Patienten mit einem Ultraschallwandler. Der Ultraschallscanner erzeugt Ultraschallbilder des Patienten. Die Bilder werden durch Scannen des Patienten erzeugt.
  • Es kann jede Art von Ultraschallscannen und entsprechende Bilder erzeugt werden, wie z. B. B-Modus, Fluss- oder Farbmodus (z. B. Dopplergeschwindigkeit oder -stärke), Kontrastmittel, Harmonische, gepulste Dopplerwelle (d.h. spektraler Doppler), M-Modus, Dopplergewebe (d.h. Gewebebewegung) oder ein anderer Ultraschallbildgebungsmodus, der die akustische Wechselwirkung mit dem Patienten darstellt. Die unterschiedlichen Modi detektieren unterschiedliche Arten von Informationen, wie beispielsweise die Intensität der akustischen Rückkehr (z. B. B-Modus und M-Modus) oder die Geschwindigkeit (z. B. Flussmodus oder Doppler-Gewebe).
  • Der Scan tastet ein Sichtfeld ab. Die elektronische Lenkung, die Position des Wandlers relativ zum Patienten und / oder die Struktur des Wandlers definieren ein Sichtfeld, das gescannt wird. Das Sichtfeld ist ein Punkt, eine Linie, eine Fläche oder ein Volumen innerhalb des Patienten. Die Tiefe des Sichtfelds (d. h. der Abstand von dem Wandler für das Sichtfeld) wird vom Strahlformer eingestellt.
  • Jegliche Anatomie, eingefügte Objekte oder Anomalien können sich im Sichtfeld befinden. Zum Beispiel führt der Ultraschalldiagnostiker eine Ultraschalluntersuchung für ein bestimmtes Organ (z. B. Niere oder Herz) aus. Andere Objekte umfassen eingefügte Vorrichtungen (z. B. Katheter oder Stents). Anomalien sind Gewebe- oder Flussmuster, die für das Organ oder den Patienten nicht typisch sind, wie eine Läsion, eine Zyste oder ein Regurgitationsfluss.
  • Das Scannen wird wiederholt, um die Bildgebung des Patienten über einen Untersuchungszeitraum fortzusetzen, beispielsweise über eine Untersuchung von fünf bis zwanzig Minuten. Der Wandler und das entsprechende Sichtfeld werden bewegt, um das Objekt von Interesse in einem Vermessungsmodus zu lokalisieren. Sobald das Organ lokalisiert wird, wird das Scannen fortgesetzt. Die Art des Scannens kann sich ändern, je nachdem, was in der Region gefunden wird, oder weil unterschiedliche Objekte zu unterschiedlichen Zeitpunkten untersucht werden. Der Arbeitsablauf für die Untersuchung kann unterschiedliche Arten des Scannens oder das gleiche Scannen erfordern, um andere Schritte auszuführen, beispielsweise Messungen. Die Wiederholung ist kontinuierlich, beispielsweise wird das Sichtfeld fünf, zehn, zwanzig oder mehr Mal pro Sekunde gescannt. Scan-Pausen während der laufenden Ultraschalluntersuchung des Patienten während eines einzelnen Besuchs oder Termins können auftreten, während der Ultraschalldiagnostiker einen Schritt im Arbeitsablauf ausführt.
  • Während einer laufenden Ultraschalluntersuchung kann der Arbeitsablauf unterschiedliche Schritte umfassen. Ein Entscheidungsbaum oder eine Sequenz von Schritten mit oder ohne Verzweigungsentscheidungen leitet die Ultraschalluntersuchung. Jede Handlung wird typischerweise vom Ultraschalldiagnostiker implementiert. Der Ultraschalldiagnostiker steuert den Ultraschallscanner so, dass der Schritt ausgeführt wird, z. B. ein manuelles Nachverfolgen einer Grenze für die Segmentierung, ein Positionieren eines Felds auf einem angezeigten Bild zur ROI-Platzierung, ein Kommentieren eines Bildes, ein Auswählen einer Messung, ein Anzeigen von Messorten, ein Initiieren der Messung, ein Initiieren der Bildspeicherung, ein Auswählen einer Patientenakte und / oder eine Benennung des Bildes. Jeder gegebene Schritt kann automatisiert werden, wie beispielsweise das Segmentieren eines Bildes. Diese Automatisierung kann den Arbeitsablauf beschleunigen. Eine weitere Automatisierung wird durch das Auslösen und Implementieren eines, zumindest teilweise eines, nächsten Schrittes im Arbeitsablauf bereitgestellt, der auf der automatischen Implementierung des aktuellen Schritts basiert. Die Segmentierung und / oder die Klassifizierung werden verwendet, um einen oder mehrere andere Schritte im Arbeitsablauf zumindest teilweise auszulösen und zu implementieren.
  • Der Arbeitsablauf kann für den Ultraschalldiagnostiker einzigartig sein, eine Richtlinie des Krankenhauses oder einer medizinischen Praxis, eine Richtlinie einer professionellen Organisation oder eine andere Anordnung von Schritten, die für eine bestimmte Art von Ultraschalluntersuchung auszuführen sind. Im Arbeitsablauf kann ein beliebiger Detailierungsgrad bereitgestellt werden. Die Arbeitsablaufsequenz adressiert die auszuführenden Schritte vom Beginn der Untersuchung, z. B. beginnend mit der Auswahl eines geeigneten Wandlers für die vorgeschriebene Untersuchung, bis zum Ende der Untersuchung, z.B. dem Speichern oder Übermitteln von Ergebnissen.
  • 3 zeigt einen beispielhaften grundlegenden Arbeitsablauf für eine Ultraschalluntersuchung des Abdomens. In Schritt 50 wird ein erster Scan ausgeführt, um die Anatomie von Interesse (z. B. Niere, Blase oder Leber) zu lokalisieren. Nach dem Lokalisieren der Anatomie wird in Schritt 52 ein repräsentatives Bild gespeichert. Die Anatomie wird dann in Schritt 54 gemessen. Die Messung kann das Platzieren einer Region von Interesse (ROI) und das Messen mit einer anderen Art von Ultraschallscan (z. B. Farbfluss) oder das Platzieren von Messschiebern zum Messen einer Größe (z. B. Länge, Fläche oder Volumen) umfassen. In Schritt 56 wird die Messung gespeichert. Andere Arbeitsabläufe umfassen andere Schritte oder detailliertere Schritte, die ausgeführt werden müssen. Beispiele für Arbeitsablaufschritte umfassen das Konfigurieren des Ultraschallscanners zum Speichern eines Bildes, zum Überprüfen von Bildern, zum Ausführen einer Messung, zum Aktualisieren einer Patientenakte, zum Kommentieren eines Bildes, zum Ändern von Scanparametern (z. B. Sendefrequenz, Empfangsfrequenz, Tiefe des Sichtfeldes und / oder Art des Scannens), zum Ändern von Scanvoreinstellungen oder -anwendungen (z. B. zum Umschalten von Leber-Scanning auf Läsions-Scanning), zum Platzieren eines Doppler-Gates, zum Lokalisieren einer Pathologie, zum Kommentieren eines Bild und / oder zur Übertragung von Ergebnissen. Diese unterschiedlichen Schritte liefern oder ermöglichen das Liefern von Informationen, die zur Diagnose, Prognose und / oder Behandlung verwendet werden können, aber die Implementierung der unterschiedlichen Schritte erfordert einen Zeitaufwand für einen Ultraschalldiagnostiker. Anstatt die bekannten Schritte lediglich zu automatisieren, wird eine automatische Implementierung in Echtzeit basierend auf der Klassifizierung und / oder Segmentierung ausgeführt.
  • Jeder Scan einer Ebene oder eines Volumens liefert einen Frame von Scandaten. Ein Bild kann aus jedem Frame erzeugt werden. Die Scandaten sind Bildgebungsdaten. Ein Bild kann aus Scan-Daten sein, die zur Bildgebung verwendet werden können, Daten, die zur Anzeige formatiert sind, und / oder ein angezeigtes Bild sein. Bei Persistenz oder anderem Zusammenfügen können Bilder aus mehreren Frames erzeugt werden. Zehn, Hunderte oder Tausende von Frames und / oder Bildern werden erstellt, um den Patienten in einer Untersuchung zu untersuchen (z. B. während eines bestimmten Besuchs eines Patienten beim Ultraschalldiagnostiker).
  • Das Scannen des Schritts 26 wird fortgesetzt oder wiederholt, während der Schritt 30 ausgeführt wird. Zum Beispiel wird das Scannen mit dem Identifizieren von Schritt 32, dem Auswählen von Schritt 34, dem Segmentieren von Schritt 36 und dem Implementieren von Schritt 38 fortgesetzt. Während des Live-Scans wird die Objektdetektion in Echtzeit ausgeführt. Zur Unterstützung des Arbeitsablaufs erfolgt die Detektion in Echtzeit beim kontinuierlichen Scannen. Die Detektion des Schritts 30 in Echtzeit mit dem Scannen des Schritts 26 ermöglicht Lösungen zur Verbesserung des Arbeitsablaufes während des Live-Scans oder während einer bestimmten Ultraschalluntersuchung eines Patienten.
  • In Schritt 28 überwacht der Ultraschallscanner auf eine Änderung in einem Sichtfeld des Scannens. Aufgrund der Bewegung des Wandlers und / oder des Patienten kann sich das Sichtfeld des Wandlers von einer Region in eine andere Region des Patienten verschieben. Die Bewegung ist beabsichtigt, z. B. um den Patienten zu untersuchen, oder unbeabsichtigt, z. B. aufgrund einer Belastung des Ultraschalldiagnostikers oder eines Patientenwechsels.
  • Sobald eine Region oder ein Objekt gefunden wurde, kann der Wandler relativ zu dem Patienten in Position gehalten werden, um die Region oder das Objekt für eine detailliertere Untersuchung weiter zu scannen und / oder die Schritte des Arbeitsablaufs auszuführen. Während das Sichtfeld in der Region oder dem Objekt beibehalten wird, müssen einige Schritte möglicherweise nicht wiederholt werden. Beispielsweise wird die Identifizierung des Objekts aus Schritt 32 nicht wiederholt. Nach einem Teil der Untersuchung kann das Sichtfeld verschoben werden. Die Verschiebung kann dazu führen, dass die Identifizierung von Schritt 32 wiederholt werden muss, da sich ein anderes Objekt im Sichtfeld befinden kann. Zum Beispiel zeigt 2 eine Verzweigung des Verfahrens in Abhängigkeit von der Stärke der Änderung des Sichtfeldes, wobei der Schritt 32 für eine große Änderung ausgeführt wird und die Schritte 32 und 34 für eine kleine oder keine Änderung übersprungen werden. Die Stärke der Änderung wird in Schritt 28 detektiert. Diese Stärke wird mit einem Schwellenwert verglichen, um zwischen einer größeren Änderung (z. B. einer Änderung des Sichtfelds) und kleineren Änderungen (z. B. einer Änderung aufgrund einer physiologischen oder zufälligen Bewegung des Ultraschalldiagnostikers oder des Patienten) zu unterscheiden. Zum Initiieren des Verfahrens wird Schritt 32 ausgeführt, nachdem eine Untersuchung des Patienten zum Auffinden des Objekts abgeschlossen wurde oder während der Untersuchung zur Anzeige des Erfolges beim Auffinden des Objekts.
  • Es kann eine beliebige Überwachung des Änderungsgrades des Sichtfelds verwendet werden. Zum Beispiel wird eine Korrelation (z. B. Kreuzkorrelation oder minimale Summe absoluter Differenzen) zwischen den zuletzt erfassten, zeitlich benachbarten Frames von Scandaten ausgeführt. Als ein anderes Beispiel besteht die Korrelation zwischen einer Vorlage oder einem Referenzframe von Scandaten und einem zuletzt erfassten Frame von Scandaten. Andere Maße des Änderungsgrads können verwendet werden, wie beispielsweise die Nachverfolgung der Bewegung des Wandlers mit einem magnetischen oder einem anderen Positionssensor.
  • Die Stärke oder der Grad der Änderung wird mit einem Schwellenwert verglichen. Eine kleine Änderung tritt auf, wenn der Änderungsgrad unter dem Schwellenwert liegt. Eine große Änderung tritt auf, wenn der Änderungsgrad über dem Schwellenwert liegt. Bei Änderungen am Schwellenwert kann die Änderung als groß oder klein behandelt werden. Der Ultraschallscanner verwendet den Schwellenwert, um den Änderungsgrad zu identifizieren. Ein Änderungsmuster kann verwendet werden, beispielsweise das Identifizieren einer großen Änderung, gefolgt von einer kleinen Änderung über einen Zeitraum (z. B. 10 Sekunden) für ein stabiles Sichtfeld. Dieses Muster zeigt eine Verschiebung des Sichtfelds in eine neue Region und ein Interesse an der Untersuchung der neuen Region an. Das Muster wird anhand eines oder mehrerer Schwellenwerte identifiziert.
  • Der Schwellenwert und / oder das Muster der Änderung verknüpfen die Echtzeit-Bildbewegungsdetektion zur Detektion von Schritt 30. Zum Beispiel werden das Identifizieren von Schritt 32, das Auswählen von Schritt 34 und das Segmentieren von Schritt 36 als Reaktion auf den Änderungsgrad ausgeführt, der über einem Schwellenwert liegt (d. h. eine Änderung des Sichtfeldes mit oder ohne nachfolgende stabile Positionierung), und das Segmentieren des Schritts 36 wird ohne Wiederholen des Identifizierens des Schritts 32 und das Auswählen des Schritts 34 als Reaktion auf den Änderungsgrad ausgeführt, der unterhalb des Schwellenwertes liegt (d.h. ein fortlaufendes Scannen eines vorherigen Sichtfelds und eines entsprechendem zuvor identifizierten Objekt oder Objekte).
  • In Schritt 30 detektiert der Ultraschallscanner ein Objekt aus dem Scannen. Die Detektion ist eine Klassifizierung (z. B. Identifizierung) und / oder ein Ort (z. B. Segmentierung) des Objekts. In einer Ausführungsform werden sowohl die Klassifizierung als auch die Ortsdetektion in beliebiger Reihenfolge ausgeführt.
  • Die Detektion wird als Reaktion auf eine bestimmte Änderung oder ein Änderungsmuster ausgeführt. Alternativ wird die Detektion periodisch, kontinuierlich oder als Reaktion auf einen anderen Auslöser ausgeführt. Die Überwachung von Schritt 28 wird oder wird nicht ausgeführt.
  • Der Ultraschallscanner oder ein Bildprozessor wendet eine computerunterstützte Detektion auf jeden, einen Teil, eine Teilmenge oder alle Frames oder Bilder der durch das Scannen erfassten Sequenz an. Jede jetzt bekannte oder später entwickelte computergestützte Detektion kann angewendet werden. Beispielsweise wird der Musterabgleich verwendet, um zu bestimmen, ob ein Muster, das ein Organ, einen anatomischen Referenzpunkt, eine eingeführte Vorrichtung und / oder eine Anomalie (z. B. Tumor oder Zyste) anzeigt, in dem Frame oder Bild lokalisiert ist. Als ein anderes Beispiel wird ein Schwellenwert, ein Random Walker oder eine andere Bildverarbeitung angewendet.
  • Zur schnelleren Detektion kann ein maschinell gelernter Detektor oder ein Netzwerk angewendet werden. In einer Ausführungsform ist der maschinell gelernte Detektor ein tief gelerntes neuronales Netzwerk. Jedes maschinelle Lernen oder Training kann verwendet werden. Ein probabilistischer Verstärkungsbaum, eine Support-Vektor-Maschine, ein neuronales Netzwerk, ein Sparse-Autoencoder-Klassifizierer, ein bayesisches Netzwerk oder ein anderes jetzt bekanntes oder später entwickeltes maschinelles Lernen kann verwendet werden. Es kann jedes semiüberwachte, überwachte oder unbewachte Lernen verwendet werden. Hierarchische oder andere Ansätze können verwendet werden.
  • Für das maschinelle Training und die Anwendung eines maschinell gelernten Netzwerks werden Werte für eine beliebige Anzahl von Merkmalen aus Abtastungen von Scandaten extrahiert. Die Werte für die Texturen der Gewebe, die in den Scandaten dargestellt sind, werden extrahiert. Die Textur des Gewebes wird durch die Messungen der Scandaten dargestellt.
  • Jedes Merkmal definiert einen Kern für die Faltung mit den Daten. Die Ergebnisse der Faltung sind ein Wert des Merkmals. Durch Platzieren des Kernels an unterschiedlichen Orten werden Werte für dieses Merkmal an unterschiedlichen Orten bereitgestellt. Bei einem bestimmten Merkmal werden die Werte dieses Merkmals an unterschiedlichen Orten berechnet. Merkmale für andere Texturinformationen als die Faltung können verwendet werden, beispielsweise das Identifizieren eines Maximums oder Minimums. Andere Merkmale als Texturinformationen können verwendet werden.
  • In einer Ausführungsform werden die Merkmale manuell entworfen. Das zu verwendende Merkmal oder die Merkmale werden basierend auf der Erfahrung eines Programmierers oder des Testens im Voraus bestimmt. Beispielhafte Merkmale umfassen eine skalierte invariante Merkmalstransformation, ein Histogramm von orientierten Gradienten, ein lokales binäres Muster, eine Grauwert-Co-Vorkommen-Matrix, Haar-Wavelets, steuerbar oder Kombinationen davon. Die Merkmalsextraktion berechnet Merkmale aus dem Ultraschallbild, um Informationen besser erfassen zu können, die ein oder mehrere Organe oder Regionen unterscheiden.
  • In einer anderen Ausführungsform werden tief gelernte Merkmale verwendet. Die Werte werden aus den Scandaten für aus dem maschinellen Lernen erlernte Merkmale extrahiert. Tiefes maschinelles Lernen lernt die in den Trainingsdaten dargestellten Merkmale sowie das Trainieren des Detektors, anstatt nur den Detektor anhand der manuell festgelegten Merkmale zu trainieren. Die relevanten Merkmale werden im Rahmen des Trainings automatisch ermittelt. Diese Fähigkeit ermöglicht das generische Training mit beliebigen Daten (d. h. Trainingsdaten mit bekannten Ergebnissen), welches intern Merkmale wie z. B. Texturen bestimmen kann. Durch Trainieren des Netzwerks mit markierten Ergebnissen (d. h. Grundwahrheit für die Detektion (z. B. Identität oder Ort des Objekts)) lernt das Netzwerk, welche Merkmale relevant sind oder für die Detektion ignoriert werden können.
  • Jeder Ansatz oder jede Architektur des tiefen Lernens kann verwendet werden. Zum Beispiel wird ein neuronales Netzwerk mit Faltung verwendet. Das Netzwerk kann eine Faltung, eine Unterabtastung (z. B. maximales Pooling), vollständig verbundene Schichten und / oder andere Arten von Schichten umfassen. Durch die Verwendung der Faltung ist die Anzahl der möglichen zu testenden Merkmale begrenzt. Die vollständig verbundenen Schichten verbinden die Merkmale vollständig, die durch die Faltungsschicht nach dem maximalen Pooling begrenzt sind. Zu den vollständig verbundenen Schichten können weitere Merkmale hinzugefügt werden, z. B. nicht bildgebende oder klinische Informationen. Es kann eine beliebige Kombination von Schichten bereitgestellt werden.
  • Das maschinell gelernte Netzwerk mit oder ohne tiefes Lernen wird trainiert, um die kategorischen Kennzeichnungen (Ausgabeidentität und / oder Segmentierung) den extrahierten Werten eines oder mehrerer Merkmale zuzuordnen. Das maschinelle Lernen verwendet Trainingsdaten mit Grundwahrheit, wie z. B. Werte für Merkmale, die aus Datenframes für Patienten mit bekannten Objekten und / oder Segmentierungen extrahiert werden, um anhand des eingegebenen Merkmalsvektors das Detektieren zu lernen. Das resultierende maschinell gelernte Netzwerk ist eine Matrix für Eingaben, Gewichtungen und Kombination, um die Detektion auszugeben. Unter Verwendung der Matrix oder der Matrizen gibt der Bildprozessor die extrahierten Werte für Merkmale ein und gibt die Detektion aus.
  • Zur Detektion können zusätzliche Informationen als Scandaten verwendet werden. Beispielsweise werden Werte klinischer Messungen für den Patienten verwendet. Der Detektor ist trainiert, anhand der extrahierten Werte für die Merkmale in den Scandaten sowie der zusätzlichen Messungen zu detektieren. Genetische Daten, Blutdiagnostik, Familienanamnese, Geschlecht, Gewicht und / oder andere Informationen werden als Merkmal eingegeben.
  • Wenn die computergestützte Detektion auf maschinellem Lernen basiert, kann Selbstlernen oder Feedback-Lernen verwendet werden. Sobald ein Arzt detektierte Objekte überprüft und anzeigt, ob die Detektion korrekt ist, können die Indikation und Probe später als Trainingsdaten verwendet werden. Diese Informationen können als weitere Trainingsdaten verwendet werden, um den Detektor mit zusätzlicher Grundwahrheit erneut zu lernen oder zu aktualisieren.
  • Unterschiedliche computergestützte Detektoren können unterschiedliche Arten von Objekten und / oder Objekten in unterschiedlichen Situationen erkennen. Auf jeden Frame können mehrere Detektoren angewendet werden. In einer Ausführungsform werden die anzuwendenden Detektoren basierend auf der Art der Untersuchung ausgewählt. Beispielsweise konfiguriert der Benutzer den Ultraschallscanner für eine Brustuntersuchung. Ein Detektor oder Detektoren zum Detektieren verdächtiger Objekte (z. B. Tumoren und / oder Zysten) in der Brust, zum Detektieren einer spezifischen Brustanatomie oder Referenzpunkte und / oder zum Detektieren der Brust werden ausgewählt und angewendet. Als ein anderes Beispiel konfiguriert der Benutzer den Ultraschallscanner für die Brustuntersuchung, um Krebs zu erkennen. Ein Detektor oder Detektoren zum Erkennen von Krebsobjekten in der Brust werden ausgewählt. Die Auswahl erfolgt automatisch durch den Prozessor oder der Benutzer wählt die Detektoren aus. In einer anderen Ausführungsform detektiert der Detektor eine unterschiedliche Anatomie, so dass eine Detektion beim Scannen einer beliebigen Region des Patienten erfolgt. Eine Hierarchie von Binärdetektoren und / oder ein Detektor zum Erkennen unterschiedlicher Objekte wird angewendet.
  • Der Detektor klassifiziert (z. B. identifiziert) und / oder segmentiert ein oder mehrere Objekte. Ein maschinell gelernter Klassifizierer oder mehrere Klassifizierer identifizieren beispielsweise ein oder mehrere Objekte, die in den Scandaten dargestellt werden. Der Klassifizierer klassifiziert das Organ oder die Region des Patienten aus den extrahierten Werten der Merkmale. Die Werte werden in den durch den Bildprozessor implementierten maschinell gelernten Klassifizierer eingegeben. Durch Anwenden des Klassifizierers werden das Organ oder andere in den Scandaten dargestellte Objekte klassifiziert. Als ein anderes Beispiel lokalisieren ein maschinell gelernter Segmentierer oder mehrere Segmentierer ein oder mehrere Objekte, die in den Scandaten dargestellt sind. Der Segmentierer bestimmt aus den extrahierten Werten der Merkmale einen Ort, wie etwa das gesamte Gewebe, das zu einem Organ gehört, eine Grenze und / oder ein Zentrum. Die Werte werden in den maschinell gelernten Segmentierer eingegeben, der vom Bildprozessor implementiert wird. Zur Klassifizierung und Segmentierung werden unterschiedliche maschinell gelernte Detektoren oder Netzwerke bereitgestellt. Alternativ kann ein Detektor sowohl zum Klassifizieren als auch zum Segmentieren trainiert werden.
  • Die computergestützte Detektion wird während der Erfassung der Frames oder Bilder (d. h. während des Scannens und / oder der Ultraschalluntersuchung) angewendet. Die Anwendung erfolgt in Echtzeit. Der Zeitraum zum Verarbeiten eines Frames ist gleich oder kleiner als der Zeitraum zum Erfassen einer begrenzten Anzahl neuer Frames, wie beispielsweise nur einem, zwei, fünf oder zehn Frames. Die Echtzeitanwendung ermöglicht, dass die Anwendung innerhalb von ein oder zwei Sekunden nach dem Erstellen des Scans erfolgt. Maschinell gelernte Detektoren arbeiten möglicherweise schneller als ein Vorlagenabgleich oder eine andere Detektion.
  • Die Schritte 32, 34 und 36 zeigen eine beispielhafte Detektion von Schritt 30. 2 zeigt einen weiteren Prozessablauf für diese drei beispielhaften Detektionsschritte. In Schritt 32 wird das Objekt mit einem maschinell gelernten oder einem anderen computergestützten Klassifizierer identifiziert, dann wird in Schritt 34 ein maschinell gelernter Segmentierer basierend auf der Identifizierung ausgewählt, und dann wird das identifizierte Objekt mit dem ausgewählten maschinell gelernten oder anderen computergestützten Segmentierer segmentiert. In anderen Ausführungsformen werden nur Schritt 32, nur Schritt 36 oder die Schritte 32 und 36 ausgeführt, ohne dass Schritt 34 ausgeführt wird.
  • In Schritt 32 identifiziert der Ultraschallscanner oder Bildprozessor ein oder mehrere Objekte in der inneren Region des Patienten. Durch Anwenden eines maschinell gelernten Klassifizierers auf die Scandaten (d. h. die Eingabe von Werten für einen Merkmalsvektor, der von den Scandaten abgeleitet ist) werden das Objekt oder die Objekte identifiziert. In einer Ausführungsform wird zur Identifizierung ein auf ImageNet basierender Klassifizierer verwendet.
  • Ein oder mehrere Objekte werden in einer beliebigen Anzahl von Frames oder Bildern identifiziert. Wenn die computergestützte Charakterisierung beim Scannen in Echtzeit ausgeführt wird, werden das Objekt oder die Objekte während des Scannens identifiziert. Der maschinell gelernte Klassifizierer kann trainiert werden, mehrere Objekte in einer Region zu klassifizieren. Alternativ kann der maschinell gelernte Klassifizierer trainiert werden, ein bestimmtes Objekt zu identifizieren. Es können mehrere maschinell gelernte Klassifizierer angewendet werden, um mehrere Objekte zu identifizieren. Der maschinell gelernte Klassifizierer oder die mehreren Klassifizierer werden basierend auf der Bildgebungsanwendung oder der zum Scannen verwendeten Voreinstellungen ausgewählt, beispielsweise durch Anwenden eines Klassifizierers, ob ein Objekt eine Leber ist oder nicht, basierend auf dem Ausführen eines Leberscans.
  • Die Identifizierung bezieht sich auf das Objekt. Eine Kennzeichnung, die das Objekt identifiziert, wird ermittelt. Beispielsweise wird ein Typ eines Organs oder eines anatomischen Referenzpunktes bestimmt (z. B. eine Niere oder eine Halsschlagader oder ein Apex eines linken Ventrikels). Als weiteres Beispiel wird ein Katheter als Katheter identifiziert. In noch einem anderen Beispiel wird eine Anomalie identifiziert. Die Anomalie kann als Anomalie oder genauer (z. B. Zyste, Tumor oder Krebs) identifiziert werden.
  • In Schritt 34 wählt der Ultraschallscanner oder Bildprozessor einen maschinell gelernten Segmentierer aus. Der maschinell gelernte Segmentierer wird auf einen bestimmten Typ oder ein bestimmtes Objekt trainiert, beispielsweise einen Nierensegmentierer. Alternativ wird der Segmentierer trainiert, mehr als einen Objekttyp zu segmentieren.
  • Die Auswahl basiert auf der Identifizierung des Objekts. Der Klassifizierer bestimmt, dass das Sichtfeld eines oder mehrere bestimmte Objekte umfasst. Ein entsprechender Segmentierer oder entsprechende Segmentierer werden zum Segmentieren des Objekts oder der Objekte ausgewählt. Zum Beispiel wird ein maschinell gelernter Segmentierer für einen Katheter, ein Organ oder einen anatomischen Referenzpunkt ausgewählt.
  • Die Auswahl erfolgt während der laufenden Ultraschalluntersuchung. Die Klassifizierung wird ausgeführt, während der Patient gescannt wird. In ähnlicher Weise erfolgt die Auswahl innerhalb von Sekundenbruchteilen nach der Klassifizierung und während der Patient gescannt wird. Eine weniger schnelle Auswahl kann erfolgen, beispielsweise innerhalb weniger Sekunden, während für andere Objekte eine andere Klassifizierung ausgeführt wird.
  • Die Auswahl des maschinell gelernten Segmentierers ist die Auswahl einer Matrix oder Matrizen. Jeder Segmentierer kann eine andere Netzwerkarchitektur verwenden. Eine Datenbank von für unterschiedliche Objekte trainierten Segmentiereren ist verfügbar, und einer oder eine Teilmenge wird basierend auf der Klassifizierung ausgewählt. Alternativ wird eine gleiche oder eine ähnliche Architektur für unterschiedliche Segmentierer und / oder Klassifizierer verwendet. Unterschiedliche Segmentierer und / oder Klassifizierer weisen unterschiedliche Gewichtungen auf. Die Auswahl erfolgt nach Gewichtungen für die Knoten des Netzwerks. In einer Ausführungsform ist ein Netzwerk zum Segmentieren des Herzens gut trainiert, und ein anderes Netzwerk ist zum Segmentieren eines oder mehrerer Organe im Unterleib (d. h. Leber, Milz, Niere) gut trainiert. Durch Auswahl der Gewichtungen, die für das Netzwerk oder das trainierte Netzwerk bereitgestellt werden sollen, wird das entsprechende Netzwerk für die Segmentierung angewendet.
  • In Schritt 36 segmentiert der Ultraschallscanner oder Bildprozessor das Objekt in den Scandaten. Der ausgewählte maschinell gelernte Segmentierer wird angewendet. In einer Ausführungsform wird ein maschinell gelernter Segmentierer basierend auf SegNet verwendet. Werte für Merkmale werden extrahiert und in den maschinell gelernten Segmentierer eingegeben. Wenn tiefes Lernen verwendet wird, extrahiert der Segmentierer die Werte für die Merkmale.
  • Der Segmentierer wird während der laufenden Ultraschalluntersuchung angewendet. Innerhalb von Sekundenbruchteilen oder einige Sekunden nach Auswahl des Segmentierers wird der Segmentierer angewendet und gibt die Ortsinformationen aus. Während des Erfassens eines nächsten Frames von Scandaten oder innerhalb der Zeit zum Erfassen von zehn oder zwanzig Frames wird der Segmentierer angewendet. Es kann eine mehr oder weniger schnelle Anwendung bereitgestellt werden.
  • Der Segmentierer kann weiterhin angewendet werden. Wenn jeder neue Datenframe durch Wiederholen des Scannens erfasst wird, wird der Segmentierer angewendet. Für jeden Frame werden Ortsinformationen bereitgestellt. Dies setzt sich fort, bis sich das Sichtfeld stark verändert oder verändert hat. Sobald sich das Sichtfeld stabilisiert hat, wird auf jeden Frame der Scandaten derselbe oder ein unterschiedlicher Segmentierer angewendet. In alternativen Ausführungsformen wird der Segmentierer auf jede andere oder eine andere Teilmenge der Frames angewendet, die in der laufenden Untersuchung erfasst werden.
  • Der maschinell gelernte Segmentierer zeigt einen Ort des Objekts an. Der Klassifizierer identifiziert das Objekt im Sichtfeld und der Segmentierer bestimmt den Ort des Objekts im Sichtfeld. Der Ort ist eine Begrenzung, eine binäre Maske (d.h. jedes Pixel, Voxel oder jeder zu dem Objekt gehörende Abtastpunkt), das Zentrum, die räumliche Ausdehnung (z. B. Anpassung der Näherungs- oder Modellform) oder eine andere Darstellung der räumlichen Position, Orientierung und / oder der Skalierung. Der maschinell gelernte Segmentierer bestimmt den Ort des Objekts basierend auf den Eingabewerten für den Merkmalsvektor, wobei diese Werte aus den Scandaten für den Frame oder die Frames extrahiert werden.
  • In Schritt 38 implementiert der Ultraschallscanner oder Bildprozessor basierend auf der Segmentierung und / oder Klassifizierung des Objekts einen nächsten Schritt in den Arbeitsablauf. Die Implementierung erfolgt ohne Benutzereingabe zwischen der Detektion, der Klassifizierung und / oder der Segmentierung und der Implementierung. Der Betrieb des Ultraschallscanners wird so geändert, dass er sich entlang der Sequenz des Arbeitsablaufs erhöht, ohne eine Benutzersteuerung der Änderung. Der Benutzer oder der Bildprozessor kann den Arbeitsablauf auswählen, z. B. eine Auswahl basierend auf der Klassifizierung. Während des Inkrementierens auf mindestens einen der Schritte des Arbeitsablaufs, führt der Ultraschallscanner den gesamten oder einen Teil des Schritts aus, ohne dass der Benutzer eine Aktivierung oder andere Informationen eingibt, um diesen Teil auszuführen. Beispielsweise wird ein ROI oder ein Messbezeichner auf einem Bild platziert, und der ROI-Scan oder die Messung wird nach der Segmentierung ausgeführt, ohne dass der Benutzer den ROI oder den Messbezeichner platzieren muss und / oder ohne dass der Benutzer den ROI-Scan oder die Messung aktivieren muss. Sobald die Anatomie erfolgreich identifiziert und / oder segmentiert wurde, werden die Identitäts- oder Ortsinformationen verwendet, um den Arbeitsablauf der Bildgebung für den Benutzer zu verbessern, indem mindestens eine Benutzerinteraktion mit dem Ultraschallscanner vermieden wird. Dies ermöglicht dem Benutzer, sich weiterhin auf das Scannen, die visuelle Interpretation der Scanergebnisse und die Überwachung der Untersuchung zu konzentrieren.
  • Eine beliebige Anzahl von Schritten des Arbeitsablaufs kann durch Identitäts- und / oder Ortsinformationen ausgelöst werden und / oder diese verwenden. Jeder vorhandene Schritt, für den ausreichend Informationen zum Auslösen und / oder Ausführen vorhanden sind, erfolgt ohne Benutzereingabe. Der nächste Schritt oder die nächsten Schritte des Arbeitsablaufs werden während der laufenden Ultraschalluntersuchung implementiert. Eine in einer Sequenz von Schritten der laufenden Ultraschalluntersuchung auszuführende Handlung wird automatisch implementiert.
  • Die Änderung des Betriebs des Ultraschallscanners zum Implementieren des Schrittes oder der Handlung im Arbeitsablauf basiert auf der Identifizierung und / oder dem Ort des Objekts. Der nächste Schritt kann ein stärker fokussiertes Scannen des Objekts sein, so dass sowohl Identifizierung als auch Ort verwendet werden. Der Ultraschallscanner ist konfiguriert, das Objekt zu scannen. Beispielsweise ist ein Doppler-Gate basierend auf der Identifizierung und dem Ort positioniert (z. B. die Position in einer Regurgitationsflussregion des Herzens). Das Gate wird beim Eintritt in einen Doppler- oder Spektralmodus der Bildgebung automatisch in einem Gefäß positioniert und / oder das Gate wird positioniert und der Doppler- oder Spektralmodus der Bildgebung wird initiiert, ohne dass der Benutzer positionieren und / oder initiieren muss. Als weiteres Beispiel werden die Bildgebungs- oder Scanvoreinstellungen geändert. Der Benutzer kann anfangs eine Voreinstellung ausgewählt haben, die den Ultraschallscanner für das Scannen konfiguriert, z. B. das Auswählen von einer Leberbildgebung. Die Identifizierung und / oder der Ort können verwendet werden, um einen verfeinerten Satz von Voreinstellungen auszuwählen, der für das identifizierte Objekt und / oder den Ort geeignet ist, wie beispielsweise das Auswählen von Voreinstellungen zur Bildgebung einer Leber mit einer bestimmten Form und / oder Position relativ zu anderen Organen. Als ein anderes Beispiel kann der Benutzer eine Voreinstellung für die Bildgebung des Herzsystems ausgewählt haben, und dann ändert der Bildprozessor die Voreinstellungen so, dass er für die Bildgebung einer bestimmten identifizierten Arterie, Herzkammer und / oder Herzklappe verwendet wird. In noch einem anderen Beispiel zeigen die Ortsinformationen eine Orientierung eines Gefäßes oder einer Flussregion an. Die Scankonfiguration für die Flussbildgebung wird geändert, um die Strahlen so zu lenken, dass sie mehr entlang einer Flussrichtung liegen, und / oder um eine Geschwindigkeitskorrektur zu umfassen, um den Winkel der Scanlinien vom Wandler zur Flussrichtung zu berücksichtigen. Es kann aufgrund der Identifizierung und / oder der Ortsbestimmung und der automatisierten Erhöhung des Arbeitsablaufs vermieden werden, dass der Benutzer diese Schritte während des Scannens ausführen muss.
  • Der nächste Schritt kann darin bestehen, ein Bild oder einen Frame von Scandaten zu speichern. Beispielsweise wird die Identifizierung verwendet, um die Speicherung eines repräsentativen Bildes des Objekts von Interesse auszulösen. Als ein anderes Beispiel kann das Lokalisieren des Objekts nach der Identifizierung verwendet werden, um die Speicherung eines mit Segmentierungs-, Identifizierungs- und / oder Messinformationen gekennzeichneten Bildes des Objekts auszulösen. Die zuvor eingegebenen Patienteninformationen werden verwendet, um das Bild oder die Bilder automatisch in der Krankenakte des Patienten zu speichern. Die automatisierte Bildspeicherung erfolgt, ohne dass der Benutzer andere Informationen auslösen und / oder eingeben muss, was dem Benutzer Zeit und Mühe erspart.
  • Der nächste Schritt kann eine Messung sein. Basierend auf der Identifizierung des Objekts wird die relevanten Messung oder die Messungen geladen oder implementiert. Durch das Vorladen kann vermieden werden, dass der Benutzer auswählen muss, welche Messungen ausgeführt werden sollen. Durch die Implementierung kann vermieden werden, dass der Benutzer aktivieren muss. Anstatt dass der Benutzer Messschieber platzieren oder eine Grenze verfolgen und / oder die Messung aktivieren muss, verwendet der Ultraschallscanner die Segmentierung, um Messschieber an bestimmten Referenzpunkten oder als Spur zu platzieren und aktiviert die Messung. Die 4 und 5 zeigen ein Beispiel, wobei die Niere identifiziert wird und basierend auf der Segmentierung der identifizierten Niere automatisch eine Messung der maximalen Länge ausgeführt wird. Die 4 und 5 zeigen die Anzeige der Messung als automatisierte Platzierung der Messschieber und einer Linie zwischen den Messschiebern. Die Messung des identifizierten Objekts wird basierend auf der Identifizierung und / oder dem Ort ohne Benutzersteuerung des Messschritts im Arbeitsablauf ausgeführt.
  • Der nächste Schritt kann eine Kommentierung eines Bildes sein. Eine beliebige Kommentierung kann in einem Arbeitsablauf umfasst sein, z. B. ein Kennzeichnen des Bildes mit einer Identifizierung der Anatomie, ein Anzeigen der Segmentierung (z. B. ein Hervorheben des Objekts in Farbe oder unterschiedlicher Objekte in unterschiedlichen Farben, ein Extrahieren des Objekts oder ein Anzeigen einer Grenzspur) und / oder ein Angeben eines Wertes einer Messung. Die Kommentierung ist ein alphanumerischer Text und / oder eine andere Grafik. Die Kommentierung wird basierend auf der Identifizierung und / oder dem Ort zu einem angezeigten Bild hinzugefügt, ohne dass der Benutzer die Kommentierung hinzufügen muss. Die Kommentierung kann basierend auf dem Ort des Objekts positioniert werden.
  • Der nächste Schritt kann die Identifizierung eines Gefäßes oder einer Flussregionsgrenze und / oder eines Farbflussscans sein. Die Ortsinformationen stellen die Grenze bereit, wodurch ein Farbflussscannen ermöglicht wird, wobei Flussinformationen für Orte innerhalb der Grenze und der B-Modus für andere Orte angezeigt werden. Anstatt dass der Benutzer das Gefäß oder die Flussregion identifizieren und nachverfolgen und dann die Farbflussbildgebung aktivieren muss, verwendet der Ultraschallscanner die Identifizierung und / oder die Segmentierung, um den Flussanzeigeeinschluss relativ zu den B-Modus-Orten festzulegen und das Flussscannen zu aktivieren.
  • Der nächste Schritt kann die Platzierung einer ROI sein. Die Identifizierung zeigt an, dass sich das Objekt von Interesse im Sichtfeld befindet. Die Ortinformationen geben eine Position des Objekts an, um oder in der die ROI platziert werden soll. Beispielsweise wird die Grenze des Objekts verwendet. Die ROI wird so platziert, dass die Grenze mit einer beliebigen Toleranz über die Grenze hinaus erfasst wird. Die Position, die Grenze und / oder die Größe des Objekts aus der Segmentierung wird zum Lokalisieren der ROI verwendet. 4 zeigt ein Beispiel für eine ROI als Box, die um die gesamte Niere angeordnet ist oder diese umfasst. Anstatt dass der Benutzer die Niere identifizieren und mit der Benutzeroberfläche interagieren muss, um die ROI zu platzieren, implementiert der Ultraschallscanner das Platzieren der ROI, beispielsweise eine Farbregion von Interesse. Die ROI wird für eine andere Art von Bildgebung oder Scannen verwendet, beispielsweise für den Farbfluss. Das ROI-basierte Scannen kann ebenfalls ohne Eingreifen des Benutzers gestartet werden, wenn der Scanner die ROI platziert hat. Die Farbdoppler-Bildgebung beginnt automatisch mit einer ROI, die an der Anatomie von Interesse positioniert ist.
  • Die kontinuierliche Echtzeitsegmentierung kann zusätzlich Nachverfolgungsinformationen bereitstellen, um zu ermöglichen, dass die ROI-Position aktualisiert wird, wenn sich die Sonde oder der Patient bewegt. Die ROI oder ein anderer Ort (z. B. die Doppler-Gate-Position) wird auf den anatomischen Referenzpunkten basierend auf der Wiederholung der Segmentierung für nachfolgende Frames der Scandaten beibehalten.
  • Der nächste Schritt kann das Ändern einer Tiefe des Scannens sein. Die Frequenz der Sendewellenform kann auch mit der Tiefe geändert werden. Höhere Frequenzen werden schneller gedämpft, bieten jedoch eine höhere Auflösung. Durch Anpassen der Frequenz an die Tiefe wird ein optimierteres Scannen ermöglicht. Die Identifizierung eines Objekts (z. B. des Zwerchfells) und der Ort dieses Objekts können verwendet werden, um die Tiefe festzulegen. Die Tiefe des Sichtfelds wird als Schritt im Arbeitsablauf geändert, um die Untersuchung zu verfeinern. 5 zeigt ein Beispiel, wobei die Ultraschalluntersuchung die Niere untersucht. Das Zwerchfell (allgemein mit dem Oval bezeichnet) wird identifiziert und lokalisiert. Die Tiefe des Scans wird reduziert, um ein tieferes Scannen als das Zwerchfell zu vermeiden, was zu einer detaillierteren Bildgebung der Niere führt. In anderen Ausführungsformen wird die tiefste Ausdehnung der Niere verwendet, um die Tiefe festzulegen. Anstatt dass der Benutzer die Tiefenänderung vornehmen muss, erfolgt die Tiefenänderung automatisch.
  • Der nächste Schritt kann mit der Identifizierung einer Anomalie verbunden sein (d. h. der Identifizierung einer Pathologie). Beispielsweise identifiziert der Klassifizierer eine Läsion oder einen Tumor während einer Leber-, Nieren- oder Brustuntersuchung. Der Arbeitsablauf umfasst einen Zweig von Schritten, die bei der Detektion der Anomalie auszuführen sind. Die Klassifizierer-basierte Detektion löst die Implementierung der Verzweigung der Schritte aus. Die Schritte können die Platzierung einer ROI- oder Vergrößerungsbox (z. B. Res-Box) um die Pathologie, Messungen zum Messen der Pathologie (z. B. Größe, Form, Fluss und / oder Elastizität), die Kommentierung der Pathologie, das Speichern eines Bildes, das die Pathologie zeigt oder andere Schritte umfassen. Der Ultraschallscanner führt einen oder mehrere der Schritte basierend auf der Identifizierung und / oder dem Ort der Pathologie aus, ohne dass der Benutzer die Schritte steuern muss.
  • Teile von Schritten können automatisiert werden, beispielsweise das Anzeigen einer Liste von Messungen, die auf der Benutzeroberfläche zur Auswahl durch den Benutzer ausgeführt werden könnten. Der Benutzer muss die Anzeige der Liste nicht aktivieren. Das Änderungsmuster kann verwendet werden, z. B. das Implementieren von Messungen, die Kommentierung und Bildspeicherung in einer Sequenz ohne Benutzereingabe, sobald das Sichtfeld an der Pathologie oder am Objekt stabil ist. Andere Schrittreihenfolgen können bereitgestellt werden, wie z. B. das automatische Vorrücken des Quantifizierungsarbeitsablaufs zur nächsten Aufgabe basierend auf dem Abschluss der Bildspeicherung.
  • In Schritt 40 von 1 erzeugt der Ultraschallscanner oder der Bildprozessor ein Bild des Objekts. Die Bildgebung kann dem Scannen entsprechen, so dass jeder erfasste Frame von Scandaten verwendet wird, um ein Bild zu erzeugen. Bilder können nur für einen oder weniger als alle Frames des Scans erstellt werden.
  • Das erzeugte Bild kann auf die Ausführung oder den Beginn der Ausführung eines nächsten, automatisch zu implementierenden Schrittes ansprechen. Da der Benutzer den Schritt im Arbeitsablauf nicht implementiert, wird dem Benutzer eine visuelle Anzeige angezeigt, dass der Ultraschallscanner den Schritt implementiert. Beispielsweise umfasst das Bild eine Kommentierung, eine Messposition, ein Messergebnis oder eine ROI. Als weiteres Beispiel ist eine Bestätigung der Bildspeicherung oder Speicherung in der Krankenakte eines Patienten umfasst. In noch einem anderen Beispiel werden Werte für Einstellungen (z. B. voreingestellte Werte, die Tiefe des Sichtfeldes oder Scaneinstellungen) angezeigt. Eine Benachrichtigung über eine Änderung ohne Einzelheiten kann auf dem Bild oder der Benutzeroberfläche bereitgestellt werden.
  • Die Ausführung des nächsten Schrittes im Arbeitsablauf wird durch Text oder eine andere Grafik dargestellt. Eine Linie, eine Box oder eine andere Grafik zeigt die Ausführung oder die Ergebnisse der Ausführung eines oder mehrerer Schritte im Arbeitsablauf an. Es kann eine Grafik angezeigt werden, die den Arbeitsablauf darstellt, wobei der aktuelle Schritt hervorgehoben und / oder abgeschlossene Schritte von nicht abgeschlossenen Schritten unterschieden werden.
  • Die Identifizierung und / oder Ortsinformationen können in dem Bild umfasst sein. Beispielsweise wird Farbtönung hinzugefügt. Unterschiedliche Objekte werden unterschiedlich getönt oder ein Objekt wird getönt, wo andere nicht getönt sind. Eine Markierung, eine Linie, eine Box oder andere Grafiken können verwendet werden, um die Segmentierung anzuzeigen. Eine Kommentierung zur Identifizierung kann verwendet werden.
  • Aufgrund der Automatisierung des Arbeitsablaufs basierend auf der Klassifizierung und Segmentierung können ein oder mehrere Schritte des Arbeitsablaufs schneller ausgeführt werden. Die Verzögerung für die Benutzereingabe oder die Konfiguration des Ultraschallscanners wird reduziert oder vermieden. Der Benutzer kann die korrekte Platzierung, Messung oder andere Informationen als Teil des Schritts bestätigen, aber die anfängliche Platzierung oder Eingabe des Benutzers für die Messung kann vermieden werden. Das Ergebnis kann ein größerer Durchsatz pro Ultraschalldiagnostiker sein.
  • 6 zeigt eine Ausführungsform eines Systems zur maschinengestützten Unterstützung des Arbeitsablaufs bei der Ultraschallbildgebung. Das System ist ein Ultraschallscanner 10, der eine computergestützte oder maschinell gelernte Klassifizierung und Segmentierung anwendet. Der Ultraschallscanner 10 wird durch die maschinell gelernten Detektoren konfiguriert, ein Objekt zu identifizieren und / oder ein Objekt zu segmentieren. Schritte eines Arbeitsablaufs für die Ultraschalluntersuchung werden basierend auf der Klassifizierung und / oder der Segmentierung automatisch implementiert. Die Klassifizierung, Segmentierung und Arbeitsablauf-Implementierung erfolgt in Echtzeit beim Scannen und / oder während einer Ultraschalluntersuchung.
  • Der Ultraschallscanner 10 ist ein medizinisches diagnostisches Ultraschallabbildungssystem. Der Ultraschallscanner 10 ist konfiguriert, mit dem Wandler 14 eine Region eines Patienten mit Ultraschall zu scannen. Das Scannen wiederholt sich während einer Untersuchung des Patienten. In alternativen Ausführungsformen umfasst der Ultraschallscanner 10 einen persönlichen Computer, eine Arbeitsstation, eine PACS-Station oder eine andere Anordnung an demselben Ort oder ist über ein Netzwerk zur Echtzeitbildgebung von Scandaten verteilt, die vom Patienten durch Verbindung mit den Strahlformern 12, 16 und dem Wandler 14 erhalten werden.
  • Der Ultraschallscanner 10 implementiert das Verfahren von 1, das Verfahren von 2 oder andere Verfahren. Der Ultraschallscanner 10 umfasst einen Sendestrahlformer 12, einen Wandler 14, einen Empfangsstrahlformer 16, einen Detektor 18, eine Anzeige 20, einen Speicher 22 und einen Bildprozessor 24. Zusätzliche, andere oder weniger Komponenten können vorgesehen sein. Beispielsweise wird eine Benutzereingabe zur Anpassung der automatisierten Platzierung und / oder zum Konfigurieren des Ultraschallsystems 10 für vom Benutzer gesteuerte Arbeitsablaufschritte bereitgestellt.
  • Der Sendestrahlformer 12 ist ein Ultraschallsender, ein Speicher, ein Pulser, eine analoge Schaltung, eine digitale Schaltung oder Kombinationen davon. Der Sendestrahlformer 12 ist konfiguriert, Wellenformen für mehrere Kanäle mit unterschiedlichen oder relativen Amplituden, Verzögerungen und / oder Phaseneinstellungen zu erzeugen. Die Wellenformen werden erzeugt und mit einer beliebigen Takt- oder Impulswiederholungsfrequenz an eine Wandleranordnung angelegt. Zum Beispiel erzeugt der Sendestrahlformer 12 eine Sequenz von Impulsen für das B-Modus-Scannen in einem linearen, Sektor- oder Vector®-Format. Als ein anderes Beispiel erzeugt der Sendestrahlformer 12 eine Sequenz von Impulsen für das Farbflussscannen, wie etwa Impulse zum Bilden von 2-12 Strahlen in einer fortlaufenden Flussabtastzahl pro Scanlinie für eine ROI innerhalb eines Sichtfelds im B-Modus. In noch einem anderen Beispiel erzeugt der Sendestrahlformer 12 Impulse für die Elastizität- oder Scherbildgebung. Der Sendestrahlformer 12 kann einen Strahl für einen akustischen Strahlungskraftimpuls erzeugen. Die Intensität des Strahls bewirkt, dass eine Scherwelle oder Longitudinalwelle vom Brennpunkt erzeugt wird. Der Sendestrahlformer 12 erzeugt dann Strahlen zum Nachverfolgen der Gewebeantwort auf die erzeugte Welle.
  • Der Sendestrahlformer 12 ist mit dem Wandler 14 verbunden, beispielsweise über einen Sende- / Empfangsschalter. Bei der Übertragung von akustischen Wellen von dem Wandler 14 in Reaktion auf die erzeugten Wellen werden während eines gegebenen Sendeereignisses ein oder mehrere Strahlen gebildet. Die Strahlen sind für den B-Modus, den Farbflussmodus, die Elastizität, die Scherwelle und / oder andere Bildgebungsmodi. Eine Sequenz von Sendestrahlen wird erzeugt, um eine ein-, zwei- oder dreidimensionale Region zu scannen. Sektor, Vector®, lineare oder andere Scanformate können verwendet werden.
  • Der Wandler 14 ist eine 1-, 1,25-, 1,5-, 1,75- oder 2-dimensionale Anordnung von piezoelektrischen oder kapazitiven Membranelementen. Der Wandler 14 umfasst eine Vielzahl von Elementen zum Umwandeln zwischen akustischen und elektrischen Energien. Beispielsweise ist der Wandler 14 eine eindimensionale PZT-Anordnung mit etwa 64 bis 256 Elementen.
  • Der Wandler 14 ist mit dem Sendestrahlformer 12 verbunden, um elektrische Wellenformen in akustische Wellenformen umzuwandeln, und ist mit dem Empfangsstrahlformer 16 verbunden, um akustische Echos in elektrische Signale umzuwandeln. Zum Scannen mit Ultraschall sendet der Wandler 14 akustische Energie und empfängt Echos. Die Empfangssignale werden als Reaktion auf Ultraschallenergie (Echos) erzeugt, die auf die Elemente des Wandlers 14 auftreffen.
  • Der Empfangsstrahlformer 16 umfasst eine Vielzahl von Kanälen mit Verstärkern, Verzögerungen und / oder Phasenrotatoren und einen oder mehrere Summierer. Jeder Kanal ist mit einem oder mehreren Wandlerelementen verbunden. Der Empfangsstrahlformer 16 wendet relative Verzögerungen, Phasen und / oder Apodisierung an, um einen oder mehrere Empfangsstrahlen als Reaktion auf jede Übertragung zur Bildgebung auszubilden. Eine dynamische Fokussierung beim Empfang kann vorgesehen sein. Relative Verzögerungen und / oder Phaseneinstellungen und eine Summierung von Signalen von unterschiedlichen Elementen sorgen für eine Strahlformung. Der Empfangsstrahlformer 16 gibt Daten aus, die räumliche Orte darstellen, wobei empfangene akustische Signale verwendet werden. In alternativen Ausführungsformen ist der Empfangsstrahlformer 16 ein Prozessor zum Erzeugen von Proben unter Verwendung von Fourier- oder anderen Transformationen.
  • Der Empfangsstrahlformer 16 kann einen Filter umfassen, wie beispielsweise ein Filter zum Isolieren von Informationen bei einer zweiten Harmonischen, zum Senden (d. h. der Grundschwingung) oder einem anderen Frequenzband relativ zum Sendefrequenzband. Solche Informationen können wahrscheinlicher gewünschte Gewebs-, Kontrastmittel- und / oder Flussinformationen umfassen. In einer anderen Ausführungsform umfasst der Empfangsstrahlformer 16 einen Speicher oder Puffer und einen Filter oder Addierer. Zwei oder mehr Empfangsstrahlen werden kombiniert, um Informationen in einem gewünschten Frequenzband zu isolieren, beispielsweise einer zweiten Harmonischen, einer kubischen Grundschwingung oder einem anderen Band.
  • Der Empfangsstrahlformer 16 gibt Strahlsummierte Daten aus, die räumliche oder Abtastorte darstellen. Daten für einen einzelnen Ort, Orte entlang einer Linie, Orte für eine Fläche oder Orte für ein Volumen werden ausgegeben. Die als Reaktion auf einen vollständigen Scan einer Region strahlgeformten Daten entsprechen einem Frame von Daten.
  • Der Detektor 18 ist ein B-Modus-Detektor, ein Doppler-Detektor, ein Doppler-Detektor für gepulste Wellen, ein Korrelationsprozessor, ein Fourier-Transformationsprozessor, ein Filter, ein anderer jetzt bekannter oder später entwickelter Prozessor zum Implementieren eines Ultraschallbildgebungsmodus oder Kombinationen davon. Der Detektor 18 stellt eine Detektion für die Bildgebungsmodi bereit, beispielsweise einen Doppler-Detektor (z. B. einen Schätzer) und einen B-Modus-Detektor.
  • Andere Komponenten nach der Strahlformung können vorgesehen sein. Ein räumlicher Filter, ein zeitlicher Filter und / oder ein Scanwandler können umfasst sein. Der Detektor 18 oder andere Komponenten geben Anzeigewerte aus, z. B. die Detektion, das Abbilden der detektierten Werte zu Anzeigewerten und das Formatieren der Anzeigewerte oder der detektierten Werte in ein Anzeigeformat.
  • Der Bildprozessor 24 ist ein Steuerprozessor, ein allgemeiner Prozessor, ein digitaler Signalprozessor, eine Grafikverarbeitungseinheit, eine anwendungsspezifische integrierte Schaltung, ein feldprogrammierbares Gate-Array, ein Netzwerk, ein Server, eine Gruppe von Prozessoren, Kombinationen davon oder andere jetzt bekannte oder später entwickelte Vorrichtung zum Detektieren von Objekten in Bildern und zum Steuern des Ultraschallsystems 10, um den Arbeitsablauf der Untersuchung zu unterstützen. Der Bildprozessor 24 ist von dem Detektor 18 getrennt oder ein Teil des Detektors 18. Als eine separate Vorrichtung fordert der Bildprozessor 24 Daten an, empfängt sie, beurteilt oder lädt Daten in jeder Verarbeitungsstufe (z. B. strahlgeformt, detektiert, scanumgewandelt, Anzeigeabbildend oder eine andere Stufe) zum Detektieren und Steuern. Der Bildprozessor 24 ist durch Software, Firmware und / oder Hardware konfiguriert, die Schritte der 1 oder 2 auszuführen oder zu bewirken.
  • Der Bildprozessor 24 ist konfiguriert, die Scandaten im Zeitverlauf auf Änderungen in einem Sichtfeld zu überwachen. Unter Verwendung der Korrelation oder eines anderen Ansatzes wird die Stärke der Änderung oder das Änderungsmuster verwendet, um zu bestimmen, ob eine Segmentierung basierend auf der vorherigen Objektidentifizierung oder eine Klassifizierung und Auswahl eines neuen Segmentierers angewendet wird. Der Bildprozessor 24 ist konfiguriert, zu klassifizieren, indem er eine computerunterstützte Klassifizierung anwendet, wenn die Änderung über einem Schwellenwert oder einem Änderungsmuster liegt, das durch einen oder mehrere Schwellenwerte definiert ist.
  • Der Bildprozessor 24 ist konfiguriert, eine computergestützte Klassifizierung von einem oder mehreren Objekten der Region aus Scandaten des Scans anzuwenden. Beispielsweise ist ein maschinell gelernter Klassifizierer konfiguriert, ein oder mehrere Objekte als Organe und / oder Anomalien zu identifizieren. Der Bildprozessor 24 ist konfiguriert, eine computergestützte Segmentierung des einen oder der mehreren Objekte basierend auf der Klassifizierung anzuwenden. Ein Segmentierer wird basierend auf der Identifizierung des Objekts ausgewählt. Der Segmentierer kann ein maschinell gelernter Segmentierer sein, der zum Lokalisieren des einen oder der mehreren Organe und / oder Anomalien konfiguriert ist.
  • Der Bildprozessor 24 ist konfiguriert, den Betrieb des Ultraschallscanners basierend auf der Klassifizierung und / oder der Segmentierung des einen oder der mehreren Objekte zu ändern. Die Änderung besteht darin, einen oder mehrere Schritte in einem Arbeitsablauf für die Untersuchung des Patienten zu implementieren. Der Arbeitsablauf ist eine Sequenz von Schritten in einem Entscheidungsbaum vom ersten Scannen bis zum Abschluss der Untersuchung des Patienten mit Ultraschall. Basierend auf der Objektidentifizierung und / oder - segmentierung, die in Echtzeit mit dem Scannen ausgeführt wird, können der oder die nächsten Schritte im Entscheidungsbaum durch den Ultraschallscanner 10 mit keiner oder weniger Benutzerinteraktion auch in Echtzeit implementiert werden. Beispielsweise platziert der Ultraschallscanner eine Region von Interesse, eine Tiefenänderung für den Scan und / oder eine Messung des einen oder der mehreren Objekte basierend auf und als Reaktion auf die Klassifizierung und die Segmentierung.
  • Der Bildprozessor 24 oder Detektor 18 erzeugt Bilder oder Werte und gibt diese an die Anzeige 20 aus. Zum Beispiel werden Bilder im B-Modus oder im gemischten Modus (z. B. B-Modus und Flussmodus) ausgegeben. Ein Text, numerische Angaben oder Grafiken können hinzugefügt und dem Benutzer angezeigt werden. Eine Grafik kann angezeigt werden. Beispielsweise wird eine Kommentierung, die ein erkanntes Objekt markiert, ein Flag, das angibt, dass das Bild ein erkanntes Objekt umfasst, den abgeleiteten Wert einer Messung, eine ROI oder andere objektbezogene Informationen, auf dem Bild ausgegeben. Das Bild umfasst einen Hinweis auf die Ausführung oder den Abschluss der Ausführung eines oder mehrerer Schritte im Arbeitsablauf. Andere Anzeigen können bereitgestellt werden, beispielsweise eine blinkende Taste.
  • Die Anzeige 20 ist eine CRT, ein LCD, ein Monitor, ein Plasma, ein Projektor, ein Drucker oder eine andere Vorrichtung zum Anzeigen eines Bildes oder einer Sequenz von Bildern. Jede jetzt bekannte oder später entwickelte Anzeige 20 kann verwendet werden. Jedes Bild ist von der Scanregion des Patienten. Andere Informationen, wie z. B. eine Kommentierung (z. B. eine Grafik), die Änderungen und / oder Angaben zu einem Schritt im Arbeitsablauf zeigt (z. B. ROI-Platzierung, die durch eine dem Bild hinzugefügten ROI angezeigt wird), werden auf, zusammen mit oder als Teil des Bildes ausgegeben. Die Anzeige 20 ist betreibbar, um ein Bild oder eine Sequenz von Bildern anzuzeigen. Die Anzeige 20 zeigt zweidimensionale Bilder oder dreidimensionale Darstellungen an.
  • Der Detektor 18, der Bildprozessor 24, der Empfangsstrahlformer 16 und der Sendestrahlformer 12 arbeiten gemäß den Anweisungen, die im Speicher 22 oder einem anderen Speicher gespeichert sind. Die Anweisungen konfigurieren das System zur Ausführung der Schritte von 1. Die Anweisungen konfigurieren den Detektor 18, den Bildprozessor 24, den Empfangsstrahlformer 16 und / oder den Sendestrahlformer 12 für den Betrieb, indem sie in eine Steuerung geladen werden, indem sie ein Laden einer Wertetabelle bewirken und / oder durch ihre Ausführung.
  • Der Speicher 22 ist ein nichtflüchtiges computerlesbares Speichermedium. Die Anweisungen zum Implementieren der hierin besprochenen Prozesse, Verfahren und / oder Techniken werden auf den computerlesbaren Speichermedien oder Speichern bereitgestellt, wie einem Cache, einem Puffer, einem RAM, Wechselmedien, einer Festplatte oder anderen computerlesbaren Speichermedien. Computerlesbare Speichermedien umfassen unterschiedliche Arten von flüchtigen und nichtflüchtigen Speichermedien. Die Funktionen, Schritte oder Aufgaben, die in den Figuren dargestellt oder hierin beschrieben sind, werden als Reaktion auf einen oder mehrere Sätze von Anweisungen ausgeführt, die in oder auf computerlesbaren Speichermedien gespeichert sind. Die Funktionen, Schritte oder Aufgaben sind unabhängig von der jeweiligen Art von Anweisungssatz, Speichermedium, Prozessor oder Verarbeitungsstrategie und können durch Software, Hardware, integrierte Schaltungen, Firmware, Mikrocode und dergleichen ausgeführt werden, die allein oder in Kombination miteinander arbeiten. In ähnlicher Weise können Verarbeitungsstrategien Multiprocessing, Multitasking, Parallelverarbeitung und dergleichen umfassen. In einer Ausführungsform sind die Anweisungen auf einer Wechselmedienvorrichtung zum Lesen durch lokale oder entfernte Systeme gespeichert. In anderen Ausführungsformen werden die Anweisungen an einem entfernten Ort zur Übertragung über ein Computernetz oder über Telefonleitungen gespeichert. In noch anderen Ausführungsformen werden die Anweisungen in einem bestimmten Computer, einer CPU, einer GPU oder einem System gespeichert.
  • Während die Erfindung oben unter Bezugnahme auf unterschiedliche Ausführungsformen beschrieben wurde, versteht es sich, dass viele Änderungen und Modifikationen vorgenommen werden können, ohne vom Schutzumfang der Erfindung abzuweichen. Es ist daher beabsichtigt, dass die vorstehende detaillierte Beschreibung als veranschaulichend und nicht als einschränkend betrachtet wird, und es versteht sich, dass die folgenden Ansprüche, einschließlich aller Äquivalente, den Geist und den Umfang dieser Erfindung definieren sollen.

Claims (17)

  1. Verfahren zur maschinengestützten Unterstützung des Arbeitsablaufs für einen Ultraschallscanner, wobei das Verfahren umfasst: Scannen einer inneren Region eines Patienten mit einem Ultraschallwandler des Ultraschallscanners, wobei sich das Scannen bei einer laufenden Ultraschalluntersuchung wiederholt; Identifizieren eines Objekts in der inneren Region durch einen maschinell gelernten Klassifizierer, der während der laufenden Ultraschalluntersuchung auf die Scandaten von dem Scannen angewendet wird; Auswählen eines maschinell gelernten Segmentierers basierend auf der Identifizierung des Objekts, wobei das Auswählen während der laufenden Ultraschalluntersuchung erfolgt; Segmentieren des Objekts in den Scandaten durch den ausgewählten maschinell gelernten Segmentierer während der laufenden Ultraschalluntersuchung; Implementieren eines nächsten Schrittes im Arbeitsablauf basierend auf der Segmentierung des Objekts durch den Ultraschallscanner, wobei der nächste Schritt während der laufenden Ultraschalluntersuchung und ohne Benutzereingabe in den Ultraschallscanner zwischen der Segmentierung und der Implementierung implementiert wird; und Erzeugen eines Bildes des Objekts durch den Ultraschallscanner.
  2. Verfahren nach Anspruch 1, wobei das Scannen ein kontinuierliches Scannen umfasst, wobei das Identifizieren, das Auswählen, das Segmentieren und das Implementieren in Echtzeit mit dem kontinuierlichen Scannen erfolgt.
  3. Verfahren nach Anspruch 1 oder 2, wobei das Identifizieren ein Identifizieren eines Organs oder einer eingefügten Vorrichtung in der inneren Region umfasst, und wobei das Auswählen das Auswählen des maschinell gelernten Segmentierers umfasst, der für das Organ oder die eingefügte Vorrichtung trainiert ist, und / oder wobei das Identifizieren das Identifizieren einer Anomalie in der inneren Region umfasst, und wobei das Implementieren das Implementieren des nächsten Schritts basierend auf der Anomalie umfasst.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Auswählen das Auswählen von Gewichtungen umfasst, die den maschinell gelernten Segmentierer für das identifizierte Objekt konfigurieren.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Segmentieren das Auffinden einer Grenze des Objekts umfasst und wobei das Implementieren das Implementieren als Funktion der Grenze umfasst.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Implementieren das Implementieren des nächsten Schritts als Konfigurieren des Ultraschallscanners zum Scannen des Objekts, als Speichern des Bildes in einer Krankenakte des Patienten, zum Einrichten einer Region von Interesse um oder in dem Objekt und / oder zum Anordnen einer Messung des Objekts auf einer Benutzeroberfläche des Ultraschallscanners umfasst, und / oder wobei das Implementieren das Implementieren des nächsten Schrittes im Arbeitsablauf als eine Handlung umfasst, die in einer Sequenz von Handlungen der laufenden Ultraschalluntersuchung ausgeführt wird, wobei die ausgeführte Handlung durch die Segmentierung ausgelöst wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Scannen ein B-Modus-Scannen umfasst, und wobei das Implementieren das Implementieren des nächsten Schrittes als Einstellen einer Farbregion von Interesse umfasst, basierend auf der Identifizierung des Objekts, einer Position des Objekts aus der Segmentierung und einer Größe des Objekts aus der Segmentierung.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Implementieren das Implementieren des nächsten Schrittes als eine Änderung der Scantiefe des Scannens umfasst, basierend auf einer Identifizierung des Objekts und eines Ortes des Objekts aus der Segmentierung.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erzeugen des Bildes das Erzeugen des Bildes als Reaktion auf die Ausführung des nächsten Schritts umfasst, und / oder wobei das Erzeugen des Bildes das Erzeugen des Bildes als Darstellung der Ausführung des nächsten Schrittes mit einer Grafik umfasst.
  10. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend das Detektieren eines Änderungsgrads zwischen den Scandaten von unterschiedlichen Zeiten und das Ausführen des Identifizierens, Auswählens und Segmentierens als Reaktion darauf, dass der Änderungsgrad über einem Schwellenwert liegt, und das Ausführen der Segmentierung ohne ein Wiederholen des Identifizierens und Auswählen als Reaktion darauf, dass der Änderungsgrad unter dem Schwellenwert liegt.
  11. System zur maschinengestützten Unterstützung des Arbeitsablaufs bei der Ultraschallbildgebung, wobei das System umfasst: einen Ultraschallscanner, der konfiguriert ist, mit einem Wandler eine Region eines Patienten mit Ultraschall zu scannen, wobei sich der Scan während einer Untersuchung des Patienten wiederholt; einen Bildprozessor, der konfiguriert ist, eine computergestützte Klassifizierung eines oder mehrerer Objekte der Region aus Scandaten des Scans anzuwenden, eine computergestützte Segmentierung des einen oder der mehreren Objekte basierend auf der Klassifizierung anzuwenden und den Betrieb des Ultraschallscanners basierend auf der Segmentierung des einen oder der mehreren Objekte zu ändern, wobei die Änderung des Betriebes ein nächster Schritt in einem Arbeitsablauf zur Untersuchung des Patienten ist; und eine Anzeige, die betrieben werden kann, ein Bild der Region mit einer Grafik anzuzeigen, die die Änderung und / oder den nächsten Schritt im Arbeitsablauf zeigt.
  12. System nach Anspruch 11, wobei der Bildprozessor konfiguriert ist, die Scandaten im Laufe der Zeit auf Änderungen in einem Sichtfeld zu überwachen und weiter konfiguriert ist, die computergestützte Klassifizierung als Reaktion auf die Änderung anzuwenden, welche über einem Schwellenwert liegt.
  13. System nach Anspruch 11 oder 12, wobei die computergestützte Klassifizierung die Anwendung eines maschinell gelernten Klassifizierers umfasst, der konfiguriert ist, das eine oder die mehreren Objekte als Organe und / oder Anomalien zu identifizieren, und wobei die computergestützte Segmentierung die Anwendung eines maschinell gelernten Segmentierers umfasst, der konfiguriert ist, ein oder mehrere Organe und / oder Anomalien zu lokalisieren.
  14. System nach einem der vorhergehenden Ansprüche 11 bis 13, wobei der Arbeitsablauf eine Sequenz von Schritten in einem Entscheidungsbaum von dem anfänglichen Scannen bis zum Abschluss der Untersuchung des Patienten mit Ultraschall umfasst, wobei der nächste Schritt einen der Schritte im Entscheidungsbaum umfasst.
  15. System nach einem der vorhergehenden Ansprüche 11 bis 14, wobei die Änderung das Platzieren einer Region von Interesse, eine Änderung der Tiefe für den Scan und / oder die Messung des einen oder der mehreren Objekte umfasst.
  16. Verfahren zur maschinengestützten Unterstützung des Arbeitsablaufs für einen Ultraschallscanner, wobei das Verfahren umfasst: Scannen eines Patienten durch den Ultraschallscanner als Teil eines Arbeitsablaufs zur Ultraschalluntersuchung des Patienten, wobei der Arbeitsablauf eine Sequenz von Schritten umfasst; Überwachen einer Änderung in einem Sichtfeld des Scannens durch den Ultraschallscanner; Detektieren eines Objekts von dem Scannen mit einem maschinell gelernten Netzwerk als Reaktion auf die Änderung, wobei die Detektion das Identifizieren des Objekts und / oder das Lokalisieren des Objekts umfasst; und Ändern des Betriebs des Ultraschallscanners ohne Benutzersteuerung, sodass er entlang der Sequenz des Arbeitsablaufs gesteigert wird, wobei die Änderung auf der Identifizierung und / oder dem Ort des Objekts basiert.
  17. Verfahren nach Anspruch 16, wobei das Überwachen das Identifizieren der Änderung oberhalb eines Schwellwerts umfasst, wobei das Detektieren das Identifizieren des Objekts mit einem maschinell gelernten Klassifizierer und das anschließende Segmentieren des identifizierten Objekts mit einem maschinell gelernten Segmentierer umfasst, der basierend auf der Identifizierung ausgewählt wird, und wobei die Änderung das Speichern eines Bildes mit einer Kommentierung der Identifizierung und des Ortes, das Ändern einer Tiefe des Sichtfelds, das Platzieren einer Region von Interesse und / oder das Platzieren eines Gates umfasst.
DE102018218751.7A 2017-11-10 2018-11-02 Machinengestützter arbeitsablauf bei der ultraschallbildgebung Pending DE102018218751A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/809,802 US11264135B2 (en) 2017-11-10 2017-11-10 Machine-aided workflow in ultrasound imaging
US15/809,802 2017-11-10

Publications (1)

Publication Number Publication Date
DE102018218751A1 true DE102018218751A1 (de) 2019-05-16

Family

ID=66335472

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018218751.7A Pending DE102018218751A1 (de) 2017-11-10 2018-11-02 Machinengestützter arbeitsablauf bei der ultraschallbildgebung

Country Status (4)

Country Link
US (1) US11264135B2 (de)
KR (1) KR102191467B1 (de)
CN (2) CN114903522A (de)
DE (1) DE102018218751A1 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893849B2 (en) * 2017-02-28 2021-01-19 Canon Medical Systems Corporation Ultrasound image diagnosis apparatus, medical image processing apparatus, and computer program product
CN111095263A (zh) 2017-06-26 2020-05-01 纽约州立大学研究基金会 用于虚拟胰造影术的系统、方法和计算机可访问介质
EP3496038A1 (de) * 2017-12-08 2019-06-12 Koninklijke Philips N.V. Registrierung statischer präprozeduraler planungsdaten an dynamische intraprozedurale segmentierungsdaten
US10675005B2 (en) * 2018-08-02 2020-06-09 General Electric Company Method and system for synchronizing caliper measurements in a multi-frame two dimensional image and a motion mode image
US10909677B2 (en) 2019-02-14 2021-02-02 Clarius Mobile Health Corp. Systems and methods for performing a measurement on an ultrasound image displayed on a touchscreen device
FR3099984A1 (fr) * 2019-08-19 2021-02-26 Bay Labs, Inc. Changement de dynamique de mode de guidage d'imagerie par ultrasons
FR3099985A1 (fr) * 2019-08-19 2021-02-26 Bay Labs, Inc. Changement de vue à mi-procédure pour diagnostic par ultrasons
US11844654B2 (en) 2019-08-19 2023-12-19 Caption Health, Inc. Mid-procedure view change for ultrasound diagnostics
WO2021055676A1 (en) * 2019-09-18 2021-03-25 The Regents Of The University Of California Method and systems for the automated detection of free fluid using artificial intelligence for the focused assessment sonography for trauma ("fast") examination for trauma care
EP3839964A1 (de) * 2019-12-19 2021-06-23 Koninklijke Philips N.V. Durchführung von messungen in bildern
KR102144672B1 (ko) * 2020-01-17 2020-08-14 성균관대학교산학협력단 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법
US11574485B2 (en) 2020-01-17 2023-02-07 Apple Inc. Automatic measurements based on object classification
US12102475B2 (en) * 2020-06-26 2024-10-01 Siemens Medical Solutions Usa, Inc. Image classification-dependent user interface in ultrasound imaging
US20220061810A1 (en) * 2020-08-25 2022-03-03 Clarius Mobile Health Corp. Systems and methods for placing a gate and/or a color box during ultrasound imaging
CN112370078B (zh) * 2020-11-10 2024-01-26 安徽理工大学 一种基于超声成像和贝叶斯优化的图像检测方法
KR102549694B1 (ko) * 2021-01-15 2023-06-29 고려대학교 산학협력단 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체
JP7475313B2 (ja) * 2021-04-19 2024-04-26 富士フイルムヘルスケア株式会社 超音波診断システム、超音波診断装置及び診断支援サーバー
EP4099338A1 (de) * 2021-06-04 2022-12-07 Koninklijke Philips N.V. Start/stopp-verwaltungssystem für autonome bildaufnahme
US11672503B2 (en) * 2021-08-20 2023-06-13 Sonic Incytes Medical Corp. Systems and methods for detecting tissue and shear waves within the tissue
WO2023061693A1 (en) * 2021-10-11 2023-04-20 Koninklijke Philips N.V. Methods and systems for a subject-specific ultrasound workflow recommendation tool
WO2023180321A1 (en) * 2022-03-24 2023-09-28 Koninklijke Philips N.V. Method and system for predicting button pushing sequences during ultrasound examination
WO2023204457A1 (ko) * 2022-04-22 2023-10-26 주식회사 온택트헬스 M-모드 초음파 영상에 대한 정보 제공 방법, 이를 이용한 m-모드 초음파 영상에 대한 정보 제공용 디바이스, m-모드 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 장치

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100527315B1 (ko) 2001-11-16 2005-11-09 주식회사 메디슨 지식 기반 조정 수단을 이용한 초음파 영상 진단 시스템
US7244230B2 (en) 2002-11-08 2007-07-17 Siemens Medical Solutions Usa, Inc. Computer aided diagnostic assistance for medical imaging
US20050010098A1 (en) 2003-04-11 2005-01-13 Sigmund Frigstad Method and apparatus for knowledge based diagnostic imaging
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
US7912528B2 (en) * 2003-06-25 2011-03-22 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
US7536044B2 (en) 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
CN1934589A (zh) * 2004-03-23 2007-03-21 美国西门子医疗解决公司 为医学成像提供自动决策支持的系统和方法
US7876934B2 (en) 2004-11-08 2011-01-25 Siemens Medical Solutions Usa, Inc. Method of database-guided segmentation of anatomical structures having complex appearances
EP1815430A1 (de) * 2004-11-19 2007-08-08 Koninklijke Philips Electronics N.V. System und verfahren zur automatisierten erkennung und segmentierung von tumorrändern in medizinischen bilddaten
US7804999B2 (en) 2005-03-17 2010-09-28 Siemens Medical Solutions Usa, Inc. Method for performing image based regression using boosting
US7680312B2 (en) 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
US7648460B2 (en) 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
US8170303B2 (en) 2006-07-10 2012-05-01 Siemens Medical Solutions Usa, Inc. Automatic cardiac view classification of echocardiography
US8296247B2 (en) 2007-03-23 2012-10-23 Three Palm Software Combination machine learning algorithms for computer-aided detection, review and diagnosis
US8092388B2 (en) 2007-09-25 2012-01-10 Siemens Medical Solutions Usa, Inc. Automated view classification with echocardiographic data for gate localization or other purposes
US8391603B2 (en) * 2009-06-18 2013-03-05 Omisa Inc. System and method for image segmentation
US8478052B1 (en) 2009-07-17 2013-07-02 Google Inc. Image classification
CN103607947B (zh) * 2010-08-13 2017-07-18 史密夫和内修有限公司 解剖标志的检测
US8715187B2 (en) * 2010-12-17 2014-05-06 General Electric Company Systems and methods for automatically identifying and segmenting different tissue types in ultrasound images
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system
US9119559B2 (en) * 2011-06-16 2015-09-01 Salient Imaging, Inc. Method and system of generating a 3D visualization from 2D images
DE112012003818T5 (de) * 2011-09-14 2014-08-07 Siemens Aktiengesellschaft Verfahren und ein System für die medizinische Bildgebung
CN103164713B (zh) 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置
US9033887B2 (en) 2012-05-31 2015-05-19 Siemens Corporation Mitral valve detection for transthoracic echocardiography
US8831311B2 (en) 2012-12-31 2014-09-09 General Electric Company Methods and systems for automated soft tissue segmentation, circumference estimation and plane guidance in fetal abdominal ultrasound images
US9918700B2 (en) 2013-02-01 2018-03-20 Siemens Medical Solutions Usa, Inc. Tuning ultrasound acquisition parameters
CN105026952B (zh) * 2013-02-15 2019-01-04 B-K医疗公司 超声显示
KR102042202B1 (ko) * 2013-02-25 2019-11-08 삼성전자주식회사 의료영상에서 병변을 분할하는 장치 및 방법
US9230192B2 (en) 2013-11-15 2016-01-05 Adobe Systems Incorporated Image classification using images with separate grayscale and color channels
WO2015104607A1 (en) * 2014-01-07 2015-07-16 Koninklijke Philips N.V. Ultrasound imaging modes for automated real time quantification and analysis
WO2015134665A1 (en) 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
KR102307356B1 (ko) * 2014-12-11 2021-09-30 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
KR20160107528A (ko) * 2015-03-04 2016-09-19 삼성전자주식회사 컴퓨터 보조 진단을 위한 신뢰도 제공 장치 및 방법
US10430688B2 (en) * 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
US20170071671A1 (en) 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Physiology-driven decision support for therapy planning
US9569736B1 (en) 2015-09-16 2017-02-14 Siemens Healthcare Gmbh Intelligent medical image landmark detection
US9760690B1 (en) 2016-03-10 2017-09-12 Siemens Healthcare Gmbh Content-based medical image rendering based on machine learning
US20170265846A1 (en) * 2016-03-18 2017-09-21 Siemens Medical Solutions Usa, Inc. Alert assistance for survey mode ultrasound imaging
KR101937018B1 (ko) * 2016-03-24 2019-01-09 울산대학교 산학협력단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치
US9589374B1 (en) 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US10912536B2 (en) 2016-08-23 2021-02-09 Carestream Health, Inc. Ultrasound system and method
CN106562805A (zh) * 2016-11-07 2017-04-19 深圳市罗伯医疗科技有限公司 一种实现扫描设备自动扫描的方法及装置

Also Published As

Publication number Publication date
CN114903522A (zh) 2022-08-16
KR102191467B1 (ko) 2020-12-15
KR20190053807A (ko) 2019-05-20
CN109758178A (zh) 2019-05-17
US11264135B2 (en) 2022-03-01
CN109758178B (zh) 2022-06-21
US20190148011A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
DE102018218751A1 (de) Machinengestützter arbeitsablauf bei der ultraschallbildgebung
DE102016108737B4 (de) Wissensbasierte Ultraschallbildverbesserung
DE102013021729B4 (de) Verbesserung der Nadelvisualisierung in der diagnostischen Ultraschallbildgebung
DE102012108353B4 (de) Klassifikationsvorverarbeitung in der medizinischen ultraschallscherwellenbildgebung
DE102008046861B4 (de) Automatisierte Detektion von Ebenen aus echokardiographischen 3D Daten
DE60038382T2 (de) Intravaskuläre ultraschallbildanalyse unter verwendung einer aktiven konturmethode
DE102016105690A1 (de) Dreidimensionales Volumen von Interesse für die Ultraschall-Bildgebung
DE102013001230B4 (de) Achsbezogene Charakterisierung von Scherwellen mit Ultraschall
DE102019202545A1 (de) Platzierung der Region von Interesse für die quantitative Ultraschallbildgebung
DE102007019652A1 (de) Benutzerschnittstelle und Verfahren zum Anzeigen von Informationen bei einem Ultraschallsystem
DE102011001819A1 (de) Verfahren und System zur Bestimmung eines interessierenden Bereichs in Ultraschalldaten
DE202004021722U1 (de) Vorrichtung zum Gewinnen eines Volumenscans eines sich periodisch bewegenden Objekts
DE112004000607T5 (de) Verfahren und Vorrichtung für eine wissensbasierte diagnostische Bildgebung
DE102007057884A1 (de) Speicherung von Bildgebungsparametern
DE102010000274A1 (de) Verfahren und Vorrichtung zur automatischen Identifizierung von Bildansichten in einem 3D-Datensatz
DE102010015973A1 (de) System und Verfahren zur funktionellen Ultraschallbildgebung
DE102010015937A1 (de) System und Verfahren zur Anzeige von Ultraschallbewegungsverfolgungsinformationen
JP7240405B2 (ja) 超音波画像から解剖学的測定値を取得するための装置及び方法
DE112020002256T5 (de) Systeme und verfahren zur steuerung des volumendurchsatzes
DE102017204471A1 (de) Unterstützende Kennzeichnung für Ultraschallbildgebung im Kontrollmodus
JP2023133452A (ja) 超音波撮像方法及びシステム
DE102005061234A1 (de) Verfahren und System zur Steuerung eines Ultraschallsystems
DE102020121807A1 (de) Ansichtsänderung für die ultraschalldiagnostik während der untersuchung
DE102004056784A1 (de) Anwender-Interaktives Verfahren und Anwenderschnittstelle zum Erfassen eines Umrisses eines Objekts
Loizou et al. Despeckle filtering toolbox for medical ultrasound video

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: BALS & VOGEL PATENTANWAELTE PARTG MBB, DE

R016 Response to examination communication