-
[Technischer Bereich]
-
Die vorliegende Erfindung bezieht sich auf die agnostische Technologie, die Ultraschall verwendet, und insbesondere auf eine Technologie zum Messen medizinischer Indikatoren mit Hilfe von Ultraschall.
-
Die vorliegende Erfindung wurde durch das nationale Forschungs- und Entwicklungsprojekt mit der Zuschussnummer 1425140041, Projektnummer: S2492471, Name der Abteilung: Ministerium für kleine und mittlere Unternehmen und Start-ups, Forschungsmanagementeinrichtung: Korea Institute for Advancement of Technology, Projektname: WC300 R&D, Forschungsname: Development of Software Beamforming Ultrasound Diagnostic Apparatus Line Up, und forschungsleitendes Institut: Alpinion Medical System Co. Ltd.
-
[Hintergrund Technik]
-
Verschiedene bildgebende Geräte zur Darstellung von Informationen über das Gewebe eines menschlichen Körpers werden in vielen medizinischen Bereichen für die Frühdiagnose verschiedener Krankheiten oder chirurgischer Eingriffe eingesetzt. Einige Beispiele für solche medizinischen Bildgebungsgeräte sind Ultraschalldiagnosegeräte, Computertomographen (CT) und Magnetresonanztomographen (MRI).
-
Ultraschalldiagnosegeräte senden ein von einer Ultraschallsonde erzeugtes Ultraschallsignal in Richtung eines Objekts und empfangen Informationen über ein vom Objekt reflektiertes Echosignal, wodurch ein Bild eines Teils im Inneren des Objekts erhalten wird. Insbesondere werden Ultraschalldiagnosegeräte für medizinische Zwecke verwendet, einschließlich der Beobachtung eines inneren Bereichs eines Objekts, der Erkennung von Fremdkörpern, der Beurteilung von Verletzungen und dergleichen. Solche Ultraschalldiagnosegeräte bieten eine hohe Stabilität, zeigen Bilder in Echtzeit an und sind im Vergleich zu Röntgengeräten sicher, da sie keiner Strahlung ausgesetzt sind. Daher werden Ultraschalldiagnosegeräte häufig zusammen mit anderen Arten von bildgebenden Diagnosegeräten eingesetzt.
-
Ein Verfahren zum Aussenden eines Ultraschallsignals an ein Objekt durch eine Ultraschallsonde, zum Messen der Größe eines Körperteils in einem Ultraschallbild, das unter Verwendung eines von dem Objekt reflektierten Ultraschallechosignals erhalten wird, und zur Vorhersage eines medizinischen Indikators ist weit verbreitet. Die semantische Segmentierungstechnik ist eine der Verfahren zum Messen der Größe eines Körperteils. Mit dieser Technik werden Objekte in einem Bild in sinnvolle Einheiten segmentiert.
-
[Offenbarung]
-
[Technisches Problem]
-
Gemäß einer Ausführungsform werden ein Verfahren zum Messen eines medizinischen Indikators, mit dem medizinische Indikatoren genauer, einfacher und automatisch gemessen werden können, und eine Ultraschalldiagnosevorrichtung dafür vorgeschlagen.
-
[Technische Lösung]
-
Ein Verfahren zum Messen eines medizinischen Indikators gemäß einer Ausführungsform umfasst die folgenden Schritte: eine Ultraschalldiagnosevorrichtung, die Ultraschallbilddaten erfasst, charakteristische Punkte aus den erfassten Ultraschallbilddaten extrahiert, Figurinformationen erzeugt, die aus den extrahierten charakteristischen Punkten konfiguriert sind, eine anatomische Struktur aus den erzeugten Figurinformationen bestimmt und einen medizinischen Indikator auf der Grundlage der bestimmten anatomischen Struktur misst.
-
Bei dem Extrahieren der charakteristischen Punkte kann eine größere Anzahl von Punkten als die Mindestanzahl, die zum Konstruieren einer Figur erforderlich ist, extrahiert wird.
-
Im Schritt des Extrahierens der charakteristischen Punkte können Punkte auf einem Umfang, der eine Ellipse bildet, Punkte auf einem Umfang, der einen Kreis bildet, beide Endpunkte, die ein Liniensegment bilden, und jeder Scheitelpunkt, der ein Polygon bildet,extrahiert werden.
-
Das Extrahieren der charakteristischen Punkte kann die folgenden Schritte umfassen: Lernen von Originalbilddaten zusammen mit Bilddaten von Interesse, die aus den Originalbilddaten extrahiert werden, Extrahieren eines ersten charakteristischen Punktes eines Objekts von Interesse aus den Originalbilddaten, Erzeugen von Bilddaten von Interesse durch Transformieren der Originalbilddaten unter Verwendung des extrahierten ersten charakteristischen Punktes, Extrahieren eines endgültigen charakteristischen Punktes aus den erzeugten Bilddaten von Interesse, und inverses Transformieren von Koordinaten des endgültigen charakteristischen Punktes, um mit den Originalbilddaten übereinzustimmen.
-
Im Schritt des Lernens kann das Lernen mit einer Struktur durchgeführt werden, bei der eine Faltungsschicht eines neuronalen Netzes und eine nichtlineare Funktion wiederholt übereinander gestapelt werden.
-
Im Schritt des Lernens kann der Informationsverlust, der durch die Verringerung der Ausgabegröße entsteht, durch Auffüllen des neuronalen Netzes verhindert werden.
-
Im Schritt des Lernens kann das Lernen über eine Netzwerkstruktur durchgeführt werden, die Mehrfachauflösungsströme parallel zum wiederholten Austausch von Auflösungsinformationen zwischen einem ersten Auflösungsrahmen und einem zweiten Auflösungsrahmen verbindet.
-
Im Schritt des Erzeugens der Figurinformationen kann eine nulldimensionale Figur, bestehend aus einem Punkt, eine eindimensionale Figur, bestehend aus einer Geraden oder einer Kurve, oder eine zweidimensionale Figur, bestehend aus einer Ellipse, einem Kreis oder einem Polygon, erzeugt werden.
-
Im Schritt des Erzeugens der Figureninformationen können Basisfigureninformationen zusammen mit Kandidatenfigureninformationen, die durch die Basisfigureninformationen ersetzt werden können, erzeugt werden.
-
Im Schritt des Erzeugens der Figurinformationen können den extrahierten charakteristischen Punkten Punkte zugewiesen werden, und die Figurinformationen unter Verwendung der charakteristischen Punkte mit Punktzahlen, die höher als oder gleich einer voreingestellten Referenz sind, erzeugt werden.
-
Im Schritt des Erzeugens der Figurinformationen kann eine Beziehung zwischen den charakteristischen Punkten unter Verwendung geometrischer Eigenschaften einer zu erzeugenden Figur konfiguriert und eine Korrektur durchgeführt werden, um Ausreißer durch die Beziehung zwischen den charakteristischen Punkten zu entfernen.
-
Im Schritt des Erzeugens der Figurinformationen können die Figurinformationen korrigiert werden, indem mindestens ein anderer aktueller Parametermesswert, der vollständig gemessen wurde, und ein Messergebnis des anderen Fötus von Zwillingen aus vorgespeicherten und akkumulierten fötalen biometrischen Informationen abgerufen wird.
-
Im Schritt des Erzeugens der Figurinformation können die Figurinformationen korrigiert werden, indem der charakteristische Punkt durch eine Benutzereingabe eines Betriebssignals für die erzeugten Figurinformationen ausgewählt wird.
-
Im Schritt des Bestimmens der anatomischen Struktur kann ein Kopf aus einer Ellipse, ein Bauch aus einem Kreis und ein Oberschenkelknochen oder ein Oberarmknochen aus einem Liniensegment oder einem Viereck bestimmt werden, und im Schritt des Messens des medizinischen Indikators kann eine Kopfgröße unter Verwendung von Umfangspunkten auf der Ellipse, ein Bauchumfang unter Verwendung von Umfangspunkten auf dem Kreis und eine Länge des Oberschenkelknochens oder des Humerus unter Verwendung beider Endpunkte, die das Liniensegment bilden, oder vier Ecken, die das Viereck bilden, gemessen werden.
-
Im Schritt des Messens des medizinischen Indikators kann der medizinische Indikator gemessen werden, indem die fötalen biometrischen Daten, die sich auf die Schwangerschaftsinformationen bezüglich eines Patienten beziehen, unter den vorgespeicherten und akkumulierten fötalen biometrischen Daten zusammen berücksichtigt werden.
-
Das Verfahren zum Messen medizinischer Indikatoren kann außerdem mindestens einen der folgenden Schritte umfassen: unterscheidbares Anzeigen der erzeugten Figurinformationen als identifizierbare visuelle Informationen auf den Ultraschallbilddaten und Anzeigen des gemessenen medizinischen Indikators als numerische Information in der Figur der Ultraschallbilddaten.
-
Eine Ultraschalldiagnosevorrichtung gemäß einer anderen Ausführungsform kann eine Ultraschallsonde, die so konfiguriert ist, dass sie ein Ultraschallsignal an ein Objekt aussendet und ein reflektiertes Wellensignal von dem Objekt empfängt, eine Bildverarbeitungseinheit, die so konfiguriert ist, dass sie Ultraschallbilddaten unter Verwendung des reflektierten Wellensignals der Ultraschallsonde erzeugt, eine Punktextraktionseinheit, die so konfiguriert ist, dass sie charakteristische Punkte aus den erzeugten Ultraschallbilddaten extrahiert, eine Figurerzeugungseinheit, die so konfiguriert ist, dass sie Figurinformationen erzeugt, die aus den extrahierten charakteristischen Punkten konfiguriert sind, eine Strukturbestimmungseinheit, die so konfiguriert ist, dass sie eine anatomische Struktur aus den erzeugten Figurinformationen bestimmt, eine Indikatormesseinheit, die so konfiguriert ist, dass sie einen medizinischen Indikator auf der Grundlage der bestimmten anatomischen Struktur misst, und eine Ausgabeeinheit, die so konfiguriert ist, dass sie ein Messergebnis eines medizinischen Indikators ausgibt.
-
[Vorteilhafte Effekte]
-
Gemäß einem Verfahren zum Messen eines medizinischen Indikators und einer Ultraschalldiagnosevorrichtung dafür gemäß einer Ausführungsform ist es möglich, einen medizinischen Indikator im Vergleich zu einer semantischen Segmentierungstechnik genauer, einfacher und automatisch zu messen.
-
[Beschreibung der Zeichnungen]
-
- 1 ist ein Diagramm zur Veranschaulichung der Konfiguration einer Ultraschalldiagnosevorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
- 2 ist ein Flussdiagramm, das ein Verfahren zum Messen eines medizinischen Indikators unter Verwendung einer Ultraschalldiagnosevorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
- 3 ist ein Diagramm, das ein Beispiel für Extrahieren charakteristischer Punkte aus Ultraschallbilddaten gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
- 4 zeigt Abbildungen von Bildschirmen, die bei der Messung der fetalen Kopfgröße unter Verwendung einer Schlüsselpunkt-Erkennungstechnik gemäß einer Ausführungsform der vorliegenden Erfindung angezeigt werden;
- 5 zeigt Abbildungen, die Bildschirme zeigen, die bei der Messung des fetalen Bauchumfangs unter Verwendung einer Schlüsselpunkt-Erkennungstechnik gemäß einer Ausführungsform der vorliegenden Erfindung angezeigt werden; und
- 6 zeigt Abbildungen von Bildschirmen, die bei der Messung der Länge eines fetalen Knochens unter Verwendung einer Schlüsselpunkt-Erkennungstechnik gemäß einer Ausführungsform der vorliegenden Erfindung angezeigt werden.
-
[Modi der Erfindung]
-
Die Vorteile und Merkmale der vorliegenden Erfindung und die Art und Weise, wie die Vorteile und Merkmale erreicht werden, werden durch Bezugnahme auf Ausführungsformen deutlich, die im Folgenden zusammen mit den beigefügten Zeichnungen ausführlich beschrieben werden. Die vorliegende Erfindung kann jedoch in vielen verschiedenen Formen implementiert werden und sollte nicht so ausgelegt werden, dass sie auf die hierin dargelegten Ausführungsformen beschränkt ist, und die Ausführungsformen werden so bereitgestellt, dass diese Offenbarung gründlich und vollständig ist und dem Fachmann den Umfang der vorliegenden Erfindung vollständig vermittelt, und die vorliegende Erfindung wird nur durch den Umfang der beigefügten Ansprüche definiert. Die gleichen Bezugszahlen beziehen sich in dieser Offenbarung auf die gleichen Komponenten.
-
Wenn in der folgenden Beschreibung der Ausführungsformen der vorliegenden Erfindung eine detaillierte Beschreibung verwandter bekannter Funktionen oder Konfigurationen das Wesentliche der vorliegenden Erfindung unnötig verdunkelt, wird diese detaillierte Beschreibung hier weggelassen. Die im Folgenden beschriebenen Begriffe werden unter Berücksichtigung der Funktionen in den Ausführungsformen der vorliegenden Erfindung definiert, und diese Begriffe können je nach Absicht oder Gewohnheit eines Benutzers oder eines Bedieners variiert werden. Daher sollten die Definitionen der hier verwendeten Begriffe den hier offengelegten Kontexten folgen.
-
Kombinationen der einzelnen Blöcke der beigefügten Blockdiagramme und der einzelnen Schritte der beigefügten Flussdiagramme können durch Computerprogrammanweisungen (eine Ausführungsmaschine) ausgeführt werden, und diese Computerprogrammanweisungen können in einen Prozessor eines Allzweckcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsanlage eingebettet sein. Somit erzeugen diese Computerprogrammanweisungen, die von einem Prozessor eines Computers oder einer anderen programmierbaren Datenverarbeitungsanlage ausgeführt werden, Werkzeuge zur Ausführung einer Funktion, die in jedem Block der Blockdiagramme oder in jedem Schritt der Flussdiagramme beschrieben ist.
-
Diese Computerprogrammanweisungen können auch in einem computerverwendbaren oder -lesbaren Speicher gespeichert werden, der auf einen Computer oder eine andere programmierbare Datenverarbeitungsanlage ausgerichtet werden kann, um die Funktion in einer bestimmten Weise zu implementieren. Daher können die in dem computerverwendbaren oder -lesbaren Speicher gespeicherten Computerprogrammanweisungen einen Herstellungsgegenstand erzeugen, der ein Befehlswerkzeug zur Durchführung der in jedem Block der Blockdiagramme oder in jedem Schritt der Flussdiagramme beschriebenen Funktion enthält.
-
Außerdem können die Computerprogrammanweisungen auch auf einem Computer oder einer anderen programmierbaren Datenverarbeitungsanlage installiert werden. Daher können die Computerprogrammanweisungen, die dazu dienen, einen Computer oder eine andere programmierbare Datenverarbeitungsanlage zu betreiben, indem sie eine Reihe von Betriebsschritten auf dem Computer oder der anderen programmierbaren Datenverarbeitungsanlage ausführen, um einen computerimplementierten Prozess zu erzeugen, auch Schritte zur Ausführung der in jedem Block der Blockdiagramme und in jedem Schritt der Flussdiagramme beschriebenen Funktionen vorsehen.
-
Ferner kann jeder Block oder jeder Schritt ein Modul, ein Segment oder einen Teil eines Codes darstellen, der eine oder mehrere ausführbare Anweisungen zur Ausführung bestimmter logischer Funktionen enthält, und es ist zu beachten, dass in einigen alternativen Ausführungsformen die in den Blöcken oder Schritten beschriebenen Funktionen nicht in der gleichen Reihenfolge ausgeführt werden können. So können beispielsweise zwei nacheinander dargestellte Blöcke oder Schritte im Wesentlichen gleichzeitig ausgeführt werden, und die beiden Blöcke oder Schritte können erforderlichenfalls auch in umgekehrter Reihenfolge der entsprechenden Funktion ausgeführt werden.
-
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben. Allerdings kann die vorliegende Erfindung in verschiedenen Formen realisiert werden, und der Umfang der vorliegenden Erfindung ist nicht auf solche Ausführungsformen beschränkt. Die Ausführungsformen der vorliegenden Erfindung sollen dem Fachmann bei der Erklärung und dem Verständnis der vorliegenden Erfindung helfen.
-
1 ist ein Diagramm zur Veranschaulichung der Konfiguration einer Ultraschalldiagnosevorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Wie in 1 dargestellt, umfasst die Ultraschalldiagnosevorrichtung eine Ultraschallsonde 102, einen Hauptkörper 100, eine Eingabeeinheit 104, eine Ausgabeeinheit 106 und eine Lerneinheit 108. Die Ultraschallsonde 102, die Eingabeeinheit 104 und die Ausgabeeinheit 106 sind kommunikativ mit dem Hauptkörper 100 verbunden.
-
Die Ultraschallsonde 102 umfasst eine Vielzahl von piezoelektrischen Resonatoren, und die Vielzahl von piezoelektrischen Resonatoren erzeugt Ultraschallwellen auf der Grundlage eines Ansteuersignals, das von einer Sende-/Empfangseinheit 110 des Hauptkörpers 100 geliefert wird. Ferner empfängt die Ultraschallsonde 102 von einem Objekt reflektierte Wellen und wandelt die reflektierte Welle in ein elektrisches Signal um. Das heißt, die Ultraschallsonde 102 sendet Ultraschallwellen an das Objekt aus und empfängt die von dem Objekt reflektierten Wellen. Die Ultraschallsonde 102 ist abnehmbar mit dem Hauptkörper 100 verbunden. Das Objekt kann ein Fötus einer schwangeren Frau sein, ist aber nicht darauf beschränkt, so dass das Objekt ein beliebiger Patient sein kann.
-
Die Eingabeeinheit 104 wird durch einen Trackball zum Durchführen von Einstellungen für eine vorbestimmte Position (z.B. eine Position einer Gewebeform, einen Bereich von Interesse, einen anderen Bereich als den Bereich von Interesse usw.), eine Maus, eine Tastatur, ein Touchpad zum Durchführen eines Eingabevorgangs durch Berühren einer Bedienoberfläche, einen Bildschirm, der eine Integration eines Anzeigebildschirms und eines Touchpads ist, eine berührungslose Eingabeschaltung unter Verwendung eines optischen Sensors, eine Audio-Eingabeschaltung und dergleichen implementiert. Die Eingabeeinheit 104 ist mit einer unten zu beschreibenden Steuereinheit 130 verbunden, wandelt ein von einem Benutzer empfangenes Eingabebetriebssignal in ein elektrisches Signal um und gibt das elektrische Signal an die Steuereinheit 130 aus.
-
Die Ausgabeeinheit 106 zeigt eine grafische Benutzeroberfläche (GUI) für den Benutzer der Ultraschalldiagnosevorrichtung an, um verschiedene Einstellungsanforderungen über die Eingabeeinheit 104 einzugeben, oder zeigt Ultraschallbilddaten und dergleichen an, die im Hauptkörper 100 erzeugt wurden. Darüber hinaus zeigt die Ausgabeeinheit 106 verschiedene Meldungen oder Informationen an, um den Benutzer über einen Verarbeitungsstatus oder ein Verarbeitungsergebnis des Hauptkörpers 100 zu informieren. Die Ausgabeeinheit 106 kann auch einen Lautsprecher enthalten und Audio ausgeben. Die Ausgabeeinheit 106 kann ein durch die Steuereinheit 140 erzeugtes Messergebnis eines medizinischen Indikators auf einem Bildschirm anzeigen. Der medizinische Indikator kann zum Beispiel ein fötaler Indikator sein. Der fötale Indikator umfasst den Bauch, den Kopf, den Oberschenkelknochen, den Humerus und dergleichen eines Fötus. Der medizinische Indikator ist jedoch nicht auf den fötalen Indikator beschränkt, sondern kann jedes beliebige Körperorgan des Objekts sein. Der medizinische Indikator kann zum Beispiel ein Becken oder ähnliches sein.
-
Die Ausgabeeinheit 106 kann durch die Steuereinheit 130 erzeugte Figurinformationen als identifizierbare visuelle Informationen (z. B. Farbe) auf den Ultraschallbilddaten anzeigen. Die Ausgabeeinheit 106 kann den gemessenen medizinischen Indikator als numerische Information auf der Abbildung der Ultraschallbilddaten anzeigen.
-
Der von der Steuereinheit 130 gemessene medizinische Indikator kann als numerische Information auf den Ultraschallbilddaten angezeigt werden.
-
Die Lerneinheit 108 führt das Lernen für die Ultraschallbilddaten unter Verwendung eines neuronalen Netzes durch. In diesem Fall kann mindestens eine der Komponenten, die die Steuereinheit 130 bilden, d. h. eine Punktextraktionseinheit 131, eine Figurerzeugungseinheit 132, eine Strukturbestimmungseinheit 133 und eine Indikatormesseinheit 134, Lerndaten verwenden. Die Lerneinheit 108 kann die Form eines Servers haben, der über ein Netzwerk mit dem Hauptkörper 100 verbunden ist, oder sie kann sich innerhalb des Hauptkörpers 100 befinden. Die Lerneinheit 108 kann Originalbilddaten zusammen mit Bilddaten von Interesse, die aus den Originalbilddaten extrahiert wurden, lernen.
-
Der Hauptkörper 100 ist eine Vorrichtung, die Ultraschallbilddaten auf der Grundlage eines reflektierten Wellensignals erzeugt, das von der Ultraschallsonde 102 empfangen wird. Der Hauptkörper 100 umfasst gemäß einer Ausführungsform eine Sende-/Empfangseinheit 110, eine Bildverarbeitungseinheit 120, die Steuereinheit 130, eine Speichereinheit 140 und eine Lerndatenempfangseinheit 150.
-
Die Sende-/Empfangseinheit 110 liefert ein Steuersignal an die Ultraschallsonde 102 und erzeugt wiederholt Impulse zur Bildung von Sende-Ultraschallwellen mit einer vorgegebenen Frequenz. Außerdem konvergiert die Sende-/Empfangseinheit 110 die von der Ultraschallsonde 102 erzeugten Ultraschallwellen unter Verwendung von Strahlformung. Die Sende-/Empfangseinheit 110 kann einen Vorverstärker, einen Analog-Digital-Wandler (A/D-Wandler), eine Empfangsverzögerungseinheit, eine Summiereinheit usw. enthalten und kann reflektierte Wellendaten erzeugen, indem sie ein von der Ultraschallsonde 102 empfangenes Echosignal auf verschiedene Weise verarbeitet. Als Form des Ausgangssignals der Sende-/Empfangseinheit 110 können verschiedene Formen gewählt werden, z. B. ein Signal mit Phaseninformation, das als Hochfrequenzsignal (HF-Signal) bezeichnet wird, oder Amplitudeninformation nach Hüllkurvenerkennung.
-
Die Bildverarbeitungseinheit 102 empfängt die reflektierten Wellendaten von der Sende-/Empfangseinheit 110 und erzeugt Ultraschallbilddaten über den Fötus. In diesem Fall führt die Bildverarbeitungseinheit 120 eine logarithmische Verstärkung, eine Hüllkurvendetektionsverarbeitung oder Ähnliches durch, um die Ultraschallbilddaten zu erzeugen.
-
Die Speichereinheit 140 speichert Bilddaten, die durch die Bildverarbeitungseinheit 120 oder die Steuereinheit 130 erzeugt wurden.
-
Die Steuereinheit 130 steuert jede Komponente der Ultraschalldiagnosevorrichtung. Zum Beispiel steuert die Steuereinheit 130 die Verarbeitung der Sende-/Empfangseinheit 110 und der Bildverarbeitungseinheit 120 auf der Grundlage verschiedener Einstellungsanforderungen, die vom Benutzer über die Eingabeeinheit 130 eingegeben werden, oder verschiedener Steuerprogramme und verschiedener Daten, die aus der Speichereinheit 140 gelesen werden. Darüber hinaus steuert die Steuereinheit 130 die in der Speichereinheit 140 gespeicherten Ultraschallbilddaten, die über die Ausgabeeinheit 106 angezeigt werden sollen.
-
Die Steuereinheit 130 umfasst gemäß einer Ausführungsform die Punktextraktionseinheit 131, die Figurerzeugungseinheit 132, die Strukturbestimmungseinheit 133 und die Indikatormesseinheit 134.
-
Die Punktextraktionseinheit 131 extrahiert charakteristische Punkte aus den von der Bildverarbeitungseinheit 120 erzeugten Ultraschallbilddaten. Die charakteristischen Punkte können charakteristische Punkte umfassen, die eine Grenze definieren, charakteristische Punkte, die die Gesamtform zeigen, einen Unterschied in den Pixel-Helligkeitswerten und dergleichen. Zum Beispiel können Punkte auf einem Umfang, der eine Ellipse bildet, Punkte auf einem Umfang, der einen Kreis bildet, beide Endpunkte, die ein Liniensegment bilden, und jeder Scheitelpunkt, der ein Polygon bildet, extrahiert werden. Das Polygon kann ein Dreieck, ein Viereck, ein Fünfeck usw. sein. Im Falle einer Ellipse können die Brennpunkte weiter extrahiert werden, und im Falle eines Kreises kann der Mittelpunkt weiter extrahiert werden, um die Genauigkeit zu erhöhen.
-
Die Figurerzeugungseinheit 132 erzeugt Figurinformationen, die mit den charakteristischen Punkten konfiguriert sind, die durch die Punktextraktionseinheit 131 extrahiert wurden. Zum Beispiel eine nulldimensionale Figur, die aus einem Punkt besteht, eine eindimensionale Figur, die aus einer geraden Linie oder Kurve besteht, oder eine zweidimensionale Figur, die aus einer Ellipse, einem Kreis oder einem Polygon besteht.
-
Die Strukturbestimmungseinheit 133 bestimmt eine anatomische Struktur aus den Figurinformationen, die durch die Figurerzeugungseinheit 132 erzeugt wurden. Die anatomische Struktur kann beispielsweise den Bauch, den Kopf, die Knochen und dergleichen des Fötus umfassen. Beispiele für den Knochen können Oberschenkelknochen, Oberarmknochen und dergleichen sein. Bei der Bestimmung der anatomischen Struktur wird beispielsweise der Bauch des Fötus anhand eines Kreises, der Kopf des Fötus anhand einer Ellipse und der Knochen des Fötus anhand eines Liniensegments oder eines Vierecks bestimmt.
-
Die Indikatormesseinheit 134 misst einen medizinischen Indikator auf der Grundlage der anatomischen Struktur, die durch die Strukturbestimmungseinheit 133 bestimmt wird. So wird beispielsweise der Kopfumfang anhand des Umfangs der Ellipse, der Bauchumfang anhand des Kreisumfangs und die Oberschenkellänge anhand der Länge des Liniensegments oder des Vierecks gemessen.
-
Sie wird als Schlüsselpunkt-Erkennungstechnik bezeichnet, da die Steuereinheit 130 Punkte extrahiert, die eine Figur bilden, eine Figur unter Verwendung der extrahierten charakteristischen Punkte erzeugt und dann einen Indikator des Fötus anhand der erzeugten Figur misst. Eine detailliertere Ausführungsform der Schlüsselpunkt-Erkennungstechnik wird im Folgenden unter Bezugnahme auf 2 beschrieben.
-
Die Lerndatenempfangseinheit 150 empfängt Lerndaten von der Lerneinheit 108 und überträgt die Trainingsdaten an die Steuereinheit 130. Zum Beispiel können die Originalbilddaten und die Bilddaten von Interesse, die durch die Lerneinheit 108 gelernt wurden, der Punktextraktionseinheit 131 der Steuereinheit 130 zur Verfügung gestellt werden.
-
2 ist ein Flussdiagramm, das ein Verfahren zum Messen eines medizinischen Indikators unter Verwendung einer Ultraschalldiagnosevorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
-
Wie in 2 dargestellt, erfasst die Ultraschalldiagnosevorrichtung Ultraschallbilddaten eines Fötus (210).
-
Dann extrahiert die Ultraschalldiagnosevorrichtung charakteristische Punkte aus den erfassten Ultraschallbilddaten (220). Zu den charakteristischen Punkten können charakteristische Punkte gehören, die eine Grenze definieren, charakteristische Punkte, die die Gesamtform zeigen, ein Unterschied in den Pixel-Helligkeitswerten und Ähnliches.
-
Der Schritt (220) des Extrahierens der charakteristischen Punkte kann die Schritte des Lernens, des Extrahierens eines ersten charakteristischen Punktes, des Transformierens und des Extrahierens eines zweiten charakteristischen Punktes umfassen. Zum Beispiel lernt die Ultraschalldiagnosevorrichtung Originalbilddaten zusammen mit Bilddaten von Interesse, die aus den Originalbilddaten durch den Schritt des Trainings extrahiert werden. Die Originalbilddaten sind ein Originalbild, das mit einem Gerät aufgenommen wurde, und die Bilddaten von Interesse sind ein Bild, das durch Extrahieren (z. B. Ausschneiden) eines Bereichs von Interesse, in dem ein Objekt von Interesse vorhanden ist, aus den Originalbilddaten erhalten wird. Die Ultraschalldiagnosevorrichtung erzeugt die Originalbilddaten und die Bilddaten von Interesse auf der Grundlage von Kennzeichnungen der Bilddaten und führt ein Lernverfahren für alle erzeugten Bilddaten durch.
-
Vor dem Extrahieren der charakteristischen Punkte kann eine Objektposition in den Originalbilddaten gesucht werden, und das Bild kann auf der Grundlage der gefundenen Objektposition beschnitten werden. Wenn die charakteristischen Punkte extrahiert werden, indem zuerst nach der Objektposition gesucht wird und dann die Originalbilddaten eingegeben werden, die auf der Grundlage der Objektposition zugeschnitten sind, wird die Genauigkeit erheblich verbessert. Die Bildgröße kann auf eine Eingangsgröße (z.B. 256x256) eines Netzwerks angepasst werden.
-
Anschließend extrahiert die Ultraschalldiagnosevorrichtung durch den Schritt des Extrahierens des ersten charakteristischen Punktes einen ersten charakteristischen Punkt des Objekts von Interesse aus den Originalbilddaten.
-
Dann erzeugt die Ultraschalldiagnosevorrichtung die Bilddaten von Interesse, indem es die Originalbilddaten unter Verwendung des extrahierten ersten charakteristischen Punktes durch den Schritt des Transformierens transformiert. In diesem Fall kann die Transformation eine Drehung, Verzerrung, Vergrößerung und Ähnliches beinhalten.
-
Danach extrahiert die Ultraschalldiagnosevorrichtung einen endgültigen charakteristischen Punkt aus den erzeugten Bilddaten von Interesse und transformiert die Koordinaten des endgültigen charakteristischen Punktes umgekehrt, um sie an die Originalbilddaten anzupassen.
-
Nach dem obigen Verfahren gibt es Datenerweiterungseffekte durch Lernen. Falsche Erkennung kann durch die Schritte Lernen, Extrahieren des ersten charakteristischen Punktes und Extrahieren des zweiten charakteristischen Punktes korrigiert werden. Die Standardisierung von Zieldaten kann durch Transformieren, wie z. B. Bildverformung oder ähnliches, erreicht werden. Die Pixelgenauigkeit kann durch eine Transformation, z. B. eine Bildvergrößerung, verbessert werden.
-
Im Schritt (220) des Extrahierens der charakteristischen Punkte kann eine größere Anzahl von Punkten als die Mindestanzahl, die für die Konstruktion einer Figur erforderlich ist, extrahiert werden. Dies dient dazu, eine Figur zu konstruieren, die auch dann erstellt werden soll, wenn ein Objekt im Ultraschallbild unvollständig ist und daher ein Schlüsselpunkt nicht erkannt werden kann. Es werden also mehr Punkte extrahiert als Informationen, die die Figur ausmachen. Im Falle einer Ellipse werden beispielsweise 16 Punkte extrahiert, obwohl vier Punkte erforderlich sind, um die Ellipse zu bilden, um die Genauigkeit zu erhöhen.
-
Im Falle einer Ellipse wird der Umfang der Ellipse als Umriss eines Objekts definiert. Fünf oder mehr Punkte (z. B. 16 Punkte) werden entlang des Umfangs der Ellipse extrahiert. Im Falle eines Rechtecks werden vier Punkte, die den Ecken entsprechen, aus der Begrenzung des Rechtecks, das ein Objekt enthält, extrahiert. Wenn das Objekt jedoch in Form einer Kurve gekrümmt ist, können Rechtecke an beiden Enden des Objekts und nicht das Rechteck, das das gesamte Objekt enthält, als effektive Rechtecke definiert werden, und die Punkte, die den effektiven Rechtecken entsprechen, werden extrahiert. Darüber hinaus können Punkte, die einem unteren Endabschnitt des eigentlichen Objekts entsprechen, zusammen mit den vier Scheitelpunktabschnitten extrahiert werden.
-
Im Schritt (220) des Extrahierens der charakteristischen Punkte kann die Ultraschalldiagnosevorrichtung Punkte auf einem Umfang extrahieren, die eine Ellipse bilden (zusätzlich den Brennpunkt), Punkte auf einem Umfang extrahieren, die einen Kreis bilden (zusätzlich den Mittelpunkt), beide Endpunkte extrahieren, die ein Liniensegment bilden, und jeden Scheitelpunkt extrahieren, der ein Polygon bildet. Das Polygon kann ein Dreieck, ein Viereck, ein Fünfeck usw. sein.
-
Anschließend erzeugt die Ultraschalldiagnosevorrichtung Figurinformationen, die mit den extrahierten charakteristischen Punkten (230) konfiguriert sind.
-
Im Schritt (230) des Erzeugens der Figurinformation kann die Ultraschalldiagnosevorrichtung eine nulldimensionale Figur, bestehend aus einem Punkt, eine eindimensionale Figur, bestehend aus einer Geraden oder einer Kurve, oder eine zweidimensionale Figur, bestehend aus einer Ellipse, einem Kreis oder einem Polygon, erzeugen.
-
Im Schritt (230) des Erzeugens der Figurinformationen kann die Ultraschalldiagnosevorrichtung Basisfigurinformationen zusammen mit Kandidatenfigurinformationen erzeugen, die durch die Basisfigurinformationen ersetzt werden können. Beispielsweise wird eine Figur, die aus den beiden oberen Endpunkten des Beinknochens besteht, als Basisfigurinformation festgelegt, und eine Figur, die aus den beiden unteren Endpunkten des Beinknochens besteht und eine ähnliche Länge aufweist, wird als Kandidatenfigurinformation festgelegt.
-
Im Schritt (230) des Erzeugens der Figurinformationen kann die Ultraschalldiagnosevorrichtung den extrahierten charakteristischen Punkten Punkte zuordnen und die Figurinformationen unter Verwendung der charakteristischen Punkte erzeugen, deren Punktzahlen größer oder gleich einer voreingestellten Referenz sind.
-
In dem Schritt (230) des Erzeugens der Figurinformationen kann die Ultraschalldiagnosevorrichtung ferner einen Schritt der Durchführung einer Korrektur auf der Grundlage von Merkmalen einer zu erstellenden Figur bei der Erzeugung der Figurinformationen unter Verwendung der extrahierten charakteristischen Punkte umfassen. Da die extrahierten charakteristischen Punkte Komponenten einer bestimmten Figur sind, kann eine Beziehung zwischen den charakteristischen Punkten unter Verwendung geometrischer Eigenschaften der zu erstellenden Figur konfiguriert werden, und Ausreißer können im Voraus durch die Beziehung zwischen den charakteristischen Punkten entfernt werden. Im Falle eines Kreises beispielsweise können Ausreißer anhand der Abstandsbeziehung zwischen dem Mittelpunkt und jedem charakteristischen Punkt entfernt werden. Im Falle einer Ellipse können Ausreißer anhand der Abstandsinformationen des Brennpunkts, der Nebenachse und der Hauptachse entfernt werden. Da der Abstand d von jedem Punkt, der die Ellipse bildet, zum Mittelpunkt als a/2≤d≤b/2 definiert ist (wobei a die Nebenachse und b die Hauptachse ist), kann ein Punkt, der diese Beziehung nicht erfüllt, als Ausreißer bestimmt und entfernt werden.
-
Im Schritt (230) des Erzeugens der Zahleninformation kann die Zahleninformation korrigiert werden, indem mindestens ein anderer aktueller Parametermesswert, der vollständig gemessen wurde, und ein Messergebnis des anderen Fötus der Zwillinge aus der vorher gespeicherten und akkumulierten fötalen biometrischen Information abgerufen wird. In einem anderen Beispiel können die Zahleninformationen korrigiert werden, indem ein Punkt durch eine Benutzereingabe eines Betriebssignals für die erzeugten Zahleninformationen ausgewählt wird.
-
Im Schritt (230) des Erzeugens der Figurinformation kann die Ultraschalldiagnosevorrichtung die erzeugte Figurinformation als identifizierbare visuelle Information auf den Ultraschallbilddaten unterscheidbar anzeigen.
-
Anschließend bestimmt die Ultraschalldiagnosevorrichtung eine anatomische Struktur aus den erzeugten Figurinformationen (240) und misst einen medizinischen Indikator auf der Grundlage der bestimmten anatomischen Struktur (250).
-
Im Schritt (250) des Messens des medizinischen Indikators kann die Ultraschalldiagnosevorrichtung die Größe des fetalen Kopfes unter Verwendung von Punkten auf einem Umfang, der eine Ellipse bildet (zusätzlich der Brennpunkt), den fetalen Bauchumfang unter Verwendung von Punkten auf einem Umfang, der einen Kreis bildet (zusätzlich der Mittelpunkt), und die Länge eines fetalen Knochens unter Verwendung beider Endpunkte, die ein Liniensegment bilden, oder vier Ecken, die ein Viereck bilden, messen.
-
Im Schritt (250) des Messens des medizinischen Indikators kann die Ultraschalldiagnosevorrichtung den medizinischen Indikator messen, indem es die fetalen biometrischen Daten, die sich auf die Schwangerschaftsinformationen bezüglich eines Patienten beziehen, unter den vorgespeicherten und akkumulierten fetalen biometrischen Daten zusammen berücksichtigt. Die Schwangerschaftsinformationen umfassen die letzte Menstruationsperiode (LMP) oder das Datum der Empfängnis (DOC) der Patientin.
-
Darüber hinaus kann die Ultraschalldiagnosevorrichtung die Ultraschallbilddaten mit Hilfe eines neuronalen Netzes lernen. In diesem Fall können die Lerndaten in mindestens einem der Schritte des Extrahierens der charakteristischen Punkte (220), des Erzeugens der Figurinformationen (230), des Bestimmens der anatomischen Struktur (240) und des Messens des medizinischen Indikators (250) verwendet werden.
-
Im Schritt des Lernens kann die Ultraschalldiagnosevorrichtung ein Lernen durchführen, indem es eine Struktur verwendet, bei der eine Faltungsschicht eines neuronalen Netzes und eine nichtlineare Aktivierungsfunktion (Relu) wiederholt übereinander gestapelt werden.
-
Im Schritt des Lernens kann die Ultraschalldiagnosevorrichtung das neuronale Netz auffüllen, um Informationsverluste durch Verkleinerung der Ausgangsgröße zu vermeiden und die Auflösung einer ursprünglichen Schicht konstant zu halten.
-
Im Schritt des Lernens kann die Ultraschalldiagnosevorrichtung das Lernen über eine Netzwerkstruktur durchführen, die mehrere Auflösungsströme parallel verbindet, um Auflösungsinformationen zwischen einem ersten Auflösungsrahmen und einem zweiten Auflösungsrahmen wiederholt auszutauschen. Der erste Auflösungsrahmen kann ein hochauflösender Rahmen und der zweite Auflösungsrahmen kann ein niedrigauflösender Rahmen sein. In diesem Fall können Auflösungsinformationen wiederholt zwischen dem Rahmen mit hoher Auflösung und dem Rahmen mit niedriger Auflösung ausgetauscht werden.
-
Die Ultraschalldiagnosevorrichtung kann den gemessenen medizinischen Indikator als numerische Information auf der Figur der Ultraschallbilddaten anzeigen.
-
3 ist ein Diagramm, das ein Beispiel für Extrahieren charakteristischer Punkte aus Ultraschallbilddaten gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
-
Wie in 3 dargestellt, kann die Ultraschalldiagnosevorrichtung Punkte auf einem Umfang extrahieren, die eine Ellipse bilden, um die Größe des fötalen Kopfes zu messen. In 3 werden 16 Punkte, die eine Ellipse bilden, extrahiert. Darüber hinaus kann die Ultraschalldiagnosevorrichtung Punkte auf einem Kreisumfang extrahieren, um den fetalen Bauchumfang zu messen. In 3 werden 16 Punkte, die einen Kreis bilden, extrahiert. In einem anderen Beispiel können beide Endpunkte, die ein Liniensegment bilden, extrahiert werden, um die Länge eines Knochens zu messen.
-
4 zeigt Abbildungen von Bildschirmen, die bei dem Messen der fetalen Kopfgröße unter Verwendung einer Schlüsselpunkt-Erkennungstechnik gemäß einer Ausführungsform der vorliegenden Erfindung angezeigt werden.
-
Bezug nehmend auf 4 extrahiert die Ultraschalldiagnosevorrichtung Punkte auf einem Umfang, der eine Ellipse aus den Ultraschallbilddaten bildet, bestimmt einen Kopf aus der Ellipse und misst die Größe des fötalen Kopfes unter Verwendung der Punkte auf dem Umfang, die die Ellipse bilden (zusätzlich der Brennpunkt).
-
Zu diesem Zeitpunkt können der Umfang der Ellipse und die Länge der horizontalen Achse und die Länge der vertikalen Achse in der Ellipse als identifizierbare visuelle Information (z. B. Farbe) unterscheidbar angezeigt werden. Darüber hinaus kann der Messwert des fetalen Bauchumfangs einschließlich der Länge der horizontalen Achse und der Länge der vertikalen Achse auf der horizontalen Achse und der vertikalen Achse angezeigt werden.
-
5 zeigt Abbildungen von Bildschirmen, die beim Messen des fetalen Bauchumfangs unter Verwendung einer Schlüsselpunkt-Erkennungstechnik gemäß einer Ausführungsform der vorliegenden Erfindung angezeigt werden.
-
Wie in 5 dargestellt, werden Punkte auf einem Kreisumfang aus den Ultraschallbilddaten extrahiert, der fetale Bauch wird anhand des Kreises bestimmt, und der fetale Bauchumfang wird unter Verwendung der Umfangspunkte und eines Kreismittelpunkts gemessen.
-
In diesem Fall kann der Umfang des Zentrums als identifizierbare visuelle Information (z. B. Farbe) deutlich sichtbar angezeigt werden. Darüber hinaus kann der Messwert des fetalen Bauchumfangs auf dem Kreis angezeigt werden.
-
6 zeigt Abbildungen von Bildschirmen, die beim Messen der Länge eines fetalen Knochens unter Verwendung einer Schlüsselpunkt-Erkennungstechnik gemäß einer Ausführungsform der vorliegenden Erfindung angezeigt werden.
-
Wie in 6 dargestellt, werden beide Endpunkte, die ein Liniensegment bilden, aus den Ultraschallbilddaten extrahiert, und die Länge eines fetalen Knochens wird unter Verwendung beider Endpunkte, die das Liniensegment bilden, gemessen.
-
In diesem Fall können beide Endpunkte des Liniensegments und das Liniensegment, das die beiden Endpunkte miteinander verbindet, als identifizierbare visuelle Information (z. B. Farbe) deutlich sichtbar angezeigt werden. Darüber hinaus kann der Messwert des fetalen Knochens auf einem Knochen angezeigt werden.
-
Bislang wurde die vorliegende Erfindung anhand von beispielhaften Ausführungsformen beschrieben. Es ist für den Fachmann auf dem Gebiet der vorliegenden Erfindung verständlich, dass die vorliegende Erfindung in abgewandelter Form umgesetzt werden kann, ohne von den wesentlichen Merkmalen der vorliegenden Erfindung abzuweichen. Daher sollten die offengelegten Ausführungsformen eher als illustrativ denn als bestimmend angesehen werden. Der Umfang der vorliegenden Erfindung wird eher durch die beigefügten Ansprüche als durch die vorangehende Beschreibung definiert, und alle Unterschiede innerhalb des Umfangs der Äquivalente davon sollten als in der vorliegenden Erfindung enthalten angesehen werden.
