DE4207595A1 - Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung - Google Patents

Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung

Info

Publication number
DE4207595A1
DE4207595A1 DE4207595A DE4207595A DE4207595A1 DE 4207595 A1 DE4207595 A1 DE 4207595A1 DE 4207595 A DE4207595 A DE 4207595A DE 4207595 A DE4207595 A DE 4207595A DE 4207595 A1 DE4207595 A1 DE 4207595A1
Authority
DE
Germany
Prior art keywords
feature vectors
clusters
dimensional feature
distance
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE4207595A
Other languages
English (en)
Inventor
Martin F Dr Ing Schlang
Klaus Dipl Phys Abraham-Fuchs
Wolfgang Dipl Phys Haerer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE4207595A priority Critical patent/DE4207595A1/de
Priority to PCT/DE1993/000216 priority patent/WO1993018473A1/de
Publication of DE4207595A1 publication Critical patent/DE4207595A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

Bei vielen Anwendungen der Signalverarbeitung besteht eine Teilaufgabe darin, eine Menge von hochdimensionalen Merkmalsvektoren vorzuklassifizieren. Beispielsweise bei der Messung von biomedizinischen Signalen fallen dank großer Aufzeichnungsin­ tervalle oder moderner, vielkanaliger Sensoranordnungen große Mengen von gemesse­ nen Daten an. Bevor ein Mediziner daraus seine Diagnose stellen kann, müssen diese Daten entsprechend aufbereitet werden. Die Auswahl der medizinisch relevanten Da­ tenabschnitte bzw. deren Aufbereitung wird normalerweise von einem medizinischen Experten vorgenommen. Diese Arbeit ist im allgemeinen sehr arbeitszeitintensiv und stark ermüdend. Dadurch können sehr leicht auch wichtige Datenabschnitte übersehen werden.
Zur Verarbeitung von elektrischen Herzsignalen (EKG) existieren in der Literatur be­ reits mehrere Ansätze mit neuronalen Netzen:
So verwendet Lee (Lee, S.C.: "Using a Translation-Invariant Network to Diagnose Heart Arrythmia", in Touretzky, D.5. (Eds.): "Advances in Neural Information Proces­ sing Systems 2"; Morgan Kaufmann, San Mateo, 1990) ein Netz zweiter Ordnung um Extrasystolen direkt zu klassifizieren. Wenn dieses Verfahren zuverlässig funktionieren soll, muß ein derartiges Netzwerk mit allen möglichen Typen von Herzschlägen trai­ niert werden.
Ivata und andere (Iwata, A; Nagasaka, Y.; Suzumura, N: "A Digital Monitoring System with Dual 3 Layers Neural Network", Proc. IJCNN, Washington D.C., Vol. 2, pp. 69-74, 1989) bzw. (Iwata, A; Nagasaka, Y.; Kuroyanagi, S., Suzumura, N: "Real-time ECG-Data Compression Using Dual Three Layered Neural Networks for Digital Holter Monitor", in Kohonen, T. et. al. (Eds.): "Artificial Neural Networks", Proc. ICANN 91, Vol. 1, Elsevier, North-Holland, 1991) benutzten neuronale Netze zur Kompression von EKG-Signalen. Durch die spezielle Natur der in diesen Ansätzen verwendeten Neuro­ nen wird eine Trainingsstrategie verwendet, welche mit großem Rechenaufwand ver­ bunden ist.
Sämtliche aus dem Stand der Technik bekannten Verfahren haben den Nachteil, daß einzelne Merkmalsvektoren mit geringer Auftrittswahrscheinlichkeit häufig nicht an­ gemessen durch die von diesen Verfahren erzeugte Vorklassifikation erfaßt werden und damit bei der Vorklassifikation eventuell unterschlagen werden. Darüberhinaus haben einige Verfahren den Nachteil, mit einem unvertretbar großen Rechenaufwand ver­ bunden zu sein.
Der vorliegenden Erfindung liegt deshalb die Aufgabe zugrunde, ein Verfahren zur Vorklassifikation von hochdimensionalen Merkmalsvektoren für Zwecke der Signal­ verarbeitung anzugeben, das die Schwierigkeiten der aus dem Stand der Technik bekannten Verfahren vermeidet, indem es die Berücksichtigung einzelner Merkmals­ vektoren mit geringerer Auftrittswahrscheinlichkeit bei der Vorklassifikation in ange­ messener Weise ermöglicht und daneben mit einem geringeren Rechenaufwand verbun­ den ist. Diese Aufgabe wird mit Hilfe eines Verfahrens zur Vorklassifikation von hochdimensionalen Merkmalsvektoren für Zwecke der Signalverarbeitung mit Merkma­ len nach Anspruch 1 gelöst.
Das vorgestellte Verfahren benötigt a priori nicht unbedingt Informationen über den Signalverlauf. Vielmehr analysiert das erfindungsgemäße Verfahren zunächst alle Da­ ten ohne Verwendung von Vorinformation und gruppiert die Merkmalsvektoren an­ schließend in sogenannte Cluster. Bei der Anwendung des erfindungsgemäßen Verfah­ rens zur Vorklassifikation biomedizinischer Signale erhält der Arzt dann als Ergebnis die Anzahl und die zeitliche Lage der gefundenen Ereignisse in den einzelnen Clustern. Die erfindungsgemäße Lösung des Problems beinhaltet einen neuronalen Algorithmus mit unüberwachtem Training. Anstelle einer selbstorganisierten Karte wird bei der er­ findungsgemäßen Lösung ein Algorithmus eingesetzt, welcher einem Flaschenhals­ netzwerk zur Datenkompression ähnelt. So wird in der Trainingsphase ein sehr schnel­ ler Lernalgorithmus verwendet, der konventionellen Verfahren bezüglich der benötigten Rechenzeit deutlich überlegen ist.
Das erfindungsgemäße Verfahren eignet sich besonders zur Verwendung im Zusam­ menhang mit biomedizinischen Signalen, da hier bevorzugt sehr hochdimensionale Merkmalsvektoren in großer Zahl auftreten.
Fig. 1 zeigt die typische Topologie eines neuronalen Netzwerks vom Flaschenhalstyp.
Fig. 2 zeigt ein zeitabhängiges MCG-Signal, in einzelne Muster segmentiert.
Fig. 3 zeigt eine Verteilung vorklassifizierter MCG-Merkmalsvektoren in einem zweidimensionalen Raum.
Im folgenden wird die Erfindung anhand eines bevorzugten Ausführungsbeispiels und mit Hilfe der Figuren näher beschrieben.
Bei der Messung von biomedizinischen Signalen fallen dank großer Aufzeichnungsin­ tervalle oder moderner, vielkanaliger Sensoranordnungen große Mengen an gemessenen Daten an. Bevor der Mediziner seine Diagnose daraus stellen kann, müssen diese Daten entsprechend aufbereitet werden. Die Auswahl der medizinisch relevanten Da­ tenabschnitte bzw. deren Aufbereitung wird normalerweise von einem medizinischen Experten vorgenommen. Diese Arbeit ist im allgemeinen sehr arbeitsintensiv und stark ermüdend. Dadurch können sehr leicht auch wichtige Datenausschnitte übersehen wer­ den.
Das hier vorgestellte erfindungsgemäße Verfahren soll den Arzt bei der Auswertung von gemessenen Daten unterstützen, indem es die Meßwerte entsprechend aufbereitet. Es ist kein Verfahren zur automatischen Erzeugung einer Diagnose. Eine automatische Erzeugung einer Diagnose wäre bei der Vielzahl von möglichen unterschiedlichen Krankheitsbildern auch gar nicht möglich. Schließlich wäre das Risiko einer Fehlent­ scheidung aufgrund eines automatisierten Verfahrens zu groß. Statt dessen soll der Arzt bei der Erstellung seiner Diagnose so weit wie möglich von der zeitaufwendigen Vor­ verarbeitung der Meßdaten in Form einer Segmentierung und Vorklassifikation (Clustering) der gemessenen Daten in einzelne Ereignisse entlastet werden.
Das erfindungsgemaße Verfahren benötigt a priori nicht unbedingt Informationen über den Signalverlauf der Meßdaten. Statt dessen analysiert das erfindungsgemäße Verfah­ ren zunächst alle Daten und gruppiert diese dann entsprechend ihrer Ahnlichkeit in ein­ zelne Cluster (Vorklassifikation). Der Arzt erhält dann als Ergebnis dieser Vorklassifikation die Anzahl und die zeitliche Lage der gefundenen Ereignisse in den einzelnen Clustern, die Anzahl dieser Cluster und einen typischen Repräsentanten für jedes Cluster. Anhand dessen kann der Arzt seinen Befund (eigentliche Klassifikation der Meßdaten) erstellen.
Bei der erfindungsgemäßen Lösung wird ein neuronaler Ansatz mit unüberwachtem Training verwendet. Dabei wird mit Hilfe eines speziellen neuronalen Algorithmus eine Datenkompression durchgeführt.
Bevor die unmittelbar gemessenen Daten der Vorklassifikation zugeführt werden kön­ nen, erfolgt eine konventionelle Vorverarbeitung der Meßdaten. Bei dieser Vorverarbei­ tung kann ohne weiteres Vorwissen über die Eigenschaften der gemessenen Signale eingebracht werden. Hierzu wird z. B. durch eine entsprechende Senkung der Abtastrate eine eventuell in den Meßdaten enthaltene Redundanz beseitigt. Hieran kann sich eine Hochpaßfilterung zur Unterdrückung von Artefakten anschließen. Periodische bzw. quasiperiodische Signale mit regelmäßig wiederkehrender rhythmischer Aktivität kön­ nen mit Hilfe geeigneter Algorithmen in einzelne Muster segmentiert werden (Fig. 2) (Hamilton 1986; Hamilton, P.S., Tompkins W.J. "Quantitative Investigation of QRS- Detection-Rules Using the MIT/BIH Arrhythmia Database" IEEE Trans. Biom. Eng. 33, No. 12, Dec. 1986). Dieser konventionellen Vorverarbeitung der Meßdaten schließt sich das eigentliche erfindungsgemäße Verfahren zur Vorklassifikation an.
Im Rahmen dieser Patentanmeldung werden die aufbereiteten Meßdaten auch als Merkmale bezeichnet, die in Komponenten von Merkmalsvektoren zusammengefaßt werden. Die Zahl dieser Komponenten wird dabei auch als Dimensionalität eines Merkmalsvektors bezeichnet. Unter Vorklassifikation wird dabei die Gruppierung die­ ser Merkmalsvektoren in sog. Cluster verstanden, wobei über die Bedeutung dieser Cluster von Merkmalsvektoren in dem erfindungsgemaßen Verfahren nichts ausgesagt wird. Die eigentliche Klassifikation der Merkmalsvektoren (Diagnose) wird vom Arzt durchgeführt. Das erfindungsgemäße Verfahren lehnt sich an neuronale Algorithmen an, wobei eine Gewichtsmatrix verwendet wird, deren Werte aus einer zufällig initiali­ siserten Matrix in interativer Weise ermittelt werden. Hierzu wird zunächst eine an­ fängliche Gewichtsmatrix mit zufällig gewählten Koeffizienten bereitgestellt. Aus die­ ser anfänglich gewählten Gewichtsmatrix wird durch mehrmalige Anwendung einer noch zu beschreibenden Operation eine Folge von Gewichtsmatrizen berechnet, deren letztes Folgen-Element schließlich zur Durchführung der Vorklassifikation benutzt wird.
Das erfindungsgemäße Verfahren besteht aus zwei Schritten
In einem ersten Datenreduktionsschritt wird die Dimensionalität der Merkmalsvektoren verringert, indem niederdimensionale Merkmalsvektoren yl mit Komponenten yl,i aus den hochdimensionalen Merkmalsvektoren xl mit den Komponenten xl,k mit Hilfe einer Gewichtsmatrix W mit Komponenten Wi,k berechnet werden, wobei die Matrix W mit Hilfe einer Iteration aus einer zufällig initialisierten Matrix gewonnen wird. Die hoch­ dimensionalen Merkmalsvektoren sind dabei mit Hilfe des dabei bereits beschriebenen Vorverarbeitungsverfahrens aus den Meßdaten gewonnen worden. Diese hochdimen­ sionalen Merkmalsvektoren werden nun mit der zufällig initialisierten Matrix W(t=0) multipliziert, wobei die niederdimensionalen Merkmalsvektoren ermittelt werden. Die Berechnung der niederdimensionalen Merkmalsvektoren yl geschieht dabei mit Hilfe der Beziehung
yl, i = Σk wi, k · xl, k (1)
Die Matrixelemente wi, k werden nach der Vorschrift
wi, j(t+1) = wi, j(t)+η · yl, i(t) · (xl, jk=1, . . ., i yl, k(t) · wk, j(t)) (2)
zur Berechnung einer Folge von Gewichtsmatrizen berechnet, wobei nach jedem Itera­ tionsschritt mit Hilfe der neu berechneten Gewichtsmatrix auch neu berechnete nieder­ dimensionale Merkmalsvektoren nach der Beziehung
yl, i(t) = Σk wi, k(t) · xl, k (3)
ermittelt werden. Hierbei ist η ein Lernfaktor mit 0 <= η <= 1. Diese Iteration wird abgebrochen, wenn die Matrix W sich nicht mehr wesentlich ändert, oder wenn eine vorgegebene Zahl von Iterationen ausgeführt wurde. Die letzte auf diese Weise ermittelte Matrix W wird schließlich benutzt, um aus den hochdimensionalen Merkmalsvektoren xl die niederdimensionalen Merkmalsvektoren yl zu berechnen. Dies geschieht ebenfalls nach der Formel (1). Durch Anwendung dieses ersten Verfahrensschrittes haben die Elemente der Gewichtsmatrix W eine spezielle Codierung der hochdimensionalen Merkmalsvektoren erlernt, welche es erlaubt, die in diesen hochdimensionalen Merkmalsvektoren enthaltene Information durch die nieder­ dimensionalen Merkmalsvektoren yl auszudrücken. Damit sind die Meßdaten in ihrer Komplexität erheblich reduziert worden. Fig. 1 zeigt die Netzwerktopologie eines typischen Flaschenhalsnetzwerks, das zur Durchführung des ersten erfindungsgemäßen Verfahrensschrittes verwendet werden kann. Damit werden die hochdimensionalen Merkmalsvektoren komponentenweise an die Eingangsebene (mit der großen Zahl von Eingangsknoten) des neuronalen Netzes angelegt. Die Komponenten der niederdi­ mensionalen Merkmalsvektoren ergeben sich dann als Ausgangswerte an den Knoten der Ausgangsebene (das ist die mittlere Ebene in Fig. 1 mit der geringen Zahl von Knoten) des neuronalen Netzwerks.
Das Flaschenhalsnetzwerk (Herz, J; Krogh, A.; Palmer, R.G.: "Introduction to the Theory of Neural Computation", Addison Wesley, Redwood City, 1991) ist ein zwei­ schichtiges Netzwerk mit gleichvielen Eingangs- und Ausgangsknoten. Jeder dieser Knoten entspricht einem Abtastwert der gemessenen und vorverarbeiteten, beispiels­ weise biomagnetischen, Signale. Die Anzahl der Knoten in der versteckten Schicht ist realtiv klein. Das Netzwerk wird nun dergestalt trainiert, daß am Eingang und Ausgang jeweils dasselbe Muster angelegt wird. Somit lernen die versteckten Knoten eine Opti­ malcodierung der Trainingsdaten. Der Encoder (untere Hälfte des Netzwerkes) wird dabei von den Gewichten zwischen Eingangsneuronen und den verdeckten, der Decoder (oberer Teil des Netzwerkes) von den Gewichten zwischen verdeckten und den Aus­ gangsneuronen gebildet. Der Kompressionsfaktor des Netzwerkes ergibt sich aus dem Verhältnis der Anzahl der Eingangs- zu der Anzahl der versteckten Neuronen. Das Netzwerk kann durch herkömmliche Fehler-Back-Propagation trainiert werden. Für das erfindungsgemäße Verfahren wird aber lediglich der Encoderteil benötigt. Auf diese Weise ist das neuronale Netzwerk zu dem oben angegebenen Trainingsverfähren gleichwertig.
Die zu verarbeitenden Daten obliegen aufgrund ihrer z. B. biomedizinischen Herkunft und des verwendeten Aufnahmegerätes sehr starken Schwankungen. Deshalb muß das Kompressionsnetzwerk (Matrix der Gewichte W) für jede Messung neu trainiert wer­ den. Wenn die Neuronen des Encoders lineare Übertragungsfunktionen besitzen, weisen die Matrixelemente der Gewichtsmatrix etwas andere Eigenschaften auf. In diesem Fall kann gezeigt werden, daß der Encoder eine Singulärwertzerlegung der Meßdaten durchführt. Für die Durchführung dieser Zerlegung sind neuronale Algorithmen, wie sie in dem hier vorliegenden Verfahren benutzt werden, wesentlich besser geeignet, als konventionelle Verfahren. Dabei wird eine modifizierte Hebb′sche Lernregel (Formel 2) (Sanger, T.D.: "Optimal Unsupervised Learning in a Single-Lyer Linear Feedforward Neural Network", Neural Networks 2, 459-473, 1989) verwendet.
Bei den meisten konventionellen Verfahren zur Singulärwertzerlegung müssen grundsätzlich alle Singulärwerte (singular values) berechnet werden. Im Gegensatz dazu können mit dem erfindungsgemäßen Verfahren auch ausgewählte wichtigste Singulärwerte berechnet werden. Speziell bei biomedizinischen Signalen kann das Training (Formel 2 und Formel 3) häufig bereits nach fünf- bis siebenmaligem Anbieten des kompletten Datensatzes abgebrochen werden. Somit ist das erfindungsgemäße Verfahren bezüglich dem benötigten Rechenaufwand herkömmlichen Verfahren deutlich überlegen. Fig. 3 zeigt beispielhaft das Ergebnis einer Datenkompression mit Hilfe des ersten Schrittes des erfindungsgemäßen Verfahrens auf zwei Dimensionen. Die örtliche Lage jedes Musters ist dabei mit Hilfe seiner Identitätsnummer im Diagramm eingezeichnet. Dort wo sich sehr viele Muster­ vektoren häufen, sind diese Identitätsnummern nicht mehr lesbar und es ergibt sich eine schwarze Punktwolke. Insgesamt waren dabei in dem Meßdatensatz M verschiedene Typen von Ereignissen.
Im zweiten Schritt des erfindungsgemäßen Verfahrens werden die so dimensionsredu­ zierten Daten (Merkmalsvektoren) in einzelne Cluster zusammengefaßt. Bei Experi­ menten mit dem sogenannten k-means Clusterverfahren ergab sich, daß ähnlich, wie bei den selbstorganisierenden Karten, vereinzelt oder selten auftretende Merkmalsvektoren keiner eigenen Klasse zugewiesen wurden. Aufgrund des dabei verwendeten Kriteriums des kleinsten quadratischen Fehlers werden solche Muster einfach anderen Klassen zugeordnet und dabei Cluster mit vielen Merkmalsvektoren aufgesplittet.
Da hierdurch selten auftretende Merkmalsvektoren (Muster) nicht in eigene Cluster aufgenommen werden, wird in dem erfindungsgemaßen Verfahren ein hierarchisches Clusterverfahren verwendet. Vorzugsweise wird dabei ein sogenanntes Tree-Verfahren mit der euklidischen Norm (L2-Norm) als Abstandsmaß verwendet.
Im ersten Teilschritt dieses zweiten Schrittes des erfindungsgemaßen Verfahrens wird dabei anfänglich jedem Merkmalsvektor ein eigenes Cluster zugeordnet. Daraufhin werden die Abstände zwischen allen vorhandenen Clustern ermittelt und benachbarte Cluster mit minimalem Abstand sukzessive verschmolzen, bis ein vorgegebenes Ab­ bruchkriterium erreicht ist. Hierbei bedeutet das Verschmelzen von Clustern, daß die Merkmalsvektoren zweier verschiedener Cluster nach dem Verschmelzen als Merk­ malsvektoren eines einzigen Clusters betrachtet werden. Hierbei gibt es zwei verschie­ dene Arten ein Abbruchkriterium zu definieren: Zum einen kann man das Abbruchkri­ terium als erfüllt ansehen, wenn der minimale Abstand aller vorhandenen Cluster eine vorgegebene Schwelle überschreitet. Eine andere Möglichkeit besteht darin, daß Ab­ bruchkriterium als erfüllt anzusehen, wenn die Anzahl der vorhandenen Cluster eine vorgegebene Schwelle unterschreitet.
Auch für die Berechnung des Abstandes zwischen zwei Clustern sind mehrere Defini­ tionen von Abstandsmaßen möglich: Zum einen kann als Abstand zwischen zwei Clu­ stern der minimale Abstand zwischen allen Paaren von Merkmalsvektoren ermittelt werden, deren Merkmalsvektoren jeweils einem dieser beiden Cluster angehören. Al­ ternativ dazu kann als Abstand zwischen Clustern auch der Abstand ihrer Schwer­ punktsvektoren angesehen werden. Der Schwerpunktvektor eines Clusters ist dabei der Schwerpunktsvektor der das Cluster konstituierenden Merkmalsvektoren.
Vorzugsweise kann der zweite Schritt des erfindungsgemäßen Verfahrens so durchge­ führt werden, daß sämtliche 1/2·N·(N-1) Abstände zwischen den Clustern berechnet und in eine Abstandsmatrix eingetragen werden. Daran anschließend werden sukzessive die beiden Cluster mit minimalem Abstand zueinander zusammengefaßt (verschmolzen). Beim Verschmelzen müssen keine neuen Abstände mehr berechnet werden. Vielmehr werden in der Abstandsmatrix die zu den beiden Clustern gehörigen Zeilen bzw. Spalten durch jeweils eine neue ersetzt, wobei sich die Dimension der Abstandsmatrix bei jedem Schritt um 1 verkleinert. Darin steht dann jeweils ele­ menteweise das Minimum der zugehörigen ersetzten Matrixelemente.
Bei der Gewinnung von Merkmalsvektoren aus den Meßsignalen ist es vorteilhaft, die einzelnen zeitlichen Abtastwerte eines zeitveränderlichen Signals komponentenweise zu hochdimensionalen Merkmalsvektoren zusammenzufassen. Ist das Signal periodisch oder quasiperiodisch, ist es vorteilhaft, den Musterindex 1 des Merkmalsvektors xl mit der Periodennummer des Signals zu identifizieren.
Das Verfahren gemäß der Erfindung eignet sich besonders zur Vorverarbeitung biome­ dizinischer Signale wie sie z. B. in der Magneto-Kardiographie (MCG) oder in der Magneto-Enzephalographie (MEG) auftreten. Bei der Erkennung von Ereignissen in biomedizinischen Datensätzen wäre eine direkte Klassifikation der Ereignisse grundsätzlich möglich. Hierfür müßten aber entweder die Regeln aus der Medizin be­ kannt sein, nach denen solche Ereignisse zu klassifizieren sind, oder eine sehr große Menge von Trainingsdaten müßte für das Training eines Gesamtklassifikators in bereits klassifizierter Form vorliegen.
Deshalb wird erfindungsgemäß ein Verfahren vorgeschlagen, das mit unüberwachtem Training arbeitet. Aufgrund der a priori nicht bekannten Statistik der Eingangssignale eignen sich aber selbstorganisierende Karten zur Datenreduktion und zum Clustering der Daten nicht. Experimente haben ergeben, daß das erfindungsgemäße zweistufige Verfahren, bestehend aus einer Datenreduktion mit Hilfe eines neuronalen Algorithmus und einem anschließenden hierarchischen Clustering besser zur Lösung dieser Aufgabe geeignet ist.
Dank einer geeigneten Lernregel und eines geeigneten Aufbaus des neuronalen Netz­ werkes ist das Training dieses Netzwerkes deutlich schneller als bei bekannten Verfah­ ren zur Datenreduktion. Somit kann das Netzwerk für jeden gemessenen Datensatz neu trainiert werden. Dadurch ist sichergestellt, daß das Verfahren auch dann richtig arbei­ tet, wenn zwischen den einzelnen gemessenen Datensätzen große Streuungen bestehen, und solche Streuungen kommen bei biomedizinischen Datensätzen häufig vor. Dank des sehr schnellen Lernverfahrens ist es auch möglich, in einem Schritt mehrdimensio­ nale Signale auf sehr wenige relevante Dimensionen zu reduzieren. Die von Redundanz befreiten Daten werden in einem hierarchischen Verfahren geclustert. Dieses Verfahren ist bei selten auftretenden Mustern einem k-means Clusterverfahren überlegen. Dank einer neuartigen Vorgehensweise beim Verschmelzen der einzelnen Cluster ist die An­ zahl der notwendigen Abstandsberechnungen minimal.

Claims (8)

1. Verfahren zur Vorklassifikation von hochdimensionalen Merkmalsvektoren für Zwecke der Signalverarbeitung mit folgenden Schritten:
  • a) in einem ersten Datenreduktionsschritt wird die Dimensionalität der hochdimensio­ nalen Merkmalsvektoren verringert, indem niederdimensionale Merkmalsvektoren yl mit Komponenten yl, i aus den hochdimensionalen Merkmalsvektoren xl mit Komponen­ ten xl, k mit Hilfe einer Gewichtsmatrix W mit Komponenten wi, k nach der Beziehung yl, i = Σk wi, k · xl, kberechnet werden, w obei die Matrix W mit Hilfe einer Iteration der Formwi, j(t+1) = wi, j(t)+η · yl, i(t) · (xl, jk=1, . . ., i yl, k(t) · wk, j(t))aus einer zufällig initialisierten Matrix W(t=0) gewonnen wird, η ein Lernfaktor mit Werten 0 <= η <= 1 ist und yl, i(t) durchyl, i(t) = Σk wi, k(t) · xl, kgegeben ist;
  • b) in einem zweiten Schritt werden die niederdimensionalen Merkmalsvektoren yl in einzelne Cluster gruppiert, indem
  • - jedem Merkmalsvektor yl zunächst ein eigenes Cluster zugeordnet wird,
  • - die Abstände zwischen allen Clustern ermittelt werden, und
  • - benachbarte Cluster mit minimalem Abstand sukzessive verschmolzen werden, bis ein vorgegebenes Abbruchkriterium erreicht ist.
2. Verfahren nach Anspruch 1, bei dem der Abstand zwischen zwei Clustern ermittelt wird, indem der minimale Abstand zwischen allen Paaren von Merkmalsvektoren ermit­ telt wird, deren Merkmalsvektoren jeweils einen dieser beiden Cluster angehören.
3. Verfahren nach Anspruch 1, bei dem der Abstand zwischen zwei Clustern als Ab­ stand ihrer Schwerpunktsvektoren ermittelt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Abbruchkrite­ rium erfüllt ist, wenn der minimale Abstand aller vorhandenen Cluster eine vorgege­ bene Schwelle überschreitet.
5. Verfahren nach einem der Ansprüche 1 bis 3, bei dem das Abbruchkriterium erfüllt ist, wenn die Anzahl der vorhandenen Cluster eine vorgegebene Schwelle unterschrei­ tet.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Merkmalsvekto­ ren xl aus einem periodischen oder quasiperiodischen Signal extrahiert worden sind, und der Musterindex 1 die einzelnen Perioden dieses Signals numeriert.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Komponenten xl,i der Merkmalsvektoren xl zeitlichen Abtastwerten eines Signals entsprechen.
8. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche zur Vor­ verarbeitung biomedizinischer Signale.
DE4207595A 1992-03-10 1992-03-10 Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung Withdrawn DE4207595A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE4207595A DE4207595A1 (de) 1992-03-10 1992-03-10 Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung
PCT/DE1993/000216 WO1993018473A1 (de) 1992-03-10 1993-03-09 Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren für zwecke der signalverarbeitung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE4207595A DE4207595A1 (de) 1992-03-10 1992-03-10 Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung

Publications (1)

Publication Number Publication Date
DE4207595A1 true DE4207595A1 (de) 1993-09-16

Family

ID=6453695

Family Applications (1)

Application Number Title Priority Date Filing Date
DE4207595A Withdrawn DE4207595A1 (de) 1992-03-10 1992-03-10 Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung

Country Status (2)

Country Link
DE (1) DE4207595A1 (de)
WO (1) WO1993018473A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10048308B4 (de) * 2000-09-29 2010-04-29 Diehl Bgt Defence Gmbh & Co. Kg Verfahren und Vorrichtung zum Klassifizieren von Objekten aus als Pixelmuster vorliegenden eingangsseitigen Bilddaten

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108309284A (zh) * 2018-03-15 2018-07-24 广州视源电子科技股份有限公司 心电图t波终点检测方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2658336A1 (fr) * 1990-02-09 1991-08-16 Philips Electronique Lab Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches.
US5048100A (en) * 1988-12-15 1991-09-10 Michael Kuperstein Self organizing neural network method and system for general classification of patterns
US5058180A (en) * 1990-04-30 1991-10-15 National Semiconductor Corporation Neural network apparatus and method for pattern recognition
DE3938645C1 (de) * 1989-11-01 1992-05-21 Hughes Aircraft Co., Los Angeles, Calif., Us

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE514986C (de) * 1928-03-07 1930-12-22 John Paramor Vorrichtung zur Verstellung von Doppelexzentern
EP0329356A3 (de) * 1988-02-17 1991-10-09 Wayne State University Physiologische Wellenformanalyse
US4912649A (en) * 1988-12-14 1990-03-27 Gte Government Systems Corporation Accelerating learning in neural networks
DE69130656T2 (de) * 1990-06-14 1999-06-17 Canon Kk Neuronale Netzwerke

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5048100A (en) * 1988-12-15 1991-09-10 Michael Kuperstein Self organizing neural network method and system for general classification of patterns
DE3938645C1 (de) * 1989-11-01 1992-05-21 Hughes Aircraft Co., Los Angeles, Calif., Us
FR2658336A1 (fr) * 1990-02-09 1991-08-16 Philips Electronique Lab Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches.
US5058180A (en) * 1990-04-30 1991-10-15 National Semiconductor Corporation Neural network apparatus and method for pattern recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10048308B4 (de) * 2000-09-29 2010-04-29 Diehl Bgt Defence Gmbh & Co. Kg Verfahren und Vorrichtung zum Klassifizieren von Objekten aus als Pixelmuster vorliegenden eingangsseitigen Bilddaten

Also Published As

Publication number Publication date
WO1993018473A1 (de) 1993-09-16

Similar Documents

Publication Publication Date Title
Haselsteiner et al. Using time-dependent neural networks for EEG classification
DE69433456T2 (de) Vorrichtung zum Klassifizieren von Herzrhythmen basierend auf der Morphologie des Elektrogramms
DE69730811T2 (de) Anlage zur Bilderkennung
EP0582885A2 (de) Verfahren zur Klassifizierung von Feldmustern
DE3938645C1 (de)
EP3245943A1 (de) Verfahren zur berührungslosen ermittlung und aufbereitung von schlafbewegungsdaten
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
DE102020212515A1 (de) Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernsystems
DE4039648A1 (de) Messwertverarbeitungssystem fuer ein biologisches objekt
DE19504664C2 (de) Chaotisches rekurrentes neuronales Netz und Lernverfahren dafür
DE3733391A1 (de) Verfahren zur spracherkennung
EP0750764B1 (de) Verfahren und anordnung zur fuzzy-regelung
EP1252566B1 (de) Anordnung miteinander verbundener rechenelemente und verfahren zur rechnergestützten ermittlung eines zweiten zustands eines systems in einem ersten zustandsraum aus einem ersten zustand des systems in dem ersten zustandsraum
EP1519301A2 (de) Vorrichtung zur klassifikation physiologischer Ereignisse
EP1015998A2 (de) Verfahren zur erfassung zeitabhängiger moden dynamischer systeme
DE4207595A1 (de) Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung
DE4121453C2 (de) Näherungsschlußfolgerungsvorrichtung
EP0890153B1 (de) Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners
DE4209296A1 (de) Wort- und wortkettenerkennungssystem auf der basis eines neuronalen netzes mit automatischer zellbildung und -komprimierung sowie nachlernverfahren
EP0591259B1 (de) Verfahren zur verarbeitung von unsicherheiten von eingangsdaten in neuronalen netzwerken
DE4225885C2 (de) Korrelationsermittlungsverfahren und Verknüpfungsstruktur-Schätzverfahren für Neuronen
EP0952501B1 (de) Verfahren zur datengetriebenen Prozessführung und Prozessoptimierung von technischen Vorgängen
EP0943130B1 (de) Verfahren zur nichtstationären trennung von signalen unterschiedlicher quellen
EP0477733A2 (de) Zellteilungsnetzwerke zur Inplementierung lernender Netzwerkkonfigurationen
WO2000011601A2 (de) Verfahren zum trainieren eines neuronalen netzes, verfahren zur klassifikation einer folge von eingangsgrössen unter verwendung eines neuronalen netzes, neuronales netz und anordnung zum trainieren eines neuronalen netzes

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8139 Disposal/non-payment of the annual fee