DE4207595A1 - Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung - Google Patents
Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitungInfo
- Publication number
- DE4207595A1 DE4207595A1 DE4207595A DE4207595A DE4207595A1 DE 4207595 A1 DE4207595 A1 DE 4207595A1 DE 4207595 A DE4207595 A DE 4207595A DE 4207595 A DE4207595 A DE 4207595A DE 4207595 A1 DE4207595 A1 DE 4207595A1
- Authority
- DE
- Germany
- Prior art keywords
- feature vectors
- clusters
- dimensional feature
- distance
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000013598 vector Substances 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013144 data compression Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 206010003119 arrhythmia Diseases 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 240000005020 Acaciella glauca Species 0.000 description 1
- 206010015856 Extrasystoles Diseases 0.000 description 1
- 208000000418 Premature Cardiac Complexes Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 238000013155 cardiography Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000003499 redwood Nutrition 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7232—Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
Bei vielen Anwendungen der Signalverarbeitung besteht eine Teilaufgabe darin, eine
Menge von hochdimensionalen Merkmalsvektoren vorzuklassifizieren. Beispielsweise
bei der Messung von biomedizinischen Signalen fallen dank großer Aufzeichnungsin
tervalle oder moderner, vielkanaliger Sensoranordnungen große Mengen von gemesse
nen Daten an. Bevor ein Mediziner daraus seine Diagnose stellen kann, müssen diese
Daten entsprechend aufbereitet werden. Die Auswahl der medizinisch relevanten Da
tenabschnitte bzw. deren Aufbereitung wird normalerweise von einem medizinischen
Experten vorgenommen. Diese Arbeit ist im allgemeinen sehr arbeitszeitintensiv und
stark ermüdend. Dadurch können sehr leicht auch wichtige Datenabschnitte übersehen
werden.
Zur Verarbeitung von elektrischen Herzsignalen (EKG) existieren in der Literatur be
reits mehrere Ansätze mit neuronalen Netzen:
So verwendet Lee (Lee, S.C.: "Using a Translation-Invariant Network to Diagnose
Heart Arrythmia", in Touretzky, D.5. (Eds.): "Advances in Neural Information Proces
sing Systems 2"; Morgan Kaufmann, San Mateo, 1990) ein Netz zweiter Ordnung um
Extrasystolen direkt zu klassifizieren. Wenn dieses Verfahren zuverlässig funktionieren
soll, muß ein derartiges Netzwerk mit allen möglichen Typen von Herzschlägen trai
niert werden.
Ivata und andere (Iwata, A; Nagasaka, Y.; Suzumura, N: "A Digital Monitoring System
with Dual 3 Layers Neural Network", Proc. IJCNN, Washington D.C., Vol. 2, pp. 69-74,
1989) bzw. (Iwata, A; Nagasaka, Y.; Kuroyanagi, S., Suzumura, N: "Real-time
ECG-Data Compression Using Dual Three Layered Neural Networks for Digital Holter
Monitor", in Kohonen, T. et. al. (Eds.): "Artificial Neural Networks", Proc. ICANN 91,
Vol. 1, Elsevier, North-Holland, 1991) benutzten neuronale Netze zur Kompression von
EKG-Signalen. Durch die spezielle Natur der in diesen Ansätzen verwendeten Neuro
nen wird eine Trainingsstrategie verwendet, welche mit großem Rechenaufwand ver
bunden ist.
Sämtliche aus dem Stand der Technik bekannten Verfahren haben den Nachteil, daß
einzelne Merkmalsvektoren mit geringer Auftrittswahrscheinlichkeit häufig nicht an
gemessen durch die von diesen Verfahren erzeugte Vorklassifikation erfaßt werden und
damit bei der Vorklassifikation eventuell unterschlagen werden. Darüberhinaus haben
einige Verfahren den Nachteil, mit einem unvertretbar großen Rechenaufwand ver
bunden zu sein.
Der vorliegenden Erfindung liegt deshalb die Aufgabe zugrunde, ein Verfahren zur
Vorklassifikation von hochdimensionalen Merkmalsvektoren für Zwecke der Signal
verarbeitung anzugeben, das die Schwierigkeiten der aus dem Stand der Technik
bekannten Verfahren vermeidet, indem es die Berücksichtigung einzelner Merkmals
vektoren mit geringerer Auftrittswahrscheinlichkeit bei der Vorklassifikation in ange
messener Weise ermöglicht und daneben mit einem geringeren Rechenaufwand verbun
den ist. Diese Aufgabe wird mit Hilfe eines Verfahrens zur Vorklassifikation von
hochdimensionalen Merkmalsvektoren für Zwecke der Signalverarbeitung mit Merkma
len nach Anspruch 1 gelöst.
Das vorgestellte Verfahren benötigt a priori nicht unbedingt Informationen über den
Signalverlauf. Vielmehr analysiert das erfindungsgemäße Verfahren zunächst alle Da
ten ohne Verwendung von Vorinformation und gruppiert die Merkmalsvektoren an
schließend in sogenannte Cluster. Bei der Anwendung des erfindungsgemäßen Verfah
rens zur Vorklassifikation biomedizinischer Signale erhält der Arzt dann als Ergebnis
die Anzahl und die zeitliche Lage der gefundenen Ereignisse in den einzelnen Clustern.
Die erfindungsgemäße Lösung des Problems beinhaltet einen neuronalen Algorithmus
mit unüberwachtem Training. Anstelle einer selbstorganisierten Karte wird bei der er
findungsgemäßen Lösung ein Algorithmus eingesetzt, welcher einem Flaschenhals
netzwerk zur Datenkompression ähnelt. So wird in der Trainingsphase ein sehr schnel
ler Lernalgorithmus verwendet, der konventionellen Verfahren bezüglich der benötigten
Rechenzeit deutlich überlegen ist.
Das erfindungsgemäße Verfahren eignet sich besonders zur Verwendung im Zusam
menhang mit biomedizinischen Signalen, da hier bevorzugt sehr hochdimensionale
Merkmalsvektoren in großer Zahl auftreten.
Fig. 1 zeigt die typische Topologie eines neuronalen Netzwerks vom Flaschenhalstyp.
Fig. 2 zeigt ein zeitabhängiges MCG-Signal, in einzelne Muster segmentiert.
Fig. 3 zeigt eine Verteilung vorklassifizierter MCG-Merkmalsvektoren in einem
zweidimensionalen Raum.
Im folgenden wird die Erfindung anhand eines bevorzugten Ausführungsbeispiels und
mit Hilfe der Figuren näher beschrieben.
Bei der Messung von biomedizinischen Signalen fallen dank großer Aufzeichnungsin
tervalle oder moderner, vielkanaliger Sensoranordnungen große Mengen an gemessenen
Daten an. Bevor der Mediziner seine Diagnose daraus stellen kann, müssen diese
Daten entsprechend aufbereitet werden. Die Auswahl der medizinisch relevanten Da
tenabschnitte bzw. deren Aufbereitung wird normalerweise von einem medizinischen
Experten vorgenommen. Diese Arbeit ist im allgemeinen sehr arbeitsintensiv und stark
ermüdend. Dadurch können sehr leicht auch wichtige Datenausschnitte übersehen wer
den.
Das hier vorgestellte erfindungsgemäße Verfahren soll den Arzt bei der Auswertung
von gemessenen Daten unterstützen, indem es die Meßwerte entsprechend aufbereitet.
Es ist kein Verfahren zur automatischen Erzeugung einer Diagnose. Eine automatische
Erzeugung einer Diagnose wäre bei der Vielzahl von möglichen unterschiedlichen
Krankheitsbildern auch gar nicht möglich. Schließlich wäre das Risiko einer Fehlent
scheidung aufgrund eines automatisierten Verfahrens zu groß. Statt dessen soll der Arzt
bei der Erstellung seiner Diagnose so weit wie möglich von der zeitaufwendigen Vor
verarbeitung der Meßdaten in Form einer Segmentierung und Vorklassifikation
(Clustering) der gemessenen Daten in einzelne Ereignisse entlastet werden.
Das erfindungsgemaße Verfahren benötigt a priori nicht unbedingt Informationen über
den Signalverlauf der Meßdaten. Statt dessen analysiert das erfindungsgemäße Verfah
ren zunächst alle Daten und gruppiert diese dann entsprechend ihrer Ahnlichkeit in ein
zelne Cluster (Vorklassifikation). Der Arzt erhält dann als Ergebnis dieser Vorklassifikation
die Anzahl und die zeitliche Lage der gefundenen Ereignisse in den einzelnen
Clustern, die Anzahl dieser Cluster und einen typischen Repräsentanten für jedes
Cluster. Anhand dessen kann der Arzt seinen Befund (eigentliche Klassifikation der
Meßdaten) erstellen.
Bei der erfindungsgemäßen Lösung wird ein neuronaler Ansatz mit unüberwachtem
Training verwendet. Dabei wird mit Hilfe eines speziellen neuronalen Algorithmus eine
Datenkompression durchgeführt.
Bevor die unmittelbar gemessenen Daten der Vorklassifikation zugeführt werden kön
nen, erfolgt eine konventionelle Vorverarbeitung der Meßdaten. Bei dieser Vorverarbei
tung kann ohne weiteres Vorwissen über die Eigenschaften der gemessenen Signale
eingebracht werden. Hierzu wird z. B. durch eine entsprechende Senkung der Abtastrate
eine eventuell in den Meßdaten enthaltene Redundanz beseitigt. Hieran kann sich eine
Hochpaßfilterung zur Unterdrückung von Artefakten anschließen. Periodische bzw.
quasiperiodische Signale mit regelmäßig wiederkehrender rhythmischer Aktivität kön
nen mit Hilfe geeigneter Algorithmen in einzelne Muster segmentiert werden (Fig. 2)
(Hamilton 1986; Hamilton, P.S., Tompkins W.J. "Quantitative Investigation of QRS-
Detection-Rules Using the MIT/BIH Arrhythmia Database" IEEE Trans. Biom. Eng.
33, No. 12, Dec. 1986). Dieser konventionellen Vorverarbeitung der Meßdaten schließt
sich das eigentliche erfindungsgemäße Verfahren zur Vorklassifikation an.
Im Rahmen dieser Patentanmeldung werden die aufbereiteten Meßdaten auch als
Merkmale bezeichnet, die in Komponenten von Merkmalsvektoren zusammengefaßt
werden. Die Zahl dieser Komponenten wird dabei auch als Dimensionalität eines
Merkmalsvektors bezeichnet. Unter Vorklassifikation wird dabei die Gruppierung die
ser Merkmalsvektoren in sog. Cluster verstanden, wobei über die Bedeutung dieser
Cluster von Merkmalsvektoren in dem erfindungsgemaßen Verfahren nichts ausgesagt
wird. Die eigentliche Klassifikation der Merkmalsvektoren (Diagnose) wird vom Arzt
durchgeführt. Das erfindungsgemäße Verfahren lehnt sich an neuronale Algorithmen
an, wobei eine Gewichtsmatrix verwendet wird, deren Werte aus einer zufällig initiali
siserten Matrix in interativer Weise ermittelt werden. Hierzu wird zunächst eine an
fängliche Gewichtsmatrix mit zufällig gewählten Koeffizienten bereitgestellt. Aus die
ser anfänglich gewählten Gewichtsmatrix wird durch mehrmalige Anwendung einer
noch zu beschreibenden Operation eine Folge von Gewichtsmatrizen berechnet, deren
letztes Folgen-Element schließlich zur Durchführung der Vorklassifikation benutzt
wird.
In einem ersten Datenreduktionsschritt wird die Dimensionalität der Merkmalsvektoren
verringert, indem niederdimensionale Merkmalsvektoren yl mit Komponenten yl,i aus
den hochdimensionalen Merkmalsvektoren xl mit den Komponenten xl,k mit Hilfe einer
Gewichtsmatrix W mit Komponenten Wi,k berechnet werden, wobei die Matrix W mit
Hilfe einer Iteration aus einer zufällig initialisierten Matrix gewonnen wird. Die hoch
dimensionalen Merkmalsvektoren sind dabei mit Hilfe des dabei bereits beschriebenen
Vorverarbeitungsverfahrens aus den Meßdaten gewonnen worden. Diese hochdimen
sionalen Merkmalsvektoren werden nun mit der zufällig initialisierten Matrix W(t=0)
multipliziert, wobei die niederdimensionalen Merkmalsvektoren ermittelt werden. Die
Berechnung der niederdimensionalen Merkmalsvektoren yl geschieht dabei mit Hilfe
der Beziehung
yl, i = Σk wi, k · xl, k (1)
Die Matrixelemente wi, k werden nach der Vorschrift
wi, j(t+1) = wi, j(t)+η · yl, i(t) · (xl, j-Σk=1, . . ., i yl, k(t) · wk, j(t)) (2)
zur Berechnung einer Folge von Gewichtsmatrizen berechnet, wobei nach jedem Itera
tionsschritt mit Hilfe der neu berechneten Gewichtsmatrix auch neu berechnete nieder
dimensionale Merkmalsvektoren nach der Beziehung
yl, i(t) = Σk wi, k(t) · xl, k (3)
ermittelt werden. Hierbei ist η ein Lernfaktor mit 0 <= η <= 1. Diese Iteration wird
abgebrochen, wenn die Matrix W sich nicht mehr wesentlich ändert, oder wenn eine
vorgegebene Zahl von Iterationen ausgeführt wurde. Die letzte auf diese Weise
ermittelte Matrix W wird schließlich benutzt, um aus den hochdimensionalen
Merkmalsvektoren xl die niederdimensionalen Merkmalsvektoren yl zu berechnen. Dies
geschieht ebenfalls nach der Formel (1). Durch Anwendung dieses ersten
Verfahrensschrittes haben die Elemente der Gewichtsmatrix W eine spezielle Codierung
der hochdimensionalen Merkmalsvektoren erlernt, welche es erlaubt, die in diesen
hochdimensionalen Merkmalsvektoren enthaltene Information durch die nieder
dimensionalen Merkmalsvektoren yl auszudrücken. Damit sind die Meßdaten in ihrer
Komplexität erheblich reduziert worden. Fig. 1 zeigt die Netzwerktopologie eines
typischen Flaschenhalsnetzwerks, das zur Durchführung des ersten erfindungsgemäßen
Verfahrensschrittes verwendet werden kann. Damit werden die hochdimensionalen
Merkmalsvektoren komponentenweise an die Eingangsebene (mit der großen Zahl von
Eingangsknoten) des neuronalen Netzes angelegt. Die Komponenten der niederdi
mensionalen Merkmalsvektoren ergeben sich dann als Ausgangswerte an den Knoten
der Ausgangsebene (das ist die mittlere Ebene in Fig. 1 mit der geringen Zahl von
Knoten) des neuronalen Netzwerks.
Das Flaschenhalsnetzwerk (Herz, J; Krogh, A.; Palmer, R.G.: "Introduction to the
Theory of Neural Computation", Addison Wesley, Redwood City, 1991) ist ein zwei
schichtiges Netzwerk mit gleichvielen Eingangs- und Ausgangsknoten. Jeder dieser
Knoten entspricht einem Abtastwert der gemessenen und vorverarbeiteten, beispiels
weise biomagnetischen, Signale. Die Anzahl der Knoten in der versteckten Schicht ist
realtiv klein. Das Netzwerk wird nun dergestalt trainiert, daß am Eingang und Ausgang
jeweils dasselbe Muster angelegt wird. Somit lernen die versteckten Knoten eine Opti
malcodierung der Trainingsdaten. Der Encoder (untere Hälfte des Netzwerkes) wird
dabei von den Gewichten zwischen Eingangsneuronen und den verdeckten, der Decoder
(oberer Teil des Netzwerkes) von den Gewichten zwischen verdeckten und den Aus
gangsneuronen gebildet. Der Kompressionsfaktor des Netzwerkes ergibt sich aus dem
Verhältnis der Anzahl der Eingangs- zu der Anzahl der versteckten Neuronen. Das
Netzwerk kann durch herkömmliche Fehler-Back-Propagation trainiert werden. Für das
erfindungsgemäße Verfahren wird aber lediglich der Encoderteil benötigt. Auf diese
Weise ist das neuronale Netzwerk zu dem oben angegebenen Trainingsverfähren
gleichwertig.
Die zu verarbeitenden Daten obliegen aufgrund ihrer z. B. biomedizinischen Herkunft
und des verwendeten Aufnahmegerätes sehr starken Schwankungen. Deshalb muß das
Kompressionsnetzwerk (Matrix der Gewichte W) für jede Messung neu trainiert wer
den. Wenn die Neuronen des Encoders lineare Übertragungsfunktionen besitzen, weisen
die Matrixelemente der Gewichtsmatrix etwas andere Eigenschaften auf. In diesem Fall
kann gezeigt werden, daß der Encoder eine Singulärwertzerlegung der Meßdaten
durchführt. Für die Durchführung dieser Zerlegung sind neuronale Algorithmen, wie sie
in dem hier vorliegenden Verfahren benutzt werden, wesentlich besser geeignet, als
konventionelle Verfahren. Dabei wird eine modifizierte Hebb′sche Lernregel (Formel
2) (Sanger, T.D.: "Optimal Unsupervised Learning in a Single-Lyer Linear
Feedforward Neural Network", Neural Networks 2, 459-473, 1989) verwendet.
Bei den meisten konventionellen Verfahren zur Singulärwertzerlegung müssen
grundsätzlich alle Singulärwerte (singular values) berechnet werden. Im Gegensatz dazu
können mit dem erfindungsgemäßen Verfahren auch ausgewählte wichtigste
Singulärwerte berechnet werden. Speziell bei biomedizinischen Signalen kann das
Training (Formel 2 und Formel 3) häufig bereits nach fünf- bis siebenmaligem
Anbieten des kompletten Datensatzes abgebrochen werden. Somit ist das
erfindungsgemäße Verfahren bezüglich dem benötigten Rechenaufwand
herkömmlichen Verfahren deutlich überlegen. Fig. 3 zeigt beispielhaft das Ergebnis
einer Datenkompression mit Hilfe des ersten Schrittes des erfindungsgemäßen
Verfahrens auf zwei Dimensionen. Die örtliche Lage jedes Musters ist dabei mit Hilfe
seiner Identitätsnummer im Diagramm eingezeichnet. Dort wo sich sehr viele Muster
vektoren häufen, sind diese Identitätsnummern nicht mehr lesbar und es ergibt sich eine
schwarze Punktwolke. Insgesamt waren dabei in dem Meßdatensatz M verschiedene
Typen von Ereignissen.
Im zweiten Schritt des erfindungsgemäßen Verfahrens werden die so dimensionsredu
zierten Daten (Merkmalsvektoren) in einzelne Cluster zusammengefaßt. Bei Experi
menten mit dem sogenannten k-means Clusterverfahren ergab sich, daß ähnlich, wie bei
den selbstorganisierenden Karten, vereinzelt oder selten auftretende Merkmalsvektoren
keiner eigenen Klasse zugewiesen wurden. Aufgrund des dabei verwendeten Kriteriums
des kleinsten quadratischen Fehlers werden solche Muster einfach anderen Klassen
zugeordnet und dabei Cluster mit vielen Merkmalsvektoren aufgesplittet.
Da hierdurch selten auftretende Merkmalsvektoren (Muster) nicht in eigene Cluster
aufgenommen werden, wird in dem erfindungsgemaßen Verfahren ein hierarchisches
Clusterverfahren verwendet. Vorzugsweise wird dabei ein sogenanntes Tree-Verfahren
mit der euklidischen Norm (L2-Norm) als Abstandsmaß verwendet.
Im ersten Teilschritt dieses zweiten Schrittes des erfindungsgemaßen Verfahrens wird
dabei anfänglich jedem Merkmalsvektor ein eigenes Cluster zugeordnet. Daraufhin
werden die Abstände zwischen allen vorhandenen Clustern ermittelt und benachbarte
Cluster mit minimalem Abstand sukzessive verschmolzen, bis ein vorgegebenes Ab
bruchkriterium erreicht ist. Hierbei bedeutet das Verschmelzen von Clustern, daß die
Merkmalsvektoren zweier verschiedener Cluster nach dem Verschmelzen als Merk
malsvektoren eines einzigen Clusters betrachtet werden. Hierbei gibt es zwei verschie
dene Arten ein Abbruchkriterium zu definieren: Zum einen kann man das Abbruchkri
terium als erfüllt ansehen, wenn der minimale Abstand aller vorhandenen Cluster eine
vorgegebene Schwelle überschreitet. Eine andere Möglichkeit besteht darin, daß Ab
bruchkriterium als erfüllt anzusehen, wenn die Anzahl der vorhandenen Cluster eine
vorgegebene Schwelle unterschreitet.
Auch für die Berechnung des Abstandes zwischen zwei Clustern sind mehrere Defini
tionen von Abstandsmaßen möglich: Zum einen kann als Abstand zwischen zwei Clu
stern der minimale Abstand zwischen allen Paaren von Merkmalsvektoren ermittelt
werden, deren Merkmalsvektoren jeweils einem dieser beiden Cluster angehören. Al
ternativ dazu kann als Abstand zwischen Clustern auch der Abstand ihrer Schwer
punktsvektoren angesehen werden. Der Schwerpunktvektor eines Clusters ist dabei der
Schwerpunktsvektor der das Cluster konstituierenden Merkmalsvektoren.
Vorzugsweise kann der zweite Schritt des erfindungsgemäßen Verfahrens so durchge
führt werden, daß sämtliche 1/2·N·(N-1) Abstände zwischen den Clustern berechnet
und in eine Abstandsmatrix eingetragen werden. Daran anschließend werden sukzessive
die beiden Cluster mit minimalem Abstand zueinander zusammengefaßt
(verschmolzen). Beim Verschmelzen müssen keine neuen Abstände mehr berechnet
werden. Vielmehr werden in der Abstandsmatrix die zu den beiden Clustern gehörigen
Zeilen bzw. Spalten durch jeweils eine neue ersetzt, wobei sich die Dimension der
Abstandsmatrix bei jedem Schritt um 1 verkleinert. Darin steht dann jeweils ele
menteweise das Minimum der zugehörigen ersetzten Matrixelemente.
Bei der Gewinnung von Merkmalsvektoren aus den Meßsignalen ist es vorteilhaft, die
einzelnen zeitlichen Abtastwerte eines zeitveränderlichen Signals komponentenweise zu
hochdimensionalen Merkmalsvektoren zusammenzufassen. Ist das Signal periodisch
oder quasiperiodisch, ist es vorteilhaft, den Musterindex 1 des Merkmalsvektors xl mit
der Periodennummer des Signals zu identifizieren.
Das Verfahren gemäß der Erfindung eignet sich besonders zur Vorverarbeitung biome
dizinischer Signale wie sie z. B. in der Magneto-Kardiographie (MCG) oder in der
Magneto-Enzephalographie (MEG) auftreten. Bei der Erkennung von Ereignissen in
biomedizinischen Datensätzen wäre eine direkte Klassifikation der Ereignisse
grundsätzlich möglich. Hierfür müßten aber entweder die Regeln aus der Medizin be
kannt sein, nach denen solche Ereignisse zu klassifizieren sind, oder eine sehr große
Menge von Trainingsdaten müßte für das Training eines Gesamtklassifikators in bereits
klassifizierter Form vorliegen.
Deshalb wird erfindungsgemäß ein Verfahren vorgeschlagen, das mit unüberwachtem
Training arbeitet. Aufgrund der a priori nicht bekannten Statistik der Eingangssignale
eignen sich aber selbstorganisierende Karten zur Datenreduktion und zum Clustering
der Daten nicht. Experimente haben ergeben, daß das erfindungsgemäße zweistufige
Verfahren, bestehend aus einer Datenreduktion mit Hilfe eines neuronalen Algorithmus
und einem anschließenden hierarchischen Clustering besser zur Lösung dieser Aufgabe
geeignet ist.
Dank einer geeigneten Lernregel und eines geeigneten Aufbaus des neuronalen Netz
werkes ist das Training dieses Netzwerkes deutlich schneller als bei bekannten Verfah
ren zur Datenreduktion. Somit kann das Netzwerk für jeden gemessenen Datensatz neu
trainiert werden. Dadurch ist sichergestellt, daß das Verfahren auch dann richtig arbei
tet, wenn zwischen den einzelnen gemessenen Datensätzen große Streuungen bestehen,
und solche Streuungen kommen bei biomedizinischen Datensätzen häufig vor. Dank
des sehr schnellen Lernverfahrens ist es auch möglich, in einem Schritt mehrdimensio
nale Signale auf sehr wenige relevante Dimensionen zu reduzieren. Die von Redundanz
befreiten Daten werden in einem hierarchischen Verfahren geclustert. Dieses Verfahren
ist bei selten auftretenden Mustern einem k-means Clusterverfahren überlegen. Dank
einer neuartigen Vorgehensweise beim Verschmelzen der einzelnen Cluster ist die An
zahl der notwendigen Abstandsberechnungen minimal.
Claims (8)
1. Verfahren zur Vorklassifikation von hochdimensionalen Merkmalsvektoren für
Zwecke der Signalverarbeitung mit folgenden Schritten:
- a) in einem ersten Datenreduktionsschritt wird die Dimensionalität der hochdimensio nalen Merkmalsvektoren verringert, indem niederdimensionale Merkmalsvektoren yl mit Komponenten yl, i aus den hochdimensionalen Merkmalsvektoren xl mit Komponen ten xl, k mit Hilfe einer Gewichtsmatrix W mit Komponenten wi, k nach der Beziehung yl, i = Σk wi, k · xl, kberechnet werden, w obei die Matrix W mit Hilfe einer Iteration der Formwi, j(t+1) = wi, j(t)+η · yl, i(t) · (xl, j-Σk=1, . . ., i yl, k(t) · wk, j(t))aus einer zufällig initialisierten Matrix W(t=0) gewonnen wird, η ein Lernfaktor mit Werten 0 <= η <= 1 ist und yl, i(t) durchyl, i(t) = Σk wi, k(t) · xl, kgegeben ist;
- b) in einem zweiten Schritt werden die niederdimensionalen Merkmalsvektoren yl in einzelne Cluster gruppiert, indem
- - jedem Merkmalsvektor yl zunächst ein eigenes Cluster zugeordnet wird,
- - die Abstände zwischen allen Clustern ermittelt werden, und
- - benachbarte Cluster mit minimalem Abstand sukzessive verschmolzen werden, bis ein vorgegebenes Abbruchkriterium erreicht ist.
2. Verfahren nach Anspruch 1, bei dem der Abstand zwischen zwei Clustern ermittelt
wird, indem der minimale Abstand zwischen allen Paaren von Merkmalsvektoren ermit
telt wird, deren Merkmalsvektoren jeweils einen dieser beiden Cluster angehören.
3. Verfahren nach Anspruch 1, bei dem der Abstand zwischen zwei Clustern als Ab
stand ihrer Schwerpunktsvektoren ermittelt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Abbruchkrite
rium erfüllt ist, wenn der minimale Abstand aller vorhandenen Cluster eine vorgege
bene Schwelle überschreitet.
5. Verfahren nach einem der Ansprüche 1 bis 3, bei dem das Abbruchkriterium erfüllt
ist, wenn die Anzahl der vorhandenen Cluster eine vorgegebene Schwelle unterschrei
tet.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Merkmalsvekto
ren xl aus einem periodischen oder quasiperiodischen Signal extrahiert worden sind,
und der Musterindex 1 die einzelnen Perioden dieses Signals numeriert.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Komponenten xl,i
der Merkmalsvektoren xl zeitlichen Abtastwerten eines Signals entsprechen.
8. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche zur Vor
verarbeitung biomedizinischer Signale.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4207595A DE4207595A1 (de) | 1992-03-10 | 1992-03-10 | Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung |
PCT/DE1993/000216 WO1993018473A1 (de) | 1992-03-10 | 1993-03-09 | Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren für zwecke der signalverarbeitung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4207595A DE4207595A1 (de) | 1992-03-10 | 1992-03-10 | Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung |
Publications (1)
Publication Number | Publication Date |
---|---|
DE4207595A1 true DE4207595A1 (de) | 1993-09-16 |
Family
ID=6453695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4207595A Withdrawn DE4207595A1 (de) | 1992-03-10 | 1992-03-10 | Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE4207595A1 (de) |
WO (1) | WO1993018473A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10048308B4 (de) * | 2000-09-29 | 2010-04-29 | Diehl Bgt Defence Gmbh & Co. Kg | Verfahren und Vorrichtung zum Klassifizieren von Objekten aus als Pixelmuster vorliegenden eingangsseitigen Bilddaten |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108309284A (zh) * | 2018-03-15 | 2018-07-24 | 广州视源电子科技股份有限公司 | 心电图t波终点检测方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2658336A1 (fr) * | 1990-02-09 | 1991-08-16 | Philips Electronique Lab | Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches. |
US5048100A (en) * | 1988-12-15 | 1991-09-10 | Michael Kuperstein | Self organizing neural network method and system for general classification of patterns |
US5058180A (en) * | 1990-04-30 | 1991-10-15 | National Semiconductor Corporation | Neural network apparatus and method for pattern recognition |
DE3938645C1 (de) * | 1989-11-01 | 1992-05-21 | Hughes Aircraft Co., Los Angeles, Calif., Us |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE514986C (de) * | 1928-03-07 | 1930-12-22 | John Paramor | Vorrichtung zur Verstellung von Doppelexzentern |
EP0329356A3 (de) * | 1988-02-17 | 1991-10-09 | Wayne State University | Physiologische Wellenformanalyse |
US4912649A (en) * | 1988-12-14 | 1990-03-27 | Gte Government Systems Corporation | Accelerating learning in neural networks |
DE69130656T2 (de) * | 1990-06-14 | 1999-06-17 | Canon Kk | Neuronale Netzwerke |
-
1992
- 1992-03-10 DE DE4207595A patent/DE4207595A1/de not_active Withdrawn
-
1993
- 1993-03-09 WO PCT/DE1993/000216 patent/WO1993018473A1/de active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5048100A (en) * | 1988-12-15 | 1991-09-10 | Michael Kuperstein | Self organizing neural network method and system for general classification of patterns |
DE3938645C1 (de) * | 1989-11-01 | 1992-05-21 | Hughes Aircraft Co., Los Angeles, Calif., Us | |
FR2658336A1 (fr) * | 1990-02-09 | 1991-08-16 | Philips Electronique Lab | Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches. |
US5058180A (en) * | 1990-04-30 | 1991-10-15 | National Semiconductor Corporation | Neural network apparatus and method for pattern recognition |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10048308B4 (de) * | 2000-09-29 | 2010-04-29 | Diehl Bgt Defence Gmbh & Co. Kg | Verfahren und Vorrichtung zum Klassifizieren von Objekten aus als Pixelmuster vorliegenden eingangsseitigen Bilddaten |
Also Published As
Publication number | Publication date |
---|---|
WO1993018473A1 (de) | 1993-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Haselsteiner et al. | Using time-dependent neural networks for EEG classification | |
DE69433456T2 (de) | Vorrichtung zum Klassifizieren von Herzrhythmen basierend auf der Morphologie des Elektrogramms | |
DE69730811T2 (de) | Anlage zur Bilderkennung | |
EP0582885A2 (de) | Verfahren zur Klassifizierung von Feldmustern | |
DE3938645C1 (de) | ||
EP3245943A1 (de) | Verfahren zur berührungslosen ermittlung und aufbereitung von schlafbewegungsdaten | |
CN113180659A (zh) | 一种基于三维特征和空洞全卷积网络的脑电情感识别系统 | |
DE102020212515A1 (de) | Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernsystems | |
DE4039648A1 (de) | Messwertverarbeitungssystem fuer ein biologisches objekt | |
DE19504664C2 (de) | Chaotisches rekurrentes neuronales Netz und Lernverfahren dafür | |
DE3733391A1 (de) | Verfahren zur spracherkennung | |
EP0750764B1 (de) | Verfahren und anordnung zur fuzzy-regelung | |
EP1252566B1 (de) | Anordnung miteinander verbundener rechenelemente und verfahren zur rechnergestützten ermittlung eines zweiten zustands eines systems in einem ersten zustandsraum aus einem ersten zustand des systems in dem ersten zustandsraum | |
EP1519301A2 (de) | Vorrichtung zur klassifikation physiologischer Ereignisse | |
EP1015998A2 (de) | Verfahren zur erfassung zeitabhängiger moden dynamischer systeme | |
DE4207595A1 (de) | Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung | |
DE4121453C2 (de) | Näherungsschlußfolgerungsvorrichtung | |
EP0890153B1 (de) | Verfahren zur ermittlung von zur entfernung geeigneten gewichten eines neuronalen netzes mit hilfe eines rechners | |
DE4209296A1 (de) | Wort- und wortkettenerkennungssystem auf der basis eines neuronalen netzes mit automatischer zellbildung und -komprimierung sowie nachlernverfahren | |
EP0591259B1 (de) | Verfahren zur verarbeitung von unsicherheiten von eingangsdaten in neuronalen netzwerken | |
DE4225885C2 (de) | Korrelationsermittlungsverfahren und Verknüpfungsstruktur-Schätzverfahren für Neuronen | |
EP0952501B1 (de) | Verfahren zur datengetriebenen Prozessführung und Prozessoptimierung von technischen Vorgängen | |
EP0943130B1 (de) | Verfahren zur nichtstationären trennung von signalen unterschiedlicher quellen | |
EP0477733A2 (de) | Zellteilungsnetzwerke zur Inplementierung lernender Netzwerkkonfigurationen | |
WO2000011601A2 (de) | Verfahren zum trainieren eines neuronalen netzes, verfahren zur klassifikation einer folge von eingangsgrössen unter verwendung eines neuronalen netzes, neuronales netz und anordnung zum trainieren eines neuronalen netzes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
8139 | Disposal/non-payment of the annual fee |