DE10120498A1 - Verfahren und Vorrichtung zur Erfassung von Objektzuständen - Google Patents
Verfahren und Vorrichtung zur Erfassung von ObjektzuständenInfo
- Publication number
- DE10120498A1 DE10120498A1 DE10120498A DE10120498A DE10120498A1 DE 10120498 A1 DE10120498 A1 DE 10120498A1 DE 10120498 A DE10120498 A DE 10120498A DE 10120498 A DE10120498 A DE 10120498A DE 10120498 A1 DE10120498 A1 DE 10120498A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- mask
- images
- analysis
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims description 63
- 230000033001 locomotion Effects 0.000 claims description 38
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 26
- 230000003936 working memory Effects 0.000 claims description 20
- 210000004027 cell Anatomy 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 6
- 210000003850 cellular structure Anatomy 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 24
- 230000000737 periodic effect Effects 0.000 description 18
- 230000005684 electric field Effects 0.000 description 10
- 230000036961 partial effect Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 239000002245 particle Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 239000000758 substrate Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000003534 oscillatory effect Effects 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000002834 Paulownia tomentosa Species 0.000 description 1
- 235000010678 Paulownia tomentosa Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004720 dielectrophoresis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005662 electromechanics Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000010562 histological examination Methods 0.000 description 1
- 238000002847 impedance measurement Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000000608 laser ablation Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012576 optical tweezer Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 210000005253 yeast cell Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1484—Optical investigation techniques, e.g. flow cytometry microstructural devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
- G01N15/147—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N2015/1447—Spatial selection
Landscapes
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Dispersion Chemistry (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
Zur Erfassung des Zustands eines Objektes werden mindestens zwei Bilder des Objektes gespeichert und Bildwerte ihrer Bildpunkte an mindestens einem vorgewählten Maskenpunkt von einem Filter ermittelt. Die gespeicherten Bildwerte werden dann analysiert.
Description
Die Erfindung betrifft ein Verfahren zur Erfassung von Objekt
zuständen, insbesondere zur Erfassung des Bewegungszustands,
von Oberflächenmerkmalen oder des Vorhandenseins mindestens
eines Objekts, z. B. in einem Messsystem, und eine Vorrichtung
zur Umsetzung des Verfahrens.
Es ist allgemein bekannt, fluidische Mikrosysteme zur teil
chenspezifischen Manipulierung mikroskopisch kleiner Objekte
unter der Wirkung hydrodynamischer und/oder elektrischer Kräf
te zu verwenden. Die Manipulierung biologischer Teilchen in
Mikrosystemen mit hochfrequenten elektrischen Feldern auf der
Grundlage negativer Dielektrophorese wird beispielsweise von
G. Fuhr et al. in "Naturwissenschaften", Bd. 81, 1994, S. 528
ff., beschrieben. Die Manipulierung der Objekte umfasst u. a.
eine Sortierung nach bestimmten Eigenschaften, eine Objektver
änderung unter Wirkung elektrischer Felder (z. B. Zellpora
tion), eine chemische Behandlung, eine gegenseitige Zusammen
führung und Wechselwirkung der Objekte und dergleichen. Die
Bereitstellung vorbestimmter hydrodynamischer und/oder elekt
rischer Kräfte erfolgt durch die Gestaltung der Kanalstruktur
des Mikrosystems bzw. die geometrische Form von Mikroelektro
den zur Ausbildung hochfrequenter elektrischer Felder und de
ren Ansteuerung.
Zur Charakterisierung von suspendierten Mikroobjekten wie La
texpartikeln, lebenden Zellen etc. werden seit langem über
elektrische Rotations- und Wechselfelder induzierte Bewegungen
genutzt (siehe z. B. U. Zimmermann et al. in "Electromanipula
tion of Cells", CRC Press Inc., 1996). Es kann sich dabei um
Rotationsbewegungen oder um oszillatorische Bewegungen auf ei
ner geradlinigen oder gekrümmten Bewegungsbahn handeln. Aus
der Bewegungsgeschwindigkeit des Objektes als auch aus seiner
Auslenkung kann auf passive elektrische Eigenschaften ge
schlossen werden. In der Regel liegen die Rotationsgeschwin
digkeiten der Objekte im Bereich von 100 Umdrehungen pro Se
kunde bis zu 1 Umdrehung pro Minute, typischerweise langsamer
als 10 Umdrehungen pro Sekunde. In gleicher Größenordnung lie
gen die Zeiten der oszillatorischen Bewegungen.
Insbesondere für biologisch-medizinische Fragestellungen hat
sich dieses Verfahren als der Impedanzmessung vergleichbar und
hochauflösend erwiesen. Die Rotation des Objektes verhält sich
dabei proportional zum Imaginärteil des Clausius-Mosotti-Fak
tors, während die oszillatorische Bewegung in einem inhomoge
nen Wechselfeld dem Realteil dieses Faktors entspricht (siehe
T. B. Jones in "Electromechanics of Particles", Cambridge Uni
versity Press, Cambridge, 1995).
Verfahren zur Erfassung der Rotation sind beispielsweise aus
DE 33 25 843 und DD-Wirtschaftspatent WP GO1N/281223, 1986,
bekannt. Dabei handelt es sich um die alternierende Applikati
on zweier Anregungsfelder unterschiedlicher Drehrichtung, bei
denen die Anschaltzeiten elektronisch verändert werden können.
Diese werden so lange variiert, bis der Stillstand des Objek
tes eintritt. Der Stillstand des Objektes wurde bislang jedoch
ebenfalls ausschließlich über visuelle Beobachtung bestimmt.
Es ist auch bekannt, die Präsenz von kleinen Teilchen in Sus
pensionen auf der Basis von Streulichtmessungen zu erfassen
(siehe J. Gimsa et al. in "Colloids and Surfaces A" Bd. 98,
1995, S. 243-249). Dieses Prinzip läßt sich jedoch nur bei ei
ner Vielzahl von Teilchen (in der Regel einige Hundert oder
mehr) und somit teilchenunspezifisch realisieren. Außerdem
lassen sich keine Angaben über den Bewegungszustand von Teil
chen (Ort, Geschwindigkeit oder dergleichen) ableiten.
Es ist bekannt, die Bewegung komplex strukturierter Objekte
über Bildverarbeitungssysteme zu erfassen. Dazu wird das mik
roskopisch erzeugte Bild zu verschiedenen Zeitpunkten elektro
nisch aufgenommen, gespeichert und versucht, über eine ent
sprechende Raumtransformation einer Vielzahl von Bildpunkten
die erfolgte Bewegung zu rekonstruieren. Diese Verfahren haben
den Nachteil hoher Informationsverarbeitungsdichte und damit
langwieriger und aufwendiger Rechnerverarbeitung (siehe De
Gasperis et al. in "Meas. Sci. Techn." Bd. 9, 1998, S. 518-
529). Besondere Schwierigkeiten treten bei Veränderungen der
Objektstruktur während der Messung auf, z. B. bei Verlagerung
in der Fokusebene, Lageänderungen des Objektes und bei schwach
kontrastierten Objekten. Zudem rotieren nicht-sphärische oder
mit einer Laserpinzette stabilisierte Zellen in rotierenden
elektrischen Feldern konstanter Frequenz häufig nicht mit kon
stanter Winkelgeschwindigkeit während einer Objektumdrehung.
Damit liefern die Bilderkennungsverfahren, die auf der Analyse
weniger Bilder beruhen, unzuverlässige Messwerte.
Die bisher bekannten Mikrosysteme erlauben zwar eine Kontrolle
der jeweiligen Objektmanipulierung mit optischen Mitteln, z. B.
unter Verwendung eines Mikroskops mit einer Kamera. Diese
optische Kontrolle ist jedoch bisher auf visuelle Überprüfun
gen oder den Einsatz aufwendiger Bilderkennungsverfahren zur
Bearbeitung des Kamerabildes beschränkt. Die Bildverarbei
tungsverfahren sind jedoch, soll eine Echtzeit-Kontrolle aus
geübt werden, für die auftretenden Objektgeschwindigkeiten er
heblich zu langsam. Dadurch ist bisher die Implementierung au
tomatischer Systemregelungen, bei denen beispielsweise be
stimmte Verfahrensverläufe in Abhängigkeit von Ort, Bewegungs
zustand oder Anzahl beobachteter Objekte erfolgen, ausge
schlossen.
Aus der PCT/EP97/07218 ist ein Verfahren zur Bewegungserfas
sung an mikroskopischen Objekten bekannt, die eine zumindest
teilweise periodische Bewegung ausführen. Dieses Verfahren ba
siert auf der Anwendung einer Fourier-Analyse eines Detektor
signals, das die Objektbewegung über eine Vielzahl von Bewe
gungsperioden charakterisiert. Es stellt eine erhebliche Ver
einfachung gegenüber der Anwendung von computergestützten
Bildverarbeitungsverfahren dar, ist jedoch in der Anwendung
auf periodische Bewegungen beschränkt. Im Allgemeinen treten
in einem Mikrosystem jedoch auch nicht-periodische Bewegungen
oder Ruhezustände der Objekte auf, an deren Detektion insbe
sondere zur automatischen Steuerung eines Mikrosystems ein In
teresse besteht.
Bei dem in PCT/EP00/00621 beschriebenen Verfahren zur Detek
tion mikroskopisch kleiner Objekte ist eine strukturierte Mas
ke im Strahlengang oder am Detektor einer Messeinrichtung vor
gesehen, die eine charakteristische Dimension besitzt, die
kleiner als die Dimension des Objekts am jeweiligen Ort der
Maske ist. Die Auswertung des von der Maske übertragenen Lich
tes erlaubt Aussagen über das Vorhandensein des Objekts, sei
ner Position, seiner Form oder die zeitliche Änderung seiner
Position. Das in PCT/EP00/00621 beschriebene Verfahren besitzt
den Nachteil eines hohen Justageaufwands und einer geringen
Variabilität bei der Objektdetektion. Die Objektzustände kön
nen nur in Echtzeit auf der Grundlage des von der Maske über
tragenen Lichtes erfasst werden. Die Anwendbarkeit des Verfah
rens ist auf Objekte beschränkt, bei denen die erfassten Bil
der in Bezug auf die äußere Form oder die Oberflächeneigen
schaften beispielsweise auf der Grundlage von Kontrasten oder
bestimmten Bildmerkmalen eine Bildauswertung ermöglichen.
Die Aufgabe der Erfindung ist es, ein verbessertes Verfahren
zur Erfassung von Objektzuständen bereitzustellen, mit dem die
Nachteile der herkömmlichen Techniken überwunden werden und
das sich insbesondere durch einen erweiterten Einsatzbereich
und einen geringen Bearbeitungsaufwand auszeichnet. Das erfindungsgemäße
Verfahren soll insbesondere ermöglichen, die Aus
wertungsqualität im Verfahrensverlauf zu verbessern. Die Zu
standserfassung soll problemlos an verschiedene Objekte oder
Messsituationen angepasst werden können. Die Aufgabe der Er
findung ist es auch, eine Vorrichtung zur Umsetzung des Ver
fahrens und Anwendungen des Verfahrens anzugeben.
Diese Aufgaben werden mit einem Verfahren und einer Vorrich
tung mit den Merkmalen gemäß den Patentansprüchen 1 und 14 ge
löst. Vorteilhafte Ausführungsformen und Anwendungen der Er
findung ergeben sich aus den abhängigen Ansprüchen.
Die Grundidee der Erfindung ist es, eine Vielzahl von Objekt
bildern oder Objektteilbildern in einer Arbeitsspeicherein
richtung bereitzustellen, die relativ zu einer Sensoreinrich
tung, z. B. Mess- und Kameraeinrichtung, zur Aufnahme der Bil
der nachgeordnet ist. Abweichend vom herkömmlichen Verfahren
unter Verwendung einer strukturierten Maske, die im Strahlen
gang und/oder am Detektor angeordnet ist, wird beim erfin
dungsgemäßen Verfahren die Maskierung von der Bildaufnahme in
den Bereich der Bildauswertung verlagert. In einer Analysator
schaltung werden die Bildwerte mindestens eines ausgewählten
Maskenpunktes für eine vorbestimmte Messzeit (oder laufend)
und/oder für eine vorbestimmte Anzahl von Bildern verarbeitet,
um den Zustand und/oder das Vorhandensein mindestens eines Ob
jekts zu erfassen.
Die Vielzahl von Bildern (digitale Pixelbilder) repräsentieren
eine zeitliche Folge von Objektzuständen und/oder eine Viel
zahl von Objekten oder Objektteilen. Damit kann eine zeitliche
(periodische oder nicht-periodische) Entwicklung eines Objekt
zustandes oder eine, ggf. zeitunabhängige, räumliche Struktur
von einem oder mehreren Objekten oder Objektteilen erfaßt wer
den. Mit besonderem Vorteil lassen sich auch beide Gesichts
punkte gleichzeitig analysieren.
Als Zustand des Objekts werden vorzugsweise der Bewegungszu
stand, Oberflächenmerkmale, Volumenmerkmale von Objekten mit
zumindest teilweise transparenter Oberfläche und/oder Größen
merkmale des Objektes ermittelt.
Durch die erfindungsgemäße Trennung von Bildaufnahme und Bild
auswertung werden eine Reihe von Vorteilen erzielt, die einer
seits die Vermeidung von Justierschritten und andererseits die
hohe Variabilität bei der Maskenwahl betreffen. Trotz der ge
nannten Trennung kann die Objekterfassung in Echtzeit erfol
gen. Die ausgewählte Maske kann während des Verfahrensablaufs
an die Objekt- und/oder Messbedingungen angepasst werden. Es
kann eine Nachanalyse von aufgenommenen und gespeicherten Bil
dern erfolgen.
Gemäß einer bevorzugten Ausführungsform der Erfindung erfolgt
bei der Erfassung von Objektzuständen eine zeitlich veränder
liche Auswahl von Maskenpunkten. Einzelne Maskenpunkte, ein
zelne Masken oder mehrere Masken werden in Bezug auf ihre La
ge, Anzahl und/oder Größe anwendungsabhängig entsprechend ei
nem vorbestimmten Zeitprogramm oder in Abhängigkeit vom er
fassten Zustand des Objekts oder in Abhängigkeit von Messbe
dingungen verändert.
Die Bereitstellung der Bilder in einer Arbeitsspeichereinrich
tung ermöglicht vorteilhafterweise die Durchführung einer ein
fachen Bildvorbearbeitung der Bilder, z. B. eine Kontrasterhö
hung oder eine Erzeugung von Differenzbildern. Durch heute
verfügbare Rechner mit hohen Rechenleistungen ist diese zwi
schengeschaltete Bildbearbeitung möglich, ohne auf die Echt
zeitfähigkeit oder Quasi-Echtzeitfähigkeit der Zustandserfas
sung verzichten zu müssen. Mit der Bildbearbeitung wird ermög
licht, dass anwendungsabhängig bestimmte Objekte mit kontrast
armen Oberflächen oder undefinierten Umrissformen überhaupt
erst der erfindungsgemäßen Zustandserfassung zugänglich wer
den.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfin
dung wird die Bildaufnahme und die erfindungsgemäße Zustands
erfassung zeitlich voneinander getrennt. Die mit der Sensor
einrichtung aufgenommenen Bilder werden beispielsweise zu
nächst in einem Bildspeicher in Form von Bildfolgen (z. B. Vi
deosequenzen) gespeichert. Zur Durchführung des erfindungsge
mäßen Verfahrens werden die Bilder von der Bildspeicherein
richtung in der Arbeitsspeichereinrichtung bereitgestellt und
dort der Maskenpunktauswahl und Analyse unterzogen. Dieses
Verfahren besitzt den Vorteil, dass Bildfolgen ggf. wiederholt
mit verschiedenen Maskierungen oder mit Blick auf verschiedene
Objekteigenschaften ausgewertet werden können.
Die erfindungsgemäße Zustandserfassung wird vorzugsweise an
mikroskopisch kleinen Objekten (typische Dimensionen: < 100 µm)
durchgeführt, die beispielsweise in fluidischen Mikrosys
temen unter Anwendung hydrodynamischer, dielektrischer
und/oder optischer Kräfte bewegt, gehaltert, vermessen
und/oder behandelt werden. Es erfolgt vorzugsweise die Erfas
sung von Rotations- und Oszillationsbewegungen an Mikroobjek
ten in rotierenden elektrischen Feldern, z. B. in einer Feld
falle, oder in sich anderweitig periodisch ändernden Wechsel
feldern, wobei ggf. eine Halterung mit einer sog. Laserpinzet
te (optischer Käfig oder "optical tweezer") vorgesehen ist.
Die erfindungsgemäße Objekterfassung kann aber auch an Fest
phasen-adsorbierten Mikroobjekten oder makroskopischen Körpern
umgesetzt werden, wie dies unten erläutert wird.
Besonders bevorzugt wird die Erfindung zur Erfassung des Zu
standes und/oder des Vorhandenseins von biologischen Objekten,
insbesondere Zellen, Zellbestandteilen, Zellgruppen oder Zell
schnitten, angewendet.
Gegenstand der Erfindung ist auch eine Vorrichtung zur Erfas
sung von Objektzuständen mit einer Arbeitsspeichereinrichtung
zur Bereitstellung von mindestens zwei Bildern eines Objekts
oder eines Objektteils, einer Filtereinrichtung zur Ermittlung
von Bildwerten der Bilder an mindestens einem vorgewählten
Maskenpunkt und einer Analysatorschaltung, die zur Analyse der
Bildwerte der Maskenpunkte eingerichtet ist. Die Arbeitsspei
chereinrichtung umfasst vorzugsweise einen Framegrabber-
Schaltkreis (Framegrabber-Karte).
Die Erfindung besitzt die folgenden Vorteile. Die Zustandser
fassung ist ohne besonderen Aufwand automatisierbar. Zur Um
setzung des Verfahrens können an sich verfügbare Systeme, wie
z. B. CCD-Kameras und Framegrabber-Karten, verwendet werden.
Zur Analyse von Bildwerten können herkömmliche Methoden zur
Objekttransformation, die sich durch einen hohen Rechenaufwand
auszeichnen, vermieden werden. Es können Objektrotationen in
kurzen Messzeiten erfasst werden. So wird zur Ermittlung der
Objektrotation (Drehfrequenz) eine Folge von Bildern benötigt,
die z. B. nur 1.5 Umdrehungen abdecken müssen. Es reichen bei
spielsweise 8 bis 10 Bilder zur Ermittlung eines zuverlässigen
Rotationswertes. Die Zustandserfassung ist auch zur Analyse
von nicht-konstanten Rotationsgeschwindigkeiten geeignet.
Weitere Einzelheiten und Vorteile der Erfindung werden im Fol
genden unter Bezug auf die beigefügten Zeichnungen beschrie
ben. Es zeigen:
Fig. 1 eine Blockdarstellung einer erfindungsgemäßen
Vorrichtung,
Fig. 2 eine schematische Darstellung einer Anwendung
der Erfindung in der Mikrosystemtechnik,
Fig. 3 eine schematische Illustration der erfin
dungsgemäßen Maskierung von Bildern,
Fig. 4 eine Kurvendarstellung des Zeitverlaufs von
Bildwerten bei einer Rotationsmessung,
Fig. 5 eine Kurvendarstellung des Zeitverlaufs einer
Rotationsmessung mit nicht-konstanter Umdre
hungsfrequenz,
Fig. 6 eine schematische Illustration der Kombinati
on eines Mikroelektrodensystems mit einer La
serpinzette,
Fig. 7 verschiedene Ausführungsformen erfindungsge
mäß verwendeter Masken,
Fig. 8 eine Illustration der Erfassung periodischer
Bewegungen,
Fig. 9, 10 Illustrationen der Erfassung von Wachstums
prozessen,
Fig. 11, 12 Illustrationen der Zustandserfassung an
makroskopischen Körpern,
Fig. 13 eine Illustration eines Objektes mit diskre
ter Rotationssymmetrie, und
Fig. 14 eine Illustration des erfindungsgemäßen Zäh
lens von Objekten.
Die Blockdarstellung in Fig. 1 zeigt schematisch eine Ausfüh
rungsform einer erfindungsgemäßen Vorrichtung 100 zur Erfas
sung von Objektzuständen mit einer Arbeitsspeichereinrichtung
10, einer Filtereinrichtung 20, einer Analysatoreinrichtung 30
und einer Anzeige-, Speicherungs- und/oder Ausgabeeinrichtung
40. Die Arbeitsspeichereinrichtung 10 enthält den Arbeitsspei
cher 11 und ggf. eine Bildgebereinrichtung 12, die dem Ar
beitsspeicher 11 eingangsseitig vorgeschaltet sind. Die Bild
gebereinrichtung 12 ist mit einer Bildquelle 50 verbunden und
dient der Zuführung von Bildwerten, die jeweils Bildpunkten
der von der Bildquelle 50 bereitgestellten Bilder entsprechen,
in den Arbeitsspeicher 11. Anwendungsabhängig kann die Bild
quelle 50 auch direkt mit dem Arbeitsspeicher 11 verbunden
sein.
Die Bildquelle 50 umfasst eine Sensoreinrichtung 51 und/oder
einen Bildspeicher 52. Die Sensoreinrichtung 51 wird vorzugs
weise durch ein Mess- und/oder Kamerasystem gebildet und ent
hält z. B. eine CCD-Kamera. Die Sensoreinrichtung 51 ist mit
dem Bildspeicher 52, der als Zwischenspeicher dient, und der
Arbeitsspeichereinrichtung 10 verbunden. Als Bildspeicher 52
kann jedes in der Video- und Rechentechnik übliche Speicherme
dium verwendet werden. Die Sensoreinrichtung ist zum Lichtemp
fang von dem Messsystem verbunden, in dem sich das mindestens
eine Objekt zumindest zeitweilig befindet, dessen Zustand er
fasst werden soll (optische Kopplung von Sensoreinrichtung und
Messsystem).
Im Arbeitsspeicher 11 werden als punktweise zugeordnete Bild
werte in digitaler Form Daten gespeichert, wie sie als Bildpa
rameter an sich bekannt sind. Diese Daten umfassen beispiels
weise Rot-, Grün- und/oder Blau-Farbdaten, andere Farb- oder
Grauwerte oder auch andere Datentypen, die für Objekteigen
schaften charakteristisch sind, wie z. B. Temperaturdaten. Im
Arbeitsspeicher 11 ist jeweils mindestens ein Bild in Form der
zugehörigen punktweisen Bildwerte gespeichert. Es werden min
destens die Bildwerte gespeichert, die zur Umsetzung des er
findungsgemäßen Verfahrens verwendet werden sollen. Es können
auch mehrere oder alle zu einem Messzyklus gehörigen Bilder
oder mehrere zu einem bestimmten Objektzustand gehörende Bil
der, die sich aus verschiedenen Datentypen von Bildwerten zu
sammensetzen, gespeichert sein. Wenn das erfindungsgemäße Ver
fahren mit mehreren Masken umgesetzt wird, können auch für die
verschiedenen Masken verschiedene Bildwerte gespeichert
und/oder verarbeitet werden.
Mit dem Arbeitsspeicher 11 ist die Filtereinrichtung 20 ver
bunden, mit der die Bildwerte von mindestens einem vorbestimm
ten Maskenpunkt an die Analysatorschaltung 30 übergeben wer
den. Die Filtereinrichtung 20 ist zur Auswahl des mindestens
einen Maskenpunktes eingerichtet. Dies erfolgt anwendungsab
hängig durch Auswahl eines bestimmten Maskenpunktes oder von
mehreren Maskenpunkten, die eine oder mehrere zusammenhängende
oder voneinander getrennte Masken innerhalb der im Arbeits
speicher 11 gespeicherten Bilder bilden. Optional kann die
Maskenauswahl mit einer Maskengebereinrichtung 60 gesteuert
werden, die mit der Analysatorschaltung 30, einem Sensor 70
und/oder einer manuellen Eingabeeinrichtung 80 verbunden ist.
Die Maskengebereinrichtung 60 ist mit der Analysatorschaltung
30 verbunden, um ggf. die Maskenauswahl in Abhängigkeit vom
Analyseergebnis zu ändern und/oder die Funktion der Analysa
torschaltung 30 in Abhängigkeit von der Maskenauswahl zu steu
ern.
Mit der Analysatorschaltung 30 werden die Bildwerte der Mas
kenpunkte entsprechend den unten erläuterten Prozeduren ausge
wertet, um Größen zu ermitteln, die für den Objektzustand cha
rakteristisch sind. Diese Größen sind insbesondere der Bewe
gungszustand, die Oberflächeneigenschaften, die Größe und/oder
das Vorhandensein oder Fehlen eines Objekts. Entsprechende Da
ten werden von der Analysatorschaltung 30 an die Anzeige-,
Speicher- und/ oder Ausgabeeinrichtung 40 und ggf. an die Mas
kengebereinrichtung 60 geleitet.
Die Analysatorschaltung 30 kann auch mit der Sensoreinrichtung
51 der Bildquelle 50 und/oder einer in Fig. 1 nicht illust
rierten Einrichtung zur Beeinflussung von Messbedingungen der
Sensoreinrichtung 51 verbunden sein. Dies ermöglicht bei
spielsweise die Steuerung der Beleuchtung und/oder des Fokus
bei der Bildaufnahme in Abhängigkeit vom Analyseergebnis.
Die Einbindung der Vorrichtung 100 in ein praktisch realisier
tes Messsystem ist in Fig. 2 illustriert. Das Messsystem 200
umfasst ein fluidisches Mikrosystem 210, das als Mikrochip mit
integrierten Kanalstrukturen und Fluidanschlüssen (nicht dar
gestellt) und Mikroelektroden 211 gebildet ist, einen Hochfre
quenzgenerator 220 zur Ansteuerung des Mikrosystems 210 und
ein Mikroskop 230 zur Beobachtung des Objektes 1 im Mikrosys
tem 210. Das Mikroskop 230 ist mit einer CCD-Kamera 51 ausges
tattet, die mit der Vorrichtung 100 zur Erfassung des Bewe
gungszustandes des Objektes 1 verbunden oder ein Teil von die
ser ist.
Mit dem Hochfrequenzgenerator 220 werden Wechselspannungen er
zeugt und auf die Mikroelektroden 211 übertragen. Die Mikro
elektroden (nur vier Elektroden illustriert) bilden z. B. eine
Oktopolanordnung zur Bildung eines elektrischen Feldkäfigs,
mit dem Objekte eingefangen, gehalten und/oder in Rotation
versetzt werden können (siehe z. B. T. Schnelle et al. in
"Biochim. Biophys. Acta", Band 1157, 1993, Seite 127 ff.).
Beispielsweise wird bei Erzeugung eines hochfrequent rotieren
den elektrischen Feldes im Feldkäfig unter Wirkung
dielektrophoretischer Kräfte eine Rotation des Objektes 1 aus
gelöst. Aus der Rotationsgeschwindigkeit, die mit dem erfin
dungsgemäßen Verfahren ermittelt werden soll, können Aussagen
über dielektrische Eigenschaften des Objektes getroffen werden.
Das Objekt ist beispielsweise eine biologische Zelle, ein
Zellbestandteil, ein synthetischer Partikel oder auch eine
Gruppe derartiger Partikel.
Mit dem Mikroskop 230 wird das Objekt 1 auf die CCD-Kamera 51
abgebildet, mit der ein Bildsignal (z. B. Videosignal) erzeugt
und an einen Bildspeicher (siehe Fig. 1, z. B. Videorecorder,
DVD-Recorder) und/oder die Arbeitsspeichereinrichtung der er
findungsgemäßen Vorrichtung 100 weitergeleitet wird. Die Vor
richtung 100 wird vorzugsweise durch einen Computer bereitge
stellt, der mit einer geeigneten Hardware-Schnittstelle zum
Einlesen der Bildsignale von der CCD-Kamera 51 und entspre
chender Hard- und/oder Software zur Bildauswertung entspre
chend dem erfindungsgemäßen Verfahren ausgestattet ist. Die
Vorrichtung 100 ist mit dem Hochfrequenzgenerator 220 und ggf.
auch mit dem Mikroskoptisch des Mikroskops 230 und/oder Senso
ren (z. B. Temperaturmessfühler) am Mikrosystem 210 verbunden.
Ein mit der CCD-Kamera 51 aufgenommenes mikroskopisch vergrö
ßertes Bild des Mikrosystems 210 ist beispielhaft in Fig. 3
dargestellt. Um periodische Bewegungen des Objektes 1 auswer
ten zu können, muss ein Signal generiert werden, das mit der
Periodik der Objektbewegung in einem vorbestimmten Zusammen
hang steht. Hierzu werden die Bildwerte von Bildpunkten analy
siert, die zu vorab ausgewählten Masken gehören.
Bei abgewandelten Ausführungsformen der Erfindung, insbesonde
re zur Erfassung des Zustandes und/oder des Vorhandenseins von
Zellen, Zellbestandteilen, Zellgruppen und/oder Zellschnitten,
kann das Mikroskop 230 unabhängig von einem Mikrochip betrie
ben und stattdessen mit anderen Substraten kombiniert werden,
die die jeweiligen Objekte tragen (z. B. Substrate für histo
logische Untersuchungen).
In Fig. 3 sind beispielhaft drei Masken 2, 3a, 3b mit ihren
gestrichelt eingezeichneten Umrissen illustriert. Da die Mas
ken keine optischen Blenden z. B. im Messsystem darstellen,
sondern lediglich die Bildpunkte des im Arbeitsspeicher ge
speicherten Bildes kennzeichnen, die der nachfolgenden Analyse
unterzogen werden sollen, werden die Masken auch als virtuelle
Masken bezeichnet. Eine virtuelle Maske kann das gesamte ro
tierende Objekt 1 (auch als Vollmaske bezeichnet, siehe Maske
2) oder nur einen Teilbereich des Objektes 1 (auch als Teil
maske beizeichnet, siehe Masken 3a, 3b) überdecken. Die Maske
3b eignet sich besonders gut zur Erfassung von periodischen
oder nicht-periodischen Translationsbewegungen.
Aus den Bildwerten einer Vollmaske wird wie folgt ein periodi
sches Signal erzeugt. Zu Messbeginn (Zeit = 0) werden die
Bildwerte (z. B. Farb- oder Grauwerte, entsprechende Informa
tionen) der Bildpunkte innerhalb der Vollmaske pixelweise zwi
schengespeichert. Während der Rotation wird in vorbestimmten
Zeitabständen die Summe über alle pixelweisen Signaländerungen
über die innerhalb der Vollmaske befindlichen Bildpunkte ge
bildet. Diese Summe umfasst also alle Differenzwerte
[Lichtsignal (Bildpunktposition, Zeit = 0) - Lichtsignal
(Bildpunktposition, Zeit = t)] für alle Maskenpunkte. Die Sum
me liefert ein zeitabhängiges Rohsignal, das mit der Rotation
des Objektes in direktem Zusammenhang steht. In Fig. 4 ist.
das Rohsignal am Beispiel einer Langzeit-Rotationsmessung ei
ner Hefezelle dargestellt. Der in Fig. 4 dargestellte Zeitbe
reich entspricht einem Zeitfenster der Länge von ca. 1 Sekun
den. Die Periodendauer der Rotation beträgt ca. 0.36 Sekunden.
Die Ermittlung und Auswertung des Rohsignals erfolgen mit der
Analysatorschaltung 30 (siehe Fig. 1).
Mit Teilmasken vereinfacht sich bei geeigneter Auswahl der
Form und Lage der Teilmaske die Ermittlung des Rohsignals. Bei
Teilmasken 3a und 3b gemäß Fig. 3 kann das Rohsignal beispielsweise
durch die Summe der Bildwerte über alle Masken
punkte zum jeweiligen Messzeitpunkt (Summe [Lichtsignal (Bild
punktposition, Zeit = t)]) gebildet werden. Alternativ kann
auch die oben genannte oder eine andere, z. B. gewichtete Sum
menbildung erfolgen.
Die Analyse des Rohsignals auf Periodizität zur Ermittlung der
Rotationsfrequenz des Objektes erfolgt mit einer Prozedur, die
insbesondere in Abhängigkeit vom Objekt, der Bildqualität und
der Signalqualität gewählt wird. Die Analyse basiert, insbe
sondere bei Langzeitmessungen, auf einer Fourieranalyse. Al
ternativ kann auch eine Häufigkeitsanalyse des Rohsignals
durchgeführt werden. Hierzu werden die Abstände charakteristi
scher Signalpunkte innerhalb des Rohsignals (z. B. Extrema,
Wendepunkte, Durchgänge durch den Mittelwert und dergleichen)
ermittelt und die Häufigkeit einzelner Werte oder Wertegruppen
analysiert. In Kombination mit einer Autokorrelationsanalyse,
die neben den gesuchten Periodizitäten insbesondere auch die
Bildwiederholfrequenz des Videosignals oder andere Frequenzen,
die durch die digitale Bildbearbeitung bedingt sind, ergibt,
können aus den Häufigkeiten die mit dem interessierenden Bewe
gungssignal korrelierten Perioden ermittelt werden. Diese Pro
zedur ist insbesondere auch bei relativ kurzzeitigen Messun
gen, z. B. über 1.5 Perioden, zuverlässig und reproduzierbar.
Vorteilhafterweise ist die Rohsignalanalyse nicht an die Di
mensionen des Objektes gebunden. Anwendungen können für belie
bige Objektgrößen vom atomaren bis zum astronomischen Bereich
realisiert werden.
Es ist möglich, dass sich die Rotationsgeschwindigkeit des Ob
jektes und damit die Periodik des Rohsignals während einer
Messung ändert. Die Änderung kann beispielsweise durch eine
Änderung der Frequenz des rotierenden elektrischen Feldes im
Feldkäfig, eine Änderung des Objektes, z. B. durch UV-Laser-
Ablation, oder durch eine anderweitige Änderung der Objektbedingungen,
z. B. durch einen Lösungswechsel (Einspülen von
Pharmaka) ausgelöst werden. Wenn sich die Rotationsgeschwin
digkeit ändert, kann erfindungsgemäß vorgesehen sein, dass die
Messzeit (Zeitfenster der Messung) an die Rotationsgeschwin
digkeit angepasst wird. Je langsamer oder schneller sich das
Objekt dreht, desto länger oder kürzer erfolgen die Bildauf
nahme und -auswertung. Vorteilhafterweise können mögliche
Schädigungen, z. B. von biologischen Zellen durch Laserstrah
lung, durch eine verringerte Bestrahlungszeit minimiert wer
den. Wenn das erfindungsgemäße Verfahren mit mehreren Masken
umgesetzt wird, so ist auch die Anwendung verschiedener Zeit
fenster für die verschiedenen Masken möglich. Dies ist bei
spielsweise von Vorteil, wenn mit den Masken verschiedene
Teilbewegungen (z. B. Rotation mit überlagerter Translation)
mit verschiedenen charakteristischen Zeitskalen erfaßt werden.
In Fig. 5 ist eine Rotationsmessung mit nicht-konstanter Ro
tationsfrequenz am Beispiel einer Messung mit einem Human
erythrozyten illustriert. Durch Einstrahlung mit einem UV-
Laser bei 300 s und 500 s erfolgte eine gezielte Störung der
Rotation. Die analysierte Rotationsperiode ergibt den Wert
Null. Dies zeigt an, dass mit der jeweils angewendeten Analy
seprozedur keine Rotationsgeschwindigkeit ermittelt werden
konnte. Dies bedeutet entweder einen Stillstand des Objektes
oder eine starke Änderung der Rotationsgeschwindigkeit oder
eine Rauschstörung. Zur Berücksichtigung von Rauschstörungen
kann vorgesehen sein, dass das Rohsignal während der Analyse
laufend auf Rauschkomponenten untersucht und ein Parameter für
die Signalgüte ermittelt wird. Bei der Ermittlung der Rausch
komponenten werden insbesondere die relative Häufigkeit der
Periodenkandidaten innerhalb einer Größenklassenanalyse, die
Höhe der Autokorrelationsfunktion für diese Periodenkandidaten
und ein Vergleich charakteristischer Punkte des Messspektrums
mit für eine solche Periodizität zu erwartenden Charakteristi
ka des jeweiligen Objektes berücksichtigt.
Falls eine Objektrotation um einen Drehpunkt beobachtet werden
soll, der im Messsystem nicht ortsfest ist, kann eine virtuel
le Maske zur Detektion der Translation verwendet werden, die
der Rotation überlagert ist. Die Maskenpunkte dieser Masken
werden so gewählt, dass in den gespeicherten Bildern die Um
randung des Objektes zumindest in Translationsrichtung die
Maske durchquert. Beispielsweise kann die virtuelle Maske 3 in
Fig. 3 zur Translationsdetektion verwendet werden.
Erfindungsgemäß kann vorgesehen sein, dass der mindestens eine
Maskenpunkt oder die mindestens eine Maske in Bezug auf den
Ort, die Größe und/oder Form während der Messung verändert
wird. Dies erfolgt vorzugsweise in Abhängigkeit vom Ergebnis
der Bildwertanalyse, insbesondere in Abhängigkeit vom Bewe
gungszustand, Oberflächenmerkmalen, Größenmerkmalen und/oder
dem Vorhandensein des Objektes. Ist beispielsweise eine Rota
tion mit einer Translation überlagert, so kann die Wahl der
Maske der Translationsbewegung nachgeführt werden. Zur zeit
lich veränderlichen Maskenauswahl kann in der Filtereinrich
tung 20 (siehe Fig. 1) eine hierzu angepasste Schaltung oder
ein entsprechendes Programm vorgesehen sein. Alternativ wird
mit der Analysatorschaltung 30 und der Maskengebereinrichtung
60 ein Regelkreis gebildet.
Eine abgewandelte Ausführungsform des Messsystems 200 ist in
Fig. 6 illustriert. Das Mikrosystem 210 ist lediglich mit
vier Mikroelektroden 211 in einer Ebene ausgestattet. Mit den
Mikroelektroden 211 werden wie bei der Ausführungsform gemäß
Fig. 1 hochfrequent rotierende elektrische Felder erzeugt,
unter deren Wirkung das Objekt 1 in Rotation versetzt wird.
Die Elektroden genügen jedoch nicht zur Bildung eines ge
schlossenen Feldkäfigs. Daher wird das Objekt 1 mit einem op
tischen Käfig 212 zwischen den Mikroelektroden 211 positio
niert. Der optische Käfig 212 wird mit einer Laserpinzette erzeugt,
die vorzugsweise mit dem Mikroskop gebildet wird, das
auch der Abbildung des Objektes dient. Diese Ausführungsform
besitzt insbesondere den Vorteil, dass mit dem optischen Käfig
212 Partikel in Position gehalten werden können, die andern
falls um einen nicht-ortsfesten Drehpunkt rotieren würden.
In Fig. 7 sind weitere Maskenformen zur Umsetzung des erfin
dungsgemäßen Verfahrens gezeigt. Die Minimalgröße einer Teil
maske (siehe Fig. 3) ist durch einen einzelnen Maskenpunkt
gegeben. Der Bildwert des Maskenpunktes besitzt eine Länge von
einem Byte. In Fig. 7A ist eine Punktmaske 4 beispielhaft
vergrößert eingezeichnet. Die Punktmaske 4 ist so ausgewählt,
dass das Bild des Objektes 1 während einer Umdrehung nicht
ständig auf den Maskenpunkt fällt. Das Objekt 1 wird bei
spielsweise mit einem optischen Käfig 212 gehalten. Bei Rota
tion wird ein rechteckförmiges Rohsignal gebildet, in dem sich
Signalwerte entsprechend der Abbildung der Umgebung des Objek
tes 1 auf den Maskenpunkt 4 und Signalwerte entsprechend der
Abbildung des Objektes 1 auf den Maskenpunkt 4 abwechseln. Die
Frequenz des Rohsignals entspricht der Rotationsfrequenz des
Objektes 1. Bei ausreichend starker Flüssigkeitsbewegung ist
es erfindungsgemäß alternativ möglich, die Objektrotation mit
Masken zu detektieren, auf die lediglich die Suspensionsflüs
sigkeit in der Umgebung des Objektes abgebildet wird und keine
Überlappung mit dem Objekt erfolgt.
Bei der in Fig. 7B dargestellten Ausführungsform der Erfin
dung wurden Maskenpunkte als Maske 5 ausgewählt, auf die ein
innerer Teilbereich des Objektes 1 abgebildet wird. Wenn das
Objekt 1 ein ausreichend unveränderliches Drehzentrum besitzt
und die abgebildete Oberfläche des Objektes 1 einen Struktur
kontrast aufweist, kann das Bild des Objektes 1 die Maske 5
vollständig überdecken. Der Strukturkontrast wird ggf. erst
durch eine Bildbearbeitung in der Arbeitsspeichereinrichtung
oder der Analysatorschaltung (siehe Fig. 1) erzeugt.
Zur Detektion der Rotationsrichtung werden mindestens zwei
Teilmasken 6a, 6b gemäß Fig. 7C verwendet, die vorzugsweise
in Größe und Lage symmetrisch zum jeweiligen Drehzentrum ange
ordnet sind. Es können auch andere Masken, beispielsweise
Dreiecksmasken gemäß Maske 3b in Fig. 3 gebildet werden.
Durch eine Korrelationsanalyse der Rohsignale von den Masken
6a, 6b kann die Drehrichtung des Objektes 1 ermittelt werden.
Es ist auch möglich, mehrere Masken gleicher oder verschiede
ner Form, Größe oder Lage zum Drehzentrum so zu wählen, dass
ein periodisches, jedoch zeitlich asymmetrisches Signal er
zeugt wird, dessen Asymmetrie von den jeweiligen Bewegungs
richtungen, insbesondere von Translationsbewegungen, abhängt.
Die zur Unterscheidung der Translationsrichtungen benötigten
Parameter der Rohsignale können als Referenzwerte gespeichert
sein oder mit geeigneten Algorithmen, z. B. mit neuronalen
Netzwerken, erlernt werden.
Durch Auswahl einer Maske entsprechend dem Bildbereich, in dem
sich ein Objektteil befindet oder bewegt, kann erfindungsgemäß
der Zustand des Gesamtobjektes oder des detektierten Objekt
teils erfasst werden.
Gemäß Fig. 8 ist die Teilmaske 3 so gewählt, dass ein faden
förmiger Fortsatz 1a des Objektes 1 auf die Maskenpunkte abge
bildet wird. Das Objekt 1 wird mit einem optischen Käfig 212
positioniert. Durch Strömungen der Suspensionsflüssigkeit
und/oder Eigenbewegungen werden die Bildwerte der Maske 3 mo
duliert. Aus dem entsprechenden Rohsignal werden die Frequen
zen der entsprechenden Oszillationsbewegungen abgeleitet.
Zur eindimensionalen Detektion von positiven oder negativen
Größenänderungen (Wachstums- oder Schrumpfprozesse) gemäß
Fig. 9 wird eine Teilmaske 3 so ausgewählt, dass während des
Wachstumsprozesses das Bild des Objektes 1 einen zunehmenden
oder abnehmenden Teil der Maske 3 abdeckt. Beim dargestellten
Beispiel ist das Objekt 1 eine biologische Zelle, die auf ei
nem Substrat 213 adsorbiert ist. Von der Zelle mit dem Zell
kern 1b ausgehend wächst eine Ausstülpung 1c der Zellmembran
über das Substrat 213. Bei ausreichendem Kontrast der Ausstül
pung 1c gegenüber dem Substrat 213 verändert sich das mit der
Maske 3 detektierte Rohsignal quantitativ charakteristisch
entsprechend dem zunehmenden Wachstum. Je nach Richtung des
Wachstums oder Überdeckungsgrad der Maske 3 kann erfindungsge
mäß vorgesehen sein, dass im Zeitverlauf eine neue Maske mit
einer angepassten Form und/oder Position ausgewählt und zur
weiteren Detektion des Wachstumsprozesses verwendet wird.
Fig. 10 illustriert eine Abwandlung der Detektion von Wachs
tumsprozessen an mehreren Objekten, die, beispielsweise unter
der Wirkung eines elektrischen Feldes oder eines chemischen
Konzentrationsgradienten, von einem gemeinsamen Anfangspunkt
weg oder auf ein gemeinsames Ziel hin wachsen. Bei dieser Ges
taltung ist eine ringförmige Maske 7 vorgesehen, deren Form,
Größe und Position wiederum in Abhängigkeit vom Fortschritt
des Wachstumsprozesses veränderlich ist.
Die in den Fig. 9 und 10 illustrierten Detektionsprinzipien
können analog auch auf andere Wachstumsprozesse, beispielswei
se von Zellkulturen, Ausdehnungsprozesse, z. B. zur Bestimmung
von thermischen Ausdehnungskoeffizienten, oder auch Prozesse
bei der Verkehrsüberwachung angewendet werden.
Die Anwendung der Erfindung bei der Objekterfassung an
makroskopischen Körpern ist in den Fig. 11 und 12 illust
riert. Die dargestellte Erfassung einer räumlichen Struktur
von einem oder mehreren Objekten oder Objektteilen ist aller
dings entsprechend auch an mikroskopischen Objekten (z. B.
Zellschnitten) umsetzbar. Es wird hierbei nicht die zeitliche
Änderung eines Objektes, sondern die Gleichartigkeit einer
Vielzahl von Objekten erfasst. In einer automatischen Ferti
gungslinie oder Prozessstraße werden Produkte (z. B. Fahrzeug
karosserien) aufeinanderfolgend mit einer Kameraeinrichtung
aufgenommen. Die Bildfolge wird entsprechend dem erfindungsge
mäßen Verfahren analysiert. Die mindestens eine Maske wird so
gewählt, dass beispielsweise kritische Punkte bei der Ferti
gung auf die Maske abgebildet werden. Veränderungen des Mas
kenrohsignals von Bild zu Bild weisen auf das Auftreten oder
Fehlen bestimmter Objektmerkmale hin. Eine Abwandlung ist in
Fig. 12 illustriert. Bei der Detektion von Fabrikationsfeh
lern bei einer Verbundfertigung oder -verarbeitung wird eine
Kamera über einem Objekt 1 (teilweise dargestellt) bewegt, das
auf Strukturperiodizität zu prüfen ist. Veränderungen des Sig
nals der beispielhaft eingezeichneten Maske 8 weisen auf
Durchbrechungen der Strukturperiodizität hin.
Besitzen die zu untersuchenden Objekte selbst eine periodische
Struktur, so kann die Zahl der zur Analyse der Bewegungsperio
dik erforderlichen Bilder verringert werden. Je höher die
Raumfrequenz der Objektperiodizität ist, desto stärker kann
die Analyse der Periodik verkürzt werden. In Fig. 13 ist bei
spielhaft ein Objekt mit symmetrisch angeordneten Segmenten
dargestellt, bei dem die Rotationsfrequenz in einem Zeitbe
reich ermittelt werden kann, der geringer als die Periodendau
er der Rotation ist. Derartige periodische Objekte sind bei
spielsweise mit periodischen Mikrostrukturen, Zahnrädern oder
auch periodischen Bauwerken, wie z. B. Eisenbahnschwellen, ge
geben.
Das erfindungsgemäße Verfahren ist auch zur Detektion des Vor
handenseins oder Fehlens oder zum Zählen von Objekten geeig
net. In Fig. 14 ist die Zählung gleichartiger Objekte 1 mit
einer Maske 9 illustriert. Wird beispielsweise ein durchström
ter Bereich eines Mikrosystems mit einer Kameraeinrichtung
aufgenommen, so wird das Signal der Maske 9 entsprechend dem
Durchtritt der Objekte 1 moduliert. Je nach Anzahl und Stärke
der Modulationen kann die Zahl der Objekte erfasst werden, die
den auf die Maske 9 abgebildeten Bereich durchtreten. Entspre
chend kann auch das Vorhandensein oder Fehlen mindestens eines
Objektes detektiert werden.
Ein wichtiger Vorteil der Erfindung gegenüber herkömmlichen
Techniken besteht in der Möglichkeit, die ausgewählte Maske
anwendungsabhängig nach bestimmten Parametern zu optimieren.
Da das Rohsignal der Maske selbst einen Güteparameter (Signal
güte) liefern kann (Ermittlung eines Gütesignals aus dem Roh
signal), kann die Auswahl der Maske mit einem Regelkreis auto
matisch auf ein Optimum hin angepasst werden. Zu dieser Anpas
sung werden beispielsweise an sich bekannte evolutive Algo
rithmen verwendet, was insbesondere bei Objekten mit unregel
mäßigen Topologien von Vorteil ist. Ferner kann auch die Zahl
der berücksichtigten Objektbilder oder das Zeitfenster der
Messung optimiert werden.
Die in der vorstehenden Beschreibung, den Ansprüchen und den
Zeichnungen offenbarten Merkmale der Erfindung können sowohl
einzeln als auch in beliebiger Kombination für die Verwirkli
chung der Erfindung in ihren verschiedenen Ausgestaltungen von
Bedeutung sein.
Claims (23)
1. Verfahren zur Erfassung des Zustandes eines Objekts (1),
in einem Messsystem, mit den Schritten:
die Bereitstellung der Bilder ein Speichern in einer Ar beitsspeichereinrichtung (10) umfasst, die mit der Bildquelle (50) verbunden ist, und
der mindestens eine Maskenpunkt (2 bis 9) aus der Vielzahl der in der Arbeitsspeichereinrichtung (10) gespeicherten Bild punkte ausgewählt wird.
- - Bereitstellung einer Vielzahl von Bildern des Objekts (1) oder mindestens eines Objektteiles aus einer Bildquelle (50), wobei jedes Bild eine Vielzahl von Bildpunkten mit jeweils mindestens einem Bildwert umfasst, und
- - Analyse der Bildwerte von mindestens einem Maskenpunkt (2 bis 9) aus der Vielzahl der Bildpunkte für eine vorbestimmte Messzeit und/oder für eine vorbestimmte Anzahl von Bildern, um den Zustand und/oder das Vorhandensein des Objekts (1) zu er fassen,
die Bereitstellung der Bilder ein Speichern in einer Ar beitsspeichereinrichtung (10) umfasst, die mit der Bildquelle (50) verbunden ist, und
der mindestens eine Maskenpunkt (2 bis 9) aus der Vielzahl der in der Arbeitsspeichereinrichtung (10) gespeicherten Bild punkte ausgewählt wird.
2. Verfahren gemäß Anspruch 1, bei dem die Vielzahl von Bil
dern eine zeitliche Folge von Objektzuständen und/oder eine
Vielzahl von Objekten oder Objektteilen repräsentieren.
3. Verfahren gemäß Anspruch 1 oder 2, bei dem als Zustand des
Objekts (1) der Bewegungszustand, Oberflächenmerkmale, Volu
menmerkmale und/oder Größenmerkmale des Objektes ermittelt
werden.
4. Verfahren gemäß einem der vorhergehenden Ansprüche, bei
dem eine Vielzahl von Maskenpunkten ausgewählt wird, die eine
oder mehrere Masken bilden.
5. Verfahren gemäß Anspruch 4, bei dem die Auswahl der Masken
in Bezug auf ihre Lage, Anzahl und Größe zeitlich veränderlich
ist.
6. Verfahren gemäß Anspruch 5, bei dem die Auswahl der Masken
entsprechend einem vorbestimmten Zeitprogramm oder in Abhän
gigkeit vom erfassten Zustand des Objekts und/oder von Umge
bungsbedingungen des Objekts im Messsystem verändert wird.
7. Verfahren gemäß Anspruch 5 oder 6, bei dem eine Vielzahl
von Maskenpunkten ausgewählt werden, die mehrere Masken bil
den, und aus der Analyse des zeitlichen Verlaufs der Bildwerte
der Maskenpunkte die Bewegungsrichtung des Objekts erfasst
wird.
8. Verfahren gemäß einem der vorhergehenden Ansprüche, bei
dem die Analyse des zeitlichen Verlaufs der Bildwerte eine
Frequenzanalyse, eine Korrelationsanalyse, eine Fourieranaly
se, eine Größenklassenanalyse, eine Häufigkeitsanalyse
und/oder eine Maskengrößenanalyse eines Rohsignals umfasst,
das aus den Bildwerten des mindestens einen Maskenpunktes ab
geleitet ist.
9. Verfahren gemäß einem der vorhergehenden Ansprüche, bei
dem die Vielzahl von Bildern mindestens zwei Bilder umfasst
und durch eine Echtzeitaufnahme mit einer Sensoreinrichtung
(51) oder einen Auslesevorgang aus einem Bildspeicher (52) in
der Arbeitsspeichereinrichtung (10) bereitgestellt wird.
10. Verfahren gemäß einem der vorhergehenden Ansprüche, bei
dem den Bildpunkten Bildwerte zugeordnet werden, die Farbwer
te, Helligkeits- oder Grauwerte oder andere Werte umfassen,
die für vorbestimmte Zustandsgrößen des Objekts charakteris
tisch sind.
11. Verfahren gemäß Anspruch 10, bei dem die Bildwerte durch
Auslesen der Daten eines Framegrabber-Schaltkreises ermittelt
werden.
12. Verfahren gemäß einem der vorhergehenden Ansprüche, bei
dem die Messzeit vorab fest oder in Abhängigkeit vom Bewe
gungszustand des Objekts variabel eingestellt wird.
13. Verfahren gemäß einem der vorhergehenden Ansprüche, bei
dem nach der Bereitstellung der Bilder eine Bildvorbearbeitung
der Bilder, insbesondere zur Kontrasterhöhung, erfolgt.
14. Vorrichtung zur Erfassung des Zustandes eines Objekts,
mit:
- - einer Arbeitsspeichereinrichtung (10) zum Speichern von min destens zwei Bildern eines Objekts (1) oder eines Objektteils,
- - einer Filtereinrichtung (20) zur Ermittlung von Bildwerten der gespeicherten Bilder an mindestens einem vorgewählten Mas kenpunkt, und
- - einer Analysatorschaltung (30), die zur Analyse der gespei cherten Bildwerte der Maskenpunkte eingerichtet ist.
15. Vorrichtung gemäß Anspruch 14, bei der eine Maskenge
bereinrichtung (60) zur Auswahl der Maskenpunkte vorgesehen
ist, wobei die Maskengebereinrichtung (60) mit der Filterein
richtung (20), der Analysatorschaltung (30), einem Sensor (70)
und/oder einer manuellen Eingabeeinrichtung (80) verbunden
ist.
16. Vorrichtung gemäß einem der Ansprüche 14 oder 15, bei dem
die Arbeitsspeichereinrichtung (10) mit einer Bildquelle (50)
verbunden ist, die zur Bereitstellung einer Folge von Bildern
des Objekts oder eines Teiles des Objekts eingerichtet ist und
eine Sensoreinrichtung (51) und/oder einen Bildspeicher (52)
umfasst.
17. Vorrichtung gemäß Anspruch 16, bei der die Sensoreinrich
tung (51) eine Mess- oder Kameraeinrichtung umfasst.
18. Vorrichtung gemäß Anspruch 16 oder 17, bei der die Sensor
einrichtung (51) ein Mikroskop (230) aufweist.
19. Vorrichtung gemäß Anspruch 18, bei der das Mikroskop (230)
zur Bildaufnahme und zur Erzeugung eines optischen Käfigs ein
gerichtet ist.
20. Vorrichtung gemäß einem der Ansprüche 14 bis 19, bei der
die Arbeitsspeichereinrichtung (10) durch einen Framegrabber-
Schaltkreis (Framegrabber-Karte) gebildet wird.
21. Vorrichtung gemäß einem der Ansprüche 14 bis 20, die eine
Anzeige-, Speicherungs- und/oder Ausgabeeinrichtung (50) auf
weist, die dazu eingerichtet ist, Daten, die für den Bewe
gungszustand, Oberflächenmerkmale Größenmerkmale und/oder das
Vorhandensein des Objekts charakteristisch sind, anzuzeigen,
zu speichern und/oder auszugeben.
22. Vorrichtung gemäß einem der Ansprüche 14 bis 21, die zur
Umsetzung eines Verfahrens gemäß einem der Ansprüche 1 bis 13
eingerichtet ist.
23. Verwendung eines Verfahrens oder einer Vorrichtung gemäß
einem der vorhergehenden Ansprüche:
zur Erfassung des Bewegungs- oder Ruhezustandes eines Ob jekts,
zur Erfassung der Bewegungsrichtung eines Objekts,
zur Ermittlung einer Formänderung eines Objekts,
zur Ermittlung von Oberflächen- oder Volumenmerkmalen des Objekts,
zum Zählen von Objekten, und/oder
zur Erfassung des Zustandes und/oder des Vorhandenseins von biologischen Objekten, insbesondere Zellen, Zellbestandteilen, Zellgruppen oder Zellschnitten.
zur Erfassung des Bewegungs- oder Ruhezustandes eines Ob jekts,
zur Erfassung der Bewegungsrichtung eines Objekts,
zur Ermittlung einer Formänderung eines Objekts,
zur Ermittlung von Oberflächen- oder Volumenmerkmalen des Objekts,
zum Zählen von Objekten, und/oder
zur Erfassung des Zustandes und/oder des Vorhandenseins von biologischen Objekten, insbesondere Zellen, Zellbestandteilen, Zellgruppen oder Zellschnitten.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10120498A DE10120498A1 (de) | 2001-04-26 | 2001-04-26 | Verfahren und Vorrichtung zur Erfassung von Objektzuständen |
EP02727580A EP1381845B1 (de) | 2001-04-26 | 2002-04-24 | Verfahren und vorrichtung zur erfassung von objektzuständen |
PCT/EP2002/004546 WO2002088676A1 (de) | 2001-04-26 | 2002-04-24 | Verfahren und vorrichtung zur erfassung von objektzuständen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10120498A DE10120498A1 (de) | 2001-04-26 | 2001-04-26 | Verfahren und Vorrichtung zur Erfassung von Objektzuständen |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10120498A1 true DE10120498A1 (de) | 2002-10-31 |
Family
ID=7682835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10120498A Ceased DE10120498A1 (de) | 2001-04-26 | 2001-04-26 | Verfahren und Vorrichtung zur Erfassung von Objektzuständen |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1381845B1 (de) |
DE (1) | DE10120498A1 (de) |
WO (1) | WO2002088676A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10304653A1 (de) * | 2003-02-05 | 2004-08-19 | Evotec Technologies Gmbh | Mehrparametrige Detektion in einem fluidischen Mikrosystem |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991222B (zh) * | 2019-10-16 | 2023-12-08 | 京东科技信息技术有限公司 | 一种物体状态监测、母猪发情监测方法、装置及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000502446A (ja) * | 1995-12-18 | 2000-02-29 | センター フォー ラボラトリー テクノロジー,インク. | 血液診断装置及び判定方法 |
DE19903001A1 (de) * | 1999-01-26 | 2000-08-24 | Evotec Biosystems Ag | Verfahren und Vorrichtung zur Detektion mikroskopisch kleiner Objekte |
DE19930607C2 (de) * | 1999-07-02 | 2002-08-01 | Max Planck Gesellschaft | Verfahren zur Gewinnung von Daten, die Aufschluß geben über die Kinetik der Reaktionen von Reaktanten in einer Vielzahl von Proben und Vorrichtung zur Durchführung des Verfahrens |
-
2001
- 2001-04-26 DE DE10120498A patent/DE10120498A1/de not_active Ceased
-
2002
- 2002-04-24 EP EP02727580A patent/EP1381845B1/de not_active Expired - Lifetime
- 2002-04-24 WO PCT/EP2002/004546 patent/WO2002088676A1/de not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10304653A1 (de) * | 2003-02-05 | 2004-08-19 | Evotec Technologies Gmbh | Mehrparametrige Detektion in einem fluidischen Mikrosystem |
DE10304653B4 (de) * | 2003-02-05 | 2005-01-27 | Evotec Technologies Gmbh | Mehrparametrige Detektion in einem fluidischen Mikrosystem |
Also Published As
Publication number | Publication date |
---|---|
EP1381845A1 (de) | 2004-01-21 |
WO2002088676A1 (de) | 2002-11-07 |
EP1381845B1 (de) | 2013-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE3146423C2 (de) | ||
DE19549015C1 (de) | Verfahren und Anordnung zur Überwachung eines abreißenden Flüssigkeitstrahls | |
EP3608831A1 (de) | Verfahren zur bereitstellung eines auswertungsmittels für wenigstens ein optisches anwendungssystem einer mikroskopbasierten anwendungstechnologie | |
DE60202374T2 (de) | Methode und Vorrichtung zur Aufnahme dreidimensionaler Abbildungen von schwebend gehaltenen Mikroobjekten unter Verwendung hochauflösender Mikroskopie | |
WO1997041416A1 (de) | Verfahren zur automatisierten mikroskopunterstützten untersuchung von gewebeproben oder körperflüssigkeitsproben | |
DE602004008471T2 (de) | Verfahren und anordnung zur bestimmung einer objektkontur | |
DE69322095T2 (de) | Verfahren und gerät zur identifizierung eines objekts mittels eine geordneten folge von grenz-pixel-parametern | |
DE2823490A1 (de) | Verfahren zur analyse von organismus- zellen | |
DE4211904C2 (de) | Automatisches Verfahren zum Erstellen einer Liste unterschiedlicher Arten für eine flüssige Probe | |
DE2903625C2 (de) | ||
EP1797533B1 (de) | Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen | |
DE102019133685A1 (de) | Informationsverarbeitungssystem und -verfahren | |
EP3598195A1 (de) | Verfahren zur mikroskopischen auswertung | |
EP2400458B1 (de) | Verfahren und Vorrichtung zur Segmentierung von biologischen Zellen in einer Aufnahme | |
DE19633693C1 (de) | Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur | |
EP1155303B1 (de) | Verfahren und vorrichtung zur detektion mikroskopisch kleiner objekte | |
DE19928231C2 (de) | Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung | |
EP3430565B1 (de) | Verfahren zur untersuchung verteilter objekte unter segmentierung eines übersichtbildes | |
DE102018115046A1 (de) | Rasterelektronenmikroskop und Bildverarbeitungsvorrichtung | |
EP1381845B1 (de) | Verfahren und vorrichtung zur erfassung von objektzuständen | |
EP3828617A1 (de) | Verfahren zur digitalen anfärbung von zellen | |
DE19859460C2 (de) | Verfahren und Vorrichtung zur elektro-optischen Einzelpartikelspektroskopie | |
WO1998029732A1 (de) | Verfahren und vorrichtung zur bewegungserfassung an mikroskopischen objekten | |
DE19930598A1 (de) | Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen | |
DE19723873B4 (de) | Verfahren und Vorrichtung zur Bewegungserfassung eines sich zumindest zeitweilig periodisch bewegenden Objekts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8127 | New person/name/address of the applicant |
Owner name: EVOTEC TECHNOLOGIES GMBH, 40225 DUESSELDORF, DE |
|
8110 | Request for examination paragraph 44 | ||
R016 | Response to examination communication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |
Effective date: 20131231 |