DE10120498A1 - Verfahren und Vorrichtung zur Erfassung von Objektzuständen - Google Patents

Verfahren und Vorrichtung zur Erfassung von Objektzuständen

Info

Publication number
DE10120498A1
DE10120498A1 DE10120498A DE10120498A DE10120498A1 DE 10120498 A1 DE10120498 A1 DE 10120498A1 DE 10120498 A DE10120498 A DE 10120498A DE 10120498 A DE10120498 A DE 10120498A DE 10120498 A1 DE10120498 A1 DE 10120498A1
Authority
DE
Germany
Prior art keywords
image
mask
images
analysis
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE10120498A
Other languages
English (en)
Inventor
Thomas Schnelle
Daniel Mietchen
Rolf Hagedorn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PerkinElmer Cellular Technologies Germany GmbH
Original Assignee
Evotec OAI AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evotec OAI AG filed Critical Evotec OAI AG
Priority to DE10120498A priority Critical patent/DE10120498A1/de
Priority to EP02727580A priority patent/EP1381845B1/de
Priority to PCT/EP2002/004546 priority patent/WO2002088676A1/de
Publication of DE10120498A1 publication Critical patent/DE10120498A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1484Optical investigation techniques, e.g. flow cytometry microstructural devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1447Spatial selection

Landscapes

  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

Zur Erfassung des Zustands eines Objektes werden mindestens zwei Bilder des Objektes gespeichert und Bildwerte ihrer Bildpunkte an mindestens einem vorgewählten Maskenpunkt von einem Filter ermittelt. Die gespeicherten Bildwerte werden dann analysiert.

Description

Die Erfindung betrifft ein Verfahren zur Erfassung von Objekt­ zuständen, insbesondere zur Erfassung des Bewegungszustands, von Oberflächenmerkmalen oder des Vorhandenseins mindestens eines Objekts, z. B. in einem Messsystem, und eine Vorrichtung zur Umsetzung des Verfahrens.
Es ist allgemein bekannt, fluidische Mikrosysteme zur teil­ chenspezifischen Manipulierung mikroskopisch kleiner Objekte unter der Wirkung hydrodynamischer und/oder elektrischer Kräf­ te zu verwenden. Die Manipulierung biologischer Teilchen in Mikrosystemen mit hochfrequenten elektrischen Feldern auf der Grundlage negativer Dielektrophorese wird beispielsweise von G. Fuhr et al. in "Naturwissenschaften", Bd. 81, 1994, S. 528 ff., beschrieben. Die Manipulierung der Objekte umfasst u. a. eine Sortierung nach bestimmten Eigenschaften, eine Objektver­ änderung unter Wirkung elektrischer Felder (z. B. Zellpora­ tion), eine chemische Behandlung, eine gegenseitige Zusammen­ führung und Wechselwirkung der Objekte und dergleichen. Die Bereitstellung vorbestimmter hydrodynamischer und/oder elekt­ rischer Kräfte erfolgt durch die Gestaltung der Kanalstruktur des Mikrosystems bzw. die geometrische Form von Mikroelektro­ den zur Ausbildung hochfrequenter elektrischer Felder und de­ ren Ansteuerung.
Zur Charakterisierung von suspendierten Mikroobjekten wie La­ texpartikeln, lebenden Zellen etc. werden seit langem über elektrische Rotations- und Wechselfelder induzierte Bewegungen genutzt (siehe z. B. U. Zimmermann et al. in "Electromanipula­ tion of Cells", CRC Press Inc., 1996). Es kann sich dabei um Rotationsbewegungen oder um oszillatorische Bewegungen auf ei­ ner geradlinigen oder gekrümmten Bewegungsbahn handeln. Aus der Bewegungsgeschwindigkeit des Objektes als auch aus seiner Auslenkung kann auf passive elektrische Eigenschaften ge­ schlossen werden. In der Regel liegen die Rotationsgeschwin­ digkeiten der Objekte im Bereich von 100 Umdrehungen pro Se­ kunde bis zu 1 Umdrehung pro Minute, typischerweise langsamer als 10 Umdrehungen pro Sekunde. In gleicher Größenordnung lie­ gen die Zeiten der oszillatorischen Bewegungen.
Insbesondere für biologisch-medizinische Fragestellungen hat sich dieses Verfahren als der Impedanzmessung vergleichbar und hochauflösend erwiesen. Die Rotation des Objektes verhält sich dabei proportional zum Imaginärteil des Clausius-Mosotti-Fak­ tors, während die oszillatorische Bewegung in einem inhomoge­ nen Wechselfeld dem Realteil dieses Faktors entspricht (siehe T. B. Jones in "Electromechanics of Particles", Cambridge Uni­ versity Press, Cambridge, 1995).
Verfahren zur Erfassung der Rotation sind beispielsweise aus DE 33 25 843 und DD-Wirtschaftspatent WP GO1N/281223, 1986, bekannt. Dabei handelt es sich um die alternierende Applikati­ on zweier Anregungsfelder unterschiedlicher Drehrichtung, bei denen die Anschaltzeiten elektronisch verändert werden können. Diese werden so lange variiert, bis der Stillstand des Objek­ tes eintritt. Der Stillstand des Objektes wurde bislang jedoch ebenfalls ausschließlich über visuelle Beobachtung bestimmt.
Es ist auch bekannt, die Präsenz von kleinen Teilchen in Sus­ pensionen auf der Basis von Streulichtmessungen zu erfassen (siehe J. Gimsa et al. in "Colloids and Surfaces A" Bd. 98, 1995, S. 243-249). Dieses Prinzip läßt sich jedoch nur bei ei­ ner Vielzahl von Teilchen (in der Regel einige Hundert oder mehr) und somit teilchenunspezifisch realisieren. Außerdem lassen sich keine Angaben über den Bewegungszustand von Teil­ chen (Ort, Geschwindigkeit oder dergleichen) ableiten.
Es ist bekannt, die Bewegung komplex strukturierter Objekte über Bildverarbeitungssysteme zu erfassen. Dazu wird das mik­ roskopisch erzeugte Bild zu verschiedenen Zeitpunkten elektro­ nisch aufgenommen, gespeichert und versucht, über eine ent­ sprechende Raumtransformation einer Vielzahl von Bildpunkten die erfolgte Bewegung zu rekonstruieren. Diese Verfahren haben den Nachteil hoher Informationsverarbeitungsdichte und damit langwieriger und aufwendiger Rechnerverarbeitung (siehe De Gasperis et al. in "Meas. Sci. Techn." Bd. 9, 1998, S. 518-­ 529). Besondere Schwierigkeiten treten bei Veränderungen der Objektstruktur während der Messung auf, z. B. bei Verlagerung in der Fokusebene, Lageänderungen des Objektes und bei schwach kontrastierten Objekten. Zudem rotieren nicht-sphärische oder mit einer Laserpinzette stabilisierte Zellen in rotierenden elektrischen Feldern konstanter Frequenz häufig nicht mit kon­ stanter Winkelgeschwindigkeit während einer Objektumdrehung. Damit liefern die Bilderkennungsverfahren, die auf der Analyse weniger Bilder beruhen, unzuverlässige Messwerte.
Die bisher bekannten Mikrosysteme erlauben zwar eine Kontrolle der jeweiligen Objektmanipulierung mit optischen Mitteln, z. B. unter Verwendung eines Mikroskops mit einer Kamera. Diese optische Kontrolle ist jedoch bisher auf visuelle Überprüfun­ gen oder den Einsatz aufwendiger Bilderkennungsverfahren zur Bearbeitung des Kamerabildes beschränkt. Die Bildverarbei­ tungsverfahren sind jedoch, soll eine Echtzeit-Kontrolle aus­ geübt werden, für die auftretenden Objektgeschwindigkeiten er­ heblich zu langsam. Dadurch ist bisher die Implementierung au­ tomatischer Systemregelungen, bei denen beispielsweise be­ stimmte Verfahrensverläufe in Abhängigkeit von Ort, Bewegungs­ zustand oder Anzahl beobachteter Objekte erfolgen, ausge­ schlossen.
Aus der PCT/EP97/07218 ist ein Verfahren zur Bewegungserfas­ sung an mikroskopischen Objekten bekannt, die eine zumindest teilweise periodische Bewegung ausführen. Dieses Verfahren ba­ siert auf der Anwendung einer Fourier-Analyse eines Detektor­ signals, das die Objektbewegung über eine Vielzahl von Bewe­ gungsperioden charakterisiert. Es stellt eine erhebliche Ver­ einfachung gegenüber der Anwendung von computergestützten Bildverarbeitungsverfahren dar, ist jedoch in der Anwendung auf periodische Bewegungen beschränkt. Im Allgemeinen treten in einem Mikrosystem jedoch auch nicht-periodische Bewegungen oder Ruhezustände der Objekte auf, an deren Detektion insbe­ sondere zur automatischen Steuerung eines Mikrosystems ein In­ teresse besteht.
Bei dem in PCT/EP00/00621 beschriebenen Verfahren zur Detek­ tion mikroskopisch kleiner Objekte ist eine strukturierte Mas­ ke im Strahlengang oder am Detektor einer Messeinrichtung vor­ gesehen, die eine charakteristische Dimension besitzt, die kleiner als die Dimension des Objekts am jeweiligen Ort der Maske ist. Die Auswertung des von der Maske übertragenen Lich­ tes erlaubt Aussagen über das Vorhandensein des Objekts, sei­ ner Position, seiner Form oder die zeitliche Änderung seiner Position. Das in PCT/EP00/00621 beschriebene Verfahren besitzt den Nachteil eines hohen Justageaufwands und einer geringen Variabilität bei der Objektdetektion. Die Objektzustände kön­ nen nur in Echtzeit auf der Grundlage des von der Maske über­ tragenen Lichtes erfasst werden. Die Anwendbarkeit des Verfah­ rens ist auf Objekte beschränkt, bei denen die erfassten Bil­ der in Bezug auf die äußere Form oder die Oberflächeneigen­ schaften beispielsweise auf der Grundlage von Kontrasten oder bestimmten Bildmerkmalen eine Bildauswertung ermöglichen.
Die Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Erfassung von Objektzuständen bereitzustellen, mit dem die Nachteile der herkömmlichen Techniken überwunden werden und das sich insbesondere durch einen erweiterten Einsatzbereich und einen geringen Bearbeitungsaufwand auszeichnet. Das erfindungsgemäße Verfahren soll insbesondere ermöglichen, die Aus­ wertungsqualität im Verfahrensverlauf zu verbessern. Die Zu­ standserfassung soll problemlos an verschiedene Objekte oder Messsituationen angepasst werden können. Die Aufgabe der Er­ findung ist es auch, eine Vorrichtung zur Umsetzung des Ver­ fahrens und Anwendungen des Verfahrens anzugeben.
Diese Aufgaben werden mit einem Verfahren und einer Vorrich­ tung mit den Merkmalen gemäß den Patentansprüchen 1 und 14 ge­ löst. Vorteilhafte Ausführungsformen und Anwendungen der Er­ findung ergeben sich aus den abhängigen Ansprüchen.
Die Grundidee der Erfindung ist es, eine Vielzahl von Objekt­ bildern oder Objektteilbildern in einer Arbeitsspeicherein­ richtung bereitzustellen, die relativ zu einer Sensoreinrich­ tung, z. B. Mess- und Kameraeinrichtung, zur Aufnahme der Bil­ der nachgeordnet ist. Abweichend vom herkömmlichen Verfahren unter Verwendung einer strukturierten Maske, die im Strahlen­ gang und/oder am Detektor angeordnet ist, wird beim erfin­ dungsgemäßen Verfahren die Maskierung von der Bildaufnahme in den Bereich der Bildauswertung verlagert. In einer Analysator­ schaltung werden die Bildwerte mindestens eines ausgewählten Maskenpunktes für eine vorbestimmte Messzeit (oder laufend) und/oder für eine vorbestimmte Anzahl von Bildern verarbeitet, um den Zustand und/oder das Vorhandensein mindestens eines Ob­ jekts zu erfassen.
Die Vielzahl von Bildern (digitale Pixelbilder) repräsentieren eine zeitliche Folge von Objektzuständen und/oder eine Viel­ zahl von Objekten oder Objektteilen. Damit kann eine zeitliche (periodische oder nicht-periodische) Entwicklung eines Objekt­ zustandes oder eine, ggf. zeitunabhängige, räumliche Struktur von einem oder mehreren Objekten oder Objektteilen erfaßt wer­ den. Mit besonderem Vorteil lassen sich auch beide Gesichts­ punkte gleichzeitig analysieren.
Als Zustand des Objekts werden vorzugsweise der Bewegungszu­ stand, Oberflächenmerkmale, Volumenmerkmale von Objekten mit zumindest teilweise transparenter Oberfläche und/oder Größen­ merkmale des Objektes ermittelt.
Durch die erfindungsgemäße Trennung von Bildaufnahme und Bild­ auswertung werden eine Reihe von Vorteilen erzielt, die einer­ seits die Vermeidung von Justierschritten und andererseits die hohe Variabilität bei der Maskenwahl betreffen. Trotz der ge­ nannten Trennung kann die Objekterfassung in Echtzeit erfol­ gen. Die ausgewählte Maske kann während des Verfahrensablaufs an die Objekt- und/oder Messbedingungen angepasst werden. Es kann eine Nachanalyse von aufgenommenen und gespeicherten Bil­ dern erfolgen.
Gemäß einer bevorzugten Ausführungsform der Erfindung erfolgt bei der Erfassung von Objektzuständen eine zeitlich veränder­ liche Auswahl von Maskenpunkten. Einzelne Maskenpunkte, ein­ zelne Masken oder mehrere Masken werden in Bezug auf ihre La­ ge, Anzahl und/oder Größe anwendungsabhängig entsprechend ei­ nem vorbestimmten Zeitprogramm oder in Abhängigkeit vom er­ fassten Zustand des Objekts oder in Abhängigkeit von Messbe­ dingungen verändert.
Die Bereitstellung der Bilder in einer Arbeitsspeichereinrich­ tung ermöglicht vorteilhafterweise die Durchführung einer ein­ fachen Bildvorbearbeitung der Bilder, z. B. eine Kontrasterhö­ hung oder eine Erzeugung von Differenzbildern. Durch heute verfügbare Rechner mit hohen Rechenleistungen ist diese zwi­ schengeschaltete Bildbearbeitung möglich, ohne auf die Echt­ zeitfähigkeit oder Quasi-Echtzeitfähigkeit der Zustandserfas­ sung verzichten zu müssen. Mit der Bildbearbeitung wird ermög­ licht, dass anwendungsabhängig bestimmte Objekte mit kontrast­ armen Oberflächen oder undefinierten Umrissformen überhaupt erst der erfindungsgemäßen Zustandserfassung zugänglich wer­ den.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfin­ dung wird die Bildaufnahme und die erfindungsgemäße Zustands­ erfassung zeitlich voneinander getrennt. Die mit der Sensor­ einrichtung aufgenommenen Bilder werden beispielsweise zu­ nächst in einem Bildspeicher in Form von Bildfolgen (z. B. Vi­ deosequenzen) gespeichert. Zur Durchführung des erfindungsge­ mäßen Verfahrens werden die Bilder von der Bildspeicherein­ richtung in der Arbeitsspeichereinrichtung bereitgestellt und dort der Maskenpunktauswahl und Analyse unterzogen. Dieses Verfahren besitzt den Vorteil, dass Bildfolgen ggf. wiederholt mit verschiedenen Maskierungen oder mit Blick auf verschiedene Objekteigenschaften ausgewertet werden können.
Die erfindungsgemäße Zustandserfassung wird vorzugsweise an mikroskopisch kleinen Objekten (typische Dimensionen: < 100 µm) durchgeführt, die beispielsweise in fluidischen Mikrosys­ temen unter Anwendung hydrodynamischer, dielektrischer und/oder optischer Kräfte bewegt, gehaltert, vermessen und/oder behandelt werden. Es erfolgt vorzugsweise die Erfas­ sung von Rotations- und Oszillationsbewegungen an Mikroobjek­ ten in rotierenden elektrischen Feldern, z. B. in einer Feld­ falle, oder in sich anderweitig periodisch ändernden Wechsel­ feldern, wobei ggf. eine Halterung mit einer sog. Laserpinzet­ te (optischer Käfig oder "optical tweezer") vorgesehen ist. Die erfindungsgemäße Objekterfassung kann aber auch an Fest­ phasen-adsorbierten Mikroobjekten oder makroskopischen Körpern umgesetzt werden, wie dies unten erläutert wird.
Besonders bevorzugt wird die Erfindung zur Erfassung des Zu­ standes und/oder des Vorhandenseins von biologischen Objekten, insbesondere Zellen, Zellbestandteilen, Zellgruppen oder Zell­ schnitten, angewendet.
Gegenstand der Erfindung ist auch eine Vorrichtung zur Erfas­ sung von Objektzuständen mit einer Arbeitsspeichereinrichtung zur Bereitstellung von mindestens zwei Bildern eines Objekts oder eines Objektteils, einer Filtereinrichtung zur Ermittlung von Bildwerten der Bilder an mindestens einem vorgewählten Maskenpunkt und einer Analysatorschaltung, die zur Analyse der Bildwerte der Maskenpunkte eingerichtet ist. Die Arbeitsspei­ chereinrichtung umfasst vorzugsweise einen Framegrabber- Schaltkreis (Framegrabber-Karte).
Die Erfindung besitzt die folgenden Vorteile. Die Zustandser­ fassung ist ohne besonderen Aufwand automatisierbar. Zur Um­ setzung des Verfahrens können an sich verfügbare Systeme, wie z. B. CCD-Kameras und Framegrabber-Karten, verwendet werden. Zur Analyse von Bildwerten können herkömmliche Methoden zur Objekttransformation, die sich durch einen hohen Rechenaufwand auszeichnen, vermieden werden. Es können Objektrotationen in kurzen Messzeiten erfasst werden. So wird zur Ermittlung der Objektrotation (Drehfrequenz) eine Folge von Bildern benötigt, die z. B. nur 1.5 Umdrehungen abdecken müssen. Es reichen bei­ spielsweise 8 bis 10 Bilder zur Ermittlung eines zuverlässigen Rotationswertes. Die Zustandserfassung ist auch zur Analyse von nicht-konstanten Rotationsgeschwindigkeiten geeignet.
Weitere Einzelheiten und Vorteile der Erfindung werden im Fol­ genden unter Bezug auf die beigefügten Zeichnungen beschrie­ ben. Es zeigen:
Fig. 1 eine Blockdarstellung einer erfindungsgemäßen Vorrichtung,
Fig. 2 eine schematische Darstellung einer Anwendung der Erfindung in der Mikrosystemtechnik,
Fig. 3 eine schematische Illustration der erfin­ dungsgemäßen Maskierung von Bildern,
Fig. 4 eine Kurvendarstellung des Zeitverlaufs von Bildwerten bei einer Rotationsmessung,
Fig. 5 eine Kurvendarstellung des Zeitverlaufs einer Rotationsmessung mit nicht-konstanter Umdre­ hungsfrequenz,
Fig. 6 eine schematische Illustration der Kombinati­ on eines Mikroelektrodensystems mit einer La­ serpinzette,
Fig. 7 verschiedene Ausführungsformen erfindungsge­ mäß verwendeter Masken,
Fig. 8 eine Illustration der Erfassung periodischer Bewegungen,
Fig. 9, 10 Illustrationen der Erfassung von Wachstums­ prozessen,
Fig. 11, 12 Illustrationen der Zustandserfassung an makroskopischen Körpern,
Fig. 13 eine Illustration eines Objektes mit diskre­ ter Rotationssymmetrie, und
Fig. 14 eine Illustration des erfindungsgemäßen Zäh­ lens von Objekten.
Die Blockdarstellung in Fig. 1 zeigt schematisch eine Ausfüh­ rungsform einer erfindungsgemäßen Vorrichtung 100 zur Erfas­ sung von Objektzuständen mit einer Arbeitsspeichereinrichtung 10, einer Filtereinrichtung 20, einer Analysatoreinrichtung 30 und einer Anzeige-, Speicherungs- und/oder Ausgabeeinrichtung 40. Die Arbeitsspeichereinrichtung 10 enthält den Arbeitsspei­ cher 11 und ggf. eine Bildgebereinrichtung 12, die dem Ar­ beitsspeicher 11 eingangsseitig vorgeschaltet sind. Die Bild­ gebereinrichtung 12 ist mit einer Bildquelle 50 verbunden und dient der Zuführung von Bildwerten, die jeweils Bildpunkten der von der Bildquelle 50 bereitgestellten Bilder entsprechen, in den Arbeitsspeicher 11. Anwendungsabhängig kann die Bild­ quelle 50 auch direkt mit dem Arbeitsspeicher 11 verbunden sein.
Die Bildquelle 50 umfasst eine Sensoreinrichtung 51 und/oder einen Bildspeicher 52. Die Sensoreinrichtung 51 wird vorzugs­ weise durch ein Mess- und/oder Kamerasystem gebildet und ent­ hält z. B. eine CCD-Kamera. Die Sensoreinrichtung 51 ist mit dem Bildspeicher 52, der als Zwischenspeicher dient, und der Arbeitsspeichereinrichtung 10 verbunden. Als Bildspeicher 52 kann jedes in der Video- und Rechentechnik übliche Speicherme­ dium verwendet werden. Die Sensoreinrichtung ist zum Lichtemp­ fang von dem Messsystem verbunden, in dem sich das mindestens eine Objekt zumindest zeitweilig befindet, dessen Zustand er­ fasst werden soll (optische Kopplung von Sensoreinrichtung und Messsystem).
Im Arbeitsspeicher 11 werden als punktweise zugeordnete Bild­ werte in digitaler Form Daten gespeichert, wie sie als Bildpa­ rameter an sich bekannt sind. Diese Daten umfassen beispiels­ weise Rot-, Grün- und/oder Blau-Farbdaten, andere Farb- oder Grauwerte oder auch andere Datentypen, die für Objekteigen­ schaften charakteristisch sind, wie z. B. Temperaturdaten. Im Arbeitsspeicher 11 ist jeweils mindestens ein Bild in Form der zugehörigen punktweisen Bildwerte gespeichert. Es werden min­ destens die Bildwerte gespeichert, die zur Umsetzung des er­ findungsgemäßen Verfahrens verwendet werden sollen. Es können auch mehrere oder alle zu einem Messzyklus gehörigen Bilder oder mehrere zu einem bestimmten Objektzustand gehörende Bil­ der, die sich aus verschiedenen Datentypen von Bildwerten zu­ sammensetzen, gespeichert sein. Wenn das erfindungsgemäße Ver­ fahren mit mehreren Masken umgesetzt wird, können auch für die verschiedenen Masken verschiedene Bildwerte gespeichert und/oder verarbeitet werden.
Mit dem Arbeitsspeicher 11 ist die Filtereinrichtung 20 ver­ bunden, mit der die Bildwerte von mindestens einem vorbestimm­ ten Maskenpunkt an die Analysatorschaltung 30 übergeben wer­ den. Die Filtereinrichtung 20 ist zur Auswahl des mindestens einen Maskenpunktes eingerichtet. Dies erfolgt anwendungsab­ hängig durch Auswahl eines bestimmten Maskenpunktes oder von mehreren Maskenpunkten, die eine oder mehrere zusammenhängende oder voneinander getrennte Masken innerhalb der im Arbeits­ speicher 11 gespeicherten Bilder bilden. Optional kann die Maskenauswahl mit einer Maskengebereinrichtung 60 gesteuert werden, die mit der Analysatorschaltung 30, einem Sensor 70 und/oder einer manuellen Eingabeeinrichtung 80 verbunden ist.
Die Maskengebereinrichtung 60 ist mit der Analysatorschaltung 30 verbunden, um ggf. die Maskenauswahl in Abhängigkeit vom Analyseergebnis zu ändern und/oder die Funktion der Analysa­ torschaltung 30 in Abhängigkeit von der Maskenauswahl zu steu­ ern.
Mit der Analysatorschaltung 30 werden die Bildwerte der Mas­ kenpunkte entsprechend den unten erläuterten Prozeduren ausge­ wertet, um Größen zu ermitteln, die für den Objektzustand cha­ rakteristisch sind. Diese Größen sind insbesondere der Bewe­ gungszustand, die Oberflächeneigenschaften, die Größe und/oder das Vorhandensein oder Fehlen eines Objekts. Entsprechende Da­ ten werden von der Analysatorschaltung 30 an die Anzeige-, Speicher- und/ oder Ausgabeeinrichtung 40 und ggf. an die Mas­ kengebereinrichtung 60 geleitet.
Die Analysatorschaltung 30 kann auch mit der Sensoreinrichtung 51 der Bildquelle 50 und/oder einer in Fig. 1 nicht illust­ rierten Einrichtung zur Beeinflussung von Messbedingungen der Sensoreinrichtung 51 verbunden sein. Dies ermöglicht bei­ spielsweise die Steuerung der Beleuchtung und/oder des Fokus bei der Bildaufnahme in Abhängigkeit vom Analyseergebnis.
Die Einbindung der Vorrichtung 100 in ein praktisch realisier­ tes Messsystem ist in Fig. 2 illustriert. Das Messsystem 200 umfasst ein fluidisches Mikrosystem 210, das als Mikrochip mit integrierten Kanalstrukturen und Fluidanschlüssen (nicht dar­ gestellt) und Mikroelektroden 211 gebildet ist, einen Hochfre­ quenzgenerator 220 zur Ansteuerung des Mikrosystems 210 und ein Mikroskop 230 zur Beobachtung des Objektes 1 im Mikrosys­ tem 210. Das Mikroskop 230 ist mit einer CCD-Kamera 51 ausges­ tattet, die mit der Vorrichtung 100 zur Erfassung des Bewe­ gungszustandes des Objektes 1 verbunden oder ein Teil von die­ ser ist.
Mit dem Hochfrequenzgenerator 220 werden Wechselspannungen er­ zeugt und auf die Mikroelektroden 211 übertragen. Die Mikro­ elektroden (nur vier Elektroden illustriert) bilden z. B. eine Oktopolanordnung zur Bildung eines elektrischen Feldkäfigs, mit dem Objekte eingefangen, gehalten und/oder in Rotation versetzt werden können (siehe z. B. T. Schnelle et al. in "Biochim. Biophys. Acta", Band 1157, 1993, Seite 127 ff.). Beispielsweise wird bei Erzeugung eines hochfrequent rotieren­ den elektrischen Feldes im Feldkäfig unter Wirkung dielektrophoretischer Kräfte eine Rotation des Objektes 1 aus­ gelöst. Aus der Rotationsgeschwindigkeit, die mit dem erfin­ dungsgemäßen Verfahren ermittelt werden soll, können Aussagen über dielektrische Eigenschaften des Objektes getroffen werden. Das Objekt ist beispielsweise eine biologische Zelle, ein Zellbestandteil, ein synthetischer Partikel oder auch eine Gruppe derartiger Partikel.
Mit dem Mikroskop 230 wird das Objekt 1 auf die CCD-Kamera 51 abgebildet, mit der ein Bildsignal (z. B. Videosignal) erzeugt und an einen Bildspeicher (siehe Fig. 1, z. B. Videorecorder, DVD-Recorder) und/oder die Arbeitsspeichereinrichtung der er­ findungsgemäßen Vorrichtung 100 weitergeleitet wird. Die Vor­ richtung 100 wird vorzugsweise durch einen Computer bereitge­ stellt, der mit einer geeigneten Hardware-Schnittstelle zum Einlesen der Bildsignale von der CCD-Kamera 51 und entspre­ chender Hard- und/oder Software zur Bildauswertung entspre­ chend dem erfindungsgemäßen Verfahren ausgestattet ist. Die Vorrichtung 100 ist mit dem Hochfrequenzgenerator 220 und ggf. auch mit dem Mikroskoptisch des Mikroskops 230 und/oder Senso­ ren (z. B. Temperaturmessfühler) am Mikrosystem 210 verbunden.
Ein mit der CCD-Kamera 51 aufgenommenes mikroskopisch vergrö­ ßertes Bild des Mikrosystems 210 ist beispielhaft in Fig. 3 dargestellt. Um periodische Bewegungen des Objektes 1 auswer­ ten zu können, muss ein Signal generiert werden, das mit der Periodik der Objektbewegung in einem vorbestimmten Zusammen­ hang steht. Hierzu werden die Bildwerte von Bildpunkten analy­ siert, die zu vorab ausgewählten Masken gehören.
Bei abgewandelten Ausführungsformen der Erfindung, insbesonde­ re zur Erfassung des Zustandes und/oder des Vorhandenseins von Zellen, Zellbestandteilen, Zellgruppen und/oder Zellschnitten, kann das Mikroskop 230 unabhängig von einem Mikrochip betrie­ ben und stattdessen mit anderen Substraten kombiniert werden, die die jeweiligen Objekte tragen (z. B. Substrate für histo­ logische Untersuchungen).
In Fig. 3 sind beispielhaft drei Masken 2, 3a, 3b mit ihren gestrichelt eingezeichneten Umrissen illustriert. Da die Mas­ ken keine optischen Blenden z. B. im Messsystem darstellen, sondern lediglich die Bildpunkte des im Arbeitsspeicher ge­ speicherten Bildes kennzeichnen, die der nachfolgenden Analyse unterzogen werden sollen, werden die Masken auch als virtuelle Masken bezeichnet. Eine virtuelle Maske kann das gesamte ro­ tierende Objekt 1 (auch als Vollmaske bezeichnet, siehe Maske 2) oder nur einen Teilbereich des Objektes 1 (auch als Teil­ maske beizeichnet, siehe Masken 3a, 3b) überdecken. Die Maske 3b eignet sich besonders gut zur Erfassung von periodischen oder nicht-periodischen Translationsbewegungen.
Aus den Bildwerten einer Vollmaske wird wie folgt ein periodi­ sches Signal erzeugt. Zu Messbeginn (Zeit = 0) werden die Bildwerte (z. B. Farb- oder Grauwerte, entsprechende Informa­ tionen) der Bildpunkte innerhalb der Vollmaske pixelweise zwi­ schengespeichert. Während der Rotation wird in vorbestimmten Zeitabständen die Summe über alle pixelweisen Signaländerungen über die innerhalb der Vollmaske befindlichen Bildpunkte ge­ bildet. Diese Summe umfasst also alle Differenzwerte [Lichtsignal (Bildpunktposition, Zeit = 0) - Lichtsignal (Bildpunktposition, Zeit = t)] für alle Maskenpunkte. Die Sum­ me liefert ein zeitabhängiges Rohsignal, das mit der Rotation des Objektes in direktem Zusammenhang steht. In Fig. 4 ist. das Rohsignal am Beispiel einer Langzeit-Rotationsmessung ei­ ner Hefezelle dargestellt. Der in Fig. 4 dargestellte Zeitbe­ reich entspricht einem Zeitfenster der Länge von ca. 1 Sekun­ den. Die Periodendauer der Rotation beträgt ca. 0.36 Sekunden. Die Ermittlung und Auswertung des Rohsignals erfolgen mit der Analysatorschaltung 30 (siehe Fig. 1).
Mit Teilmasken vereinfacht sich bei geeigneter Auswahl der Form und Lage der Teilmaske die Ermittlung des Rohsignals. Bei Teilmasken 3a und 3b gemäß Fig. 3 kann das Rohsignal beispielsweise durch die Summe der Bildwerte über alle Masken­ punkte zum jeweiligen Messzeitpunkt (Summe [Lichtsignal (Bild­ punktposition, Zeit = t)]) gebildet werden. Alternativ kann auch die oben genannte oder eine andere, z. B. gewichtete Sum­ menbildung erfolgen.
Die Analyse des Rohsignals auf Periodizität zur Ermittlung der Rotationsfrequenz des Objektes erfolgt mit einer Prozedur, die insbesondere in Abhängigkeit vom Objekt, der Bildqualität und der Signalqualität gewählt wird. Die Analyse basiert, insbe­ sondere bei Langzeitmessungen, auf einer Fourieranalyse. Al­ ternativ kann auch eine Häufigkeitsanalyse des Rohsignals durchgeführt werden. Hierzu werden die Abstände charakteristi­ scher Signalpunkte innerhalb des Rohsignals (z. B. Extrema, Wendepunkte, Durchgänge durch den Mittelwert und dergleichen) ermittelt und die Häufigkeit einzelner Werte oder Wertegruppen analysiert. In Kombination mit einer Autokorrelationsanalyse, die neben den gesuchten Periodizitäten insbesondere auch die Bildwiederholfrequenz des Videosignals oder andere Frequenzen, die durch die digitale Bildbearbeitung bedingt sind, ergibt, können aus den Häufigkeiten die mit dem interessierenden Bewe­ gungssignal korrelierten Perioden ermittelt werden. Diese Pro­ zedur ist insbesondere auch bei relativ kurzzeitigen Messun­ gen, z. B. über 1.5 Perioden, zuverlässig und reproduzierbar. Vorteilhafterweise ist die Rohsignalanalyse nicht an die Di­ mensionen des Objektes gebunden. Anwendungen können für belie­ bige Objektgrößen vom atomaren bis zum astronomischen Bereich realisiert werden.
Es ist möglich, dass sich die Rotationsgeschwindigkeit des Ob­ jektes und damit die Periodik des Rohsignals während einer Messung ändert. Die Änderung kann beispielsweise durch eine Änderung der Frequenz des rotierenden elektrischen Feldes im Feldkäfig, eine Änderung des Objektes, z. B. durch UV-Laser- Ablation, oder durch eine anderweitige Änderung der Objektbedingungen, z. B. durch einen Lösungswechsel (Einspülen von Pharmaka) ausgelöst werden. Wenn sich die Rotationsgeschwin­ digkeit ändert, kann erfindungsgemäß vorgesehen sein, dass die Messzeit (Zeitfenster der Messung) an die Rotationsgeschwin­ digkeit angepasst wird. Je langsamer oder schneller sich das Objekt dreht, desto länger oder kürzer erfolgen die Bildauf­ nahme und -auswertung. Vorteilhafterweise können mögliche Schädigungen, z. B. von biologischen Zellen durch Laserstrah­ lung, durch eine verringerte Bestrahlungszeit minimiert wer­ den. Wenn das erfindungsgemäße Verfahren mit mehreren Masken umgesetzt wird, so ist auch die Anwendung verschiedener Zeit­ fenster für die verschiedenen Masken möglich. Dies ist bei­ spielsweise von Vorteil, wenn mit den Masken verschiedene Teilbewegungen (z. B. Rotation mit überlagerter Translation) mit verschiedenen charakteristischen Zeitskalen erfaßt werden.
In Fig. 5 ist eine Rotationsmessung mit nicht-konstanter Ro­ tationsfrequenz am Beispiel einer Messung mit einem Human­ erythrozyten illustriert. Durch Einstrahlung mit einem UV- Laser bei 300 s und 500 s erfolgte eine gezielte Störung der Rotation. Die analysierte Rotationsperiode ergibt den Wert Null. Dies zeigt an, dass mit der jeweils angewendeten Analy­ seprozedur keine Rotationsgeschwindigkeit ermittelt werden konnte. Dies bedeutet entweder einen Stillstand des Objektes oder eine starke Änderung der Rotationsgeschwindigkeit oder eine Rauschstörung. Zur Berücksichtigung von Rauschstörungen kann vorgesehen sein, dass das Rohsignal während der Analyse laufend auf Rauschkomponenten untersucht und ein Parameter für die Signalgüte ermittelt wird. Bei der Ermittlung der Rausch­ komponenten werden insbesondere die relative Häufigkeit der Periodenkandidaten innerhalb einer Größenklassenanalyse, die Höhe der Autokorrelationsfunktion für diese Periodenkandidaten und ein Vergleich charakteristischer Punkte des Messspektrums mit für eine solche Periodizität zu erwartenden Charakteristi­ ka des jeweiligen Objektes berücksichtigt.
Falls eine Objektrotation um einen Drehpunkt beobachtet werden soll, der im Messsystem nicht ortsfest ist, kann eine virtuel­ le Maske zur Detektion der Translation verwendet werden, die der Rotation überlagert ist. Die Maskenpunkte dieser Masken werden so gewählt, dass in den gespeicherten Bildern die Um­ randung des Objektes zumindest in Translationsrichtung die Maske durchquert. Beispielsweise kann die virtuelle Maske 3 in Fig. 3 zur Translationsdetektion verwendet werden.
Erfindungsgemäß kann vorgesehen sein, dass der mindestens eine Maskenpunkt oder die mindestens eine Maske in Bezug auf den Ort, die Größe und/oder Form während der Messung verändert wird. Dies erfolgt vorzugsweise in Abhängigkeit vom Ergebnis der Bildwertanalyse, insbesondere in Abhängigkeit vom Bewe­ gungszustand, Oberflächenmerkmalen, Größenmerkmalen und/oder dem Vorhandensein des Objektes. Ist beispielsweise eine Rota­ tion mit einer Translation überlagert, so kann die Wahl der Maske der Translationsbewegung nachgeführt werden. Zur zeit­ lich veränderlichen Maskenauswahl kann in der Filtereinrich­ tung 20 (siehe Fig. 1) eine hierzu angepasste Schaltung oder ein entsprechendes Programm vorgesehen sein. Alternativ wird mit der Analysatorschaltung 30 und der Maskengebereinrichtung 60 ein Regelkreis gebildet.
Eine abgewandelte Ausführungsform des Messsystems 200 ist in Fig. 6 illustriert. Das Mikrosystem 210 ist lediglich mit vier Mikroelektroden 211 in einer Ebene ausgestattet. Mit den Mikroelektroden 211 werden wie bei der Ausführungsform gemäß Fig. 1 hochfrequent rotierende elektrische Felder erzeugt, unter deren Wirkung das Objekt 1 in Rotation versetzt wird. Die Elektroden genügen jedoch nicht zur Bildung eines ge­ schlossenen Feldkäfigs. Daher wird das Objekt 1 mit einem op­ tischen Käfig 212 zwischen den Mikroelektroden 211 positio­ niert. Der optische Käfig 212 wird mit einer Laserpinzette erzeugt, die vorzugsweise mit dem Mikroskop gebildet wird, das auch der Abbildung des Objektes dient. Diese Ausführungsform besitzt insbesondere den Vorteil, dass mit dem optischen Käfig 212 Partikel in Position gehalten werden können, die andern­ falls um einen nicht-ortsfesten Drehpunkt rotieren würden.
In Fig. 7 sind weitere Maskenformen zur Umsetzung des erfin­ dungsgemäßen Verfahrens gezeigt. Die Minimalgröße einer Teil­ maske (siehe Fig. 3) ist durch einen einzelnen Maskenpunkt gegeben. Der Bildwert des Maskenpunktes besitzt eine Länge von einem Byte. In Fig. 7A ist eine Punktmaske 4 beispielhaft vergrößert eingezeichnet. Die Punktmaske 4 ist so ausgewählt, dass das Bild des Objektes 1 während einer Umdrehung nicht ständig auf den Maskenpunkt fällt. Das Objekt 1 wird bei­ spielsweise mit einem optischen Käfig 212 gehalten. Bei Rota­ tion wird ein rechteckförmiges Rohsignal gebildet, in dem sich Signalwerte entsprechend der Abbildung der Umgebung des Objek­ tes 1 auf den Maskenpunkt 4 und Signalwerte entsprechend der Abbildung des Objektes 1 auf den Maskenpunkt 4 abwechseln. Die Frequenz des Rohsignals entspricht der Rotationsfrequenz des Objektes 1. Bei ausreichend starker Flüssigkeitsbewegung ist es erfindungsgemäß alternativ möglich, die Objektrotation mit Masken zu detektieren, auf die lediglich die Suspensionsflüs­ sigkeit in der Umgebung des Objektes abgebildet wird und keine Überlappung mit dem Objekt erfolgt.
Bei der in Fig. 7B dargestellten Ausführungsform der Erfin­ dung wurden Maskenpunkte als Maske 5 ausgewählt, auf die ein innerer Teilbereich des Objektes 1 abgebildet wird. Wenn das Objekt 1 ein ausreichend unveränderliches Drehzentrum besitzt und die abgebildete Oberfläche des Objektes 1 einen Struktur­ kontrast aufweist, kann das Bild des Objektes 1 die Maske 5 vollständig überdecken. Der Strukturkontrast wird ggf. erst durch eine Bildbearbeitung in der Arbeitsspeichereinrichtung oder der Analysatorschaltung (siehe Fig. 1) erzeugt.
Zur Detektion der Rotationsrichtung werden mindestens zwei Teilmasken 6a, 6b gemäß Fig. 7C verwendet, die vorzugsweise in Größe und Lage symmetrisch zum jeweiligen Drehzentrum ange­ ordnet sind. Es können auch andere Masken, beispielsweise Dreiecksmasken gemäß Maske 3b in Fig. 3 gebildet werden. Durch eine Korrelationsanalyse der Rohsignale von den Masken 6a, 6b kann die Drehrichtung des Objektes 1 ermittelt werden. Es ist auch möglich, mehrere Masken gleicher oder verschiede­ ner Form, Größe oder Lage zum Drehzentrum so zu wählen, dass ein periodisches, jedoch zeitlich asymmetrisches Signal er­ zeugt wird, dessen Asymmetrie von den jeweiligen Bewegungs­ richtungen, insbesondere von Translationsbewegungen, abhängt. Die zur Unterscheidung der Translationsrichtungen benötigten Parameter der Rohsignale können als Referenzwerte gespeichert sein oder mit geeigneten Algorithmen, z. B. mit neuronalen Netzwerken, erlernt werden.
Durch Auswahl einer Maske entsprechend dem Bildbereich, in dem sich ein Objektteil befindet oder bewegt, kann erfindungsgemäß der Zustand des Gesamtobjektes oder des detektierten Objekt­ teils erfasst werden.
Gemäß Fig. 8 ist die Teilmaske 3 so gewählt, dass ein faden­ förmiger Fortsatz 1a des Objektes 1 auf die Maskenpunkte abge­ bildet wird. Das Objekt 1 wird mit einem optischen Käfig 212 positioniert. Durch Strömungen der Suspensionsflüssigkeit und/oder Eigenbewegungen werden die Bildwerte der Maske 3 mo­ duliert. Aus dem entsprechenden Rohsignal werden die Frequen­ zen der entsprechenden Oszillationsbewegungen abgeleitet.
Zur eindimensionalen Detektion von positiven oder negativen Größenänderungen (Wachstums- oder Schrumpfprozesse) gemäß Fig. 9 wird eine Teilmaske 3 so ausgewählt, dass während des Wachstumsprozesses das Bild des Objektes 1 einen zunehmenden oder abnehmenden Teil der Maske 3 abdeckt. Beim dargestellten Beispiel ist das Objekt 1 eine biologische Zelle, die auf ei­ nem Substrat 213 adsorbiert ist. Von der Zelle mit dem Zell­ kern 1b ausgehend wächst eine Ausstülpung 1c der Zellmembran über das Substrat 213. Bei ausreichendem Kontrast der Ausstül­ pung 1c gegenüber dem Substrat 213 verändert sich das mit der Maske 3 detektierte Rohsignal quantitativ charakteristisch entsprechend dem zunehmenden Wachstum. Je nach Richtung des Wachstums oder Überdeckungsgrad der Maske 3 kann erfindungsge­ mäß vorgesehen sein, dass im Zeitverlauf eine neue Maske mit einer angepassten Form und/oder Position ausgewählt und zur weiteren Detektion des Wachstumsprozesses verwendet wird.
Fig. 10 illustriert eine Abwandlung der Detektion von Wachs­ tumsprozessen an mehreren Objekten, die, beispielsweise unter der Wirkung eines elektrischen Feldes oder eines chemischen Konzentrationsgradienten, von einem gemeinsamen Anfangspunkt weg oder auf ein gemeinsames Ziel hin wachsen. Bei dieser Ges­ taltung ist eine ringförmige Maske 7 vorgesehen, deren Form, Größe und Position wiederum in Abhängigkeit vom Fortschritt des Wachstumsprozesses veränderlich ist.
Die in den Fig. 9 und 10 illustrierten Detektionsprinzipien können analog auch auf andere Wachstumsprozesse, beispielswei­ se von Zellkulturen, Ausdehnungsprozesse, z. B. zur Bestimmung von thermischen Ausdehnungskoeffizienten, oder auch Prozesse bei der Verkehrsüberwachung angewendet werden.
Die Anwendung der Erfindung bei der Objekterfassung an makroskopischen Körpern ist in den Fig. 11 und 12 illust­ riert. Die dargestellte Erfassung einer räumlichen Struktur von einem oder mehreren Objekten oder Objektteilen ist aller­ dings entsprechend auch an mikroskopischen Objekten (z. B. Zellschnitten) umsetzbar. Es wird hierbei nicht die zeitliche Änderung eines Objektes, sondern die Gleichartigkeit einer Vielzahl von Objekten erfasst. In einer automatischen Ferti­ gungslinie oder Prozessstraße werden Produkte (z. B. Fahrzeug­ karosserien) aufeinanderfolgend mit einer Kameraeinrichtung aufgenommen. Die Bildfolge wird entsprechend dem erfindungsge­ mäßen Verfahren analysiert. Die mindestens eine Maske wird so gewählt, dass beispielsweise kritische Punkte bei der Ferti­ gung auf die Maske abgebildet werden. Veränderungen des Mas­ kenrohsignals von Bild zu Bild weisen auf das Auftreten oder Fehlen bestimmter Objektmerkmale hin. Eine Abwandlung ist in Fig. 12 illustriert. Bei der Detektion von Fabrikationsfeh­ lern bei einer Verbundfertigung oder -verarbeitung wird eine Kamera über einem Objekt 1 (teilweise dargestellt) bewegt, das auf Strukturperiodizität zu prüfen ist. Veränderungen des Sig­ nals der beispielhaft eingezeichneten Maske 8 weisen auf Durchbrechungen der Strukturperiodizität hin.
Besitzen die zu untersuchenden Objekte selbst eine periodische Struktur, so kann die Zahl der zur Analyse der Bewegungsperio­ dik erforderlichen Bilder verringert werden. Je höher die Raumfrequenz der Objektperiodizität ist, desto stärker kann die Analyse der Periodik verkürzt werden. In Fig. 13 ist bei­ spielhaft ein Objekt mit symmetrisch angeordneten Segmenten dargestellt, bei dem die Rotationsfrequenz in einem Zeitbe­ reich ermittelt werden kann, der geringer als die Periodendau­ er der Rotation ist. Derartige periodische Objekte sind bei­ spielsweise mit periodischen Mikrostrukturen, Zahnrädern oder auch periodischen Bauwerken, wie z. B. Eisenbahnschwellen, ge­ geben.
Das erfindungsgemäße Verfahren ist auch zur Detektion des Vor­ handenseins oder Fehlens oder zum Zählen von Objekten geeig­ net. In Fig. 14 ist die Zählung gleichartiger Objekte 1 mit einer Maske 9 illustriert. Wird beispielsweise ein durchström­ ter Bereich eines Mikrosystems mit einer Kameraeinrichtung aufgenommen, so wird das Signal der Maske 9 entsprechend dem Durchtritt der Objekte 1 moduliert. Je nach Anzahl und Stärke der Modulationen kann die Zahl der Objekte erfasst werden, die den auf die Maske 9 abgebildeten Bereich durchtreten. Entspre­ chend kann auch das Vorhandensein oder Fehlen mindestens eines Objektes detektiert werden.
Ein wichtiger Vorteil der Erfindung gegenüber herkömmlichen Techniken besteht in der Möglichkeit, die ausgewählte Maske anwendungsabhängig nach bestimmten Parametern zu optimieren. Da das Rohsignal der Maske selbst einen Güteparameter (Signal­ güte) liefern kann (Ermittlung eines Gütesignals aus dem Roh­ signal), kann die Auswahl der Maske mit einem Regelkreis auto­ matisch auf ein Optimum hin angepasst werden. Zu dieser Anpas­ sung werden beispielsweise an sich bekannte evolutive Algo­ rithmen verwendet, was insbesondere bei Objekten mit unregel­ mäßigen Topologien von Vorteil ist. Ferner kann auch die Zahl der berücksichtigten Objektbilder oder das Zeitfenster der Messung optimiert werden.
Die in der vorstehenden Beschreibung, den Ansprüchen und den Zeichnungen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebiger Kombination für die Verwirkli­ chung der Erfindung in ihren verschiedenen Ausgestaltungen von Bedeutung sein.

Claims (23)

1. Verfahren zur Erfassung des Zustandes eines Objekts (1), in einem Messsystem, mit den Schritten:
  • - Bereitstellung einer Vielzahl von Bildern des Objekts (1) oder mindestens eines Objektteiles aus einer Bildquelle (50), wobei jedes Bild eine Vielzahl von Bildpunkten mit jeweils mindestens einem Bildwert umfasst, und
  • - Analyse der Bildwerte von mindestens einem Maskenpunkt (2 bis 9) aus der Vielzahl der Bildpunkte für eine vorbestimmte Messzeit und/oder für eine vorbestimmte Anzahl von Bildern, um den Zustand und/oder das Vorhandensein des Objekts (1) zu er­ fassen,
dadurch gekennzeichnet, dass
die Bereitstellung der Bilder ein Speichern in einer Ar­ beitsspeichereinrichtung (10) umfasst, die mit der Bildquelle (50) verbunden ist, und
der mindestens eine Maskenpunkt (2 bis 9) aus der Vielzahl der in der Arbeitsspeichereinrichtung (10) gespeicherten Bild­ punkte ausgewählt wird.
2. Verfahren gemäß Anspruch 1, bei dem die Vielzahl von Bil­ dern eine zeitliche Folge von Objektzuständen und/oder eine Vielzahl von Objekten oder Objektteilen repräsentieren.
3. Verfahren gemäß Anspruch 1 oder 2, bei dem als Zustand des Objekts (1) der Bewegungszustand, Oberflächenmerkmale, Volu­ menmerkmale und/oder Größenmerkmale des Objektes ermittelt werden.
4. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem eine Vielzahl von Maskenpunkten ausgewählt wird, die eine oder mehrere Masken bilden.
5. Verfahren gemäß Anspruch 4, bei dem die Auswahl der Masken in Bezug auf ihre Lage, Anzahl und Größe zeitlich veränderlich ist.
6. Verfahren gemäß Anspruch 5, bei dem die Auswahl der Masken entsprechend einem vorbestimmten Zeitprogramm oder in Abhän­ gigkeit vom erfassten Zustand des Objekts und/oder von Umge­ bungsbedingungen des Objekts im Messsystem verändert wird.
7. Verfahren gemäß Anspruch 5 oder 6, bei dem eine Vielzahl von Maskenpunkten ausgewählt werden, die mehrere Masken bil­ den, und aus der Analyse des zeitlichen Verlaufs der Bildwerte der Maskenpunkte die Bewegungsrichtung des Objekts erfasst wird.
8. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Analyse des zeitlichen Verlaufs der Bildwerte eine Frequenzanalyse, eine Korrelationsanalyse, eine Fourieranaly­ se, eine Größenklassenanalyse, eine Häufigkeitsanalyse und/oder eine Maskengrößenanalyse eines Rohsignals umfasst, das aus den Bildwerten des mindestens einen Maskenpunktes ab­ geleitet ist.
9. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Vielzahl von Bildern mindestens zwei Bilder umfasst und durch eine Echtzeitaufnahme mit einer Sensoreinrichtung (51) oder einen Auslesevorgang aus einem Bildspeicher (52) in der Arbeitsspeichereinrichtung (10) bereitgestellt wird.
10. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem den Bildpunkten Bildwerte zugeordnet werden, die Farbwer­ te, Helligkeits- oder Grauwerte oder andere Werte umfassen, die für vorbestimmte Zustandsgrößen des Objekts charakteris­ tisch sind.
11. Verfahren gemäß Anspruch 10, bei dem die Bildwerte durch Auslesen der Daten eines Framegrabber-Schaltkreises ermittelt werden.
12. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Messzeit vorab fest oder in Abhängigkeit vom Bewe­ gungszustand des Objekts variabel eingestellt wird.
13. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem nach der Bereitstellung der Bilder eine Bildvorbearbeitung der Bilder, insbesondere zur Kontrasterhöhung, erfolgt.
14. Vorrichtung zur Erfassung des Zustandes eines Objekts, mit:
  • - einer Arbeitsspeichereinrichtung (10) zum Speichern von min­ destens zwei Bildern eines Objekts (1) oder eines Objektteils,
  • - einer Filtereinrichtung (20) zur Ermittlung von Bildwerten der gespeicherten Bilder an mindestens einem vorgewählten Mas­ kenpunkt, und
  • - einer Analysatorschaltung (30), die zur Analyse der gespei­ cherten Bildwerte der Maskenpunkte eingerichtet ist.
15. Vorrichtung gemäß Anspruch 14, bei der eine Maskenge­ bereinrichtung (60) zur Auswahl der Maskenpunkte vorgesehen ist, wobei die Maskengebereinrichtung (60) mit der Filterein­ richtung (20), der Analysatorschaltung (30), einem Sensor (70) und/oder einer manuellen Eingabeeinrichtung (80) verbunden ist.
16. Vorrichtung gemäß einem der Ansprüche 14 oder 15, bei dem die Arbeitsspeichereinrichtung (10) mit einer Bildquelle (50) verbunden ist, die zur Bereitstellung einer Folge von Bildern des Objekts oder eines Teiles des Objekts eingerichtet ist und eine Sensoreinrichtung (51) und/oder einen Bildspeicher (52) umfasst.
17. Vorrichtung gemäß Anspruch 16, bei der die Sensoreinrich­ tung (51) eine Mess- oder Kameraeinrichtung umfasst.
18. Vorrichtung gemäß Anspruch 16 oder 17, bei der die Sensor­ einrichtung (51) ein Mikroskop (230) aufweist.
19. Vorrichtung gemäß Anspruch 18, bei der das Mikroskop (230) zur Bildaufnahme und zur Erzeugung eines optischen Käfigs ein­ gerichtet ist.
20. Vorrichtung gemäß einem der Ansprüche 14 bis 19, bei der die Arbeitsspeichereinrichtung (10) durch einen Framegrabber- Schaltkreis (Framegrabber-Karte) gebildet wird.
21. Vorrichtung gemäß einem der Ansprüche 14 bis 20, die eine Anzeige-, Speicherungs- und/oder Ausgabeeinrichtung (50) auf­ weist, die dazu eingerichtet ist, Daten, die für den Bewe­ gungszustand, Oberflächenmerkmale Größenmerkmale und/oder das Vorhandensein des Objekts charakteristisch sind, anzuzeigen, zu speichern und/oder auszugeben.
22. Vorrichtung gemäß einem der Ansprüche 14 bis 21, die zur Umsetzung eines Verfahrens gemäß einem der Ansprüche 1 bis 13 eingerichtet ist.
23. Verwendung eines Verfahrens oder einer Vorrichtung gemäß einem der vorhergehenden Ansprüche:
zur Erfassung des Bewegungs- oder Ruhezustandes eines Ob­ jekts,
zur Erfassung der Bewegungsrichtung eines Objekts,
zur Ermittlung einer Formänderung eines Objekts,
zur Ermittlung von Oberflächen- oder Volumenmerkmalen des Objekts,
zum Zählen von Objekten, und/oder
zur Erfassung des Zustandes und/oder des Vorhandenseins von biologischen Objekten, insbesondere Zellen, Zellbestandteilen, Zellgruppen oder Zellschnitten.
DE10120498A 2001-04-26 2001-04-26 Verfahren und Vorrichtung zur Erfassung von Objektzuständen Ceased DE10120498A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE10120498A DE10120498A1 (de) 2001-04-26 2001-04-26 Verfahren und Vorrichtung zur Erfassung von Objektzuständen
EP02727580A EP1381845B1 (de) 2001-04-26 2002-04-24 Verfahren und vorrichtung zur erfassung von objektzuständen
PCT/EP2002/004546 WO2002088676A1 (de) 2001-04-26 2002-04-24 Verfahren und vorrichtung zur erfassung von objektzuständen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10120498A DE10120498A1 (de) 2001-04-26 2001-04-26 Verfahren und Vorrichtung zur Erfassung von Objektzuständen

Publications (1)

Publication Number Publication Date
DE10120498A1 true DE10120498A1 (de) 2002-10-31

Family

ID=7682835

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10120498A Ceased DE10120498A1 (de) 2001-04-26 2001-04-26 Verfahren und Vorrichtung zur Erfassung von Objektzuständen

Country Status (3)

Country Link
EP (1) EP1381845B1 (de)
DE (1) DE10120498A1 (de)
WO (1) WO2002088676A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10304653A1 (de) * 2003-02-05 2004-08-19 Evotec Technologies Gmbh Mehrparametrige Detektion in einem fluidischen Mikrosystem

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991222B (zh) * 2019-10-16 2023-12-08 京东科技信息技术有限公司 一种物体状态监测、母猪发情监测方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000502446A (ja) * 1995-12-18 2000-02-29 センター フォー ラボラトリー テクノロジー,インク. 血液診断装置及び判定方法
DE19903001A1 (de) * 1999-01-26 2000-08-24 Evotec Biosystems Ag Verfahren und Vorrichtung zur Detektion mikroskopisch kleiner Objekte
DE19930607C2 (de) * 1999-07-02 2002-08-01 Max Planck Gesellschaft Verfahren zur Gewinnung von Daten, die Aufschluß geben über die Kinetik der Reaktionen von Reaktanten in einer Vielzahl von Proben und Vorrichtung zur Durchführung des Verfahrens

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10304653A1 (de) * 2003-02-05 2004-08-19 Evotec Technologies Gmbh Mehrparametrige Detektion in einem fluidischen Mikrosystem
DE10304653B4 (de) * 2003-02-05 2005-01-27 Evotec Technologies Gmbh Mehrparametrige Detektion in einem fluidischen Mikrosystem

Also Published As

Publication number Publication date
EP1381845A1 (de) 2004-01-21
WO2002088676A1 (de) 2002-11-07
EP1381845B1 (de) 2013-01-30

Similar Documents

Publication Publication Date Title
DE3146423C2 (de)
DE19549015C1 (de) Verfahren und Anordnung zur Überwachung eines abreißenden Flüssigkeitstrahls
EP3608831A1 (de) Verfahren zur bereitstellung eines auswertungsmittels für wenigstens ein optisches anwendungssystem einer mikroskopbasierten anwendungstechnologie
DE60202374T2 (de) Methode und Vorrichtung zur Aufnahme dreidimensionaler Abbildungen von schwebend gehaltenen Mikroobjekten unter Verwendung hochauflösender Mikroskopie
WO1997041416A1 (de) Verfahren zur automatisierten mikroskopunterstützten untersuchung von gewebeproben oder körperflüssigkeitsproben
DE602004008471T2 (de) Verfahren und anordnung zur bestimmung einer objektkontur
DE69322095T2 (de) Verfahren und gerät zur identifizierung eines objekts mittels eine geordneten folge von grenz-pixel-parametern
DE2823490A1 (de) Verfahren zur analyse von organismus- zellen
DE4211904C2 (de) Automatisches Verfahren zum Erstellen einer Liste unterschiedlicher Arten für eine flüssige Probe
DE2903625C2 (de)
EP1797533B1 (de) Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen
DE102019133685A1 (de) Informationsverarbeitungssystem und -verfahren
EP3598195A1 (de) Verfahren zur mikroskopischen auswertung
EP2400458B1 (de) Verfahren und Vorrichtung zur Segmentierung von biologischen Zellen in einer Aufnahme
DE19633693C1 (de) Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
EP1155303B1 (de) Verfahren und vorrichtung zur detektion mikroskopisch kleiner objekte
DE19928231C2 (de) Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung
EP3430565B1 (de) Verfahren zur untersuchung verteilter objekte unter segmentierung eines übersichtbildes
DE102018115046A1 (de) Rasterelektronenmikroskop und Bildverarbeitungsvorrichtung
EP1381845B1 (de) Verfahren und vorrichtung zur erfassung von objektzuständen
EP3828617A1 (de) Verfahren zur digitalen anfärbung von zellen
DE19859460C2 (de) Verfahren und Vorrichtung zur elektro-optischen Einzelpartikelspektroskopie
WO1998029732A1 (de) Verfahren und vorrichtung zur bewegungserfassung an mikroskopischen objekten
DE19930598A1 (de) Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen
DE19723873B4 (de) Verfahren und Vorrichtung zur Bewegungserfassung eines sich zumindest zeitweilig periodisch bewegenden Objekts

Legal Events

Date Code Title Description
8127 New person/name/address of the applicant

Owner name: EVOTEC TECHNOLOGIES GMBH, 40225 DUESSELDORF, DE

8110 Request for examination paragraph 44
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final

Effective date: 20131231