DE102022115660A1 - Verfahren und Vorrichtung zur Mikroskopie - Google Patents

Verfahren und Vorrichtung zur Mikroskopie Download PDF

Info

Publication number
DE102022115660A1
DE102022115660A1 DE102022115660.5A DE102022115660A DE102022115660A1 DE 102022115660 A1 DE102022115660 A1 DE 102022115660A1 DE 102022115660 A DE102022115660 A DE 102022115660A DE 102022115660 A1 DE102022115660 A1 DE 102022115660A1
Authority
DE
Germany
Prior art keywords
camera
viewing area
microscope
image
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022115660.5A
Other languages
English (en)
Inventor
Jens Radeloff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Basler AG
Original Assignee
Basler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Basler AG filed Critical Basler AG
Priority to DE102022115660.5A priority Critical patent/DE102022115660A1/de
Priority to PCT/EP2023/065445 priority patent/WO2023247207A1/de
Publication of DE102022115660A1 publication Critical patent/DE102022115660A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Offenbart sind ein Mikroskopierverfahren basierend auf dem Stereokameraprinzip, wobei eine Position eines kleinen Kamerasichtbereiches in einem großen Kamerasichtbereich basierend auf einer Kalibrierung der beiden Kameras erfolgt und die Position des kleinen Kamerasichtbereichs in dem großen Kamerasichtbereich einem Anwender angezeigt wird, ein 3D-Kameramikroskop und ein Kamerasystem für ein derartiges Verfahren bzw. ein derartiges Kameramikroskop.

Description

  • Die Erfindung betrifft ein Verfahren zur Detektion von Objekten unter einem Kameramikroskop unter Verwendung von Kameras, ein Kameramikroskop zur Durchführung eines derartigen Verfahrens und ein Kamerasystem.
  • Eine ständige Herausforderung beim Mikroskopieren besteht darin, die exakte Position des durch das Mikroskop betrachteten Objektausschnitts zu bestimmen. Gerade in der Qualitätssicherung, beispielsweise in der Endkontrolle von elektronischen Baugruppen wie bestückten Elektronikplatinen (Printed Circuit Boards), ist es wesentlich, dass die einzelnen Bauteile der Bauteilgruppe verlässlich lokalisiert werden können. Herkömmlicherweise kommen Mikroskopsysteme zum Einsatz, die hochauflösende Kamerabilder mit einem kleinem Sichtfeld von z.B. 10x10mm liefern. Durch das Zoomen sind detaillierte Beurteilungen der Qualität grundsätzlich möglich, allerdings erschwert das Zoomen die Orientierung, so dass der Anwender einen gezoomten Bauteilausschnitt nicht verlässlich innerhalb der Baugruppe bzw. auf der Elektronikplatine verorten kann. Die Situation ließe sich durch die Verwendung einer sehr hochauflösenden Kamera, welche für die Lage-Detektion die gesamte Kamera-Sensor AOI nutzt, für das Kamerabild des Mikroskops aber nur einen kleinen Ausschnitt verwendet, grundsätzlich verbessern. Allerdings würde ein hierfür benötigter sehr hochauflösender Bildsensor entsprechend viel Prozessorleistung erfordern. Beispielsweise würde für eine 300x200mm große Platine ein Sichtbereich von mindestens 600x600mm benötigt werden, um die Platine in jeder Ausrichtung in der Ebene vollständig von der Kamera erfasst zu haben. Die Platine kann zum Beispiel um 360° im Sichtbereich gedreht werden. Das bedeutet, dass der Sichtbereich zweimal der maximalen Platinengröße entspricht. Bei einer Auflösung von 50px/mm und einem Sichtbereich vom 600mm wäre eine Sensorauflösung von 900Mpx erforderlich (30000px mal 30000px).
  • Druckschriftlicher Stand der Technik bzgl. Kameramikroskopen ist in dem US-Patent US 8,934,721 B2 genannt.
  • Aufgabe der Erfindung ist es, ein Verfahren und ein Kameramikroskop zur Detektion von Objekten unter einem Kameramikroskop zu schaffen, das bzw. die eine verlässliche Detektion von Objekten bei reduziertem technischen Aufwand ermöglicht bzw. ermöglichen. Zudem ist es Aufgabe der Erfindung ein Kamerasystem für ein derartiges Kameramikroskop zu schaffen.
  • Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1, durch ein Kameramikroskop mit den Merkmalen des Patentanspruchs 6 und durch ein Kamerasystem mit den Merkmalen des Patentanspruchs 10.
  • Bei einem erfindungsgemäßen Verfahren zur Detektion von Objekten unter einem Kameramikroskop wird ein Sichtbereich einer ersten Kamera eines zu mikroskopierenden Objektes erfasst. Bevorzugterweise wird der Sichtbereich als erstes Kamerabild ausgegeben. Zudem wird ein Sichtbereichs einer zweiten Kamera des zu mikroskopierenden Objektes erfasst und als zweites Kamerabild ausgegeben. Die Sichtbereiche sind so gewählt, dass der erste Sichtbereich (Sichtbereich der ersten Kamera) größer als der zweite Sichtbereich (Sichtbereich der zweiten Kamera) ist. Dann wird eine aktuelle Position des zweiten Sichtbereichs in dem ersten Sichtbereich anhand einer Kalibrierung der beiden Kameras zueinander durchgeführt. Abschließend wird die Position des zweiten Sichtbereichs visualisiert. Die Visualisierung erfolgt bevorzugterweise in dem ersten Kamerabild.
  • Das erfindungsgemäße Verfahren ermöglicht eine verlässliche Detektion von Objekten bei geringem technischen Aufwand. Während die erste Kamera (Helikopterkamera) aus der Vogelperspektive das Objekt erfasst, erfasst die zweite Kamera aus der Nahperspektive Objektabschnitte. Durch die (im Vorfeld, das heißt vor dem Beginn des Verfahrens) erfolgte Kalibrierung der beiden Kameras zueinander lässt sich der Objektausschnitt genau in dem ersten Kamerabild positionieren. Die Kenntlichmachung der Position kann durch eine Umrandung beispielsweise in Form eines farbigen Rechtecks, einen Positionspfeil und dergleichen erfolgen. Die bevorzugte Ausgabe des ersten Sichtbereichs als erstes Kamerabildes kann auch abstrakt, beispielsweise ebenfalls als eine Umrahmung erfolgen. Ein beispielhafter Sichtbereich der ersten Kamera beträgt ca. 500x300mm, ein beispielhafter Sichtbereich der zweiten Kamera beträgt ca. 10x10mm.
  • Bevorzugterweise wird das zweite Kamerabild in einer höheren Auflösung als das erste Kamerabild angezeigt. Die Auflöseerhöhung durch das zweite Kamerabild ermöglicht dem Anwender/Betrachter Detailansichten des Objektes und somit eine verlässliche visuelle Detektion von Objekten bei reduzierten technischen Aufwand. Ein beispielhafter Sichtbereich der ersten Kamera beträgt zur Untersuchung einer 300x200mm großen Platine ca. 600x600mm, ein beispielhafter Sichtbereich der zweiten Kamera beträgt ca. 10x10mm.
  • Die Orientierung lässt sich verbessern, wenn mittels des ersten Sichtbereichs das gesamte Objekt erfasst wird. Somit wird verhindert, dass der erste Sichtbereich selbst einen Objektausschnitt darstellt, der wiederum zu positionieren wäre. Bevorzugterweise ist der erste Sichtbereich derart gewählt, dass das gesamte Objekt erfasst wird, gleich welcher Ausrichtung und Positionierung in der Arbeitsebene. Durch diese Maßnahme kann das Objekt beliebig „unter der Kamera“ angeordnet werden. Zudem wird verhindert, dass der erste Sichtbereich selbst einen Objektausschnitt darstellt.
  • Um einem Anwender eine Inspektion des Objekts zu Messzwecken und/oder Analysezwecken zu ermöglichen, können Detailinformation über den erfassten Objektabschnitt als virtuelle Daten für den zweiten Sichtbereich aufbereitet und dann in das zweite Kamerabild projiziert werden. Beispielsweise kann/können in der Platinenfertigung ein Bestückungsplan oder Bauteilbezeichnungen in an das zweite Kamerabild angepassten Maßstab eingeblendet werden und der Anwender so überprüfen, ob die Bauteile an ihrer richtigen Stelle eingebaut wurden bzw. ob überhaupt die richtigen Bauteile verbaut wurde.
  • Um es dem Anwender weiter zu ermöglichen, dass er sämtliche relevanten Detailinformationen abrufen kann, ohne das Medium wechseln zu müssen, ohne beispielsweise auf andere Datenquellen wie Leiterplatten-Designprogramme, Stücklisten, Datenblatt-Links zugreifen zu müssen, ist es vorteilhaft, wenn der Anwender im Sinne von Augmented Reality die virtuellen Daten interaktiv nutzen kann.
  • Ein erfindungsgemäßes Kameramikroskop zum Durchführen eines Verfahrens zur Detektion von Objekten unter einem Mikroskop hat ein Kamerasystem mit zwei zueinander kalibrierten Kameras, wobei eine erste Kamera einen großen Sichtbereich und eine zweite Kamera einen kleinen Sichtbereich hat. Zudem hat das Kameramikroskop ein Bildausgabesystem zur Ausgabe der Sichtbereiche als Kamerabilder. Des Weiteren hat das Kameramikroskop ein Positionier- und Visualisierungssystem zur Visualisierung einer aktuellen Position des zweiten Sichtbereichs, bevorzugterweise in dem Kamerabild der ersten Kamera. Ein solches Kameramikroskop ermöglicht eine verlässliche Detektion von Objekten bei geringem technischen Aufwand.
  • Um dem Anwender die Möglichkeit zu geben, die Größe des Objektausschnitt wählen zu können, kann die zweite Kamera eine Zoomkamera sein. Die erste Kamera kann eine Weitwinkelkamera sein.
  • Bei einer Ausführungsform sind die Kameras mit ihren optischen Achsen parallel zueinander orientiert. Eine derartige Anordnung ist vorrichtungstechnisch einfach auszuführen.
  • Bei einer alternativen Ausführungsform sind die Kameras mit ihren optischen Achsen schräg zueinander angeordnet. Hierdurch kann auf eine kostenintensive Optik wie eine Split-Optik mit 2 Kamera Anschlüssen verzichtet werden und stattdessen ein Offset zwischen den optischen Achsen der Kameras elektronisch korrigiert werden.
  • Ein erfindungsgemäßes Kamerasystem für ein derartiges Kameramikroskop hat zwei zueinander kalibrierten Kameras, wobei eine erste Kamera einen großen Sichtbereich und eine zweite Kamera einen kleinen Sichtbereich hat. Zudem hat das Kamerasystem zumindest eine Daten- und Informationsschnittstelle zur Übertragung der Bilddaten und Bildinformationen an ein Bildausgabesystem und an ein Positionier- und Visualisierungssystem zur Visualisierung der Position des zweiten Sichtbereichs in dem Kamerabild der ersten Kamera.
  • Sonstige vorteilhafte Ausführungsbeispiele der Erfindung sind Gegenstand weiterer Unteransprüche.
  • Im Folgenden wird ein bevorzugtes Ausführungsbeispiel der Erfindung anhand einer schematischen Figur näher erläutert. Es zeigt
    • 1 ein Ausführungsbeispiel eines erfindungsgemäßen Kamerasystems mit einer ersten Kamera und einer zweiten Kamera,
    • 2, eine Einblendung eines Sichtbereichs der zweiten Kamera in einen Sichtbereich der ersten Kamera,
    • 3 eine Integration von virtuellen Daten in den Sichtbereich der zweiten Kamera, und
    • 4 ein Ausführungsbeispiel eines erfindungsgemäßen Kameramikroskops.
  • In 1 ist ein Ausführungsbeispiel eines erfindungsgemäßen Kamerasystems 1 für ein Mikroskopiersystem, insbesondere ein Kameramikrospkop 32 (4), gezeigt. Eine nicht begrenzende Anwendung des Kamerasystems 1 ist zum Beispiel die Elektronikindustrie. Im Rahmen einer Qualitätskontrolle werden Objekte 2 wie Elektronik-Baugruppen, zum Beispiel mit Bauteile 3 bestückte Platinen 2, regelmäßig einer visuellen Untersuchung untersuchen, in der ein Mitarbeiter (im Folgenden Anwender genannt) der Qualitätskontrolle mittels eines Kameramikroskops eine visuelle Inspektion bzw. Überprüfung der Bauteile 3 auf der Platine 2 beispielsweise hinsichtlich ihrer Positionen und Kontaktierungen durchführt. Die Platine 2 ist in den 2, 3 und 4 gezeigt.
  • Gemäß 1 hat das Kamerasystem 1 eine erste Kamera 4 und eine zweite Kamera 6, die auf die gleiche Arbeitsebene 8 ausgerichtet sind. Auf der Arbeitsebene 8 ist die Platine 2 (2 und 4) abgelegt.
  • In 2 ist die Arbeitsebene 8 „von oben“ aus Sicht des Kamerasystems 1 gezeigt.
  • Beide Kameras 4, 6 sind mit ihren optischen Achsen 10, 12 auf die Arbeitsebene 8 und somit auf die zu inspizierende Platine 2 gerichtet. Ihre optischen Achsen sind in dem hier gezeigten Beispiel um einen Winkel α, β zur Arbeitsebene 8 angestellt. Die Winkel α, β werden jeweils zwischen einer Orthogonalen 15, 16 von der Arbeitsebene 8 und ihren optischen Achsen 10, 12 abgetragen und können wie gezeigt unterschiedlich oder auch gleich sein. Ebenso ist eine jeweilige Anstellung um 90° vorstellbar. Ein parallel zur Arbeitsebene 8 abgetragener Abstand Ah (horizontaler Abstand) zwischen den Orthogonalen 15, 16 ist einstellbar. Je nach Positionierung der Kameras 4, 6 und Ausrichtung ihrer optischen Achsen 10, 12 zueinander ist der Abstand Ah positiv, Null oder negativ.
  • Die erste Kamera 4 hat einen großen Sichtbereich 18, und die zweite Kamera 6 hat einen kleinen Sichtbereich 20, d.h. der Sichtbereich 18 der ersten Kamera 4 ist größer als der Sichtbereich 20 der zweiten Kamera 6. Für den skizzierten Anwendungsfall kann die erste Kamera 4 zum Beispiel einen Sichtbereich 18 (großer Sichtbereich) von 500x300mm auf der Arbeitsebene 8 und die zweite Kamera 6 hat einen Sichtbereich (kleiner Sichtbereich) von 10x10mm haben auf der Arbeitsebene 8 haben. Generell können die Sichtbereich über die Wahl der Kameraobjektive, ihren individuellen Winkel α, β und über ihren individuellen vertikalen Abstand zur Arbeitsebene 8 eingestellt werden.
  • Der jeweilige Sichtbereich 18, 20 richtet sich nach der Größe der zu mikroskopierenden Platine 2. Als Größe wird dabei die Erstreckung des Objektes 2 in der Arbeitsebene 8 verstanden. Der Sichtbereich 18 ist dabei bevorzugt derart gewählt, dass das Objekt 2 bei beliebiger Ausrichtung und Positionierung in der Arbeitsebene 8 vollständig erfasst werden kann (siehe 2).
  • Die erste Kamera 4 betrachtet die Platine 2 quasi aus einer Vogelperspektive und kann daher auch als „Helikopterkamera“ angesehen werden. Ihr bevorzugtes Objektiv ist ein Weitwinkelobjektiv.
  • Die zweite Kamera 6 betrachtet einen Ausschnitt 22 der Platine 2 ( 3). Der kleine Sichtbereich 20 stellt somit einen Teilsichtbereich des großen Sichtbereichs 18 dar. Die zweite Kamera 6 betrachtet die Platine 2 aus der Nahperspektive. Bevorzugterweise ist sie eine Nahkamera und insbesondere eine Zoomkamera, so dass die Platine 2 und deren einzelnen Bauteile 3 zudem herangezoomt bzw. vergrößert werden können, um weitere Details auf einem Kamerabild 24 (3) zu erkennen.
  • Um die gesamte Platine 2 in der Arbeitsebene 8 abzufahren, kann das Kamerasystem 1 an einem in 4 skizzierten gezeigten Schwenkarm 25 angeordnet sein, der Bewegungen der Kamers 4, 6 über die Arbeitsebene 8 ermöglicht. Ein vertikale Abstand Av des Kamerasystems 1 zur Arbeitsebene 8 kann über eine ebenfalls in 4 skizzierte entsprechende Höhenverstelleinrichtung 29 erreicht werden. Die Höhenverstelleinrichtung 29 kann beispielsweise einen vertikal verfahrbaren Schlitten aufweisen, an dem der Schwenkarm 25 angebunden ist und der über einen vertikalen Spindelantrieb verfahrt werden kann. In dem skizzierten Anwendungsfeld befinden sich das Kamerasystem beispielsweise 30 bis 40 cm über der Arbeitsebene 8.
  • Die beiden Kameras 4, 6 sind kalibriert zueinander. Das heißt, die Kameras 4, 6 sind mit ihren optischen Achsen 10, 12 zueinander ausgerichtet. Über eine Einstellung der Winkel α, β und des Abstände Av kann die Kalibrierung vorgenommen werden. Über die Kalibrierung lässt sich eindeutig die Position des kleinen Sichtfensters 20 in dem großen Sichtfenster 18 bestimmen und somit dem Anwender zielgenau mitgeteilt werden, welchen Platinenausschnitt 22 er gerade inspiziert. Der Anwender verliert dadurch nie die Orientierung auf der Platine 2.
  • 3 zeigt eine beispielhafte Oberfläche eines Bildausgabesystem 27, mittels dessen dem Inspekteur die Sichtbereiche 18, 20 der Kameras 4, 6 als Kamerabilder 24, 26 angezeigt werden. Die beiden Kamerabilder 24, 26 haben unterschiedliche Größen, wobei das eine Kamerabild 24 hier als ein zentral großes Kamerabild 24 angeordnet ist und das andere Kamerabild 26 als ein dezentral kleines Kamerabild 26.
  • Das große Kamerabild 24 gibt den kleinen Sichtbereich 20 (Nahbereich) der zweiten Kamera 6 und somit den Objektausschnitt 22 wieder. Das kleine Kamerabild 26 gibt den großen Sichtbereich 18 (Weitwinkelbereich) der ersten Kamera 4 wieder und zeigt somit die zu inspizierende Platine 2 als Ganzes. Zudem wird in dem zweiten Kamerabild 26 die Position des kleinen Sichtbereichs 20 und somit die Position des in dem ersten Kamerabild 24 betrachteten Objektausschnitt 22 angegeben. Dies erfolgt hier beispielsweise über eine visuelle Einrahmung des Objektausschnitt 22 in dem kleinen Kamerabild 26, beispielsweise ein farbiger rechteckiger Positionsrahmen 28.
  • In dem großen Kamerabild 24 können zudem Detailinformationen des Objektabschnitts 22 eingeblendet werden, die für die Inspektion notwendig bzw. hilfreich sind. Beispielsweise kann ein relevanter Abschnitt eines Bestückungsplan 30 in das große Kamerabild 24 eingeblendet werden, so dass dem Anwender in dem Kamerabild 24 visualisiert wird, ob die Platine 2 richtig bestückt ist. Der Bestückungsplan 30 ist in 3 in Strichlinien angedeutet. Er kann beispielsweise über eine visuelle, insbesondere über eine farbige Einrahmung, des einzelnen Bauteils 3, über den Sichtbereich 20 gelegt werden.
  • In Ergänzung können die Detailinformationen derart als virtuelle Daten aufbereitet werden, dass dem Anwender durch Überfahren des jeweiligen Bauteils 3 mit seinem Mauszeiger 23 weitere Information in das Kamerabild 24 einzeln und wahlweise projiziert werden. Beispiele sind Bauteilarten, Bauteilnummern und Bauteilleistungsdaten. Diese Informationen können quasi als Flaggen 33 in dem Kamerabild 24 oder alternativ und/oder ergänzend in gesonderten Feldern 34 außerhalb der Kamerabilder 24, 26 auf der Oberfläche des Bildausgabesystems 27 angezeigt werden.
  • Im Folgenden wird ein bevorzugtes Verfahren der Erfindung mit Bezug zu den 1 bis 3 beschrieben: Ein zu inspizierendes Objekt 2 ist auf der Arbeitsebene 8 abgelegt und das Kamerasystem 1 ist auf das Objekt 2 gerichtet. Die Kameras 4, 6 sind zueinander kalibriert.
  • Die erste Kamera 4 erfasst über ihren Sichtbereich 18 das Objekt 2 als Ganzes und die Kamera 6 erfasst über ihren Sichtbereich 20 einen Ausschnitt 22 des Objekts 2. Über die Kalibrierung der beiden Kameras 4, 6 zueinander wird die Position des zweiten Sichtbereichs 20 in dem ersten Sichtbereich 18 bestimmt.
  • Die erste Kamera 4 führt eine Positions-Detektion durch. Hierbei wird in der 2D-Ansicht der ersten Kamera 4 ein 3D-Objekt detektiert. Hierzu wird ein Model auf Basis von 3D-Modeldaten angelernt. Beim Anlernen werden mögliche Deformationen/Änderungen, beispielsweise aufgrund des Blickwinkels, auf den 2D-Raum überführt. Eine Suche erfolgt dann anhand dieses Models im 2D-Kamerabild. Somit wird also ein deformiertes 3D-Objekt im 2D-Raum gesucht.
  • Alternativ zur Positions-Detektion im 2D-Raum auf Basis von 3D-Modelldaten kann auch eine Positions-Detektion im 2D-Raum auf Basis von 2D-Daten durchgeführt werden. Hierbei liegen die Modelldaten in 2D-Form vor. Bei Positions-Detektion wird dann die Deformation des 2D-Objektes in Bezug auf das 2D-Model ermittelt und daraus dann die 3D-Position im Raum abgeschätzt.
  • Die beiden Sichtbereiche 18, 20 werden dem Anwender über das Bildausgabesystem 27 als Kamerabilder 24, 26 ausgegeben. Dabei wird in dem Kamerabild 26 der erste Kamera 4 die Position des Objektausschnitts (Sichtbereich 20 der zweiten Kamera 6) über eine Positionsrahmen 28 grafisch projiziert kenntlich gemacht.
  • In dem Kamerabild 24 der zweiten Kamera 6 wird, nach Wahl des Anwenders, der Bestückungsplan 30 ausschnitts- und maßstabsgerecht grafisch eingeblendet. Ergänzend werden Detailinformationen zu jedem Bauteil 3 in dem Objektausschnitt 22 in dem Kamerabild 24 der zweiten Kamera 6 grafisch projiziert, bevorzugt immer dann, wenn der Anwender beispielsweise mit seinem Mauszeiger 23 über ein Bauteil 3 fährt. Über eine „Klickbewegung“ lässt sich das Einblenden der Detailinformationen bewusst veranlassen. Mittels der Positions-Detektion der beiden Sichtbereiche 18, 20 zueinander werden auch virtuelle Daten für den Sichtbereich 20 der zweiten Kamera 6 aufbereitet und anschließend in deren Kamerabild 24 projiziert. Die Projektion der Daten wird dann gleichzeitig interaktiv genutzt. Der Anwender kann dann im Live-Kamerabild 24 Informationen aus Datenquellen, zum Beispiel Leiterplatten-Designprogrammen, Stücklisten-Informationen, Datenblatt-Links zur Interpretation der Szene nutzen, ohne das Medium zu wechseln bzw. ohne die Oberfläche des Bildausgabesystems 27 verlassen zu müssen.
  • In 4 ist ein Ausführungsbeispiel eines erfindungsgemäßen Kameramikroskops 32 zum Durchführen eines Verfahrens zur Detektion von Objekten 2 unter einem Mikroskop skizziert. Diese hat ein Kamerasystem 1, das zwei zueinander kalibrierte Kamera 4, 6 aufweist, wobei eine erste Kamera 4 einen großen Sichtbereich 18 und eine zweite Kamera 6 einen kleinen Sichtbereich 20 hat (siehe 1 und 2).
  • Zudem hat das Kameramikroskop 32 ein Bildausgabesystem 27 zur Ausgabe der Sichtbereiche 18, 20 als Kamerabilder 24, 26.
  • Des Weiteren hat das Kameramikroskop 32 eine Positionier- und Visualisierungssystem 35 zur Visualisierung einer jeweiligen Position des zweiten Sichtbereichs 20 in dem Kamerabild 26 der ersten Kamera 4. Das Positionier- und Visualisierungssystem 35 ist bevorzugt zudem so eingerichtet, dass ein Bestückungsplan 30 und weitere Detailinformationen (3) als virtuelle Daten aufbereiten werden, derart, dass der Inspekteur mit diesen über das Bildausgabesystem interagieren kann.
  • Bevorzugterweise ist die Positionier- und Visualisierungssystem 35 eine körperlich von dem Kamerasystem 1 getrenntes System. Zur datentechnischen und/oder energietechnischen Verbindung 36 (hier beispielhaft als Kabel dargestellt) mit dem Kamerasystem 1 verfügen beide über geeignete Schnittstellen.
  • Ebenso kann das Positionier- und Visualisierungssystem 35 körperlich von dem Bildausgabesystem 27 getrennte sein und zur datentechnischen und/oder energietechnischen Verbindung 38 (hier beispielhaft als Kabel dargestellt) mit dem Bildausgabesystem 27 verfügen beide über geeignete Schnittstellen. Alternativ kann die Positionier- und Visualisierungssystem 34 auch in das Bildausgabesystem 27 bzw. in dessen Gehäuse integriert sein.
  • Offenbart sind ein Mikroskopierverfahren basierend auf dem Stereokameraprinzip, wobei eine Position eines kleinen Kamerasichtbereiches in einem großen Kamerasichtbereich basierend auf einer Kalibrierung der beiden Kameras erfolgt und die Position des kleinen Kamerasichtbereichs in dem großen Kamerasichtbereich einem Anwender angezeigt wird, ein 3D-Kameramikroskop und ein Kamerasystem für ein derartiges Verfahren bzw. ein derartiges Kameramikroskop.
  • Bezugszeichenliste
  • 1
    Kamerasystem
    2
    zu mikroskopierendes/prüfendes Objekt, hier Elektronik-Baugruppe wie eine mit Bauteilen bestückte Platine
    3
    Bauteile des Objekts
    4
    erste Kamera für Gesamtbereich (Helikopterkamera)
    6
    zweite Kamera für Nahbereich (Zoomkamera)
    8
    Arbeitsebene
    10
    optische Achse der ersten Kamera
    12
    optische Achse der zweiten Kamera
    15
    Orthogonale zur Arbeitsebene bezogen auf erste Kamera
    16
    Orthogonale zur Arbeitsebene bezogen auf zweite Kamera
    18
    großer Sichtbereich der ersten Kamera
    20
    kleiner Sichtbereich der zweiten Kamera
    22
    Objektausschnitt
    23
    Mauszeiger
    24
    Kamerabild der zweiten Kamera (Zoomkamera)
    25
    Schwenkarm
    26
    Kamerabild der zweiten Kamera (Helikopterkamera)
    27
    Bildausgabesystem
    28
    Positionsrahmen
    29
    Höhenverstelleinrichtung
    30
    Bestückungsplan
    32
    Kameramikroskop
    33
    Flaggen
    34
    Felder für Detailinformationen (alternativ oder ergänzend)
    35
    Positionier- und Visualisierungssystem
    36
    Verbindung Kamerasystem - Positionier- und Visualisierungssystem
    38
    Verbindung Bildausgabesystem - Positionier- und Visualisierungssystem
    Ah
    horizontaler Abstand zwischen Orthogonalen
    Av
    vertikaler Abstand vom Kamerasystem 1 zur Arbeitsebene
    α
    Winkel der optischen Achse der ersten Kamera zur Orthogonalen
    β
    Winkel der optischen Achse der zweiten Kamera zur Orthogonalen
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 8934721 B2 [0003]

Claims (10)

  1. Verfahren zur Detektion von Objekten (2) unter einem Kameramikroskop, mit den Schritten: • Erfassen eines ersten Sichtbereichs (18) einer ersten Kamera (4) eines zu mikroskopierenden Objektes (8) und bevorzugterweise Ausgabe des ersten Sichtbereichs (18) als erstes Kamerabild (26), • Erfassen eines zweiten Sichtbereichs (20) einer zweiten Kamera (6) des zu mikroskopierenden Objektes (2), der kleiner als der erste Sichtbereich (18) ist, und Ausgabe des zweiten Sichtbereichs (20) als zweites Kamerabild (24), • Bestimmen einer aktuellen Position des zweiten Sichtbereichs (20) in dem ersten Sichtbereich (18) anhand einer Kalibrierung der beiden Kameras (4, 6) zueinander, und • Visualisieren der Position des zweiten Sichtbereichs (20).
  2. Verfahren nach Patentanspruch 1, wobei das zweite Kamerabild (24) in einer höheren Auflösung als das erste Kamerabild (26) angezeigt wird.
  3. Verfahren nach Patentanspruch 1 oder 2, wobei der erste Sichtbereich (18) das gesamte Objekt (2) erfasst.
  4. Verfahren nach Patentanspruch 1, 2 oder 3, wobei Aufbereiten von virtuellen Daten für den zweiten Sichtbereich (20) und Projektion der virtuellen Daten in das Kamerabild (24) der zweiten Kamera (6).
  5. Verfahren nach Patentanspruch 4, wobei die virtuellen Daten derart aufbereitet werden, dass ein Anwender mit diesen interagieren kann.
  6. Kameramikroskop (32) zum Durchführen eines Verfahrens zur Detektion von Objekten (2) nach einem der vorhergehenden Patentansprüche, mit • einem Kamerasystem (1), das zwei zueinander kalibrierten Kamera (4, 6) aufweist, wobei eine erste Kamera (4) einen großen Sichtbereich (18) und eine zweite Kamera (6) einen kleinen Sichtbereich (20) hat, • mit einem Bildausgabesystem (27) zur Ausgabe der Sichtbereiche (18, 20) als Kamerabilder (24, 26), und • mit einem Positionier- und Visualisierungssystem (34) zur Visualisierung einer aktuellen Position des zweiten Sichtbereichs (20) .
  7. Kameramikroskop nach Patentanspruch 6, wobei die zweite Kamera (6) eine Zoomkamera ist.
  8. Kameramikroskop nach Patentanspruch 6 oder 7, wobei die Kameras (4, 6) mit ihren optischen Achsen (10, 12) parallel zueinander angeordnet sind.
  9. Kameramikroskop nach Patentanspruch 6 oder 7, wobei die Kameras (4, 6) mit ihren optischen Achsen (10, 12) schräg zueinander angeordnet sind.
  10. Kamerasystem (1) für ein Verfahren nach einem der Patentansprüche 1 bis 5 und/oder für eine Kameramikroskop (32) nach einem der Patentansprüche 6 bis 9.
DE102022115660.5A 2022-06-23 2022-06-23 Verfahren und Vorrichtung zur Mikroskopie Pending DE102022115660A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022115660.5A DE102022115660A1 (de) 2022-06-23 2022-06-23 Verfahren und Vorrichtung zur Mikroskopie
PCT/EP2023/065445 WO2023247207A1 (de) 2022-06-23 2023-06-09 Verfahren und vorrichtung zur mikroskopie

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022115660.5A DE102022115660A1 (de) 2022-06-23 2022-06-23 Verfahren und Vorrichtung zur Mikroskopie

Publications (1)

Publication Number Publication Date
DE102022115660A1 true DE102022115660A1 (de) 2023-12-28

Family

ID=86861976

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022115660.5A Pending DE102022115660A1 (de) 2022-06-23 2022-06-23 Verfahren und Vorrichtung zur Mikroskopie

Country Status (2)

Country Link
DE (1) DE102022115660A1 (de)
WO (1) WO2023247207A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163398A1 (en) 2003-05-13 2005-07-28 Olympus Corporation Image processing apparatus
DE102007033793A1 (de) 2007-07-19 2009-01-22 Carl Zeiss Imaging Solutions Gmbh Verfahren und Vorrichtung zum mikroskopischen Untersuchen einer Probe, Computerprogramm und Computerprogrammprodukt
DE102012022603B3 (de) 2012-11-19 2014-05-08 Acquifer Ag Vorrichtung und Verfahren zur Mikroskopie einer Vielzahl von Proben
EP2793069A1 (de) 2013-04-19 2014-10-22 Carl Zeiss Microscopy GmbH Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop
DE102021204033B3 (de) 2021-04-22 2022-06-15 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249315B2 (en) * 2006-05-22 2012-08-21 Upmc System and method for improved viewing and navigation of digital images
CN101876533B (zh) 2010-06-23 2011-11-30 北京航空航天大学 一种显微立体视觉校准方法
EP3351992B1 (de) * 2017-01-24 2019-10-23 Horiba France SAS Mikrospektrometriemessverfahren und -system
US10444486B2 (en) * 2017-09-04 2019-10-15 Microscopes International, Llc Systems and methods for detection of blank fields in digital microscopes
DE102019131693A1 (de) * 2019-11-22 2021-05-27 Carl Zeiss Microscopy Gmbh Messgerät zur untersuchung einer probe und verfahren zum bestimmen einer höhenkarte einer probe

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163398A1 (en) 2003-05-13 2005-07-28 Olympus Corporation Image processing apparatus
DE102007033793A1 (de) 2007-07-19 2009-01-22 Carl Zeiss Imaging Solutions Gmbh Verfahren und Vorrichtung zum mikroskopischen Untersuchen einer Probe, Computerprogramm und Computerprogrammprodukt
DE102012022603B3 (de) 2012-11-19 2014-05-08 Acquifer Ag Vorrichtung und Verfahren zur Mikroskopie einer Vielzahl von Proben
EP2793069A1 (de) 2013-04-19 2014-10-22 Carl Zeiss Microscopy GmbH Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop
DE102021204033B3 (de) 2021-04-22 2022-06-15 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop

Also Published As

Publication number Publication date
WO2023247207A1 (de) 2023-12-28

Similar Documents

Publication Publication Date Title
DE102014206309B4 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
DE102008041523B4 (de) Verfahren zur dreidimensionalen Messung und Vorrichtung zur dreidimensionalen Messung
DE112010005008B4 (de) System und Verfahren zur Bestimmung von Kamerafehlkalibrierung im Laufzeitbetrieb
EP3166312B1 (de) Vorrichtung und verfahren zum justieren und/oder kalibrieren eines multi-kamera moduls sowie verwendung einer solchen vorrichtung
DE69826753T2 (de) Optischer Profilsensor
DE102006055758B4 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE19618283A1 (de) Bildaufnahmevorrichtung und Verfahren für die dreidimensionale berührungsfreie Messung
DE112006002674T5 (de) Verfahren und Vorrichtungen für praktisches 3D-Sichtigkeitssystem
DE102015116047A1 (de) Prüfvorrichtung und Steuerverfahren für eine Prüfvorrichtung
EP3417237B1 (de) Referenzplatte und verfahren zur kalibrierung und/oder überprüfung eines deflektometrie-sensorsystems
DE202019105838U1 (de) Anordnung mit einem Koordinatenmessgerät oder Mikroskop
EP2019283A2 (de) Verfahren und Vorrichtung zur Vermessung von Ist-Messdaten eines Bauteils
DE102012216908A1 (de) Verfahren unter Verwendung einer Bildkorrelation zum Bestimmen von Positionsmessungen in einem Maschinenvisionssystem
DE102007030390A1 (de) Koordinaten-Messmaschine und Verfahren zur Kalibrierung der Koordinaten-Messmaschine
DE102007025304B4 (de) Verfahren zur Verbesserung der Reproduzierbarkeit einer Koordinaten-Messmaschine und deren Genauigkeit
DE112016006579T5 (de) Ladungsträgerstrahlvorrichtung und Probenhalterung
DE102005037841A1 (de) Verfahren und Anordnung zur Bestimmung der relativen Lage eines ersten Objektes bezüglich eines zweiten Objektes, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE3411720C2 (de)
DE102018008010A1 (de) Kalibrationsverfahren einer bildmessvorrichtung und zugehöriges computerprogrammprodukt
DE102011082280A1 (de) Bildmessvorrichtung und Bildmessverfahren
DE102022115660A1 (de) Verfahren und Vorrichtung zur Mikroskopie
DE102013111144A1 (de) Röntgenanalysevorrichtung
DE102010004233B3 (de) Verfahren zur Bestimmung der Lage eines Kamerasystems bezüglich eines Objekts
DE102010029627B4 (de) Vorrichtung und Verfahren zur Bestimmung der Struktur einer spiegelnden Oberfläche eines Objekts
DE102016011554B4 (de) Verfahren zur Darstellung von Fehlern an Werkstücken

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication