DE102009057885A1 - Abbildungsvorrichtung - Google Patents

Abbildungsvorrichtung Download PDF

Info

Publication number
DE102009057885A1
DE102009057885A1 DE102009057885A DE102009057885A DE102009057885A1 DE 102009057885 A1 DE102009057885 A1 DE 102009057885A1 DE 102009057885 A DE102009057885 A DE 102009057885A DE 102009057885 A DE102009057885 A DE 102009057885A DE 102009057885 A1 DE102009057885 A1 DE 102009057885A1
Authority
DE
Germany
Prior art keywords
image
mosaic
relative position
frame
feature quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009057885A
Other languages
English (en)
Inventor
Woobum Kang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Publication of DE102009057885A1 publication Critical patent/DE102009057885A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Diese Erfindung stellt eine Abbildungsvorrichtung bereit, welche umfasst: Eine Mosaikabbildungserzeugungseinheit, welche eine Mehrzahl von Standbildern miteinander zusammensetzt und eine Mosaikabbildung erzeugt; eine Merkmalsquantitätsextraktionseinheit, welche eine Merkmalsquantität aus der Einzelbildabbildung und der Mosaikabbildung extrahiert; eine Relativpositionsbestimmungseinheit, welche eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung bestimmt, und eine Live-Abbildungsanzeigeneinheit, welche eine Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung aktualisiert und die sich bewegende Bildabbildung auf der Mosaikabbildung anzeigt. Die Live-Abbildungsanzeigeneinheit verändert die Anzeigenposition in Antwort auf die Relativposition, wenn das Positionieren der Einzelbildabbildung erfolgreich war und wenn das Positionieren fehlgeschlagen ist, verändert die Live-Abbildungsanzeigeneinheit die Anzeigenposition nicht und legt die Anzeigenposition nahe einer Position einer vorhergehenden Einzelbildabbildung, bei welcher die Positionierung erfolgreich war, fest.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf Abbildungsvorrichtungen und bezieht sich insbesondere auf eine Abbildungsvorrichtung (engl.: imaging device), welche dazu in der Lage ist, eine sich bewegende Bildabbildung (engl.: moving picture image), welche durch eine Kamera erzeugt wird, welche ein zu untersuchendes Objekt fotografiert, auf einer Mosaikabbildung (engl.: mosaic image), welche ein größeres Gesichtsfeld (engl.: field of view) aufweist, als das tatsächliche Gesichtsfeld der Kamera, anzuzeigen.
  • 2. Beschreibung des Standes der Technik
  • Eine Mosaikabbildung ist im Stand der Technik bekannt als eine Technik, welche ein Blatt einer Abbildung mit einem weiten Gesichtsfeld, welches weiter in seinem Gesichtsfeld ist als das tatsächliche Gesichtsfeld der Kamera, durch das Zusammenfügen einer Mehrzahl von Standbildern erzeugt, welche fotografiert werden, während das Gesichtsfeld verändert wird. In dem Fall einer Abbildungsvorrichtung, so wie beispielsweise eines digitalen Mikroskops, welches ein fotografisches Subjekt fotografiert, welches durch eine Objektivlinse vergrößert ist, kann das Gesichtsfeld durch die Bewegung einer bewegbaren Bühne verändert werden, auf welcher ein Objekt, welches untersucht werden soll, gehalten ist. Diese Abbildung mit einem weiten Gesichtsfeld wird Mosaikabbildung genannt, und wird durch das miteinander Koppeln der Mehrzahl der Standbilder (engl.: still images), welche fotografiert werden während das Gesichtsfeld basierend auf der Relativposition zwischen den Abbildungen verändert wird, erzeugt.
  • Zum Beispiel wird in dem Fall der bekannten Abbildungsvorrichtung, welche mit einem Sensor ausgerüstet ist, welche die Position der bewegbaren Bühne detektiert und automatisch einen Fotografierbereich, welcher durch einen Benutzer definiert ist, fotografiert, wobei eine relative Positionsbeziehung zwischen den Abbildungen durch eine Steuerungsinformation der bewegbaren Bühne bewertet wird und ein Zusammensetzen der Standbilder durchgeführt wird. In solch einer Abbildungsvorrichtung kann, wenn der Fotografierbereich spezifiziert ist und das Fotografieren begonnen hat, der Fotografierbereich während des Verfahrens nicht mehr verändert werden. Darüber hinaus muss die Position der bewegbaren Bühne sehr genau detektiert werden und daher gibt es ein Problem dahingehend, dass die Systemkonfiguration kompliziert und kostenintensiv wird.
  • Andererseits gibt es auch eine Abbildungsvorrichtung, in welcher eine relative Positionsbeziehung zwischen Abbildungen durch einen Musterabgleich zwischen den Abbildungen und Standbildern, welche zusammengesetzt werden, bewertet wird. Es gibt jedoch keine Abbildungsvorrichtung, welche dazu in der Lage ist, Standbilder abzurufen und diese mit einer Mosaikabbildung zu koppeln, während sie einen Benutzer dazu bringt, eine Positionsbeziehung zwischen einem Gesichtsfeld während des Fotografierens und der Mosaikabbildung während deren Erzeugung auf einer Anzeigeneinheit zu bestätigen. Entsprechend ist eine Abbildungsvorrichtung denkbar, in welcher die Standbilder in einem Zeitraum abgerufen werden, welcher durch einen Benutzer spezifiziert wird, und werden zu einer Mosaikabbildung zusammengesetzt, während ein Gesichtsfeld während des Fotografierens als eine sich bewegende Abbildung auf der Mosaikabbildung angezeigt wird. In dem Fall jedoch, in welchem eine Relativposition zwischen einer Mosaikabbildung und einer Einzelbildabbildung, welche eine sich bewegende Bildabbildung darstellt, durch einen Musterabgleich zwischen diesen Abbildungen bewertet wird und die sich bewegende Bildabbildung auf der Mosaikabbildung angezeigt wird, und es nicht gelingt, die Einzelbildabbildung zu positionieren, gibt es ein Problem dahingehend, dass eine Positionsbeziehung zwischen dem Gesichtsfeld während des Fotografierens und der Mosaikabbildung während deren Erzeugung unklar wird.
  • KURZE ZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung wurde unter Berücksichtigung der oben angegebenen Umstände gemacht und eine Aufgabe der vorliegenden Erfindung ist es, eine Abbildungsvorrichtung anzugeben, welche dazu in der Lage ist, einfach eine Positionsbeziehung zwischen einem Gesichtsfeld während des Fotografierens und einer Mosaikabbildung während deren Erzeugung zu erkennen, ohne eine Systemkonfiguration zu verkomplizieren. Genauer ist es eine weitere Aufgabe der vorliegenden Erfindung, eine Abbildungsvorrichtung bereitzustellen, welche einfach erkennen kann, dass sie beim Positionieren einer Einzelbildabbildung im Fall des Anzeigens eines Gesichtsfeldes während des Fotografierens als eine sich bewegende Bildabbildung in einer angemessenen Position auf der Mosaikabbildung, versagt hat. Zusätzlich ist es eine weitere Aufgabe der vorliegenden Erfindung, eine Abbildungsvorrichtung anzugeben, welche dazu in der Lage ist, ein Gesichtsfeld während des Fotografierens einfach in eine Position zurück zu bringen, welche zur Positionierung in der Lage ist.
  • Eine Abbildungsvorrichtung eines ersten Aspekts der vorliegenden Erfindung umfasst: Eine bewegbare Bühne, welche dazu in der Lage ist, in zwei unterschiedliche Richtungen bewegt zu werden während sie ein zu untersuchendes Objekt trägt; eine Kamera, welche gegenüberliegend zu der bewegbaren Bühne angeordnet ist, das zu untersuchende Objekt fotografiert und eine sich bewegende Bildabbildung erzeugt, welche aus einer Mehrzahl kontinuierlicher Einzelabbildungen hergestellt ist; eine Mosaikabbildungserzeugungseinheit, welche nicht weniger als zwei Standbilder, welche durch die Kamera fotografiert sind, zusammensetzt und eine Mosaikabbildung erzeugt, welche ein größeres Gesichtsfeld aufweist als ein tatsächliches Gesichtsfeld der Kamera; eine Merkmalsquantitätsextraktionseinheit, welche eine Merkmalsquantität aus der Einzelbildabbildung und der Mosaikabbildung extrahiert; eine Relativpositionsbestimmungseinheit, welche eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung durch Vergleich der Merkmalsquantität bestimmt; und eine Live-Abbildungsanzeigeneinheit, welche eine Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung basierend auf einem Bestimmungsresultat der Relativposition aktualisiert, und die sich bewegende Bildabbildung auf der Mosaikabbildung anzeigt, wobei die Live-Abbildungsanzeigeeinheit die Anzeigenposition in Antwort auf die Relativposition ändert, wenn sie bestimmt hat, dass sie beim Positionieren der Einzelabbildung durch die Relativpositionsbestimmungseinheit erfolgreich war, und die Anzeigenposition festlegt, wenn sie bestimmt hat, dass sie beim Positionieren der Einzelbildabbildung versagt hat.
  • In der Abbildungsvorrichtung wird durch den Vergleich der Merkmalsquantität, welche aus der Einzelbildabbildung und der Mosaikabbildung extrahiert ist, die Relativposition zwischen diesen Abbildungen bestimmt und die sich bewegende Bildabbildung wird auf der Mosaikabbildung, basierend auf dem Bestimmungsresultat, angezeigt; und daher kann ein Gesichtsfeld während des Fotografierens als die sich bewegende Bildabbildung in einer angemessenen Position auf der Mosaikabbildung während deren Erzeugung angezeigt werden. Entsprechend einer solchen Konfiguration wird das Gesichtsfeld während des Fotografierens als die sich bewegende Bildabbildung in der angemessenen Position auf der Mosaikabbildung während deren Erzeugung angezeigt, und daher wird es möglich, das Standbild abzurufen und dieses mit der Mosaikabbildung zu koppeln, während ein Benutzer dazu gebracht wird, eine Positionsbeziehung zwischen dem Gesichtsfeld während des Fotografierens und der Mosaikabbildung während deren Erzeugung zu bestätigen. Genauer wird die Anzeigeposition der sich bewegenden Bildabbildung in Antwort auf die Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung geändert, wenn sie beim Positionieren der Einzelbildabbildung erfolgreich war; andererseits wird, wenn sie beim Positionieren versagt hat, die Anzeigenposition festgelegt; und daher kann die Anzeigenposition durch eine letzte Einzelbildabbildung, welche beim Positionieren erfolgreich war, festgelegt werden. Daher wird in dem Fall, in welchem ein Gesichtsfeld während des Fotografierens als die sich bewegende Bildabbildung in der angemessenen Position auf der Mosaikabbildung angezeigt wird, selbst wenn das sichtbare Feld bewegt wird, nachdem sie beim Positionieren versagt hat die Anzeigenposition der sich bewegenden Bildabbildung gehalten während sie fixiert wird; und daher wird es möglich, einfach zu erkennen, dass sie beim Positionieren der Einzelbildabbildung versagt hat. Weiterhin wird die Relativposition zwischen diesen Abbildungen durch den Vergleich der Merkmalsquantität bestimmt, welche aus der Einzelbildabbildung und der Mosaikabbildung extrahiert ist; und daher wird es möglich, zu verhindern, dass die Systemkonfiguration kompliziert wird.
  • In der Abbildungsvorrichtung eines zweiten Aspekts der vorliegenden Erfindung legt, zusätzlich zu der obigen Konfiguration, die Live-Abbildungsanzeigeeinheit die Anzeigeposition nahe einer Anzeigenposition einer endgültigen Einzelbildabbildung fest, welche als erfolgreich beim Positionieren bestimmt wird. Gemäß einer solchen Konfiguration wird, in dem Fall, in dem das Gesichtsfeld während des Fotografierens als die sich bewegende Bildabbildung in der angemessenen Position auf der Mosaikabbildung angezeigt wird, die Anzeigeposition der sich bewegenden Bildabbildung nahe der Anzeigenposition der Einzelbildabbildung, welche als letzte als erfolgreich beim Positionieren bestimmt wurde, festgelegt; daher wird es möglich, einfach das Gesichtsfeld während des Fotografierens zu einer Position zurückzuführen, welche zur Positionierung in der Lage ist.
  • In der Abbildungsvorrichtung eines dritten Aspekts der vorliegenden Erfindung legt, zusätzlich zu der obigen Konfiguration, nach dem Scheitern beim Positionieren der Einzelbildabbildung die Live-Abbildungsanzeigeneinheit die Anzeigeposition auf die Anzeigeposition der letzten Einzelbildabbildung fest, zeigt eine neu gewonnene Einzelbildabbildung und aktualisiert die Einzelbildabbildung, welche an der Anzeigeposition angezeigt ist auf die neu gewonnenen Einzelbildabbildung, so dass die Anzeige der sich bewegenden Bildabbildung weitergeführt wird. Gemäß einer solchen Konfiguration wird nach dem Versagen beim Positionieren der Einzelbildabbildung die Anzeige der sich bewegenden Bildabbildung weitergeführt während die Anzeigenposition festgelegt wird, und daher wird es möglich, das Gesichtsfeld während des Fotografierens einfach zu einer Position zurückzuführen, welche zur Positionierung in der Lage ist.
  • In der Abbildungsvorrichtung eines vierten Aspekts der vorliegenden Erfindung legt, zusätzlich zu der obigen Konfiguration, in dem Fall des Extrahierens der Merkmalsquantität aus der Mosaikabbildung die Merkmalsquantitätsextraktionseinheit ein Standbild, welches als letztes bezüglich der Mosaikabbildung zusammengesetzt wurde, als eine Referenzabbildung fest und extrahiert eine Merkmalsquantität in der Referenzabbildung; und, um eine Einzelbildabbildung nach dem Versagen beim Positionieren der Einzelabbildung zu gewinnen, bestimmt die Relativpositionsbestimmungseinheit eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung durch ein Vergleichen der Merkmalsquantität in der Einzelbildabbildung und der Merkmalsquantität in der Referenzabbildung und bestimmt die Relativposition durch ein Vergleichen der Merkmalsquantität in der Einzelbildabbildung und der Merkmalsquantität in einem Abbildungsbereich, welcher die Referenzabbildung der Mosaikabbildung in dem Fall ausschließt, in welchem die Relativposition nicht durch den Vergleich mit der Merkmalsquantität in der Referenzabbildung bestimmt werden kann.
  • In der Abbildungsvorrichtung eines fünften Aspekts der vorliegenden Erfindung legt, zusätzlich zu der obigen Konfiguration, in dem Fall, in welchem die Relativposition selbst durch den Vergleich der Merkmalsquantität der gesamten Einzelbildabbildung und der Merkmalsquantität der gesamten Referenzabbildung nicht bestimmt werden kann, die Relativpositionsbestimmungseinheit ein Standbild benachbart zu dem Standbild, welches als letztes bezüglich zu der Mosaikabbildung zusammengesetzt wurde, als eine Referenzabbildung fest und bestimmt eine Relativposition durch Vergleichen der Merkmalsquantität der gesamten Referenzabbildung mit der Merkmalsquantität der gesamten Einzelbildabbildung. Gemäß einer solchen Konfiguration, in dem Fall, in welchem die Relativposition selbst durch den Vergleich der Merkmalsquantität der gesamten Einzelbildabbildung und der gesamten vorhergehenden Referenzabbildung nicht bestimmt werden kann, wird die Relativposition bestimmt durch Vergleichen der Merkmalsquantität des gesamten Standbilds benachbart zu dem als letztem zusammengesetzten Standbild und der Merkmalsquantität der gesamten Einzelbildabbildung; und daher wird es möglich, eine Positionierungsgenauigkeit zwischen der Einzelbildabbildung und der Mosaikabbildung zu verbessern während verhindert wird, dass eine Prozessbelastung ansteigt.
  • In der Abbildungsvorrichtung eines sechsten Aspekts der vorliegenden Erfindung, zusätzlich zu der obigen Konfiguration, bestimmt für eine Einzelbildabbildung, welche gewonnen wurde nach dem Versagen bei der Positionierung, die Relativpositionsbestimmungseinheit die Relativposition durch ein Vergleichen der Merkmalsquantität, welche in einem Umfangsabschnitt der Mosaikabbildung umfasst ist und der Merkmalsquantität der gesamten Einzelbildabbildung. Gemäß einer solchen Konfiguration wird nach dem Versagen bei der Positionierung die Relativposition durch ein Vergleichen der Merkmalsquantität bestimmt, welche in einem Umfangsabschnitt der Mosaikabbildung umfasst ist, und der Merkmalsquantität der gesamten Einzelbildabbildung; und daher wird es möglich, eine Positionierungsgenauigkeit zwischen der Einzelbildabbildung und der Mosaikabbildung zu verbessern während verhindert wird, dass eine Prozessbelastung ansteigt.
  • In der Abbildungsvorrichtung gemäß einem siebten Aspekt der vorliegenden Erfindung legt, zusätzlich zu der obigen Konfiguration, im Fall des Extrahierens der Merkmalsquantität aus der Mosaikabbildung die Merkmalsquantitätsextraktionseinheit ein Standbild, welches als letztes bezüglich der Mosaikabbildung zusammengesetzt ist, als eine Referenzabbildung fest und extrahiert eine Merkmalsquantität aus der Referenzabbildung; und wobei die Relativpositionsbestimmungseinheit einen Überlappbereich zwischen der Einzelbildabbildung und der Referenzabbildung basierend auf einem Bestimmungsresultat einer vorherigen Relativposition abschätzt, und die Relativposition durch ein Vergleichen der Merkmalsquantität in dem Überlappbereich bestimmt, und die Relativposition durch ein Vergleichen der Merkmalsquantität der gesamten Einzelbildabbildung mit einer Merkmalsquantität der gesamten Referenzabbildung in dem Fall bestimmt, in welchem die Relativposition nicht bestimmt werden kann durch den Vergleich der Merkmalsquantität in dem Überlappungsbereich. Gemäß einer solchen Konfiguration wird die Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung durch ein Vergleichen der Merkmalsquantität in dem Überlappbereich zwischen der Einzelbildabbildung und der Referenzabbildung bestimmt, abgeschätzt aus dem Bestimmungsresultat der vorherigen Relativposition. Andererseits wird in dem Fall, in welchem die Relativposition nicht durch den Vergleich der Merkmalsquantität in dem Überlappbereich bestimmt werden kann, die Relativposition bestimmt durch ein Vergleichen der Merkmalsquantität in den gesamten Abbildungen; und daher wird es möglich, die Positionierungsgenauigkeit zwischen der Einzelbildabbildung und der Mosaikabbildung zu verbessern, während verhindert wird, dass die Prozessbelastung erhöht wird.
  • In der Abbildungsvorrichtung eines achten Aspekts der vorliegenden Erfindung zeigt, zusätzlich zu der obigen Konfiguration, eine Live-Abbildungsanzeigeneinheit in einem Anzeigenmodus an, welcher unterschiedlich ist für den Fall, in welchem für die Einzelbildabbildung bestimmt wurde, dass sie beim Positionieren versagt hat, aber als erfolgreich bestimmt wurde. Entsprechend einer solchen Konfiguration wird die Einzelbildabbildung, welche beim Positionieren versagt hat, mit einem unterschiedlichen Anzeigenmodus angezeigt als wenn die Einzelbildabbildung erfolgreich gewesen war; daher wird es möglich, einfach festzustellen, dass sie beim Positionieren der Einzelbildabbildung versagt hat.
  • Die Abbildungsvorrichtung eines neunten Aspekts der vorliegenden Erfindung umfasst, zusätzlich zu der obigen Konfiguration, weiterhin: Einen Positionierungsreduktionsabschnitt, welcher die Einzelbildabbildung, welche die sich bewegende Bildabbildung zusammensetzt, reduziert und eine zu positionierende Einzelbildabbildung erzeugt, und die Mosaikabbildung reduziert und eine zu positionierende Mosaikabbildung erzeugt; und eine Anzeigenreduktionseinheit, welche eine Einzelbildabbildung reduziert, welche die sich bewegende Bildabbildung ausmacht und eine Anzeigeneinzelbildabbildung erzeugt, und die Mosaikabbildung reduziert und eine anzuzeigenden Mosaikabbildung erzeugt, wobei die Merkmalsquantitätsextraktionseinheit eine Merkmalsquantität aus der zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung extrahiert; wobei die Relativpositionsbestimmungseinheit eine Relativposition zwischen der zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung bestimmt, wobei die Live-Abbildungsanzeigeneinheit die sich bewegende Bildabbildung anzeigt, welche durch die Anzeigeneinzelbildabbildung auf der anzuzeigenden Mosaikabbildung als eine Live-Abbildung angezeigt ist; und die Mosaikabbildungserzeugungseinheit schätzt die Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung bei einer höheren Auflösung als die zu positionierenden Mosaikabbildung ab und setzt die Einzelbildabbildung mit der Mosaikabbildung zusammen und erzeugt eine neue Mosaikabbildung.
  • Eine Abbildungsvorrichtung eines zehnten Aspekts der vorliegenden Erfindung umfasst: Eine bewegbare Bühne, welche dazu in der Lage ist, in zwei unterschiedliche Richtungen bewegt zu werden, während sie ein zu untersuchendes Objekt trägt; einen Positionssensor, welcher eine Position der sich bewegenden Bühne detektiert; eine Kamera, welche in einer gegenüberliegenden Beziehung zu der sich bewegenden Bühne angeordnet ist, das zu untersuchende Objekt fotografiert und eine sich bewegende Bildabbildung erzeugt, welche aus einer Mehrzahl kontinuierlicher Einzelbildabbildungen besteht; eine Mosaikabbildungserzeugungseinheit, welche nicht weniger als zwei Standbilder, welche durch die Kamera fotografiert sind, zusammensetzt und eine Mosaikabbildung erzeugt, welche ein größeres Gesichtsfeld aufweist als ein tatsächliches Gesichtsfeld der Kamera; eine Relativpositionsbestimmungseinheit, welche eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung bestimmt, basierend auf dem Ausgang des Positionssensors; und eine Live-Abbildungsanzeigeneinheit, welche eine Anzeigenposition der Einzelabbildung bezüglich der Mosaikabbildung aktualisiert, basiert auf einem Bestimmungsresultat der Relativposition, und die sich bewegende Bildabbildung auf der Mosaikabbildung anzeigt, wobei in dem Fall, in welchem das Standbild korrespondierend zu der Einzelbildabbildung nicht glatt mit der Mosaikabbildung gekoppelt werden kann, die Live-Abbildungsanzeigeneinheit die Anzeigenposition festlegt. Gemäß einer solchen Konfiguration, in dem Fall, in welchem das Standbild korrespondierend zu der Einzelbildabbildung nicht glatt mit der Mosaikabbildung gekoppelt werden kann, wird die Anzeigenposition der sich bewegenden Bildabbildung festgelegt; und daher wird es möglich, einen Benutzer erkennen zu lassen, dass das Gesichtsfeld während des Fotografierens nicht glatt mit der Mosaikabbildung während ihrer Erzeugung gekoppelt werden kann.
  • Gemäß einer Abbildungsvorrichtung der vorliegenden Erfindung wird ein Gesichtsfeld während des Fotografierens als eine sich bewegende Bildabbildung in einer angemessenen Position auf einer Mosaikabbildung während deren Erzeugung angezeigt; und daher wird es möglich, ein Standbild abzurufen und dieses mit einer Mosaikabbildung zu koppeln, während ein Benutzer dazu gebracht wird, eine Positionsbeziehung zwischen dem Gesichtsfeld während des Fotografierens und der Mosaikabbildung während deren Erzeugung zu bestätigen. Genauer wird eine Anzeigenposition einer sich bewegenden Bildabbildung in Antwort auf eine Relativposition zwischen einer Einzelbildabbildung und einer Mosaikabbildung verändert, wenn das Positionieren einer Einzelbildabbildung erfolgreich war. Andererseits wird die Anzeigenposition festgelegt, wenn das Positionieren fehl geschlagen ist; daher kann die Anzeigenposition festgelegt werden durch eine endgültige Einzelbildabbildung, welche beim Positionieren erfolgreich war. Daher, in dem Fall, in welchem das Gesichtsfeld während des Fotografierens als die sich bewegende Bildabbildung angezeigt wird in eine angemessene Position auf der Mosaikabbildung, selbst wenn das visuelle Feld sich bewegt, nachdem es beim Positionieren versagt hat, wird die Anzeigenposition der sich bewegenden Bildabbildung zurückgehalten, während sie festgelegt wird; und daher wird es möglich, einfach zu erkennen, dass sie beim Positionieren der Einzelbildabbildung versagt hat. Weiterhin wird die Relativposition zwischen diesen Abbildungen bestimmt durch einen Vergleich der Merkmalsquantitäten, welche aus der Einzelbildabbildung und der Mosaikabbildung extrahiert wurden; und daher wird es möglich, eine Systemkonfiguration daran zu hindern, kompliziert zu werden. Daher wird es möglich, einfach eine Positionsbeziehung zwischen dem Gesichtsfeld während des Fotografierens und der Mosaikabbildung während deren Erzeugung zu erkennen, ohne die Systemkonfiguration zu verkomplizieren.
  • Weiterhin, gemäß einer Abbildungsvorrichtung der vorliegenden Erfindung, in dem Fall, in welchem ein Gesichtsfeld während des Fotografierens als eine sich bewegende Bildabbildung in einer angemessenen Position auf einer Mosaikabbildung angezeigt wird, wird eine Anzeigenposition der sich bewegenden Bildabbildung nahe einer Anzeigenposition einer Einzelbildabbildung festgelegt, welche als letztes als beim Positionieren erfolgreich bestimmt wurde; und daher wird es möglich, einfach das Gesichtsfeld während des Fotografierens auf eine Position zurückzubringen, welche zum Positionieren in der Lage ist.
  • KURZE BESCHREIBUNG DER UNTERSCHIEDLICHEN ANSICHTEN DER ZEICHNUNGEN
  • 1 ist eine Ansicht, welche ein Beispiel einer schematischen Konfiguration einer Abbildungsvorrichtung gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zeigt, und eine Vergrößerungsbetrachtungsvorrichtung als ein Beispiel der Abbildungsvorrichtung;
  • 2 ist ein Blockdiagramm, welches ein Konfigurationsbeispiel in einem relevanten Abschnitt der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigt, und ein Beispiel einer funktionellen Konfiguration in einem Systemkörper zeigt;
  • 3 ist ein Blockdiagramm, welches ein Konfigurationsbeispiel einer Live-Positioniereinheit in einem Systemkörper, welcher in 2 gezeigt ist, zeigt, und eine funktionale Konfiguration in einem Abgleichsvorgangsabschnitt;
  • 4 ist eine erklärende Ansicht, welche beispielhaft ein Beispiel eines Vorgangs während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigt, und eine sich bewegende Bildabbildung A1 und eine anzuzeigenden Mosaikabbildung A3 zeigt;
  • 5 ist eine Erklärungsansicht, welche beispielsweise ein Beispiel eines Vorgangs während des Anzeigens einer Live-Abbildung der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigt, und einen Live-Bildschirm zeigt;
  • 6A und 6B sind Diagramme, welche jeweils ein Beispiel des Vorgangs des Musterabgleichs in der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigt, und einen Zustand zeigt, in welchem die richtige Übereinstimmung zwischen den Merkmalspunkten extrahiert wird, durch einen Vergleich der gesamten Merkmalspunkte B3;
  • 7A und 7B sind Diagramme, welche jeweils ein Beispiel des Vorganges des Musterabgleichs in der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigen, und einen Zustand zeigen, welcher die Merkmalspunkte B3 in den sich überlappenden Bereichen B5 und B6 zeigt;
  • 8A und 8B sind Ansichten, welche jeweils ein Beispiel des Vorgangs während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigen, und eine Live-Abbildung zeigt, welche bezüglich einer Mosaikabbildung positioniert ist;
  • 9A und 9B sind Ansichten, welche jeweils ein Beispiel eines Vorgangs während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung, welch ein 1 gezeigt ist, zeigen, und eine Live-Abbildung zeigt, welche positioniert ist bezüglich der Mosaikabbildung, welche in jeder der 8A und 8B gezeigt sind;
  • 10A und 10B sind Ansichten, welche jeweils ein Beispiel eines Vorgangs während des Anzeigens einer Life-Abbildung in der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigt, und einen Zustand zeigt, in welchem eine Referenzabbildung mit einer Bewegung eines Gesichtsfelds während des Fotografierens verändert wird;
  • 11A und 11B sind Ansichten, welche jeweils ein Beispiel des Vorgangs während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung, welch ein 1 gezeigt ist, zeigen, und einen Zustand zeigen, welcher beim Positionieren einer Einzelbildabbildung mit einer Bewegung eines Gesichtsfelds versagt hat;
  • 12 ist eine Ansicht, welche ein Beispiel eines Vorgangs während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigt, und eine Live-Abbildung zeigt, welche neu positioniert ist, nachdem sie beim Positionieren versagt hat;
  • 13 ist ein Flussdiagramm, welches ein Beispiel eines Vorganges während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung, welche in 1 gezeigt ist, zeigt;
  • 14 ist ein Flussdiagramm, welches ein Beispiel eines Vorganges während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung zeigt, welche in 1 gezeigt ist; und
  • 15 ist ein Flussdiagramm, welches ein Beispiel eines Vorgangs während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung zeigt, welche in 1 gezeigt ist.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Vergrößerungsbetrachtungsvorrichtung
  • 1 ist eine Systemansicht, welche ein Beispiel einer schematischen Konfiguration einer Abbildungsvorrichtung gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zeigt, und als ein Beispiel der Abbildungsvorrichtung ist eine Vergrößerungsbetrachtungsvorrichtung 1 gezeigt, welche einen Systemkörper 100, eine Kameraeinheit 200 und eine Konsole 300 umfasst. Die Vergrößerungsbetrachtungsvorrichtung 1 ist ein Digitalmikroskop, welches eine sich bewegende Bildabbildung durch das Fotografieren eines fotografischen Subjektes, welches durch eine Objektivlinse vergrößert wird, erzeugt und die sich bewegende Bildabbildung auf einer Anzeigeneinheit 110 des Systemkörpers 100 anzeigen kann.
  • Die Kameraeinheit 200 ist eine Fotografiereinheit, welche zum Fotografieren eines zu untersuchenden Objektes geeignet ist, während ein Gesichtsfeld verändert wird, und umfasst eine Kamera 210, einen beweglichen Halter 220 und eine bewegbare Bühne 230. Die Kamera 210 ist eine Lesevorrichtung, welche das zu inspizierende Objekt als das fotografische Subjekt fotografiert und eine sich bewegende Bildabbildung erzeugt, welche aus einer Mehrzahl von Einzelbildabbildungen hergestellt ist, welche in einer konstanten Einzelbildfrequenz fortgeführt werden, und sie ist konfiguriert durch das Anordnen einer Objektivlinse, eines ladungsgekoppelten Abbildungssensors (CCD), einer Beleuchtungsvorrichtung und ähnlichem in einem zylindrischen Gehäuse.
  • Der bewegbare Halter 220 ist eine Halteeinheit, welche die Kamera 210 bewegbar in einer Richtung parallel zu einer zentralen Achse der Objektivlinse hält. In diesem Fall wird die Richtung parallel zu der zentralen Achse der Objektivlinse der Kamera 210 als eine z-Achsenrichtung bezeichnet, und eine Position der z-Achsenrichtung der Kamera 210 kann durch das Drehen eines Positionseinstellungsknopfes 221 eingestellt werden.
  • Die bewegbare Bühne 230 ist eine Halteeinheit, welche das zu untersuchende Objekt trägt, und ist bewegbar in einer Fläche, welche sich mit der z-Achse schneidet in einem Zustand, in welchem das zu untersuchende Objekt gelagert ist. In diesem Fall wird eine ebene Stirnfläche senkrecht zu der z-Achse als eine xy-Stirnfläche bezeichnet, wobei eine Position in der xy-Stirnfläche der bewegbaren Bühne 230 durch das Drehen von Positionseinstellungsknöpfen 231 und 232 eingestellt werden kann. Also ist die bewegbare Bühne 230 eine Bühne, welche sich durch das Drehen der Positionseinstellungsknöpfe 231 und 232 in zwei unterschiedlichen Richtungen bewegen kann, während sie das zu untersuchende Objekt trägt.
  • Genauer wird eine Position einer x-Achsenrichtung durch das Drehen des Positionseinstellungsknopfes 231, und eine Position einer y-Achsenrichtung durch das Drehen des Positionseinstellungsknopfes 232 eingestellt. Die Kamera 210 ist in einer gegenüberliegenden Beziehung zu einer solchen bewegbaren Bühne 230 angeordnet.
  • Die Konsole 300 ist eine Eingabevorrichtung, welche dazu geeignet ist, den Beginn und das Fertigstellen des Fotografierens zu instruieren, die fotografierten Abbildungsdaten abzurufen und ähnliches, an den Systemkörper 100.
  • Der Systemkörper 100 ist eine Abbildungsbearbeitungsvorrichtung, welche die sich bewegende Bildabbildung, welche durch die Kamera 210 fotografiert wurde, auf der Anzeigeneinheit 110 anzuzeigen, und erzeugt eine Mosaikabbildung, welche ein größeres Gesichtsfeld aufweist als das tatsächliche Gesichtsfeld der Kamera 210, durch das Zusammenfügen der Einzelbildabbildungen, welche die sich bewegende Bildabbildung ausbilden.
  • Systemkörper
  • 2 ist ein Blockdiagramm, welches ein Konfigurationsbeispiel in einem relevanten Abschnitt der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigt, und ein Beispiel einer funktionalen Konfiguration des Systemkörpers 100 zeigt. Der Systemkörper 100 ist konfiguriert durch das Bereitstellen von Anzeigenreduktionseinheiten 121 und 128, einer Anzeigenmosaikabbildungsspeichereinheit 122, einer Live-Abbildungsaktualisierungseinheit 123, einer Rückhaltemosaikabbildungsspeichereinheit 124 (engl.: retention mosaic image storage unit), einer Live-Positionierungseinheit 125, einer Standbilderzielungseinheit 126, einer Mosaikabbildungserzeugungseinheit 127, zusätzlich zu der Anzeigeneinheit 110.
  • Die Anzeigenreduktionseinheit 121 dient dazu, sich bewegende Abbildungsdaten, welche von der Kamera 110 gewonnen werden, zu verarbeiten, und reduzierte bewegte Abbildungsdaten zu erzeugen, welche eine reduzierte Abbildungsgröße aufweisen. Genauer wird ein Vorgang dahingehend durchgeführt, dass die Anzeigenreduktionseinheit 121 die Einzelbildabbildung, welche kontinuierlich von der Kamera 210 gewonnen wird, in einem vorbestimmten Reduktionsverhältnis reduziert, eine Anzeigeneinzelbildabbildung erzeugt und diese an die Live-Abbildungsaktualisierungseinheit 123 ausgibt. Eine Reduktion der Einzelbildabbildung wird zum Beispiel durchgeführt durch einen Prozess des Überspringens von Pixeln und einer Prozedur der Mittelwertbildung von Pixelwerten. In diesem Fall wird ein Reduktionsprozess so durchgeführt, dass er ein Aspektverhältnis nicht verändert, also ein Aspektverhältnis der Einzelbildabbildung vor und nach der Reduktion.
  • Die Anzeigenmosaikabbildungsspeichereinheit 122 ist eine Mosaikabbildungsrückhalteeinheit, welche eine anzuzeigenden Mosaikabbildung zurückhält, und wird konfiguriert durch, zum Beispiel, einen flüchtigen Halbleiterspeicher. Die Live-Abbildungsaktualisierungseinheit 123 wird betrieben um die Anzeigeneinheit 110 basierend auf Reduktionsverhältnisinformationen zu steuern, welche von der Anzeigenreduktionseinheit 121 gesendet werden, und eine Anzeigenposition der anzuzeigenden Einzelbildabbildungen, welche kontinuierlich von der Anzeigenreduktionseinheit 121 erhalten werden, bezüglich der anzuzeigenden Mosaikabbildung zu aktualisieren und entsprechend eine Live-Abbildung auf der anzuzeigenden Mosaikabbildung anzuzeigen. Die Live-Abbildung ist eine sich bewegende Bildabbildung, welche aus einer Mehrzahl von kontinuierlich angezeigten Einzelbildabbildungen hergestellt ist.
  • Die Rückhaltemosaikabbildungsspeichereinheit 124 ist eine Mosaikabbildungsspeichereinheit, welche eine zurückgehaltene Mosaikabbildung zurückhält, und ist durch ein nicht-flüchtiges Speicherelement, zum Beispiel eine Festplatte (HDD), konfiguriert.
  • Die Live-Positionierungseinheit 125 umfasst Positionierungsreduktionsabschnitte 125a und 125b, und einen Abgleichprozessabschnitt 125c. Die Live-Positionierungseinheit 125 bewirkt, dass jeweils die Einzelbildabbildungen, welche kontinuierlich von der Kamera 210 erhalten werden, und die zurückgehaltene Mosaikabbildung, welche aus der Rückhaltemosaikabbildungsspeichereinheit 124 ausgelesen wird, reduziert werden und dass ein Abgleichungsprozess durchgeführt wird.
  • Der Positionierungsreduktionsabschnitt 125a dient dazu, die Einzelbildabbildungen zu reduzieren, welche von der Kamera 210 in einem konstanten Reduktionsverhältnis zur Positionierung erhalten werden, um eine zu positionierende Einzelbildabbildung zu erzeugen und um dieselbe an den Abgleichprozessabschnitt 125c auszugeben. Der Positionierungsreduktionsabschnitt 125b wird betrieben, um die zurückgehaltene Mosaikabbildung, welche aus der Rückhaltemosaikabbildungsspeichereinheit 124 ausgelesen wird, zum Positionieren in einem konstanten Reduktionsverhältnis zu reduzieren, um eine zu positionierende Mosaikabbildung zu erzeugen, und um diese an den Abgleichprozessabschnitt 125c auszugeben.
  • Der Abgleichprozessabschnitt 125c bewirkt die Verwendung eines Musterabgleichs zwischen der zu positionierende Einzelbildabbildung und der zu positionierende Mosaikabbildung, um eine Relativposition zwischen diesen zur Erzeugung einer Relativpositionsinformation zu bestimmen, und um diese an die Live-Abbildungsaktualisierungseinheit 123 auszugeben.
  • Die Live-Abbildungsaktualisierungseinheit 123 bewirkt eine Entscheidung der Relativposition zwischen der anzuzeigende Einzelbildabbildung und der anzuzeigenden Mosaikabbildung, basierend auf der Relativpositionsinformation welche von der Live-Positionierungseinheit 125 erhalten wurden, und eine Aktualisierung einer Anzeigenposition der anzuzeigende Einzelbildabbildung bezüglich der anzuzeigenden Mosaikabbildung der Einzelbildabbildung für deren Anzeige.
  • Die Standbildgewinnungseinheit 126 bewirkt, dass ein Standbild, welches durch die Kamera 210 fotografiert wird, basierend auf einer Abrufinstruktion der Konsole 300 gewonnen wird, und dieses an die Mosaikabbildungserzeugungseinheit 127 ausgegeben wird. Das zusammenzusetzende Standbild, welches von der Kamera 210 gewonnen wird, kann eine Abbildung sein, welche sich in den Abbildungsbedingungen unterscheidet, so wie beispielsweise einer Belichtungszeit einer sich bewegenden Bildabbildung, oder kann eine der Einzelbildabbildungen sein, welche die sich bewegende Bildabbildung ausbilden.
  • Die Mosaikabbildungserzeugungseinheit 127 umfasst den Zurückhaltungspositionierungsabschnitt 127a, und einen Abbildungskopplungsabschnitt 127b, und bewirkt, dass eine zurückgehaltene Mosaikabbildung durch das Zusammensetzen einer Mehrzahl von Standbildern erzeugt wird.
  • Der Zurückhaltungspositionierungsabschnitt 127a bewirkt, dass eine Relativposition zwischen dem Standbild, welches durch die Standbildgewinnungseinheit 126 gewonnen wird, und der zurückgehaltene Mosaikabbildung, welche aus der Rückhaltemosaikabbildungsspeichereinheit 124 abgerufen wird, bestimmt wird. Die Bestimmung der Relativposition wird durch einen Musterabgleich zwischen der Fotografie und der zurückgehaltene Mosaikabbildung durchgeführt, und die Relativposition zwischen dem Standbild und der zurückgehaltene Mosaikabbildung wird in einer höheren Auflösung abgeschätzt, als die der zu positionierende Mosaikabbildung.
  • Der Abbildungskopplungsabschnitt 127b bewirkt, dass das Standbild und die zurückgehaltene Mosaikabbildung, basierend auf einem Bestimmungsresultat durch den Zurückhaltungspositionierungsabschnitt 127a, zusammengesetzt wird, um eine neue zurückgehaltene Mosaikabbildung zu erzeugen und um die zurückgehaltene Mosaikabbildung in der Rückhaltemosaikabbildungsspeichereinheit 124 zu aktualisieren. Genauer wird das Standbild, welches durch die Standbildgewinnungseinheit 126 gewonnen wird, und die zurückgehaltene Mosaikabbildung, welche aus der Rückhaltemosaikabbildungsspeichereinheit 124 ausgelesen wird, zusammengesetzt, basierend auf der Relativposition zwischen den Abbildungen, welche durch den Zurückhaltungspositionierabschnitt 127a abgeschätzt wird, so dass eine neue zurückgehaltene Mosaikabbildung erzeugt wird.
  • Das Zusammensetzen des Standbilds und der gehaltenen Mosaikabbildung wird durch das Koppeln der beiden Abbildungen durchgeführt, basierend auf der Relativposition zwischen diesen Abbildungen. Weiterhin wird in dem Fall des Koppelns des Standbilds und der zurückgehaltene Mosaikabbildung ein Verschmelzungsprozess der Pixelwerte für einen überlappenden Bereich beider Bilder durchgeführt, um eine Verbindungsstelle weniger erkennbar zu machen. Der Verschmelzungsprozess ist ein Abbildungsprozess, welcher eine gewichtete Mittelung der Pixelwerte zwischen beiden Abbildungen durchführt und einen Pixelwert eines zusammengesetzten Bildes gewinnt, und das Gewicht wird in dem Fall des Durchführens der gewichteten Mittelung angemessen geändert bezüglich einer Pixelposition, wodurch die Verbindungsstelle weniger erkennbar gemacht wird.
  • Die Anzeigenreduktionseinheit 128 bewirkt jedes Mal ein Auslesen einer aktualisierten zurückgehaltene Mosaikabbildung aus der Rückhaltemosaikabbildungsspeichereinheit 124, wenn die zurückgehaltene Mosaikabbildung aktualisiert wird, um die ausgelesene zurückgehaltene Mosaikabbildung für das Anzeigen zu reduzieren und um die anzuzeigenden Mosaikabbildung zu erzeugen.
  • In diesem Fall führt die Live-Positionierungseinheit 125 einen weniger genauen Abgleichprozess verglichen mit dem Zurückhaltungspositionierungsabschnitt 127a durch und wird eine Prozesseinheit, welche weniger genaue Koordinatendaten als die Relativpositionsinformation ausgibt.
  • Abgleichprozessabschnitt
  • 3 ist ein Blockdiagramm, welches ein Konfigurationsbeispiel einer Live-Positioniereinheit 125 in dem Systemkörper 100, welcher in 2 gezeigt ist, zeigt, und ein Beispiel einer funktionellen Konfiguration in dem Abgleichprozessabschnitt 125c zeigt. Der Abgleichprozessabschnitt 125c umfasst eine Merkmalsquantitätsextraktionseinheit 131 und eine Relativpositionsbestimmungseinheit 132.
  • Die Merkmalquantitätsextraktionseinheit 131 bewirkt jeweils das Extrahieren einer Merkmalsquantität aus der zu positionierenden Einzelbildabbildung und aus der zu positionierenden Mosaikabbildung. Als die Merkmalsquantität kann jegliche Merkmalsquantität verwendet werden, solange diese Merkmalquantität in dem Fall des Vergleichens der Bilder ein Marker wird. In diesem Fall wird jedoch die Oberseite, in welcher sich eine Mehrzahl von Kanten miteinander schneiden, als ein Merkmalspunkt extrahiert.
  • Unter dem Gesichtspunkt des Verkürzens der Prozesszeit, welche für das Positionieren in dem Fall erfordert wird, in dem die Größe der zurückgehaltenen Mosaikabbildung groß wird, legt die Merkmalsquantitätsextraktionseinheit 131 ein Teil der Mosaikabbildung, zum Beispiel ein Standbild welches als letztes bezüglich der zurückgehaltenen Mosaikabbildung zusammengesetzt wurde, als eine Referenzabbildung fest und extrahiert den Merkmalspunkt in der Referenzabbildung in dem Fall des Extrahierens des Merkmalspunkts aus einer zu positionierenden Mosaikabbildung.
  • Die Relativpositionsbestimmungseinheit 132 umfasst einen Vergleichsabschnitt 141, einen Relativpositionsberechnungsabschnitt 142 und einen Überlappungsbereichabschätzungsabschnitt 143. Die Relativpositionsbestimmungseinheit 132 bewirkt das Bestimmen einer Relativposition zwischen der zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung durch einen Vergleich der Merkmalspunkte. Der Vergleichsabschnitt 141 bewirkt ein Vergleichen eines Merkmalspunkts, welcher aus der zu positionierenden Einzelbildabbildung extrahiert ist, mit einem Merkmalspunkt, welcher aus der zu positionierenden Mosaikabbildung extrahiert ist, und ein Ausgeben dessen Vergleichsresultats an den Relativpositionsberechnungsabschnitt 142.
  • Der Vergleich der Merkmalspunkte wird zum Beispiel durch das Extrahieren eines Bereichs umfassend einen Merkmalspunkt eines Pixels als Vorlage, und durch das Suchen eines Bereichs in der anderen Abbildung, der möglichst zu dem Vorlagenbereich ähnlich ist, durchgeführt. Als ein Index, welcher den Grad der Ähnlichkeit zwischen den Bereichen misst, ist ein Verfahren des Verwendens einer Fehlersumme der Quadrate eines Helligkeitswertes, welcher von einem Pixel in dem Bereich gewonnen wird, denkbar, und ein Verfahren des Verwendens einer normalisierten Korrelation, in welcher ein Helligkeitswert eines jeden Pixels in dem Bereich durch eine mittlere Helligkeit normalisiert ist.
  • Im Fall des Vergleichens des Merkmalspunkts, welcher aus der zu positionierenden Einzelbildabbildung extrahiert wurde, mit dem Merkmalspunkt, welcher aus der zu positionierenden Mosaikabbildung extrahiert wurde, bewirkt der Vergleichsabschnitt 141 den Merkmalspunkt der zu positionierenden Einzelbildabbildung mit dem Merkmalspunkt der Referenzabbildung zu vergleichen.
  • Der Relativpositionsberechnungsabschnitt 142 bewirkt das Bestimmen der Relativposition zwischen der zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung basierend auf dem Vergleichsresultat durch den Vergleichsabschnitt 141, um dessen Bestimmungsresultat an den Überlappungsbereichsabschätzungsabschnitt 143 auszugeben, und um die Relativpositionsinformation an die Live-Abbildungsaktualisierungseinheit 123 auszugeben.
  • Der Überlappungsbereichsabschätzungsabschnitt 143 bewirkt ein Abschätzen eines Überlappungsbereichs der vorliegenden zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung, basierend auf dem Bestimmungsresultat der vergangenen Relativposition in Bezug gesetzt zu der zu positionierenden Einzelbildabbildung. Zum Beispiel wird ein Vorgang dahingehend durchgeführt, dass ein überlappender Bereich der Einzelbildabbildung und der zu positionierenden Mosaikabbildung durch das Bestimmungsresultat einer Relativposition, in Bezug gesetzt zu einer zu positionierenden Einzelbildabbildung, welche vorhergehend durch ein Einzelbild bereitgestellt wurde, festgelegt wird und der überlappende Bereich als der überlappende Bereich der vorliegenden Einzelbildabbildung und der Mosaikabbildung bewertet wird.
  • Im Fall des Abschätzens des Überlappbereichs der vorliegenden zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung dient der Überlappbereichabschätzungsabschnitt 143 dazu, einen Überlappbereich der Positioniereinzelbildabbildung und der Positionierreferenzabbildung abzuschätzen.
  • Der Vergleichsabschnitt 141 dient dazu, Merkmalspunkte in dem Überlappbereich zu vergleichen, welche durch den Überlappbereichabschätzungsabschnitt 143 abgeschätzt worden sind, und dazu, ein Vergleichsresultat an den Relativpositionsberechnungsabschnitt 142 auszugeben. Dann, als ein Resultat des Vergleichens der Merkmalspunkte in den Überlappbereichen und in dem Fall, in welchem die Relativposition nicht bestimmt werden kann, bewirkt der Vergleichsabschnitt 141, dass die gesamten Merkmalspunkte umfasst in der gesamten zu positionierenden Einzelbildabbildung mit den gesamten Merkmalspunkten, welche in der gesamten zu positionierenden Referenzabbildung, welche ein Objekt eines Abgleichprozesses der zu positionierenden Mosaikabbildung ist, umfasst sind, verglichen werden, und das Vergleichsresultat an den Relativpositionsberechnungsabschnitt 142 auszugeben.
  • Also wird der Relativpositionsberechnungsabschnitt 142 dazu betrieben, die Relativposition zu bestimmen basierend auf dem Vergleichsresultat der Merkmalspunkte in dem Überlappbereich der Einzelbildabbildung und der Referenzabbildung, welche aus dem Bestimmungsresultat der vergangenen Relativposition resultiert. Andererseits wird in dem Fall, in welchem die Relativposition nicht durch den Vergleich der Merkmalspunkte in solch einem Überlappbereich bestimmt werden kann, der Relativpositionsberechnungsabschnitt 142 so betrieben, um die Relativposition basierend auf dem Vergleichsresultat der Merkmalspunkte der gesamten zu positionieren Einzelbildabbildung und der Merkmalspunkte des gesamten Referenzabbildung zu bestimmen.
  • Weiterhin wird bezüglich einer ersten zu positionierenden Einzelbildabbildung ein Vorgang durchgeführt, um die gesamten Merkmalspunkte, welche in der gesamten zu positionierenden Einzelbildabbildung umfasst sind, mit den gesamten Merkmalspunkten, welche in der gesamten Referenzabbildung umfasst sind, zu vergleichen, und ein Vergleichsresultat an den Relativpositionsberechnungsabschnitt 142 auszugeben. Also wird wie für eine erste zu positionierende Einzelbildabbildung die Relativposition durch das Vergleichen der gesamten Merkmalspunkte der Einzelbildabbildung mit den gesamten Merkmalspunkten der Referenzabbildung bestimmt. Andererseits werden bezüglich einer zu positionierenden Einzelbildabbildung nachfolgend auf ein zweites Einzelbild als erstes die Merkmalspunkte, die in dem Überlappbereich aus einem Bestimmungsresultat der letzten Relativposition bezüglich zu der Einzelabbildung abgeschätzt wurde, verglichen und die Relativposition wird bestimmt. Zu diesem Zeitpunkt, wenn die Relativposition nicht bestimmt werden kann, werden die gesamten Merkmalspunkte der Einzelbildabbildung und die gesamten Merkmalspunkte der Referenzabbildung verglichen und die Relativposition wird bestimmt.
  • In diesem Fall ist die erste Einzelbildabbildung zum Beispiel eine erste gewonnene Einzelbildabbildung nach dem erneuten Starten des Fotografierens in einem Fall, in welchem das Fotografieren einmal mitten im Erzeugen der Mosaikabbildung gestoppt wurde und dann das Fotografieren erneut gestartet wird.
  • Im Allgemeinen wird in dem Fall, in welchem ein jeglicher Merkmalspunkt aus zwei Standbilder extrahiert wird, in welchen jeder Teil der Abbildungen überlappt und eine Gruppe der korrespondierenden Merkmalspunkte zwischen diesen Abbildungen gefunden wird, eine Möglichkeit des Extrahierens der Merkmalspunkte aus dem überlappenden Bereich der beiden Abbildungen und das Suchen einer Gruppe von korrespondierenden Merkmalspunkte weniger in deren Auftretenswahrscheinlichkeit bezüglich einer falschen Antwort begründet sein, als dem Suchen durch Extrahierens des Merkmalspunktes aus den gesamten Abbildungen. Also wird ein Vergleich bevorzugt für den Merkmalspunkt in dem überlappenden Bereich gemacht, um die Relativposition zu bestimmen, und entsprechend wird eine Wahrscheinlichkeit des Erfolges beim Positionieren der zu positionierenden Einzelbildabbildung verbessert. Weiterhin kann die Positionierungsgeschwindigkeit verbessert werden verglichen damit, dass ein Vergleich für die gesamten Merkmalspunkte in dem Bildschirm durchgeführt wird.
  • In diesem Fall, in welchem die Merkmalsquantitätsextraktionseinheit 131 die Merkmalspunkte aus der vorliegenden zu positionierenden Einzelbildabbildung extrahiert, wird der Merkmalspunkt aus dem überlappenden Bereich extrahiert, welcher durch den Überlappungsbereichsabschätzungsabschnitt 143 abgeschätzt ist. Dann wird in dem Fall, in welchem die Relativposition nicht durch den nur einen Merkmalspunkt in dem überlappenden Bereich bestimmt werden kann, ein Vorgang des Extrahierens des Merkmalspunkts aus einem Bereich, welcher nicht in dem überlappenden Bereich liegt, genauso durchgeführt.
  • Weiterhin wird die Live-Abbildungsaktualisierungseinheit 123 betrieben, um eine Anzeigenpositionierung in dem Fall des Anzeigens der sich bewegenden Bildabbildung, welche aus den Anzeigeneinzelbildabbildungen hergestellt ist, auf der anzuzeigenden Mosaikabbildung als die Live-Abbildung zu aktualisieren basierend auf den Bestimmungsresultaten der Relativposition durch den Relativpositionsberechnungsabschnitt 142, und deren Anzeigendaten an die Anzeigeneinheit 110 auszugeben.
  • Zu diesem Zeitpunkt, wenn bestimmt wurde, dass das Positionieren der Einzelbildabbildung durch die Relativpositionsbestimmungseinheit 123 erfolgreich war, wird ein Vorgang durchgeführt, um die Anzeigenposition der Live-Abbildung in Antwort auf das Bestimmungsresultat der Relativposition zu verändern. Andererseits, wenn die Relativposition nicht bestimmt werden kann und wenn bestimmt wird, dass das Positionieren der Einzelbildabbildung fehlgeschlagen ist, wird die Anzeigenposition der Live-Abbildung nicht verändert. Jedoch wird zum Beispiel ein Vorgang durchgeführt, um die Anzeigenposition der Live-Abbildung nahe der Anzeigenposition einer letzten Einzelbildabbildung, von der bestimmt wurde, dass sie beim Positionieren erfolgreich war, festzulegen.
  • Also wird, nachdem die zu positionierende Einzelbildabbildung fehlgeschlagen ist, die Anzeigenposition der Live-Abbildung auf die Anzeigenposition der letzten Einzelbildabbildung festgelegt, welche beim Positionieren erfolgreich war, um eine neu gewonnene Einzelbildabbildung anzuzeigen, und die Einzelbildabbildung wird an der Anzeigenposition angezeigt und wird auf die neu gewonnene Einzelbildabbildung aktualisiert, und entsprechend wird die Anzeige der Live-Abbildung weitergeführt.
  • In diesem Fall wird die Referenzabbildung so verändert, wie es notwendig ist, dass ein Standbild, welches einen größten Bereich eines Überlappungsbereichs mit der Einzelbildabbildung in dem Standbild aufweist, welches die Mosaikabbildung zusammensetzt, stets die Referenzabbildung wird. Dann, wenn die Relativposition nicht bezüglich einer solchen Referenzabbildung bestimmt werden kann, wird eine Bewertung dahingehend durchgeführt, dass die Positionierung der Einzelbildabbildung fehlgeschlagen ist.
  • Weiterhin wird für eine Einzelbildabbildung, welche nach dem Fehlschlagen beim Positionieren der Einzelbildabbildung gewonnen wird, die Relativposition zwischen der Einzelabbildung und der Mosaikabbildung durch ein Vergleichen der Merkmalsquantität in der Einzelbildabbildung und der Merkmalsquantität in der Referenzabbildung bestimmt. Dann, in dem Fall, in welchem die Relativposition nicht durch einen Vergleich der Merkmalsquantität in der Referenzabbildung bestimmt werden kann, wird ein Vorgang durchgeführt, um die Relativposition durch ein Vergleichen der Merkmalsquantität in der Einzelbildabbildung und der Merkmalsquantität in dem Abbildungsbereich außer der Referenzabbildung der Mosaikabbildung festzustellen.
  • Also, wenn das Positionieren der Einzelbildabbildung in dem vorhergehenden Positionieren erfolgreich war, wird der Überlappbereich zwischen der vorliegenden Einzelbildabbildung und der Referenzabbildung abgeschätzt, basierend auf der Relativpositionsinformation der Einzelbildabbildung, bei welcher das Positionieren erfolgreich war, und die Relativposition wird bestimmt durch den Vergleich der Merkmalspunkte in dem Überlappbereich (hierauf wird im Folgenden als der Hochgeschwindigkeitsnachfolgemodus Bezug genommen). Andererseits, wenn das Positionieren der Einzelbildabbildung fehlgeschlagen ist, wird der Betriebsmodus von dem Hochgeschwindigkeitsnachfolgemodus umgeschaltet auf einen Ansichtssuchmodus. Bezüglich der Einzelbildabbildung, welche gewonnen wird nachdem die Positionierung fehlgeschlagen ist, wird die Relativposition durch ein Vergleichen der Merkmalsquantität in der Einzelbildabbildung und der Merkmalsquantität in der Referenzabbildung bestimmt. Wenn die Relativposition durch den Vergleich mit der Merkmalsquantität in der Referenzabbildung nicht bestimmt werden kann, wird die Relativposition durch Vergleichen der Merkmalsquantität der Einzelbildabbildung und der Merkmalsquantität des Abbildungsbereichs, welcher sich von der Referenzabbildung der Mosaikabbildung unterscheidet, bestimmt.
  • Weiterhin wird in der Live-Abbildungsaktualisierungseinheit 123 ein Anzeigenmodus, welcher sich für den Fall unterscheidet, in welchem bestimmt wird dass bei der Einzelbildabbildung bei welcher bestimmt wurde dass das Positionieren fehlgeschlagen ist, als erfolgreich bestimmt wurde, beispielsweise eine Operation durchgeführt, um weiß und schwarz zu invertieren und dies durch eine sich verändernde Farbe anzuzeigen. Alternativ kann eine Richtung, in welcher ein Überlapp der Referenzabbildung und der Einzelbildabbildung vergrößert wird aus einer Aktualisierungshistorie der Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung bewertet werden, und ein Pfeil oder ähnliches, welcher die Richtung anzeigt, kann angezeigt werden. Weiterhin kann als eine Fehlermeldung im Falle des Fehlschlagens des Positionierens der Einzelbildabbildung ein Vorgang des Anzeigens einer Nachricht durchgeführt werden, welcher anzeigt, dass ein Positionieren fehlgeschlagen ist als eine Fehlernachricht dahingehend, dass das Positionieren fehlgeschlagen ist, oder einen Warnungston ausgibt.
  • Live-Bildschirm
  • Die 4 und 5 sind erklärende Ansichten, welche jede beispielsweise ein Beispiel der Funktion während des Anzeigens der Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigt. 4 zeigt eine sich bewegende Bildabbildung A1 und eine anzuzeigende Mosaikabbildung A3, welche durch die Kamera 210 fotografiert wurde. Weiterhin zeigt 5 einen Live-Bildschirm 111, in welchem die sich bewegende Bildabbildung A1 als die Live-Abbildung auf der Mosaikabbildung A3 angeordnet ist.
  • Die sich bewegende Bildabbildung A1 ist aus den anzuzeigenden Einzelbildabbildungen A2 hergestellt, welche wiederholt bei einer konstanten Einzelbildfrequenz erzeugt werden. Zum Beispiel wird die anzuzeigende Einzelbildabbildung A2 bei 15 Einzelbildern pro Sekunde (fps) erzeugt. In diesem Fall sind eine Abbildungsvergrößerung und eine Fokusposition festgelegt.
  • Die anzuzeigende Mosaikabbildung A3 ist eine Mosaikabbildung, welche durch das Reduzieren der gehaltenen Mosaikabbildung zur Anzeige auf dem Live-Bildschirm erzeugt wird.
  • Der Live-Bildschirm 111 ist ein Monitorbildschirm, welcher auf der Anzeigeneinheit 110 angezeigt wird, und die anzuzeigende Mosaikabbildung A3 und die sich bewegende Bildabbildung A1 werden während deren Erzeugung darauf angezeigt. In dem Live-Bildschirm 111 ist die sich bewegende Bildabbildung A1 in einer Anzeigenposition angeordnet, welche durch die Relativposition entschieden wurde, welche durch einen Musterabgleich zwischen der vorliegenden zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung bestimmt wird.
  • Also wird die sich bewegende Bildabbildung A1 während des Fotografierens als die Live-Abbildung in einer angemessenen Position auf der angezeigten Mosaikabbildung A3 während deren Erzeugung angezeigt und daher kann ein Benutzer Standbilder abrufen und diese mit der gehaltenen Mosaikabbildung koppeln, während er eine Positionsbeziehung zwischen einem Gesichtsfeld während des Fotografierens und der Mosaikabbildung während deren Erzeugung bestätigt.
  • Musterabgleich
  • Die 6A und 6B sind Diagramme, welche jeweils ein Beispiel des Vorgangs des Musterabgleichs in der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigen, und ein Zustand ist gezeigt, in welchem eine richtige Übereinstimmung zwischen diesen Merkmalspunkten durch einen Vergleich der gesamten Merkmalspunkte B3, welche jeweils aus der Referenzabbildung B1 extrahiert sind, und der zu positionierende Einzelbildabbildung B2 extrahiert ist. 6A zeigt einen Zustand, in welchem der Merkmalspunkt B3, welcher aus der Referenzabbildung B1 extrahiert ist, mit jedem Merkmalspunkt B3 in der Einzelbildabbildung B2 verglichen wird, und 6B zeigt die richtige Übereinstimmung zwischen den Merkmalspunkten, welche basierend auf dem Vergleich des Merkmalspunktes B3 extrahiert ist.
  • Die Referenzabbildung B1 ist ein Teil der Mosaikabbildung während des Erzeugens und wird vorhergehend aus der zu positionierenden Mosaikabbildung als ein zu bearbeitendes Objekt des Musterabgleichs extrahiert. Zum Beispiel wird ein als letztes gekoppeltes Standbild als das Referenzbild B1 extrahiert. Alternativ ist die Größe eines Überlappungsbereichs des Standbildes, welches als letztes bezüglich einer zurückgehaltenen Mosaikabbildung gekoppelt ist und die vorliegenden Einzelabbildung kleiner als ein konstantes Niveau, und wenn eine Relativposition zwischen diesen Abbildungen nicht bestimmt werden kann, können andere Standbilder benachbart zu dem Standbild, welches als letztes bezüglich der zurückgehaltenen Mosaikabbildung gekoppelt wurde, als die Referenzabbildung B1 extrahiert werden.
  • In dem Fall, in welchem eine Positionsbeziehung zwischen der Referenzabbildung B1 und der Einzelbildabbildung B2 unklar ist, wird der Merkmalspunkt B3 dadurch extrahiert, dass die gesamte Abbildung als ein Objekt festgelegt wird. Dann wird eine Abwägung getroffen durch einen Vergleich zwischen den Merkmalspunkten, ob oder ob nicht ein ähnlicher Merkmalspunkt in der Einzelbildabbildung B2 für die jeweiligen Merkmalspunkte B3, welche aus der Referenzabbildung B1 extrahiert wurden, vorliegt.
  • Der Grad der Ähnlichkeit zwischen den Merkmalspunkten kann durch einen vorbestimmten Bereich umfassend den Merkmalspunkt B3 gemessen werden, beispielsweise durch eine Summe der Fehlerquadrate oder eine normalisierte Korrelation eines Helligkeitswertes, welcher für eine rechteckige Fläche von 5 Pixel mal 5 Pixel berechnet ist.
  • Die richtige Übereinstimmung zwischen den Merkmalspunkten wird basierend auf solch einem Vergleichsresultat extrahiert. Zum Beispiel wird eine Korrespondenz zwischen den Merkmalspunkten, welche parallel zueinander in die gleiche Richtung bewegt wurden, als richtige Korrespondenz extrahiert. Die Relativposition zwischen der Referenzabbildung B1 und der Einzelbildabbildung B2 wird durch das Bewerten des Betrages der Bewegung in der Abbildung des Merkmalspunktes bestimmt, basierend auf der richtigen Korrespondenz zwischen den extrahierten Merkmalspunkten und durch das Bewerten des Bewegungsbetrages der Einzelbildabbildung B2 bezüglich der Referenzabbildung B1 aus dem Bewegungsbetrag.
  • 7A und 7B sind Diagramme, welche jeweils ein Beispiel eines Vorgangs des Musterabgleichs in der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigen und es wird ein Zustand gezeigt, in welchem die Merkmalspunkte B3 in den überlappenden Bereichen B5 und B6, welche aus einer Relativposition zwischen der Referenzabbildung und einer (n – 1)ten Einzelbildabbildung abgeschätzt wurden, miteinander verglichen werden. 7A zeigt einen Überlappbereich B4 der beiden Abbildungen, welcher aus der Relativposition zwischen der Referenzabbildung und der (n – 1)ten Einzelbildabbildung erhalten wurden. 1B zeigt die Überlappbereiche B5 und B6 der Referenzabbildung und der n-ten Einzelbildabbildung, die abgeschätzt ist aus der Relativposition zwischen der Referenzabbildung und der (n – 1)ten Einzelbildabbildung.
  • In dem Fall, in welchem eine grobe Positionsbeziehung zwischen der Referenzabbildung B1 und der Einzelbildabbildung B2 vorhergehend bekannt ist, wird aus einer Abbildung ein Maskenbereich angemessen extrahiert und die Umgebung eines Bereiches, korrespondierend zu der anderen Abbildung, wird durchsucht, und entsprechend kann die Relativposition zwischen diesen Abbildungen mit einer hohen Genauigkeit bestimmt werden.
  • Also wird aus einem Bestimmungsresultat der Relativposition zwischen einer (n – 1)ten Einzelbildabbildung, welche vorhergehend durch ein Einzelbild und die Referenzabbildung bereitgestellt wurde, ein Überlappungsbereich B4 dieser Abbildungen erhalten. Der Überlappungsbereich B4 wird als die überlappenden Bereiche B5 und B6 der vorliegenden n-ten Einzelbildabbildung und der Referenzabbildung bewertet. Dann kann durch das Extrahieren eines ähnlichen Merkmalspunktes aus dem Überlappbereich B6 der n-ten Einzelbildabbildung für die jeweiligen Merkmalspunkte B3 in dem überlappenden Bereich B5 der Referenzabbildung die Relativposition zwischen diesen Abbildungen bestimmt werden.
  • Die Extraktion ähnlicher Merkmalspunkte wird durch das Extrahieren einer vorbestimmten Fläche in der Nähe einer Position korrespondierend zu den Merkmalspunkten aus dem Überlappbereich B6 der n-ten Einzelbildabbildung für die jeweiligen Merkmalspunkte B3 in dem Überlappbereich B5 der Referenzabbildung und durch das Absuchen des Innenbereichs dieses Bereiches durchgeführt.
  • In dem vorliegenden bevorzugten Ausführungsbeispiel wird ein Verfahren, welches in den 7A und 7B gezeigt ist, angewendet, in welchem ein Vergleich der Merkmalspunkte in dem Überlappbereich bezüglich der Positionierung einer zu positionierenden Einzelbildabbildung durchgeführt wird, nachfolgend auf ein zweites Einzelbild und eine zu positionierende Mosaikabbildung. Andererseits wird das Verfahren angewandt, welches in den 6A und 6B gezeigt ist, in welchem ein Vergleich für die gesamten Merkmalspunkte in dem Fall durchgeführt wird, in welchem die Relativposition durch das Positionieren einer ersten zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung und durch Vergleichen bezüglich der Merkmalspunkte in den Überlappbereichen nicht bestimmt werden kann oder, in dem Fall des Positionierens eines Standbildes, welches basierend auf einer Abrufinstruktion abgerufen wurde, und einer zurückgehaltenen Mosaikabbildung.
  • Weiterhin kann in dem Positionierprozess, welcher in Echtzeit bezüglich der Einzelbildabbildungen durchgeführt wird, welche kontinuierlich von der Kamera 210 gewonnen werden, wenn die Anzahl der richtigen Übereinstimmung der derart beschriebenen Merkmalspunkte geringer ist als ein konstantes Niveau, die Relativposition nicht bestimmt werden und entsprechend wird die Bewertung abgegeben, dass das Positionieren fehlgeschlagen ist.
  • Wie in dem Fall eines Fehlschlagens des Positionierens ist ein Fall denkbar, in welchem die Merkmalspunkte, welche zum Positionieren notwendig sind, nicht detektiert werden können aufgrund des Einflusses von außerhalb des Fokus liegenden Unschärfen (engl: „out of focus blur”). Weiterhin ist ein Fall denkbar, in dem der Überlappbereich, der aus dem vorhergehenden Positionierungsresultat abgeschätzt ist, stark von dem tatsächlichen Überlappbereich aufgrund eines zu kleinen Überlapps der Referenzabbildung und der Einzelbildabbildung abweicht, oder zu groß ist bezüglich des Bewegungsbetrags zwischen den Einzelbildern.
  • 8A und 8B und 9A und 9B sind Ansichten, welche jeweils ein Beispiel eines Vorgehens während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigen, und zeigt einen Live-Bildschirm 111, auf welchem eine Live-Abbildung auf einer anzuzeigenden Mosaikabbildung angezeigt ist. 8A zeigt eine Live-Abbildung, welche bezüglich einer Referenzabbildung positioniert ist, welche aus einer Mosaikabbildung extrahiert ist, die aus zwei Standbildern hergestellt ist, und 8B zeigt eine Mosaikabbildung, welche durch das Abrufen und Zusammensetzen von Standbildern mit dem gleichen sichtbaren Feld wie die Live-Abbildung, die in 8A gezeigt ist, aktualisiert wird.
  • In diesem Beispiel wird eine Positionierungsreferenzabbildung, die aus einer zurückgehaltenen Mosaikabbildung extrahiert ist, in einem rechteckigen Rahmen angeordnet, welcher durch eine gepunktete Linie angezeigt ist. Diese Referenzabbildung ist ein Standbild, welches zuletzt bezüglich der zurückgehaltenen Mosaikabbildung zusammengesetzt wurde.
  • Andererseits wird eine Live-Abbildung in einem rechteckigen Rahmen, welcher durch eine durchgezogene Linie gezeigt ist, angeordnet und eine Anzeigenposition des rechteckigen Rahmens wird entschieden basierend auf einem Bestimmungsresultat einer Relativposition zwischen der Referenzabbildung und der vorliegenden zu positionierenden Einzelbildabbildung. Also wird die Anzeigenposition der Live-Abbildung verändert in Antwort auf die Relativposition der Einzelbildabbildung, wenn diese beim Positionieren der Einzelbildabbildung erfolgreich war. Andererseits wird die Anzeigenposition der Live-Abbildung festgelegt auf eine Position einer letzten Einzelbildabbildung, bei welcher die Positionierung erfolgreich war, wenn die Positionierung fehlschlug.
  • Wenn ein Abrufen eines zu zusammenzusetzenden Standbildes in einem Zustand, welcher in 8A gezeigt ist, instruiert wird, wird das Standbild mit dem gleichen sichtbaren Feld wie die Live-Abbildung während des Anzeigens abgerufen und mit der zurückgehaltenen Mosaikabbildung gekoppelt, um eine neue zurückgehaltene Mosaikabbildung zu erzeugen. Eine anzuzeigende Mosaikabbildung wird während des Anzeigens durch das Reduzieren der neuen zurückgehaltenen Mosaikabbildung aktualisiert. Zu diesem Zeitpunkt wird die Referenzabbildung ebenso verändert auf eine solche, welche zu dem abgerufenen Standbild korrespondiert.
  • 9A zeigt eine Live-Abbildung, welche bezüglich der Referenzabbildung, die aus der Mosaikabbildung extrahiert ist, welche in 8B gezeigt ist, positioniert ist, und 9B zeigt eine Mosaikabbildung, welche durch das Abrufen und Zusammensetzen eines Standbildes mit dem gleichen sichtbaren Feld wie das der Live-Abbildung, welche in 9A gezeigt ist, aktualisiert wird.
  • Die Referenzabbildung, welche in 9A gezeigt ist, ist ein Standbild, welches als letztes bezüglich der zurückgehaltenen Mosaikabbildung während deren Erzeugung zusammengesetzt wurde. Wenn die bewegbare Bühne 230 in einer Aufwärtsrichtung von einem Zustand aus, welcher in 8B gezeigt ist, bewegt wird, wird das Gesichtsfeld während des Fotografierens in eine Abwärtsrichtung bezüglich eines Werkstückes (des zu untersuchendes Objekts) bewegt und die Live-Abbildung, welche in 9A gezeigt ist, kann gewonnen werden.
  • Wenn ein Abruf in einem Zustand instruiert wird, welcher in 9A gezeigt ist, wird ein Standbild mit dem gleichen sichtbaren Feld wie das der Live-Abbildung während des Anzeigens abgerufen und mit der zurückgehaltenen Mosaikabbildung gekoppelt, um eine neue zurückgehaltene Mosaikabbildung zu erzeugen. Die anzuzeigende Mosaikabbildung während des Anzeigens wird aktualisiert durch das Reduzieren der neuen zurückgehaltenen Mosaikabbildung und die Referenzabbildung wird ebenso verändert zu einer solchen, welche zu dem abgerufenen Standbild korrespondiert.
  • 10A und 10B sind Ansichten, welche jeweils ein Beispiel des Vorgehens während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigen und einen Zustand zeigen, in welchem eine Referenzabbildung mit einer Bewegung eines Gesichtsfeldes während des Fotografierens verändert wird. 10A zeigt eine Live-Abbildung, in welcher ein Standbild, welches als letztes bezüglich der Mosaikabbildung, welche in 9B gezeigt ist, zusammengesetzt wurde, als die Referenzabbildung positioniert ist. Weiterhin zeigt 10B eine Live-Abbildung, welche positioniert ist bezüglich einer Referenzabbildung, welche mit einer Bewegung eines Gesichtsfeldes während des Fotografierens verändert wird.
  • Wenn die bewegliche Bühne 230 in eine Linksrichtung von einem Zustand aus, wie er in 10A gezeigt ist, bewegt wird, wird das Gesichtsfeld während des Fotografierens in einer Rechtsrichtung bezüglich des Werkstückes bewegt. Wenn ein Überlapp einer Einzelbildabbildung und des Standbilds, welches als letztes bezüglich der Mosaikabbildung zusammengesetzt wurde, klein wird durch die Bewegung des sichtbaren Feldes, wird die Referenzabbildung verändert.
  • Genauer wird die Referenzabbildung von dem Standbild, welches als letztes bezüglich der Mosaikabbildung zusammengesetzt ist, zu einem Standbild verändert, welches den größten Überlappbereich mit der Einzelbildabbildung aufweist, und ein Positionieren der Einzelbildabbildung wird durchgeführt. In dieser neuen Referenzabbildung wird ein Abbildungsflecken, welcher den größten Bereich in dem Überlappbereich mit der Einzelbildabbildung hat, ausgewählt basierend auf einer aktualisierten Historie und einem vergangenen Positionierungsresultat einer Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung. In diesem Beispiel wird zwischen den Standbildern, welche die Mosaikabbildung ausmachen, ein Standbild benachbart zu der rechten Seite des als zuletzt zusammengesetzten Standbildes als die neue Referenzabbildung ausgewählt.
  • 11A und 11B sind Ansichten, welche jeweils ein Beispiel der Betätigung während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigen und einen Zustand zeigen, bei welchem das Positionieren der Einzelbildabbildung bei einer Bewegung eines Gesichtsfelds während des Fotografierens fehlgeschlagen ist. 11A zeigt die Live-Abbildung genau bevor die Positionierung fehlschlägt, und 11B zeigt eine Live-Abbildung genau nachdem das Positionieren fehlgeschlagen ist.
  • Die Live-Abbildung, welche in 11A gezeigt ist, umfasst eine Einzelbildabbildung, welche bezüglich der Referenzabbildung, welche in 10B gezeigt ist, positioniert ist. Wenn die sich bewegende Bühne 230 in einem Zustand bewegt wird, welcher in 11A gezeigt ist, wird ein Überlapp der Einzelbildabbildung und der Referenzabbildung klein, so dass sie beim Positionieren versagt.
  • Eine Anzeigenposition der Einzelbildabbildung nach dem Versagen bei der Positionierung wird in der Nähe einer Anzeigenposition einer letzten Einzelbildabbildung festgelegt, welche bei der Positionierung erfolgreich war, und in einem Anzeigenmodus angezeigt, welcher sich unterscheidet von einem Fall, bei dem die Positionierung erfolgreich war.
  • Die Anzeigenposition der Einzelbildabbildung kann, nachdem die Positionierung nicht erfolgreich war bezüglich der Mosaikabbildung, von der Anzeigenposition der letzten Einzelbildabbildung, welche beim Positionieren erfolgreich war, um näherungsweise mehrere Pixel abweichen.
  • Wenn das Positionieren der Einzelbildabbildung fehlgeschlagen ist, wird ein Betriebsmodus von einem Hochgeschwindigkeitsfolgemodus auf einen Gesichtsfeldsuchmodus umgeschaltet. Dann wird, wie für die Einzelbildabbildung welche nach dem Fehlschlagen der Positionierung gewonnen wird, die Merkmalsquantität der gesamten letzten Referenzabbildung, bei welcher die Positionierung erfolgreich war, und eine Merkmalsabbildung der gesamten Einzelbildabbildung miteinander vergleichen und entsprechend wird eine Relativposition bestimmt.
  • 12 ist eine Ansicht, welche ein Beispiel eines Vorganges während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigt, und eine Live-Abbildung zeigt, welche neu positioniert ist, nachdem das Positionieren fehlgeschlagen ist. Wenn die Positionierung der Einzelbildabbildung bezüglich der Referenzabbildung, welche in 11 gezeigt ist, fehlgeschlagen ist, wird ein Betriebsmodus auf einen Gesichtsfeldsuchmodus umgeschaltet, welcher einen Vergleich der Merkmalsquantität der gesamten letzten Referenzabbildung, bei welcher die Positionierung erfolgreich war, und einer Merkmalsquantität der gesamten Einzelbildabbildung, durchgeführt wird, um von jeglichem Teil der Referenzabbildung zurückzukehren.
  • Schritte S101 bis S126, welche in 13 bis 15 gezeigt sind, sind Flussdiagramme, welche jeweils ein Beispiel eines Vorganges während des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1, welche in 1 gezeigt ist, zeigen. Als erstes gewinnt die Merkmalsquantitätsextraktionseinheit 131 eine zu positionierende Einzelbildabbildung und extrahiert Merkmalspunkte der gesamten Abbildungen, wenn die zu positionierende Einzelbildabbildung eine erste Einzelabbildung ist (Schritt S101 bis S103).
  • Als nächstes vergleicht die Relativpositionsbestimmungseinheit 132 für die gesamten Merkmalspunkte, die in der gesamten Einzelbildabbildung umfasst sind, und die gesamten Merkmalspunkte, welche in der gesamten Referenzabbildung umfasst sind, und eine Relativposition zwischen der vorliegenden zu positionierenden Einzelbildabbildung und einer zu positionierenden Mosaikabbildung wird bestimmt (Schritt S104). Zu diesem Zeitpunkt wird, wenn die Relativposition bestimmt werden kann und wenn die Positionierung der Einzelbildabbildung erfolgreich war, eine Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung verändert basierend auf einem Bestimmungsresultat der Relativposition, und die Live-Abbildung wird aktualisiert (Schritte S105, S110 und S111).
  • Andererseits, wenn die gewonnene zu positionierende Einzelbildabbildung nicht die erste Einzelbildabbildung ist, bezieht sich die Relativpositionsbestimmungseinheit 132 auf ein Resultat der vorhergehenden Positionierung, also auf ein Bestimmungsresultat der Relativposition zwischen der zu positionierenden Einzelbildabbildung, welche vorhergehend durch ein Einzelbild bereitgestellt wurde, und der zu positionierenden Mosaikabbildung, und schätzt einen Überlappbereich zwischen der vorliegenden zu positionierenden Einzelbildabbildung und der Referenzabbildung ab (Schritte S102, S106 und S107). Die Merkmalsquantitätsextraktionseinheit 131 extrahiert Merkmalspunkte aus dem extrahierten überlappenden Bereich.
  • Als nächstes vergleicht die Relativpositionsbestimmungseinheit 132 die Merkmalspunkte in dem Überlappbereich zwischen der vorliegenden zu positionierenden Einzelbildabbildung und der Referenzabbildung und bestimmt die Relativposition zwischen diesen Abbildungen (Schritt S108). Zu diesem Zeitpunkt wird, wenn die Relativposition nicht bestimmt werden kann, eine Prozessprozedur nachfolgend zu Schritt S103 ausgeführt (Schritt S109). Wenn die Relativposition im Schritt S109 bestimmt werden kann wenn sie beim Positionieren erfolgreich war, wird eine Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung verändert, basierend auf dem Bestimmungsresultat der Relativposition, und die Live-Abbildung wird aktualisiert (Schritte S110 und S111).
  • Nach dem Aktualisieren der Live-Abbildung, wenn eine Abrufinstruktion eines zusammenzusetzenden Standbildes gegeben ist, wird das Standbild abgerufen, basierend auf der Abrufinstruktion und ein Positionieren wird durch ein Musterabgleich mit den zurückgehaltenen Mosaikabbildungen durchgeführt (Schritte S112 und S114). Ein Kopplungsprozess wird zwischen dem Standbild und der zurückgehaltenen Mosaikabbildung durchgeführt, basierend auf dem Positionierungsresultat, und die angezeigten und zurückgehaltenen Mosaikabbildungen werden aktualisiert (Schritte S115 und S116). Die Prozessprozedur von Schritt S101 bis Schritt S116 wird wiederholt, bis ein Abschließen des Fotografierens instruiert wird, und wenn das Abschließen des Fotografierens instruiert wird, ist die Prozedur abgeschlossen (Schritt S113).
  • Wenn die Relativposition nicht bestimmt werden kann im Schritt S105 und wenn das Positionieren nicht erfolgreich war, wird ein Abgleichfehler erzeugt und die Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung wird festgelegt, um die Live-Abbildung zu aktualisieren (Schritte S117 bis S119). Nach dem Aktualisieren der Live-Abbildung, wenn die Abrufinstruktion für das Standbild gegeben ist, wird ein Fehler dahingehend, dass es nicht möglich ist dieses anzukoppeln, ausgegeben (Schritte S120 und S122).
  • Als nächstes, wenn ein Abschließen des Fotografierens instruiert ist, wird dieser Prozess abgeschlossen (Schritt S101). Andererseits, wenn das Abschließen des Fotografierens nicht instruiert ist, erhält die Merkmalsquantitätsextraktionseinheit 131 eine neue zu positionierende Einzelbildabbildung und extrahiert die Merkmalspunkte aus den gesamten Abbildungen (Schritte S121, S123 und S124).
  • Dann vergleicht die Relativpositionsbestimmungseinheit 132 die gesamten Merkmalspunkte, welche in der gesamten Einzelbildabbildung umfasst sind, und die gesamten Merkmalspunkte, welche in der gesamten Referenzabbildung umfasst sind und bestimmt die Relativposition zwischen der vorliegenden zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung (Schritt S125). Zu diesem Zeitpunkt, wenn die Relativposition nicht bestimmt werden kann und wenn das Positionieren fehlschlägt, wird eine Prozessprozedur nachfolgend zum Schritt S119 wiederholt. Andererseits, wenn die Relativposition bestimmt werden kann und wenn das Positionieren erfolgreich ist, wird eine Prozessprozedur nachfolgend zum Schritt S110 wiederholt.
  • Entsprechend dem vorliegenden bevorzugten Ausführungsbeispiel wird ein Gesichtsfeld während des Fotografierens in einer angemessenen Position auf der Mosaikabbildung während der Erzeugung als der Live-Abbildung angezeigt, und daher kann das Standbild abgerufen werden, um die Mosaikabbildung zu koppeln, während ein Benutzer dazu gebracht wird, eine Positionsbeziehung zwischen dem Gesichtsfeld während des Fotografierens und der Mosaikabbildung während deren Erzeugung zu bestätigen. Genauer wird die Anzeigenposition der Live-Abbildung verändert in Antwort auf die Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung, wenn das Positionieren der Einzelbildabbildung erfolgreich war. Andererseits wird die Anzeigenposition der Live-Abbildung nicht verändert, wenn das Positionieren fehlschlägt und daher kann die Anzeigenposition durch die letzte Einzelbildabbildung, bei welcher das Positionieren erfolgreich war, festgelegt werden.
  • Entsprechend wird in dem Fall des Anzeigens des Gesichtsfeldes während des Fotografierens in einer angemessenen Position auf der Mosaikabbildung als der Live-Abbildung, nachdem das Positionieren fehlgeschlagen ist, die Anzeigenposition der Live-Abbildung zurückgehalten, während sie festgelegt wird, selbst wenn das sichtbare Feld bewegt wird, und daher wird es möglich zu erkennen, dass das Positionieren der Einzelbildabbildung fehlgeschlagen ist. Weiterhin wird die Relativposition zwischen diesen Abbildungen durch Vergleich der Merkmalspunkte, welche aus der Einzelbildabbildung und der Mosaikabbildung extrahiert sind, bestimmt und daher wird es möglich zu verhindern, dass die Systemkonfiguration kompliziert wird.
  • Weiterhin wird in dem Fall des Anzeigens eines Gesichtsfeldes während des Fotografierens in einer angemessenen Position auf der Mosaikabbildung als der Live-Abbildung die Anzeigenposition der sich bewegenden Bildabbildung in der Umgebung der Anzeigenposition der Einzelbildabbildung, von der als letzter bestimmt wurde, dass sie bei der Positionierung erfolgreich war, festgelegt und daher kann das Gesichtsfeld während des Fotografierens einfach in eine Position zurückgeführt werden, welche zur Positionierung in der Lage ist.
  • Im Übrigen wird in dem vorliegenden bevorzugten Ausführungsbeispiel eine Beschreibung gegeben bezüglich des Beispiels, in welchem für die Einzelbildabbildung, nachdem das Positionieren fehlgeschlagen ist, die Relativposition bestimmt wird durch den Vergleich der Merkmalsquantität der gesamten letzten Referenzabbildung, bei welcher die Positionierung der Einzelbildabbildung erfolgreich war, und der Merkmalsquantität der gesamten Einzelbildabbildung, jedoch ist die vorliegende Erfindung nicht darauf beschränkt. Zum Beispiel umfasst die vorliegende Erfindung einen Fall, in dem für die Einzelbildabbildung, welche nach dem Fehlschlagen des Positionierens erhalten wurde, die Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung durch Vergleichen der Merkmalsquantität, welche in einem Umfangsbereich der Mosaikabbildung umfasst ist, und der Merkmalsquantität der gesamten Einzelbildabbildung bestimmt wurde.
  • Darüber hinaus ist in dem vorliegenden bevorzugten Ausführungsbeispiel eine Beschreibung gegeben bezüglich eines Beispiels, in welchem die Referenzabbildung so verändert wird, wie sie benötigt wird, um die größte Fläche des Überlappbereichs mit der Einzelbildabbildung zu enthalten, jedoch ist die vorliegende Erfindung darauf nicht beschränkt. Zum Beispiel kann in dem Fall, in dem die Relativposition selbst durch einen Vergleich der Merkmalspunkte der gesamten zu positionierenden Einzelbildabbildung und der Merkmalspunkte der gesamten Referenzabbildung nicht bestimmt werden kann, die Relativposition durch ein Verändern der Referenzabbildung und durch Vergleichen der Merkmalspunkte der ganzen veränderten Referenzabbildung und der Merkmalspunkte der ganzen zu positionierenden Einzelbildabbildung bestimmt werden. In diesem Fall wird, wenn die Relativposition selbst wenn die Referenzabbildung verändert wird nicht bestimmt werden kann, eine Bewertung dahingehend durchgeführt, dass das Positionieren der Einzelbildabbildung fehlgeschlagen ist. Weiterhin kann für die Einzelbildabbildung, welche nach dem Fehlschlagen des Positionierens der Einzelbildabbildung gewonnen ist, die Relativposition durch ein Vergleichen der Merkmalsquantität der gesamten letzten Referenzabbildung, bei welcher die Positionierung erfolgreich war, und der Merkmalsquantität der gesamten zu positionierenden Einzelbildabbildung bestimmt werden.
  • Weiterhin, in dem vorliegenden Ausführungsbeispiel wird eine Beschreibung eines Beispiels gegeben, in welchem die Oberseite, in welcher die Kanten miteinander schneiden, als die Merkmalsquantität im Fall des Vergleichens der zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung extrahiert wird, die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Zum Beispiel können für einen vorbestimmten Bereich einer Abbildung jeweils die Kontrastwerte in dem Bereich aus der zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung als die Merkmalsquantität extrahiert werden und können zwischen diesen Abbildungen verglichen werden. Weiterhin kann ein Maskenabgleichen ausgeführt werden, basierend auf der Merkmalsquantität in dem Bereich für den vorbestimmten Bereich in dem Überlappbereich ohne das Extrahieren der Kanten und des Kontrastes.
  • Zusätzlich ist in dem vorliegenden bevorzugten Ausführungsbeispiel Beschreibung gegeben bezüglich eines Beispiels, in welchem durch Musterabgleich zwischen der zu positionierenden Mosaikabbildung und der Einzelbildabbildung eine relative Positionsbeziehung zwischen diesen Abbildung bewertet wird, jedoch ist die vorliegende Erfindung nicht darauf beschränkt. Zum Beispiel kann in der vorliegenden Erfindung ebenso eine solche mit einem Positionssensor umfasst sein, welcher eine Position in einer X-Achsenrichtung und einer Y-Achsenrichtung der bewegbaren Bühne 230 detektiert, und eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung basierend auf einem Ausgang des Positionssensors bestimmt wird.
  • Im Allgemeinen, muss in dem Fall des Herstellens eines weniger erkennbaren Nahtbereichs durch einen Überblendungsprozess, wenn das Standbild mit der zurückgehaltenen Mosaikabbildung so gekoppelt wird, dass es glatt verbunden wird mit einer Glattheit von nicht weniger als einem konstanten Niveau, nicht weniger als ein konstanter Betrag eines Überlappbereiches zwischen dem Standbild und der zurückgehaltenen Mosaikabbildung vorhanden sein. Entsprechend ist es in der Abbildungsvorrichtung, welche die Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung, basierend auf einem Ausgang des Positionssensors, bestimmt, in dem Fall, in welchem das Standbild korrespondierend zu der vorliegenden Einzelbildabbildung nicht glatt mit der Mosaikabbildung gekoppelt werden kann, denkbar, dass die Anzeigenposition der Live-Abbildung festgelegt wird.
  • Wenn in einer solchen Konfiguration wird in dem Fall, in welchem das Standbild, welches das gleiche sichtbare Feld wie die Live-Abbildung aufweist, nicht glatt mit der Mosaikabbildung gekoppelt werden kann, die Anzeigenposition der Live-Abbildung festgelegt und daher kann ein Benutzer erkennen, dass das Gesichtsfeld während des Fotografierens nicht glatt mit der Mosaikabbildung während deren Erzeugung gekoppelt werden kann.

Claims (10)

  1. Abbildungsvorrichtung (1) umfassend: eine bewegbare Bühne (230), welche dazu in der Lage ist, sich in zwei unterschiedliche Richtungen zu bewegen während auf dieser ein zu untersuchendes Objekt gehalten ist; eine Kamera (210), welche in einer gegenüberliegenden Beziehung zu der bewegbaren Bühne angeordnet ist, welche das zu untersuchende Objekt fotografiert und welche eine sich bewegende Bildabbildung erzeugt, welche aus einer Mehrzahl von aufeinander folgenden Einzelbildabbildungen besteht; eine Mosaikabbildungserzeugungseinheit (127), welche nicht weniger als zwei Standbilder, welche durch die Kamera fotografiert wurden, miteinander koppelt, und eine Mosaikabbildung erzeugt, welche ein größeres Gesichtsfeld aufweist als das Gesichtsfeld der Kamera; eine Merkmalsquantitätsextraktionseinheit (131), welche eine Merkmalsquantität aus der Einzelbildabbildung und der Mosaikabbildung extrahiert; eine Relativpositionsbestimmungseinheit (132), welche eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung durch Vergleich der Merkmalsquantität bestimmt; und eine Live-Abbildungsanzeigeneinheit (123), welche eine Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung aktualisiert, basierend auf einem Bestimmungsresultat der Relativposition, und eine sich bewegende Bildabbildung auf der Mosaikabbildung anzeigt, wobei die Live-Abbildungsanzeigeneinheit die Anzeigenposition in Antwort auf die Relativposition ändert, wenn festgestellt wurde, dass das Positionieren der Einzelbildabbildung durch die Relativpositionsbestimmungseinheit erfolgreich war, und die Anzeigenposition festlegt, wenn festgestellt wurde, dass die Positionierung der Einzelbildabbildung fehlgeschlagen ist.
  2. Abbildungsvorrichtung gemäß Anspruch 1, wobei die Live-Abbildungsanzeigeneinheit die Anzeigenposition nahe einer Anzeigenposition einer letzten Einzelbildabbildung festlegt, von der festgestellt wurde, dass sie bei der Positionierung erfolgreich war.
  3. Abbildungsvorrichtung gemäß Anspruch 2, wobei, nachdem die Positionierung der Einzelbildabbildung fehlgeschlagen ist, die Live-Abbildungsanzeigeneinheit die Anzeigenposition einer neu gewonnenen Einzelbildabbildung auf die Anzeigenposition der letzten Einzelbildabbildung festlegt, und die Einzelbildabbildung, welche in der Anzeigenposition angezeigt wird, zu der neu gewonnenen Einzelbildabbildung aktualisiert, so dass die Anzeige der sich bewegenden Bildabbildung fortgeführt wird.
  4. Abbildungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei in dem Fall des Extrahierens der Merkmalsquantität aus der Mosaikabbildung die Merkmalsquantitätsextraktionseinheit ein Standbild als eine Referenzabbildung festlegt, welches als letztes bezüglich der Mosaikabbildung zusammengesetzt wurde, und eine Merkmalsquantität in der Referenzabbildung extrahiert, und wobei für eine Einzelbildabbildung, welche nach dem Fehlschlagen des Positionierens der Einzelbildabbildung gewonnen ist, die Relativpositionsbestimmungseinheit eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung durch Vergleichen der Merkmalsquantität in der Einzelbildabbildung und der Merkmalsquantität in der Referenzabbildung bestimmt, und die Relativposition durch Vergleichen der Merkmalsquantität in der Einzelbildabbildung und der Merkmalsquantität in einem Abbildungsbereich der Mosaikabbildung ausschließlich der Referenzabbildung in dem Fall bestimmt, in dem die Relativposition nicht durch den Vergleich mit der Merkmalsquantität in der Referenzabbildung bestimmt werden kann.
  5. Abbildungsvorrichtung gemäß Anspruch 4, wobei in dem Fall, in welchem die Relativposition selbst durch einen Vergleich der Merkmalsquantität der gesamten Einzelbildabbildung und der Merkmalsquantität der gesamten Referenzabbildung nicht bestimmt werden kann, die Relativpositionsbestimmungseinheit ein Standbild benachbart zu dem Standbild, welches als letztes bezüglich der Mosaikabbildung zusammengesetzt wurde, als eine Referenzabbildung festlegt, und die Relativposition durch Vergleichen der Merkmalsquantität der gesamten Referenzabbildung und der Merkmalsquantität der gesamten Einzelbildabbildung bestimmt.
  6. Abbildungsvorrichtung gemäß Anspruch 4, wobei für eine Einzelabbildung, welche nach dem Fehlschlagen der Positionierung gewonnen wird, die Relativpositionsbestimmungseinheit die Relativposition durch Vergleichen der Merkmalsquantität, welche in einem Umfangsabschnitt der Mosaikabbildung umfasst ist, und der Merkmalsquantität in der gesamten Einzelbildabbildung bestimmt.
  7. Abbildungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei in dem Fall des Extrahierens der Merkmalsquantität aus der Mosaikabbildung die Merkmalsquantitätsextraktionseinheit ein Standbild, welches als letztes bezüglich der Mosaikabbildung zusammengesetzt wurde, als eine Referenzabbildung festlegt und die Merkmalsquantität aus der Referenzabbildung extrahiert, und wobei die Relativpositionsbestimmungseinheit einen Überlappbereich zwischen der Einzelbildabbildung und der Referenzabbildung basierend auf einem vergangenen Bestimmungsresultat einer Relativposition abschätzt und die Relativposition durch Vergleichen der Merkmalsquantität im Überlappbereich bestimmt, und die Relativposition durch Vergleichen der Merkmalsquantität der gesamten Einzelbildabbildung der Merkmalsquantität der gesamten Referenzabbildung in dem Fall bestimmt, in welchem die Relativposition nicht durch den Vergleich der Merkmalsquantität in dem Überlappbereich bestimmt werden kann.
  8. Abbildungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Live-Abbildungsanzeigeneinheit in einem Anzeigenmodus unterschiedlich anzeigt für den Fall, in welchem festgestellt wurde, dass die Einzelbildabbildung bei der Positionierung fehlgeschlagen ist und in einem Fall, in welchem festgestellt wurde, dass dies erfolgreich war.
  9. Abbildungsvorrichtung gemäß einem der Ansprüche 1 bis 3, weiterhin umfassend: einen Positionierungssreduktionsabschnitt (125a, 125b), welcher jeweils die Einzelbildabbildung reduziert, welche die sich bewegende Bildabbildung ausbildet und eine zu positionierende Einzelbildabbildung erzeugt, und die Mosaikabbildung reduziert und eine zu positionierende Mosaikabbildung erzeugt; und eine Anzeigenreduktionseinheit (121, 128), welche eine Einzelbildabbildung reduziert, welche eine sich bewegende Bildabbildung ausbildet und eine Anzeigeneinzelbildabbildung erzeugt, und die Mosaikabbildung reduziert und eine anzuzeigenden Mosaikabbildung erzeugt, und wobei die Merkmalsquantitätsextraktionseinheit eine Merkmalsquantität aus der zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung extrahiert; wobei die Relativpositionsbestimmungseinheit eine Relativposition zwischen der zu positionierenden Einzelbildabbildung und der zu positionierenden Mosaikabbildung bestimmt; wobei die Live-Abbildungsanzeigeneinheit die sich bewegende Bildabbildung anzeigt, welche durch die Anzeigeneinzelbildabbildung auf der anzuzeigenden Mosaikabbildung als eine Live-Abbildung angezeigt wird; und die Mosaikabbildungserzeugungseinheit die Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung mit einer höheren Auflösung anzeigt als die zu positionierende Mosaikabbildung und die Einzelbildabbildung auf der Mosaikabbildung zusammensetzt und eine neue Mosaikabbildung erzeugt.
  10. Abbildungsvorrichtung umfassend: eine bewegbare Bühne (230), welche dazu in der Lage ist, sich in zwei unterschiedliche Richtungen zu bewegen während auf dieser ein zu untersuchendes Objekt gehalten ist; ein Positionssensor, welche eine Position der sich bewegenden Bühne detektiert; eine Kamera (210), welche in einer gegenüberliegenden Beziehung zu der bewegbaren Bühne angeordnet ist, welche das zu untersuchende Objekt fotografiert und welche eine sich bewegende Bildabbildung erzeugt, welche aus einer Mehrzahl von aufeinander folgenden Einzelbildabbildungen besteht; eine Mosaikabbildungserzeugungseinheit (127), welche nicht weniger als zwei Standbilder, welche durch die Kamera fotografiert wurden, miteinander koppelt, und eine Mosaikabbildung erzeugt, welche ein größeres Gesichtsfeld aufweist als das Gesichtsfeld der Kamera; eine Relativpositionsbestimmungseinheit (132), welche eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung, basierend auf einem Ausgang des Positionssensors bestimmt; und eine Live-Abbildungsanzeigeneinheit (123), welche eine Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung, basierend auf einem Bestimmungsresultat der Relativposition, aktualisiert, und die sich bewegende Bildabbildung auf der Mosaikabbildung anzeigt, wobei in dem Fall, in welchem das Standbild korrespondiert zu dem Einzelbild nicht glatt mit der Mosaikabbildung gekoppelt werden kann, die Live-Abbildungsanzeigeneinheit die Anzeigeposition festlegt.
DE102009057885A 2008-12-12 2009-12-11 Abbildungsvorrichtung Withdrawn DE102009057885A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008317075A JP5096303B2 (ja) 2008-12-12 2008-12-12 撮像装置
JP2008-317075 2008-12-12

Publications (1)

Publication Number Publication Date
DE102009057885A1 true DE102009057885A1 (de) 2010-07-15

Family

ID=42240045

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009057885A Withdrawn DE102009057885A1 (de) 2008-12-12 2009-12-11 Abbildungsvorrichtung

Country Status (4)

Country Link
US (1) US8451335B2 (de)
JP (1) JP5096303B2 (de)
CN (1) CN101750726B (de)
DE (1) DE102009057885A1 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013013065A (ja) * 2011-06-01 2013-01-17 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP5732353B2 (ja) 2011-08-31 2015-06-10 株式会社キーエンス 拡大観察装置、拡大観察方法および拡大観察プログラム
JP5893315B2 (ja) * 2011-09-27 2016-03-23 オリンパス株式会社 顕微鏡システム
JP5841398B2 (ja) 2011-10-07 2016-01-13 株式会社キーエンス 拡大観察装置
JP5846844B2 (ja) 2011-10-14 2016-01-20 株式会社キーエンス 拡大観察装置
JP5865666B2 (ja) 2011-10-19 2016-02-17 株式会社キーエンス 画像処理装置および画像処理プログラム
TWI462027B (zh) * 2011-12-02 2014-11-21 Hon Hai Prec Ind Co Ltd 圖像處理裝置及圖像處理方法
JP6325815B2 (ja) 2013-12-27 2018-05-16 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP6325816B2 (ja) 2013-12-27 2018-05-16 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2015127779A (ja) 2013-12-27 2015-07-09 株式会社キーエンス 顕微鏡及びこれを用いた拡大観察方法
JP2016126242A (ja) * 2015-01-07 2016-07-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5975127B2 (ja) * 2015-02-26 2016-08-23 カシオ計算機株式会社 撮像装置及びプログラム
JP6572117B2 (ja) * 2015-12-04 2019-09-04 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
CN106525780A (zh) * 2016-09-09 2017-03-22 华中科技大学 一种高速显微成像系统中自动处理图像丢失故障的方法
JP2018054690A (ja) * 2016-09-26 2018-04-05 オリンパス株式会社 顕微鏡撮像システム
JP6865010B2 (ja) 2016-10-19 2021-04-28 オリンパス株式会社 顕微鏡システムおよび標本観察方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4760385A (en) * 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
JPH0688989A (ja) * 1992-09-08 1994-03-29 Olympus Optical Co Ltd 画像記録方法とその装置及び画像再生装置
JPH08181903A (ja) * 1994-12-26 1996-07-12 Olympus Optical Co Ltd 撮像装置
JP3725609B2 (ja) 1996-04-17 2005-12-14 オリンパス株式会社 画像入力装置
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
JP3966392B2 (ja) * 1997-09-30 2007-08-29 シャープ株式会社 画像合成通信装置
JP3947290B2 (ja) 1998-01-19 2007-07-18 オリンパス株式会社 画像合成処理装置および画像合成処理プログラムを記録した記録媒体
JP3863993B2 (ja) 1998-03-18 2006-12-27 オリンパス株式会社 顕微鏡
JP4146938B2 (ja) 1998-09-08 2008-09-10 オリンパス株式会社 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
EP1008956A1 (de) * 1998-12-08 2000-06-14 Synoptics Limited Automatisches Bildmontagesystem
JP2003087549A (ja) 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
GB2383487B (en) * 2001-12-18 2006-09-27 Fairfield Imaging Ltd Method and apparatus for acquiring digital microscope images
US20040189849A1 (en) * 2003-03-31 2004-09-30 Hofer Gregory V. Panoramic sequence guide
JP2004343222A (ja) 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
US7456377B2 (en) * 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
KR100790890B1 (ko) * 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법

Also Published As

Publication number Publication date
US20100149362A1 (en) 2010-06-17
CN101750726B (zh) 2013-12-04
JP2010141699A (ja) 2010-06-24
CN101750726A (zh) 2010-06-23
US8451335B2 (en) 2013-05-28
JP5096303B2 (ja) 2012-12-12

Similar Documents

Publication Publication Date Title
DE102009057885A1 (de) Abbildungsvorrichtung
DE102009057886A1 (de) Abbildungsvorrichtung
DE102009057884A1 (de) Abbildungsvorrichtung
DE102006041645B4 (de) Verfahren und Vorrichtung zur Orientierungsbestimmung in einem Bild
DE69428686T2 (de) Bildaufnahmevorrichtung und verfahren zur bestimmung von fokusinformationen
DE102014016069B4 (de) Vorrichtung und Verfahren zum Aufnehmen eines Gegenstandes im 3- dimensionalen Raum mit einem Roboter
DE112006000358B4 (de) Verfahren und Vorrichtung zur Erstellung eines Panoramabildes
DE68918886T2 (de) Verfahren zur Gewinnung der Aussenlinie eines Objektes in einem Bild.
DE602006000627T2 (de) Dreidimensionales Messverfahren und dreidimensionale Messvorrichtung
EP3156967B1 (de) Verfahren und vorrichtung zum erstellen einer mikroskopiepanoramadarstellung
EP3136711A1 (de) Verfahren zur erzeugung und auswertung eines bilds
EP3123228B1 (de) Konfokales mikroskop mit aperturkorrelation
DE102008034979A1 (de) Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
DE202016009070U1 (de) Optische Vorrichtung zur Detektion eines internen Fehlers eines transparenten Substrats
DE112016002564T5 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm
DE112019000345T5 (de) Eine Methode zur Verbesserung der Modellierungsgeschwindigkeit eines digitalen Schnittscanners
DE102016006242B4 (de) Anzeigevorrichtung des kopfgetragenen Typs, Steuerverfahren für Anzeigevorrichtung des kopfgetragenen Typs, Bildverarbeitungssystem und Speichermedium
DE102018104913A1 (de) Schwingungsüberwachung eines Objekts mittels Videokamera
DE112014006493T5 (de) Bestimmen eines Massstabs dreidimensonaler Informationen
EP2787485A1 (de) Verfahren und Vorrichtung zur automatischen Fehlerstellenerkennung bei biegeschlaffen Körpern
DE112008001104T5 (de) Vorrichtung zur Halbleiterwafer-Bearbeitung, Verfahren zur Ermittlung einer Bezugswinkelposition und Halbleiterwafer
DE102017109021A1 (de) System für das stereoskopische Visualisieren eines Objektbereichs
DE102019131678A1 (de) Mikroskop und Verfahren zum Verarbeiten von Mikroskopbildern
DE102005018896A1 (de) Verfahren zur Bestimmung des Lateralversatzes eines XYZ-Tisches
DE102009024030B3 (de) Verfahren zur optischen Ermittlung von geometrischen Oberflächenmerkmalen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G02B0021000000

Ipc: G03B0037040000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee