-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die
vorliegende Erfindung bezieht sich auf Abbildungsvorrichtungen und
bezieht sich insbesondere auf eine Abbildungsvorrichtung (engl.:
imaging device), welche dazu in der Lage ist, eine sich bewegende
Bildabbildung (engl.: moving picture image), welche durch eine Kamera
erzeugt wird, welche ein zu untersuchendes Objekt fotografiert,
auf einer Mosaikabbildung (engl.: mosaic image), welche ein größeres Gesichtsfeld
(engl.: field of view) aufweist, als das tatsächliche Gesichtsfeld der Kamera,
anzuzeigen.
-
2. Beschreibung des Standes
der Technik
-
Eine
Mosaikabbildung ist im Stand der Technik bekannt als eine Technik,
welche ein Blatt einer Abbildung mit einem weiten Gesichtsfeld,
welches weiter in seinem Gesichtsfeld ist als das tatsächliche Gesichtsfeld
der Kamera, durch das Zusammenfügen
einer Mehrzahl von Standbildern erzeugt, welche fotografiert werden,
während
das Gesichtsfeld verändert
wird. In dem Fall einer Abbildungsvorrichtung, so wie beispielsweise
eines digitalen Mikroskops, welches ein fotografisches Subjekt fotografiert,
welches durch eine Objektivlinse vergrößert ist, kann das Gesichtsfeld
durch die Bewegung einer bewegbaren Bühne verändert werden, auf welcher ein
Objekt, welches untersucht werden soll, gehalten ist. Diese Abbildung
mit einem weiten Gesichtsfeld wird Mosaikabbildung genannt, und
wird durch das miteinander Koppeln der Mehrzahl der Standbilder
(engl.: still images), welche fotografiert werden während das Gesichtsfeld
basierend auf der Relativposition zwischen den Abbildungen verändert wird,
erzeugt.
-
Zum
Beispiel wird in dem Fall der bekannten Abbildungsvorrichtung, welche
mit einem Sensor ausgerüstet
ist, welche die Position der bewegbaren Bühne detektiert und automatisch
einen Fotografierbereich, welcher durch einen Benutzer definiert
ist, fotografiert, wobei eine relative Positionsbeziehung zwischen
den Abbildungen durch eine Steuerungsinformation der bewegbaren
Bühne bewertet
wird und ein Zusammensetzen der Standbilder durchgeführt wird.
In solch einer Abbildungsvorrichtung kann, wenn der Fotografierbereich
spezifiziert ist und das Fotografieren begonnen hat, der Fotografierbereich während des
Verfahrens nicht mehr verändert
werden. Darüber
hinaus muss die Position der bewegbaren Bühne sehr genau detektiert werden
und daher gibt es ein Problem dahingehend, dass die Systemkonfiguration
kompliziert und kostenintensiv wird.
-
Andererseits
gibt es auch eine Abbildungsvorrichtung, in welcher eine relative
Positionsbeziehung zwischen Abbildungen durch einen Musterabgleich
zwischen den Abbildungen und Standbildern, welche zusammengesetzt
werden, bewertet wird. Es gibt jedoch keine Abbildungsvorrichtung,
welche dazu in der Lage ist, Standbilder abzurufen und diese mit
einer Mosaikabbildung zu koppeln, während sie einen Benutzer dazu
bringt, eine Positionsbeziehung zwischen einem Gesichtsfeld während des
Fotografierens und der Mosaikabbildung während deren Erzeugung auf einer
Anzeigeneinheit zu bestätigen. Entsprechend
ist eine Abbildungsvorrichtung denkbar, in welcher die Standbilder
in einem Zeitraum abgerufen werden, welcher durch einen Benutzer
spezifiziert wird, und werden zu einer Mosaikabbildung zusammengesetzt,
während
ein Gesichtsfeld während
des Fotografierens als eine sich bewegende Abbildung auf der Mosaikabbildung
angezeigt wird. In dem Fall jedoch, in welchem eine Relativposition
zwischen einer Mosaikabbildung und einer Einzelbildabbildung, welche
eine sich bewegende Bildabbildung darstellt, durch einen Musterabgleich
zwischen diesen Abbildungen bewertet wird und die sich bewegende
Bildabbildung auf der Mosaikabbildung angezeigt wird, und es nicht
gelingt, die Einzelbildabbildung zu positionieren, gibt es ein Problem
dahingehend, dass eine Positionsbeziehung zwischen dem Gesichtsfeld
während
des Fotografierens und der Mosaikabbildung während deren Erzeugung unklar wird.
-
KURZE ZUSAMMENFASSUNG DER
ERFINDUNG
-
Die
vorliegende Erfindung wurde unter Berücksichtigung der oben angegebenen
Umstände
gemacht und eine Aufgabe der vorliegenden Erfindung ist es, eine
Abbildungsvorrichtung anzugeben, welche dazu in der Lage ist, einfach
eine Positionsbeziehung zwischen einem Gesichtsfeld während des
Fotografierens und einer Mosaikabbildung während deren Erzeugung zu erkennen,
ohne eine Systemkonfiguration zu verkomplizieren. Genauer ist es
eine weitere Aufgabe der vorliegenden Erfindung, eine Abbildungsvorrichtung
bereitzustellen, welche einfach erkennen kann, dass sie beim Positionieren
einer Einzelbildabbildung im Fall des Anzeigens eines Gesichtsfeldes
während
des Fotografierens als eine sich bewegende Bildabbildung in einer
angemessenen Position auf der Mosaikabbildung, versagt hat. Zusätzlich ist
es eine weitere Aufgabe der vorliegenden Erfindung, eine Abbildungsvorrichtung
anzugeben, welche dazu in der Lage ist, ein Gesichtsfeld während des
Fotografierens einfach in eine Position zurück zu bringen, welche zur Positionierung
in der Lage ist.
-
Eine
Abbildungsvorrichtung eines ersten Aspekts der vorliegenden Erfindung
umfasst: Eine bewegbare Bühne,
welche dazu in der Lage ist, in zwei unterschiedliche Richtungen
bewegt zu werden während
sie ein zu untersuchendes Objekt trägt; eine Kamera, welche gegenüberliegend
zu der bewegbaren Bühne
angeordnet ist, das zu untersuchende Objekt fotografiert und eine
sich bewegende Bildabbildung erzeugt, welche aus einer Mehrzahl
kontinuierlicher Einzelabbildungen hergestellt ist; eine Mosaikabbildungserzeugungseinheit,
welche nicht weniger als zwei Standbilder, welche durch die Kamera
fotografiert sind, zusammensetzt und eine Mosaikabbildung erzeugt,
welche ein größeres Gesichtsfeld
aufweist als ein tatsächliches
Gesichtsfeld der Kamera; eine Merkmalsquantitätsextraktionseinheit, welche
eine Merkmalsquantität
aus der Einzelbildabbildung und der Mosaikabbildung extrahiert;
eine Relativpositionsbestimmungseinheit, welche eine Relativposition zwischen
der Einzelbildabbildung und der Mosaikabbildung durch Vergleich
der Merkmalsquantität
bestimmt; und eine Live-Abbildungsanzeigeneinheit, welche eine Anzeigenposition
der Einzelbildabbildung bezüglich
der Mosaikabbildung basierend auf einem Bestimmungsresultat der
Relativposition aktualisiert, und die sich bewegende Bildabbildung
auf der Mosaikabbildung anzeigt, wobei die Live-Abbildungsanzeigeeinheit
die Anzeigenposition in Antwort auf die Relativposition ändert, wenn
sie bestimmt hat, dass sie beim Positionieren der Einzelabbildung durch
die Relativpositionsbestimmungseinheit erfolgreich war, und die
Anzeigenposition festlegt, wenn sie bestimmt hat, dass sie beim
Positionieren der Einzelbildabbildung versagt hat.
-
In
der Abbildungsvorrichtung wird durch den Vergleich der Merkmalsquantität, welche
aus der Einzelbildabbildung und der Mosaikabbildung extrahiert ist,
die Relativposition zwischen diesen Abbildungen bestimmt und die
sich bewegende Bildabbildung wird auf der Mosaikabbildung, basierend
auf dem Bestimmungsresultat, angezeigt; und daher kann ein Gesichtsfeld
während
des Fotografierens als die sich bewegende Bildabbildung in einer
angemessenen Position auf der Mosaikabbildung während deren Erzeugung angezeigt
werden. Entsprechend einer solchen Konfiguration wird das Gesichtsfeld
während des
Fotografierens als die sich bewegende Bildabbildung in der angemessenen
Position auf der Mosaikabbildung während deren Erzeugung angezeigt, und
daher wird es möglich,
das Standbild abzurufen und dieses mit der Mosaikabbildung zu koppeln, während ein
Benutzer dazu gebracht wird, eine Positionsbeziehung zwischen dem
Gesichtsfeld während des
Fotografierens und der Mosaikabbildung während deren Erzeugung zu bestätigen. Genauer
wird die Anzeigeposition der sich bewegenden Bildabbildung in Antwort
auf die Relativposition zwischen der Einzelbildabbildung und der
Mosaikabbildung geändert,
wenn sie beim Positionieren der Einzelbildabbildung erfolgreich
war; andererseits wird, wenn sie beim Positionieren versagt hat,
die Anzeigenposition festgelegt; und daher kann die Anzeigenposition durch
eine letzte Einzelbildabbildung, welche beim Positionieren erfolgreich
war, festgelegt werden. Daher wird in dem Fall, in welchem ein Gesichtsfeld während des
Fotografierens als die sich bewegende Bildabbildung in der angemessenen
Position auf der Mosaikabbildung angezeigt wird, selbst wenn das sichtbare
Feld bewegt wird, nachdem sie beim Positionieren versagt hat die
Anzeigenposition der sich bewegenden Bildabbildung gehalten während sie
fixiert wird; und daher wird es möglich, einfach zu erkennen,
dass sie beim Positionieren der Einzelbildabbildung versagt hat.
Weiterhin wird die Relativposition zwischen diesen Abbildungen durch
den Vergleich der Merkmalsquantität bestimmt, welche aus der
Einzelbildabbildung und der Mosaikabbildung extrahiert ist; und
daher wird es möglich,
zu verhindern, dass die Systemkonfiguration kompliziert wird.
-
In
der Abbildungsvorrichtung eines zweiten Aspekts der vorliegenden
Erfindung legt, zusätzlich zu
der obigen Konfiguration, die Live-Abbildungsanzeigeeinheit die Anzeigeposition
nahe einer Anzeigenposition einer endgültigen Einzelbildabbildung fest,
welche als erfolgreich beim Positionieren bestimmt wird. Gemäß einer
solchen Konfiguration wird, in dem Fall, in dem das Gesichtsfeld
während des
Fotografierens als die sich bewegende Bildabbildung in der angemessenen
Position auf der Mosaikabbildung angezeigt wird, die Anzeigeposition
der sich bewegenden Bildabbildung nahe der Anzeigenposition der
Einzelbildabbildung, welche als letzte als erfolgreich beim Positionieren
bestimmt wurde, festgelegt; daher wird es möglich, einfach das Gesichtsfeld
während
des Fotografierens zu einer Position zurückzuführen, welche zur Positionierung
in der Lage ist.
-
In
der Abbildungsvorrichtung eines dritten Aspekts der vorliegenden
Erfindung legt, zusätzlich zu
der obigen Konfiguration, nach dem Scheitern beim Positionieren
der Einzelbildabbildung die Live-Abbildungsanzeigeneinheit die Anzeigeposition auf
die Anzeigeposition der letzten Einzelbildabbildung fest, zeigt
eine neu gewonnene Einzelbildabbildung und aktualisiert die Einzelbildabbildung,
welche an der Anzeigeposition angezeigt ist auf die neu gewonnenen
Einzelbildabbildung, so dass die Anzeige der sich bewegenden Bildabbildung
weitergeführt wird.
Gemäß einer
solchen Konfiguration wird nach dem Versagen beim Positionieren
der Einzelbildabbildung die Anzeige der sich bewegenden Bildabbildung
weitergeführt
während
die Anzeigenposition festgelegt wird, und daher wird es möglich, das
Gesichtsfeld während
des Fotografierens einfach zu einer Position zurückzuführen, welche zur Positionierung
in der Lage ist.
-
In
der Abbildungsvorrichtung eines vierten Aspekts der vorliegenden
Erfindung legt, zusätzlich zu
der obigen Konfiguration, in dem Fall des Extrahierens der Merkmalsquantität aus der
Mosaikabbildung die Merkmalsquantitätsextraktionseinheit ein Standbild,
welches als letztes bezüglich
der Mosaikabbildung zusammengesetzt wurde, als eine Referenzabbildung
fest und extrahiert eine Merkmalsquantität in der Referenzabbildung;
und, um eine Einzelbildabbildung nach dem Versagen beim Positionieren
der Einzelabbildung zu gewinnen, bestimmt die Relativpositionsbestimmungseinheit
eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung
durch ein Vergleichen der Merkmalsquantität in der Einzelbildabbildung
und der Merkmalsquantität
in der Referenzabbildung und bestimmt die Relativposition durch
ein Vergleichen der Merkmalsquantität in der Einzelbildabbildung
und der Merkmalsquantität
in einem Abbildungsbereich, welcher die Referenzabbildung der Mosaikabbildung
in dem Fall ausschließt,
in welchem die Relativposition nicht durch den Vergleich mit der
Merkmalsquantität in
der Referenzabbildung bestimmt werden kann.
-
In
der Abbildungsvorrichtung eines fünften Aspekts der vorliegenden
Erfindung legt, zusätzlich zu
der obigen Konfiguration, in dem Fall, in welchem die Relativposition
selbst durch den Vergleich der Merkmalsquantität der gesamten Einzelbildabbildung und
der Merkmalsquantität
der gesamten Referenzabbildung nicht bestimmt werden kann, die Relativpositionsbestimmungseinheit
ein Standbild benachbart zu dem Standbild, welches als letztes bezüglich zu
der Mosaikabbildung zusammengesetzt wurde, als eine Referenzabbildung
fest und bestimmt eine Relativposition durch Vergleichen der Merkmalsquantität der gesamten
Referenzabbildung mit der Merkmalsquantität der gesamten Einzelbildabbildung.
Gemäß einer
solchen Konfiguration, in dem Fall, in welchem die Relativposition
selbst durch den Vergleich der Merkmalsquantität der gesamten Einzelbildabbildung
und der gesamten vorhergehenden Referenzabbildung nicht bestimmt
werden kann, wird die Relativposition bestimmt durch Vergleichen
der Merkmalsquantität
des gesamten Standbilds benachbart zu dem als letztem zusammengesetzten Standbild
und der Merkmalsquantität
der gesamten Einzelbildabbildung; und daher wird es möglich, eine Positionierungsgenauigkeit
zwischen der Einzelbildabbildung und der Mosaikabbildung zu verbessern
während
verhindert wird, dass eine Prozessbelastung ansteigt.
-
In
der Abbildungsvorrichtung eines sechsten Aspekts der vorliegenden
Erfindung, zusätzlich
zu der obigen Konfiguration, bestimmt für eine Einzelbildabbildung,
welche gewonnen wurde nach dem Versagen bei der Positionierung,
die Relativpositionsbestimmungseinheit die Relativposition durch
ein Vergleichen der Merkmalsquantität, welche in einem Umfangsabschnitt
der Mosaikabbildung umfasst ist und der Merkmalsquantität der gesamten
Einzelbildabbildung. Gemäß einer
solchen Konfiguration wird nach dem Versagen bei der Positionierung
die Relativposition durch ein Vergleichen der Merkmalsquantität bestimmt,
welche in einem Umfangsabschnitt der Mosaikabbildung umfasst ist,
und der Merkmalsquantität
der gesamten Einzelbildabbildung; und daher wird es möglich, eine
Positionierungsgenauigkeit zwischen der Einzelbildabbildung und
der Mosaikabbildung zu verbessern während verhindert wird, dass
eine Prozessbelastung ansteigt.
-
In
der Abbildungsvorrichtung gemäß einem siebten
Aspekt der vorliegenden Erfindung legt, zusätzlich zu der obigen Konfiguration,
im Fall des Extrahierens der Merkmalsquantität aus der Mosaikabbildung die
Merkmalsquantitätsextraktionseinheit
ein Standbild, welches als letztes bezüglich der Mosaikabbildung zusammengesetzt
ist, als eine Referenzabbildung fest und extrahiert eine Merkmalsquantität aus der
Referenzabbildung; und wobei die Relativpositionsbestimmungseinheit
einen Überlappbereich zwischen
der Einzelbildabbildung und der Referenzabbildung basierend auf
einem Bestimmungsresultat einer vorherigen Relativposition abschätzt, und
die Relativposition durch ein Vergleichen der Merkmalsquantität in dem Überlappbereich
bestimmt, und die Relativposition durch ein Vergleichen der Merkmalsquantität der gesamten
Einzelbildabbildung mit einer Merkmalsquantität der gesamten Referenzabbildung in
dem Fall bestimmt, in welchem die Relativposition nicht bestimmt
werden kann durch den Vergleich der Merkmalsquantität in dem Überlappungsbereich.
Gemäß einer
solchen Konfiguration wird die Relativposition zwischen der Einzelbildabbildung
und der Mosaikabbildung durch ein Vergleichen der Merkmalsquantität in dem Überlappbereich
zwischen der Einzelbildabbildung und der Referenzabbildung bestimmt,
abgeschätzt
aus dem Bestimmungsresultat der vorherigen Relativposition. Andererseits
wird in dem Fall, in welchem die Relativposition nicht durch den
Vergleich der Merkmalsquantität
in dem Überlappbereich
bestimmt werden kann, die Relativposition bestimmt durch ein Vergleichen
der Merkmalsquantität
in den gesamten Abbildungen; und daher wird es möglich, die Positionierungsgenauigkeit
zwischen der Einzelbildabbildung und der Mosaikabbildung zu verbessern,
während
verhindert wird, dass die Prozessbelastung erhöht wird.
-
In
der Abbildungsvorrichtung eines achten Aspekts der vorliegenden
Erfindung zeigt, zusätzlich zu
der obigen Konfiguration, eine Live-Abbildungsanzeigeneinheit in
einem Anzeigenmodus an, welcher unterschiedlich ist für den Fall,
in welchem für
die Einzelbildabbildung bestimmt wurde, dass sie beim Positionieren
versagt hat, aber als erfolgreich bestimmt wurde. Entsprechend einer
solchen Konfiguration wird die Einzelbildabbildung, welche beim
Positionieren versagt hat, mit einem unterschiedlichen Anzeigenmodus
angezeigt als wenn die Einzelbildabbildung erfolgreich gewesen war;
daher wird es möglich,
einfach festzustellen, dass sie beim Positionieren der Einzelbildabbildung
versagt hat.
-
Die
Abbildungsvorrichtung eines neunten Aspekts der vorliegenden Erfindung
umfasst, zusätzlich
zu der obigen Konfiguration, weiterhin: Einen Positionierungsreduktionsabschnitt,
welcher die Einzelbildabbildung, welche die sich bewegende Bildabbildung
zusammensetzt, reduziert und eine zu positionierende Einzelbildabbildung
erzeugt, und die Mosaikabbildung reduziert und eine zu positionierende Mosaikabbildung
erzeugt; und eine Anzeigenreduktionseinheit, welche eine Einzelbildabbildung
reduziert, welche die sich bewegende Bildabbildung ausmacht und
eine Anzeigeneinzelbildabbildung erzeugt, und die Mosaikabbildung
reduziert und eine anzuzeigenden Mosaikabbildung erzeugt, wobei
die Merkmalsquantitätsextraktionseinheit
eine Merkmalsquantität
aus der zu positionierenden Einzelbildabbildung und der zu positionierenden
Mosaikabbildung extrahiert; wobei die Relativpositionsbestimmungseinheit
eine Relativposition zwischen der zu positionierenden Einzelbildabbildung
und der zu positionierenden Mosaikabbildung bestimmt, wobei die Live-Abbildungsanzeigeneinheit
die sich bewegende Bildabbildung anzeigt, welche durch die Anzeigeneinzelbildabbildung
auf der anzuzeigenden Mosaikabbildung als eine Live-Abbildung angezeigt
ist; und die Mosaikabbildungserzeugungseinheit schätzt die Relativposition
zwischen der Einzelbildabbildung und der Mosaikabbildung bei einer
höheren
Auflösung
als die zu positionierenden Mosaikabbildung ab und setzt die Einzelbildabbildung
mit der Mosaikabbildung zusammen und erzeugt eine neue Mosaikabbildung.
-
Eine
Abbildungsvorrichtung eines zehnten Aspekts der vorliegenden Erfindung
umfasst: Eine bewegbare Bühne,
welche dazu in der Lage ist, in zwei unterschiedliche Richtungen
bewegt zu werden, während
sie ein zu untersuchendes Objekt trägt; einen Positionssensor,
welcher eine Position der sich bewegenden Bühne detektiert; eine Kamera,
welche in einer gegenüberliegenden
Beziehung zu der sich bewegenden Bühne angeordnet ist, das zu
untersuchende Objekt fotografiert und eine sich bewegende Bildabbildung
erzeugt, welche aus einer Mehrzahl kontinuierlicher Einzelbildabbildungen
besteht; eine Mosaikabbildungserzeugungseinheit, welche nicht weniger
als zwei Standbilder, welche durch die Kamera fotografiert sind,
zusammensetzt und eine Mosaikabbildung erzeugt, welche ein größeres Gesichtsfeld
aufweist als ein tatsächliches Gesichtsfeld der
Kamera; eine Relativpositionsbestimmungseinheit, welche eine Relativposition
zwischen der Einzelbildabbildung und der Mosaikabbildung bestimmt, basierend
auf dem Ausgang des Positionssensors; und eine Live-Abbildungsanzeigeneinheit,
welche eine Anzeigenposition der Einzelabbildung bezüglich der
Mosaikabbildung aktualisiert, basiert auf einem Bestimmungsresultat
der Relativposition, und die sich bewegende Bildabbildung auf der
Mosaikabbildung anzeigt, wobei in dem Fall, in welchem das Standbild
korrespondierend zu der Einzelbildabbildung nicht glatt mit der
Mosaikabbildung gekoppelt werden kann, die Live-Abbildungsanzeigeneinheit die Anzeigenposition
festlegt. Gemäß einer
solchen Konfiguration, in dem Fall, in welchem das Standbild korrespondierend
zu der Einzelbildabbildung nicht glatt mit der Mosaikabbildung gekoppelt
werden kann, wird die Anzeigenposition der sich bewegenden Bildabbildung
festgelegt; und daher wird es möglich,
einen Benutzer erkennen zu lassen, dass das Gesichtsfeld während des
Fotografierens nicht glatt mit der Mosaikabbildung während ihrer
Erzeugung gekoppelt werden kann.
-
Gemäß einer
Abbildungsvorrichtung der vorliegenden Erfindung wird ein Gesichtsfeld
während des
Fotografierens als eine sich bewegende Bildabbildung in einer angemessenen
Position auf einer Mosaikabbildung während deren Erzeugung angezeigt;
und daher wird es möglich,
ein Standbild abzurufen und dieses mit einer Mosaikabbildung zu
koppeln, während
ein Benutzer dazu gebracht wird, eine Positionsbeziehung zwischen
dem Gesichtsfeld während
des Fotografierens und der Mosaikabbildung während deren Erzeugung zu bestätigen. Genauer wird
eine Anzeigenposition einer sich bewegenden Bildabbildung in Antwort
auf eine Relativposition zwischen einer Einzelbildabbildung und
einer Mosaikabbildung verändert,
wenn das Positionieren einer Einzelbildabbildung erfolgreich war.
Andererseits wird die Anzeigenposition festgelegt, wenn das Positionieren
fehl geschlagen ist; daher kann die Anzeigenposition festgelegt
werden durch eine endgültige
Einzelbildabbildung, welche beim Positionieren erfolgreich war.
Daher, in dem Fall, in welchem das Gesichtsfeld während des
Fotografierens als die sich bewegende Bildabbildung angezeigt wird
in eine angemessene Position auf der Mosaikabbildung, selbst wenn
das visuelle Feld sich bewegt, nachdem es beim Positionieren versagt
hat, wird die Anzeigenposition der sich bewegenden Bildabbildung
zurückgehalten,
während
sie festgelegt wird; und daher wird es möglich, einfach zu erkennen,
dass sie beim Positionieren der Einzelbildabbildung versagt hat.
Weiterhin wird die Relativposition zwischen diesen Abbildungen bestimmt
durch einen Vergleich der Merkmalsquantitäten, welche aus der Einzelbildabbildung und
der Mosaikabbildung extrahiert wurden; und daher wird es möglich, eine
Systemkonfiguration daran zu hindern, kompliziert zu werden. Daher
wird es möglich,
einfach eine Positionsbeziehung zwischen dem Gesichtsfeld während des
Fotografierens und der Mosaikabbildung während deren Erzeugung zu erkennen,
ohne die Systemkonfiguration zu verkomplizieren.
-
Weiterhin,
gemäß einer
Abbildungsvorrichtung der vorliegenden Erfindung, in dem Fall, in
welchem ein Gesichtsfeld während
des Fotografierens als eine sich bewegende Bildabbildung in einer
angemessenen Position auf einer Mosaikabbildung angezeigt wird,
wird eine Anzeigenposition der sich bewegenden Bildabbildung nahe
einer Anzeigenposition einer Einzelbildabbildung festgelegt, welche
als letztes als beim Positionieren erfolgreich bestimmt wurde; und
daher wird es möglich,
einfach das Gesichtsfeld während
des Fotografierens auf eine Position zurückzubringen, welche zum Positionieren
in der Lage ist.
-
KURZE BESCHREIBUNG DER UNTERSCHIEDLICHEN
ANSICHTEN DER ZEICHNUNGEN
-
1 ist
eine Ansicht, welche ein Beispiel einer schematischen Konfiguration
einer Abbildungsvorrichtung gemäß einem
bevorzugten Ausführungsbeispiel
der vorliegenden Erfindung zeigt, und eine Vergrößerungsbetrachtungsvorrichtung
als ein Beispiel der Abbildungsvorrichtung;
-
2 ist
ein Blockdiagramm, welches ein Konfigurationsbeispiel in einem relevanten
Abschnitt der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigt, und ein
Beispiel einer funktionellen Konfiguration in einem Systemkörper zeigt;
-
3 ist
ein Blockdiagramm, welches ein Konfigurationsbeispiel einer Live-Positioniereinheit
in einem Systemkörper,
welcher in 2 gezeigt ist, zeigt, und eine
funktionale Konfiguration in einem Abgleichsvorgangsabschnitt;
-
4 ist
eine erklärende
Ansicht, welche beispielhaft ein Beispiel eines Vorgangs während des Anzeigens
einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigt, und eine
sich bewegende Bildabbildung A1 und eine anzuzeigenden Mosaikabbildung A3
zeigt;
-
5 ist
eine Erklärungsansicht,
welche beispielsweise ein Beispiel eines Vorgangs während des
Anzeigens einer Live-Abbildung der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigt, und einen
Live-Bildschirm
zeigt;
-
6A und 6B sind
Diagramme, welche jeweils ein Beispiel des Vorgangs des Musterabgleichs
in der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigt, und einen
Zustand zeigt, in welchem die richtige Übereinstimmung zwischen den
Merkmalspunkten extrahiert wird, durch einen Vergleich der gesamten
Merkmalspunkte B3;
-
7A und 7B sind
Diagramme, welche jeweils ein Beispiel des Vorganges des Musterabgleichs
in der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigen, und einen Zustand
zeigen, welcher die Merkmalspunkte B3 in den sich überlappenden
Bereichen B5 und B6 zeigt;
-
8A und 8B sind
Ansichten, welche jeweils ein Beispiel des Vorgangs während des
Anzeigens einer Live-Abbildung
in der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigen, und eine
Live-Abbildung zeigt, welche bezüglich
einer Mosaikabbildung positioniert ist;
-
9A und 9B sind
Ansichten, welche jeweils ein Beispiel eines Vorgangs während des
Anzeigens einer Live-Abbildung
in der Vergrößerungsbetrachtungsvorrichtung,
welch ein 1 gezeigt ist, zeigen, und eine
Live-Abbildung zeigt, welche positioniert ist bezüglich der
Mosaikabbildung, welche in jeder der 8A und 8B gezeigt
sind;
-
10A und 10B sind
Ansichten, welche jeweils ein Beispiel eines Vorgangs während des Anzeigens
einer Life-Abbildung
in der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigt, und einen
Zustand zeigt, in welchem eine Referenzabbildung mit einer Bewegung
eines Gesichtsfelds während
des Fotografierens verändert wird;
-
11A und 11B sind
Ansichten, welche jeweils ein Beispiel des Vorgangs während des Anzeigens
einer Live-Abbildung
in der Vergrößerungsbetrachtungsvorrichtung,
welch ein 1 gezeigt ist, zeigen, und einen
Zustand zeigen, welcher beim Positionieren einer Einzelbildabbildung
mit einer Bewegung eines Gesichtsfelds versagt hat;
-
12 ist
eine Ansicht, welche ein Beispiel eines Vorgangs während des
Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigt, und eine Live-Abbildung zeigt,
welche neu positioniert ist, nachdem sie beim Positionieren versagt
hat;
-
13 ist
ein Flussdiagramm, welches ein Beispiel eines Vorganges während des
Anzeigens einer Live-Abbildung
in der Vergrößerungsbetrachtungsvorrichtung,
welche in 1 gezeigt ist, zeigt;
-
14 ist
ein Flussdiagramm, welches ein Beispiel eines Vorganges während des
Anzeigens einer Live-Abbildung
in der Vergrößerungsbetrachtungsvorrichtung
zeigt, welche in 1 gezeigt ist; und
-
15 ist
ein Flussdiagramm, welches ein Beispiel eines Vorgangs während des
Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung
zeigt, welche in 1 gezeigt ist.
-
DETAILLIERTE BESCHREIBUNG
DER ERFINDUNG
-
Vergrößerungsbetrachtungsvorrichtung
-
1 ist
eine Systemansicht, welche ein Beispiel einer schematischen Konfiguration
einer Abbildungsvorrichtung gemäß einem
bevorzugten Ausführungsbeispiel
der vorliegenden Erfindung zeigt, und als ein Beispiel der Abbildungsvorrichtung
ist eine Vergrößerungsbetrachtungsvorrichtung 1 gezeigt,
welche einen Systemkörper 100,
eine Kameraeinheit 200 und eine Konsole 300 umfasst.
Die Vergrößerungsbetrachtungsvorrichtung 1 ist
ein Digitalmikroskop, welches eine sich bewegende Bildabbildung
durch das Fotografieren eines fotografischen Subjektes, welches
durch eine Objektivlinse vergrößert wird,
erzeugt und die sich bewegende Bildabbildung auf einer Anzeigeneinheit 110 des
Systemkörpers 100 anzeigen
kann.
-
Die
Kameraeinheit 200 ist eine Fotografiereinheit, welche zum
Fotografieren eines zu untersuchenden Objektes geeignet ist, während ein
Gesichtsfeld verändert
wird, und umfasst eine Kamera 210, einen beweglichen Halter 220 und
eine bewegbare Bühne 230.
Die Kamera 210 ist eine Lesevorrichtung, welche das zu
inspizierende Objekt als das fotografische Subjekt fotografiert
und eine sich bewegende Bildabbildung erzeugt, welche aus einer
Mehrzahl von Einzelbildabbildungen hergestellt ist, welche in einer
konstanten Einzelbildfrequenz fortgeführt werden, und sie ist konfiguriert
durch das Anordnen einer Objektivlinse, eines ladungsgekoppelten
Abbildungssensors (CCD), einer Beleuchtungsvorrichtung und ähnlichem
in einem zylindrischen Gehäuse.
-
Der
bewegbare Halter 220 ist eine Halteeinheit, welche die
Kamera 210 bewegbar in einer Richtung parallel zu einer
zentralen Achse der Objektivlinse hält. In diesem Fall wird die
Richtung parallel zu der zentralen Achse der Objektivlinse der Kamera 210 als
eine z-Achsenrichtung bezeichnet, und eine Position der z-Achsenrichtung
der Kamera 210 kann durch das Drehen eines Positionseinstellungsknopfes 221 eingestellt
werden.
-
Die
bewegbare Bühne 230 ist
eine Halteeinheit, welche das zu untersuchende Objekt trägt, und ist
bewegbar in einer Fläche,
welche sich mit der z-Achse schneidet in einem Zustand, in welchem
das zu untersuchende Objekt gelagert ist. In diesem Fall wird eine
ebene Stirnfläche
senkrecht zu der z-Achse als eine xy-Stirnfläche bezeichnet, wobei eine
Position in der xy-Stirnfläche
der bewegbaren Bühne 230 durch
das Drehen von Positionseinstellungsknöpfen 231 und 232 eingestellt
werden kann. Also ist die bewegbare Bühne 230 eine Bühne, welche
sich durch das Drehen der Positionseinstellungsknöpfe 231 und 232 in
zwei unterschiedlichen Richtungen bewegen kann, während sie
das zu untersuchende Objekt trägt.
-
Genauer
wird eine Position einer x-Achsenrichtung durch das Drehen des Positionseinstellungsknopfes 231,
und eine Position einer y-Achsenrichtung durch das Drehen des Positionseinstellungsknopfes 232 eingestellt.
Die Kamera 210 ist in einer gegenüberliegenden Beziehung zu einer
solchen bewegbaren Bühne 230 angeordnet.
-
Die
Konsole 300 ist eine Eingabevorrichtung, welche dazu geeignet
ist, den Beginn und das Fertigstellen des Fotografierens zu instruieren,
die fotografierten Abbildungsdaten abzurufen und ähnliches,
an den Systemkörper 100.
-
Der
Systemkörper 100 ist
eine Abbildungsbearbeitungsvorrichtung, welche die sich bewegende Bildabbildung,
welche durch die Kamera 210 fotografiert wurde, auf der
Anzeigeneinheit 110 anzuzeigen, und erzeugt eine Mosaikabbildung,
welche ein größeres Gesichtsfeld
aufweist als das tatsächliche
Gesichtsfeld der Kamera 210, durch das Zusammenfügen der
Einzelbildabbildungen, welche die sich bewegende Bildabbildung ausbilden.
-
Systemkörper
-
2 ist
ein Blockdiagramm, welches ein Konfigurationsbeispiel in einem relevanten
Abschnitt der Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigt, und ein
Beispiel einer funktionalen Konfiguration des Systemkörpers 100 zeigt.
Der Systemkörper 100 ist
konfiguriert durch das Bereitstellen von Anzeigenreduktionseinheiten 121 und 128,
einer Anzeigenmosaikabbildungsspeichereinheit 122, einer
Live-Abbildungsaktualisierungseinheit 123,
einer Rückhaltemosaikabbildungsspeichereinheit 124 (engl.:
retention mosaic image storage unit), einer Live-Positionierungseinheit 125, einer
Standbilderzielungseinheit 126, einer Mosaikabbildungserzeugungseinheit 127,
zusätzlich
zu der Anzeigeneinheit 110.
-
Die
Anzeigenreduktionseinheit 121 dient dazu, sich bewegende
Abbildungsdaten, welche von der Kamera 110 gewonnen werden,
zu verarbeiten, und reduzierte bewegte Abbildungsdaten zu erzeugen,
welche eine reduzierte Abbildungsgröße aufweisen. Genauer wird
ein Vorgang dahingehend durchgeführt,
dass die Anzeigenreduktionseinheit 121 die Einzelbildabbildung,
welche kontinuierlich von der Kamera 210 gewonnen wird,
in einem vorbestimmten Reduktionsverhältnis reduziert, eine Anzeigeneinzelbildabbildung
erzeugt und diese an die Live-Abbildungsaktualisierungseinheit 123 ausgibt.
Eine Reduktion der Einzelbildabbildung wird zum Beispiel durchgeführt durch
einen Prozess des Überspringens
von Pixeln und einer Prozedur der Mittelwertbildung von Pixelwerten.
In diesem Fall wird ein Reduktionsprozess so durchgeführt, dass
er ein Aspektverhältnis
nicht verändert,
also ein Aspektverhältnis
der Einzelbildabbildung vor und nach der Reduktion.
-
Die
Anzeigenmosaikabbildungsspeichereinheit 122 ist eine Mosaikabbildungsrückhalteeinheit, welche
eine anzuzeigenden Mosaikabbildung zurückhält, und wird konfiguriert durch,
zum Beispiel, einen flüchtigen
Halbleiterspeicher. Die Live-Abbildungsaktualisierungseinheit 123 wird
betrieben um die Anzeigeneinheit 110 basierend auf Reduktionsverhältnisinformationen
zu steuern, welche von der Anzeigenreduktionseinheit 121 gesendet
werden, und eine Anzeigenposition der anzuzeigenden Einzelbildabbildungen,
welche kontinuierlich von der Anzeigenreduktionseinheit 121 erhalten
werden, bezüglich
der anzuzeigenden Mosaikabbildung zu aktualisieren und entsprechend
eine Live-Abbildung auf der anzuzeigenden Mosaikabbildung anzuzeigen.
Die Live-Abbildung ist eine sich bewegende Bildabbildung, welche
aus einer Mehrzahl von kontinuierlich angezeigten Einzelbildabbildungen
hergestellt ist.
-
Die
Rückhaltemosaikabbildungsspeichereinheit 124 ist
eine Mosaikabbildungsspeichereinheit, welche eine zurückgehaltene
Mosaikabbildung zurückhält, und
ist durch ein nicht-flüchtiges
Speicherelement, zum Beispiel eine Festplatte (HDD), konfiguriert.
-
Die
Live-Positionierungseinheit 125 umfasst Positionierungsreduktionsabschnitte 125a und 125b, und
einen Abgleichprozessabschnitt 125c. Die Live-Positionierungseinheit 125 bewirkt,
dass jeweils die Einzelbildabbildungen, welche kontinuierlich von der
Kamera 210 erhalten werden, und die zurückgehaltene Mosaikabbildung,
welche aus der Rückhaltemosaikabbildungsspeichereinheit 124 ausgelesen wird,
reduziert werden und dass ein Abgleichungsprozess durchgeführt wird.
-
Der
Positionierungsreduktionsabschnitt 125a dient dazu, die
Einzelbildabbildungen zu reduzieren, welche von der Kamera 210 in
einem konstanten Reduktionsverhältnis
zur Positionierung erhalten werden, um eine zu positionierende Einzelbildabbildung
zu erzeugen und um dieselbe an den Abgleichprozessabschnitt 125c auszugeben.
Der Positionierungsreduktionsabschnitt 125b wird betrieben,
um die zurückgehaltene
Mosaikabbildung, welche aus der Rückhaltemosaikabbildungsspeichereinheit 124 ausgelesen
wird, zum Positionieren in einem konstanten Reduktionsverhältnis zu
reduzieren, um eine zu positionierende Mosaikabbildung zu erzeugen,
und um diese an den Abgleichprozessabschnitt 125c auszugeben.
-
Der
Abgleichprozessabschnitt 125c bewirkt die Verwendung eines
Musterabgleichs zwischen der zu positionierende Einzelbildabbildung
und der zu positionierende Mosaikabbildung, um eine Relativposition
zwischen diesen zur Erzeugung einer Relativpositionsinformation
zu bestimmen, und um diese an die Live-Abbildungsaktualisierungseinheit 123 auszugeben.
-
Die
Live-Abbildungsaktualisierungseinheit 123 bewirkt eine
Entscheidung der Relativposition zwischen der anzuzeigende Einzelbildabbildung
und der anzuzeigenden Mosaikabbildung, basierend auf der Relativpositionsinformation
welche von der Live-Positionierungseinheit 125 erhalten
wurden, und eine Aktualisierung einer Anzeigenposition der anzuzeigende
Einzelbildabbildung bezüglich
der anzuzeigenden Mosaikabbildung der Einzelbildabbildung für deren
Anzeige.
-
Die
Standbildgewinnungseinheit 126 bewirkt, dass ein Standbild,
welches durch die Kamera 210 fotografiert wird, basierend
auf einer Abrufinstruktion der Konsole 300 gewonnen wird,
und dieses an die Mosaikabbildungserzeugungseinheit 127 ausgegeben
wird. Das zusammenzusetzende Standbild, welches von der Kamera 210 gewonnen
wird, kann eine Abbildung sein, welche sich in den Abbildungsbedingungen
unterscheidet, so wie beispielsweise einer Belichtungszeit einer
sich bewegenden Bildabbildung, oder kann eine der Einzelbildabbildungen
sein, welche die sich bewegende Bildabbildung ausbilden.
-
Die
Mosaikabbildungserzeugungseinheit 127 umfasst den Zurückhaltungspositionierungsabschnitt 127a,
und einen Abbildungskopplungsabschnitt 127b, und bewirkt,
dass eine zurückgehaltene Mosaikabbildung
durch das Zusammensetzen einer Mehrzahl von Standbildern erzeugt
wird.
-
Der
Zurückhaltungspositionierungsabschnitt 127a bewirkt,
dass eine Relativposition zwischen dem Standbild, welches durch
die Standbildgewinnungseinheit 126 gewonnen wird, und der
zurückgehaltene
Mosaikabbildung, welche aus der Rückhaltemosaikabbildungsspeichereinheit 124 abgerufen wird,
bestimmt wird. Die Bestimmung der Relativposition wird durch einen
Musterabgleich zwischen der Fotografie und der zurückgehaltene
Mosaikabbildung durchgeführt,
und die Relativposition zwischen dem Standbild und der zurückgehaltene
Mosaikabbildung wird in einer höheren
Auflösung
abgeschätzt, als
die der zu positionierende Mosaikabbildung.
-
Der
Abbildungskopplungsabschnitt 127b bewirkt, dass das Standbild
und die zurückgehaltene Mosaikabbildung,
basierend auf einem Bestimmungsresultat durch den Zurückhaltungspositionierungsabschnitt 127a,
zusammengesetzt wird, um eine neue zurückgehaltene Mosaikabbildung
zu erzeugen und um die zurückgehaltene
Mosaikabbildung in der Rückhaltemosaikabbildungsspeichereinheit 124 zu
aktualisieren. Genauer wird das Standbild, welches durch die Standbildgewinnungseinheit 126 gewonnen
wird, und die zurückgehaltene
Mosaikabbildung, welche aus der Rückhaltemosaikabbildungsspeichereinheit 124 ausgelesen
wird, zusammengesetzt, basierend auf der Relativposition zwischen
den Abbildungen, welche durch den Zurückhaltungspositionierabschnitt 127a abgeschätzt wird, so
dass eine neue zurückgehaltene
Mosaikabbildung erzeugt wird.
-
Das
Zusammensetzen des Standbilds und der gehaltenen Mosaikabbildung
wird durch das Koppeln der beiden Abbildungen durchgeführt, basierend auf
der Relativposition zwischen diesen Abbildungen. Weiterhin wird
in dem Fall des Koppelns des Standbilds und der zurückgehaltene
Mosaikabbildung ein Verschmelzungsprozess der Pixelwerte für einen überlappenden
Bereich beider Bilder durchgeführt,
um eine Verbindungsstelle weniger erkennbar zu machen. Der Verschmelzungsprozess
ist ein Abbildungsprozess, welcher eine gewichtete Mittelung der
Pixelwerte zwischen beiden Abbildungen durchführt und einen Pixelwert eines
zusammengesetzten Bildes gewinnt, und das Gewicht wird in dem Fall
des Durchführens
der gewichteten Mittelung angemessen geändert bezüglich einer Pixelposition,
wodurch die Verbindungsstelle weniger erkennbar gemacht wird.
-
Die
Anzeigenreduktionseinheit 128 bewirkt jedes Mal ein Auslesen
einer aktualisierten zurückgehaltene
Mosaikabbildung aus der Rückhaltemosaikabbildungsspeichereinheit 124,
wenn die zurückgehaltene
Mosaikabbildung aktualisiert wird, um die ausgelesene zurückgehaltene
Mosaikabbildung für das
Anzeigen zu reduzieren und um die anzuzeigenden Mosaikabbildung
zu erzeugen.
-
In
diesem Fall führt
die Live-Positionierungseinheit 125 einen weniger genauen
Abgleichprozess verglichen mit dem Zurückhaltungspositionierungsabschnitt 127a durch
und wird eine Prozesseinheit, welche weniger genaue Koordinatendaten
als die Relativpositionsinformation ausgibt.
-
Abgleichprozessabschnitt
-
3 ist
ein Blockdiagramm, welches ein Konfigurationsbeispiel einer Live-Positioniereinheit 125 in
dem Systemkörper 100,
welcher in 2 gezeigt ist, zeigt, und ein
Beispiel einer funktionellen Konfiguration in dem Abgleichprozessabschnitt 125c zeigt.
Der Abgleichprozessabschnitt 125c umfasst eine Merkmalsquantitätsextraktionseinheit 131 und eine
Relativpositionsbestimmungseinheit 132.
-
Die
Merkmalquantitätsextraktionseinheit 131 bewirkt
jeweils das Extrahieren einer Merkmalsquantität aus der zu positionierenden
Einzelbildabbildung und aus der zu positionierenden Mosaikabbildung. Als
die Merkmalsquantität
kann jegliche Merkmalsquantität
verwendet werden, solange diese Merkmalquantität in dem Fall des Vergleichens
der Bilder ein Marker wird. In diesem Fall wird jedoch die Oberseite,
in welcher sich eine Mehrzahl von Kanten miteinander schneiden,
als ein Merkmalspunkt extrahiert.
-
Unter
dem Gesichtspunkt des Verkürzens der
Prozesszeit, welche für
das Positionieren in dem Fall erfordert wird, in dem die Größe der zurückgehaltenen
Mosaikabbildung groß wird,
legt die Merkmalsquantitätsextraktionseinheit 131 ein
Teil der Mosaikabbildung, zum Beispiel ein Standbild welches als letztes
bezüglich
der zurückgehaltenen
Mosaikabbildung zusammengesetzt wurde, als eine Referenzabbildung
fest und extrahiert den Merkmalspunkt in der Referenzabbildung in
dem Fall des Extrahierens des Merkmalspunkts aus einer zu positionierenden
Mosaikabbildung.
-
Die
Relativpositionsbestimmungseinheit 132 umfasst einen Vergleichsabschnitt 141,
einen Relativpositionsberechnungsabschnitt 142 und einen Überlappungsbereichabschätzungsabschnitt 143. Die
Relativpositionsbestimmungseinheit 132 bewirkt das Bestimmen
einer Relativposition zwischen der zu positionierenden Einzelbildabbildung
und der zu positionierenden Mosaikabbildung durch einen Vergleich
der Merkmalspunkte. Der Vergleichsabschnitt 141 bewirkt
ein Vergleichen eines Merkmalspunkts, welcher aus der zu positionierenden
Einzelbildabbildung extrahiert ist, mit einem Merkmalspunkt, welcher
aus der zu positionierenden Mosaikabbildung extrahiert ist, und
ein Ausgeben dessen Vergleichsresultats an den Relativpositionsberechnungsabschnitt 142.
-
Der
Vergleich der Merkmalspunkte wird zum Beispiel durch das Extrahieren
eines Bereichs umfassend einen Merkmalspunkt eines Pixels als Vorlage,
und durch das Suchen eines Bereichs in der anderen Abbildung, der
möglichst
zu dem Vorlagenbereich ähnlich
ist, durchgeführt.
Als ein Index, welcher den Grad der Ähnlichkeit zwischen den Bereichen misst,
ist ein Verfahren des Verwendens einer Fehlersumme der Quadrate
eines Helligkeitswertes, welcher von einem Pixel in dem Bereich
gewonnen wird, denkbar, und ein Verfahren des Verwendens einer normalisierten
Korrelation, in welcher ein Helligkeitswert eines jeden Pixels in
dem Bereich durch eine mittlere Helligkeit normalisiert ist.
-
Im
Fall des Vergleichens des Merkmalspunkts, welcher aus der zu positionierenden
Einzelbildabbildung extrahiert wurde, mit dem Merkmalspunkt, welcher
aus der zu positionierenden Mosaikabbildung extrahiert wurde, bewirkt
der Vergleichsabschnitt 141 den Merkmalspunkt der zu positionierenden
Einzelbildabbildung mit dem Merkmalspunkt der Referenzabbildung
zu vergleichen.
-
Der
Relativpositionsberechnungsabschnitt 142 bewirkt das Bestimmen
der Relativposition zwischen der zu positionierenden Einzelbildabbildung und
der zu positionierenden Mosaikabbildung basierend auf dem Vergleichsresultat
durch den Vergleichsabschnitt 141, um dessen Bestimmungsresultat
an den Überlappungsbereichsabschätzungsabschnitt 143 auszugeben,
und um die Relativpositionsinformation an die Live-Abbildungsaktualisierungseinheit 123 auszugeben.
-
Der Überlappungsbereichsabschätzungsabschnitt 143 bewirkt
ein Abschätzen
eines Überlappungsbereichs
der vorliegenden zu positionierenden Einzelbildabbildung und der
zu positionierenden Mosaikabbildung, basierend auf dem Bestimmungsresultat
der vergangenen Relativposition in Bezug gesetzt zu der zu positionierenden
Einzelbildabbildung. Zum Beispiel wird ein Vorgang dahingehend durchgeführt, dass
ein überlappender
Bereich der Einzelbildabbildung und der zu positionierenden Mosaikabbildung
durch das Bestimmungsresultat einer Relativposition, in Bezug gesetzt
zu einer zu positionierenden Einzelbildabbildung, welche vorhergehend durch
ein Einzelbild bereitgestellt wurde, festgelegt wird und der überlappende
Bereich als der überlappende
Bereich der vorliegenden Einzelbildabbildung und der Mosaikabbildung
bewertet wird.
-
Im
Fall des Abschätzens
des Überlappbereichs
der vorliegenden zu positionierenden Einzelbildabbildung und der
zu positionierenden Mosaikabbildung dient der Überlappbereichabschätzungsabschnitt 143 dazu,
einen Überlappbereich
der Positioniereinzelbildabbildung und der Positionierreferenzabbildung
abzuschätzen.
-
Der
Vergleichsabschnitt 141 dient dazu, Merkmalspunkte in dem Überlappbereich
zu vergleichen, welche durch den Überlappbereichabschätzungsabschnitt 143 abgeschätzt worden
sind, und dazu, ein Vergleichsresultat an den Relativpositionsberechnungsabschnitt 142 auszugeben.
Dann, als ein Resultat des Vergleichens der Merkmalspunkte in den Überlappbereichen
und in dem Fall, in welchem die Relativposition nicht bestimmt werden
kann, bewirkt der Vergleichsabschnitt 141, dass die gesamten Merkmalspunkte
umfasst in der gesamten zu positionierenden Einzelbildabbildung
mit den gesamten Merkmalspunkten, welche in der gesamten zu positionierenden
Referenzabbildung, welche ein Objekt eines Abgleichprozesses der
zu positionierenden Mosaikabbildung ist, umfasst sind, verglichen
werden, und das Vergleichsresultat an den Relativpositionsberechnungsabschnitt 142 auszugeben.
-
Also
wird der Relativpositionsberechnungsabschnitt 142 dazu
betrieben, die Relativposition zu bestimmen basierend auf dem Vergleichsresultat
der Merkmalspunkte in dem Überlappbereich
der Einzelbildabbildung und der Referenzabbildung, welche aus dem
Bestimmungsresultat der vergangenen Relativposition resultiert.
Andererseits wird in dem Fall, in welchem die Relativposition nicht
durch den Vergleich der Merkmalspunkte in solch einem Überlappbereich
bestimmt werden kann, der Relativpositionsberechnungsabschnitt 142 so
betrieben, um die Relativposition basierend auf dem Vergleichsresultat der
Merkmalspunkte der gesamten zu positionieren Einzelbildabbildung
und der Merkmalspunkte des gesamten Referenzabbildung zu bestimmen.
-
Weiterhin
wird bezüglich
einer ersten zu positionierenden Einzelbildabbildung ein Vorgang durchgeführt, um
die gesamten Merkmalspunkte, welche in der gesamten zu positionierenden
Einzelbildabbildung umfasst sind, mit den gesamten Merkmalspunkten,
welche in der gesamten Referenzabbildung umfasst sind, zu vergleichen,
und ein Vergleichsresultat an den Relativpositionsberechnungsabschnitt 142 auszugeben.
Also wird wie für
eine erste zu positionierende Einzelbildabbildung die Relativposition
durch das Vergleichen der gesamten Merkmalspunkte der Einzelbildabbildung
mit den gesamten Merkmalspunkten der Referenzabbildung bestimmt.
Andererseits werden bezüglich
einer zu positionierenden Einzelbildabbildung nachfolgend auf ein zweites
Einzelbild als erstes die Merkmalspunkte, die in dem Überlappbereich
aus einem Bestimmungsresultat der letzten Relativposition bezüglich zu
der Einzelabbildung abgeschätzt
wurde, verglichen und die Relativposition wird bestimmt. Zu diesem
Zeitpunkt, wenn die Relativposition nicht bestimmt werden kann,
werden die gesamten Merkmalspunkte der Einzelbildabbildung und die
gesamten Merkmalspunkte der Referenzabbildung verglichen und die Relativposition
wird bestimmt.
-
In
diesem Fall ist die erste Einzelbildabbildung zum Beispiel eine
erste gewonnene Einzelbildabbildung nach dem erneuten Starten des
Fotografierens in einem Fall, in welchem das Fotografieren einmal
mitten im Erzeugen der Mosaikabbildung gestoppt wurde und dann das
Fotografieren erneut gestartet wird.
-
Im
Allgemeinen wird in dem Fall, in welchem ein jeglicher Merkmalspunkt
aus zwei Standbilder extrahiert wird, in welchen jeder Teil der
Abbildungen überlappt
und eine Gruppe der korrespondierenden Merkmalspunkte zwischen diesen
Abbildungen gefunden wird, eine Möglichkeit des Extrahierens
der Merkmalspunkte aus dem überlappenden
Bereich der beiden Abbildungen und das Suchen einer Gruppe von korrespondierenden
Merkmalspunkte weniger in deren Auftretenswahrscheinlichkeit bezüglich einer
falschen Antwort begründet
sein, als dem Suchen durch Extrahierens des Merkmalspunktes aus den
gesamten Abbildungen. Also wird ein Vergleich bevorzugt für den Merkmalspunkt
in dem überlappenden
Bereich gemacht, um die Relativposition zu bestimmen, und entsprechend
wird eine Wahrscheinlichkeit des Erfolges beim Positionieren der
zu positionierenden Einzelbildabbildung verbessert. Weiterhin kann
die Positionierungsgeschwindigkeit verbessert werden verglichen
damit, dass ein Vergleich für die
gesamten Merkmalspunkte in dem Bildschirm durchgeführt wird.
-
In
diesem Fall, in welchem die Merkmalsquantitätsextraktionseinheit 131 die
Merkmalspunkte aus der vorliegenden zu positionierenden Einzelbildabbildung
extrahiert, wird der Merkmalspunkt aus dem überlappenden Bereich extrahiert,
welcher durch den Überlappungsbereichsabschätzungsabschnitt 143 abgeschätzt ist.
Dann wird in dem Fall, in welchem die Relativposition nicht durch
den nur einen Merkmalspunkt in dem überlappenden Bereich bestimmt
werden kann, ein Vorgang des Extrahierens des Merkmalspunkts aus
einem Bereich, welcher nicht in dem überlappenden Bereich liegt,
genauso durchgeführt.
-
Weiterhin
wird die Live-Abbildungsaktualisierungseinheit 123 betrieben,
um eine Anzeigenpositionierung in dem Fall des Anzeigens der sich
bewegenden Bildabbildung, welche aus den Anzeigeneinzelbildabbildungen
hergestellt ist, auf der anzuzeigenden Mosaikabbildung als die Live-Abbildung
zu aktualisieren basierend auf den Bestimmungsresultaten der Relativposition
durch den Relativpositionsberechnungsabschnitt 142, und
deren Anzeigendaten an die Anzeigeneinheit 110 auszugeben.
-
Zu
diesem Zeitpunkt, wenn bestimmt wurde, dass das Positionieren der
Einzelbildabbildung durch die Relativpositionsbestimmungseinheit 123 erfolgreich
war, wird ein Vorgang durchgeführt,
um die Anzeigenposition der Live-Abbildung
in Antwort auf das Bestimmungsresultat der Relativposition zu verändern. Andererseits,
wenn die Relativposition nicht bestimmt werden kann und wenn bestimmt
wird, dass das Positionieren der Einzelbildabbildung fehlgeschlagen
ist, wird die Anzeigenposition der Live-Abbildung nicht verändert. Jedoch wird zum Beispiel
ein Vorgang durchgeführt,
um die Anzeigenposition der Live-Abbildung
nahe der Anzeigenposition einer letzten Einzelbildabbildung, von
der bestimmt wurde, dass sie beim Positionieren erfolgreich war,
festzulegen.
-
Also
wird, nachdem die zu positionierende Einzelbildabbildung fehlgeschlagen
ist, die Anzeigenposition der Live-Abbildung auf die Anzeigenposition
der letzten Einzelbildabbildung festgelegt, welche beim Positionieren
erfolgreich war, um eine neu gewonnene Einzelbildabbildung anzuzeigen,
und die Einzelbildabbildung wird an der Anzeigenposition angezeigt
und wird auf die neu gewonnene Einzelbildabbildung aktualisiert,
und entsprechend wird die Anzeige der Live-Abbildung weitergeführt.
-
In
diesem Fall wird die Referenzabbildung so verändert, wie es notwendig ist,
dass ein Standbild, welches einen größten Bereich eines Überlappungsbereichs
mit der Einzelbildabbildung in dem Standbild aufweist, welches die
Mosaikabbildung zusammensetzt, stets die Referenzabbildung wird.
Dann, wenn die Relativposition nicht bezüglich einer solchen Referenzabbildung
bestimmt werden kann, wird eine Bewertung dahingehend durchgeführt, dass
die Positionierung der Einzelbildabbildung fehlgeschlagen ist.
-
Weiterhin
wird für
eine Einzelbildabbildung, welche nach dem Fehlschlagen beim Positionieren der
Einzelbildabbildung gewonnen wird, die Relativposition zwischen
der Einzelabbildung und der Mosaikabbildung durch ein Vergleichen
der Merkmalsquantität
in der Einzelbildabbildung und der Merkmalsquantität in der
Referenzabbildung bestimmt. Dann, in dem Fall, in welchem die Relativposition nicht
durch einen Vergleich der Merkmalsquantität in der Referenzabbildung
bestimmt werden kann, wird ein Vorgang durchgeführt, um die Relativposition durch
ein Vergleichen der Merkmalsquantität in der Einzelbildabbildung
und der Merkmalsquantität
in dem Abbildungsbereich außer
der Referenzabbildung der Mosaikabbildung festzustellen.
-
Also,
wenn das Positionieren der Einzelbildabbildung in dem vorhergehenden
Positionieren erfolgreich war, wird der Überlappbereich zwischen der
vorliegenden Einzelbildabbildung und der Referenzabbildung abgeschätzt, basierend
auf der Relativpositionsinformation der Einzelbildabbildung, bei welcher
das Positionieren erfolgreich war, und die Relativposition wird
bestimmt durch den Vergleich der Merkmalspunkte in dem Überlappbereich
(hierauf wird im Folgenden als der Hochgeschwindigkeitsnachfolgemodus
Bezug genommen). Andererseits, wenn das Positionieren der Einzelbildabbildung
fehlgeschlagen ist, wird der Betriebsmodus von dem Hochgeschwindigkeitsnachfolgemodus umgeschaltet
auf einen Ansichtssuchmodus. Bezüglich
der Einzelbildabbildung, welche gewonnen wird nachdem die Positionierung
fehlgeschlagen ist, wird die Relativposition durch ein Vergleichen
der Merkmalsquantität
in der Einzelbildabbildung und der Merkmalsquantität in der
Referenzabbildung bestimmt. Wenn die Relativposition durch den Vergleich
mit der Merkmalsquantität
in der Referenzabbildung nicht bestimmt werden kann, wird die Relativposition
durch Vergleichen der Merkmalsquantität der Einzelbildabbildung und
der Merkmalsquantität
des Abbildungsbereichs, welcher sich von der Referenzabbildung der
Mosaikabbildung unterscheidet, bestimmt.
-
Weiterhin
wird in der Live-Abbildungsaktualisierungseinheit 123 ein
Anzeigenmodus, welcher sich für
den Fall unterscheidet, in welchem bestimmt wird dass bei der Einzelbildabbildung
bei welcher bestimmt wurde dass das Positionieren fehlgeschlagen ist,
als erfolgreich bestimmt wurde, beispielsweise eine Operation durchgeführt, um
weiß und
schwarz zu invertieren und dies durch eine sich verändernde Farbe
anzuzeigen. Alternativ kann eine Richtung, in welcher ein Überlapp
der Referenzabbildung und der Einzelbildabbildung vergrößert wird
aus einer Aktualisierungshistorie der Anzeigenposition der Einzelbildabbildung
bezüglich
der Mosaikabbildung bewertet werden, und ein Pfeil oder ähnliches,
welcher die Richtung anzeigt, kann angezeigt werden. Weiterhin kann
als eine Fehlermeldung im Falle des Fehlschlagens des Positionierens
der Einzelbildabbildung ein Vorgang des Anzeigens einer Nachricht
durchgeführt werden,
welcher anzeigt, dass ein Positionieren fehlgeschlagen ist als eine
Fehlernachricht dahingehend, dass das Positionieren fehlgeschlagen
ist, oder einen Warnungston ausgibt.
-
Live-Bildschirm
-
Die 4 und 5 sind
erklärende
Ansichten, welche jede beispielsweise ein Beispiel der Funktion
während
des Anzeigens der Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigt. 4 zeigt
eine sich bewegende Bildabbildung A1 und eine anzuzeigende Mosaikabbildung
A3, welche durch die Kamera 210 fotografiert wurde. Weiterhin
zeigt 5 einen Live-Bildschirm 111, in welchem
die sich bewegende Bildabbildung A1 als die Live-Abbildung auf der
Mosaikabbildung A3 angeordnet ist.
-
Die
sich bewegende Bildabbildung A1 ist aus den anzuzeigenden Einzelbildabbildungen
A2 hergestellt, welche wiederholt bei einer konstanten Einzelbildfrequenz
erzeugt werden. Zum Beispiel wird die anzuzeigende Einzelbildabbildung
A2 bei 15 Einzelbildern pro Sekunde (fps) erzeugt. In diesem Fall
sind eine Abbildungsvergrößerung und
eine Fokusposition festgelegt.
-
Die
anzuzeigende Mosaikabbildung A3 ist eine Mosaikabbildung, welche
durch das Reduzieren der gehaltenen Mosaikabbildung zur Anzeige
auf dem Live-Bildschirm erzeugt wird.
-
Der
Live-Bildschirm 111 ist ein Monitorbildschirm, welcher
auf der Anzeigeneinheit 110 angezeigt wird, und die anzuzeigende
Mosaikabbildung A3 und die sich bewegende Bildabbildung A1 werden während deren
Erzeugung darauf angezeigt. In dem Live-Bildschirm 111 ist
die sich bewegende Bildabbildung A1 in einer Anzeigenposition angeordnet,
welche durch die Relativposition entschieden wurde, welche durch
einen Musterabgleich zwischen der vorliegenden zu positionierenden
Einzelbildabbildung und der zu positionierenden Mosaikabbildung bestimmt
wird.
-
Also
wird die sich bewegende Bildabbildung A1 während des Fotografierens als
die Live-Abbildung in einer angemessenen Position auf der angezeigten
Mosaikabbildung A3 während
deren Erzeugung angezeigt und daher kann ein Benutzer Standbilder
abrufen und diese mit der gehaltenen Mosaikabbildung koppeln, während er
eine Positionsbeziehung zwischen einem Gesichtsfeld während des
Fotografierens und der Mosaikabbildung während deren Erzeugung bestätigt.
-
Musterabgleich
-
Die 6A und 6B sind
Diagramme, welche jeweils ein Beispiel des Vorgangs des Musterabgleichs
in der Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigen, und ein Zustand
ist gezeigt, in welchem eine richtige Übereinstimmung zwischen diesen
Merkmalspunkten durch einen Vergleich der gesamten Merkmalspunkte
B3, welche jeweils aus der Referenzabbildung B1 extrahiert sind,
und der zu positionierende Einzelbildabbildung B2 extrahiert ist. 6A zeigt
einen Zustand, in welchem der Merkmalspunkt B3, welcher aus der
Referenzabbildung B1 extrahiert ist, mit jedem Merkmalspunkt B3
in der Einzelbildabbildung B2 verglichen wird, und 6B zeigt
die richtige Übereinstimmung
zwischen den Merkmalspunkten, welche basierend auf dem Vergleich
des Merkmalspunktes B3 extrahiert ist.
-
Die
Referenzabbildung B1 ist ein Teil der Mosaikabbildung während des
Erzeugens und wird vorhergehend aus der zu positionierenden Mosaikabbildung
als ein zu bearbeitendes Objekt des Musterabgleichs extrahiert.
Zum Beispiel wird ein als letztes gekoppeltes Standbild als das
Referenzbild B1 extrahiert. Alternativ ist die Größe eines Überlappungsbereichs
des Standbildes, welches als letztes bezüglich einer zurückgehaltenen
Mosaikabbildung gekoppelt ist und die vorliegenden Einzelabbildung
kleiner als ein konstantes Niveau, und wenn eine Relativposition
zwischen diesen Abbildungen nicht bestimmt werden kann, können andere
Standbilder benachbart zu dem Standbild, welches als letztes bezüglich der
zurückgehaltenen
Mosaikabbildung gekoppelt wurde, als die Referenzabbildung B1 extrahiert
werden.
-
In
dem Fall, in welchem eine Positionsbeziehung zwischen der Referenzabbildung
B1 und der Einzelbildabbildung B2 unklar ist, wird der Merkmalspunkt
B3 dadurch extrahiert, dass die gesamte Abbildung als ein Objekt
festgelegt wird. Dann wird eine Abwägung getroffen durch einen
Vergleich zwischen den Merkmalspunkten, ob oder ob nicht ein ähnlicher Merkmalspunkt
in der Einzelbildabbildung B2 für
die jeweiligen Merkmalspunkte B3, welche aus der Referenzabbildung
B1 extrahiert wurden, vorliegt.
-
Der
Grad der Ähnlichkeit
zwischen den Merkmalspunkten kann durch einen vorbestimmten Bereich
umfassend den Merkmalspunkt B3 gemessen werden, beispielsweise durch
eine Summe der Fehlerquadrate oder eine normalisierte Korrelation eines
Helligkeitswertes, welcher für
eine rechteckige Fläche
von 5 Pixel mal 5 Pixel berechnet ist.
-
Die
richtige Übereinstimmung
zwischen den Merkmalspunkten wird basierend auf solch einem Vergleichsresultat
extrahiert. Zum Beispiel wird eine Korrespondenz zwischen den Merkmalspunkten, welche
parallel zueinander in die gleiche Richtung bewegt wurden, als richtige
Korrespondenz extrahiert. Die Relativposition zwischen der Referenzabbildung
B1 und der Einzelbildabbildung B2 wird durch das Bewerten des Betrages
der Bewegung in der Abbildung des Merkmalspunktes bestimmt, basierend auf
der richtigen Korrespondenz zwischen den extrahierten Merkmalspunkten
und durch das Bewerten des Bewegungsbetrages der Einzelbildabbildung
B2 bezüglich
der Referenzabbildung B1 aus dem Bewegungsbetrag.
-
7A und 7B sind
Diagramme, welche jeweils ein Beispiel eines Vorgangs des Musterabgleichs
in der Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigen und es wird
ein Zustand gezeigt, in welchem die Merkmalspunkte B3 in den überlappenden
Bereichen B5 und B6, welche aus einer Relativposition zwischen der Referenzabbildung
und einer (n – 1)ten
Einzelbildabbildung abgeschätzt
wurden, miteinander verglichen werden. 7A zeigt
einen Überlappbereich
B4 der beiden Abbildungen, welcher aus der Relativposition zwischen
der Referenzabbildung und der (n – 1)ten Einzelbildabbildung
erhalten wurden. 1B zeigt die Überlappbereiche
B5 und B6 der Referenzabbildung und der n-ten Einzelbildabbildung,
die abgeschätzt
ist aus der Relativposition zwischen der Referenzabbildung und der
(n – 1)ten
Einzelbildabbildung.
-
In
dem Fall, in welchem eine grobe Positionsbeziehung zwischen der
Referenzabbildung B1 und der Einzelbildabbildung B2 vorhergehend
bekannt ist, wird aus einer Abbildung ein Maskenbereich angemessen
extrahiert und die Umgebung eines Bereiches, korrespondierend zu
der anderen Abbildung, wird durchsucht, und entsprechend kann die Relativposition
zwischen diesen Abbildungen mit einer hohen Genauigkeit bestimmt
werden.
-
Also
wird aus einem Bestimmungsresultat der Relativposition zwischen
einer (n – 1)ten
Einzelbildabbildung, welche vorhergehend durch ein Einzelbild und
die Referenzabbildung bereitgestellt wurde, ein Überlappungsbereich B4 dieser
Abbildungen erhalten. Der Überlappungsbereich
B4 wird als die überlappenden
Bereiche B5 und B6 der vorliegenden n-ten Einzelbildabbildung und
der Referenzabbildung bewertet. Dann kann durch das Extrahieren
eines ähnlichen
Merkmalspunktes aus dem Überlappbereich
B6 der n-ten Einzelbildabbildung für die jeweiligen Merkmalspunkte
B3 in dem überlappenden
Bereich B5 der Referenzabbildung die Relativposition zwischen diesen
Abbildungen bestimmt werden.
-
Die
Extraktion ähnlicher
Merkmalspunkte wird durch das Extrahieren einer vorbestimmten Fläche in der
Nähe einer Position
korrespondierend zu den Merkmalspunkten aus dem Überlappbereich B6 der n-ten
Einzelbildabbildung für
die jeweiligen Merkmalspunkte B3 in dem Überlappbereich B5 der Referenzabbildung
und durch das Absuchen des Innenbereichs dieses Bereiches durchgeführt.
-
In
dem vorliegenden bevorzugten Ausführungsbeispiel wird ein Verfahren,
welches in den 7A und 7B gezeigt
ist, angewendet, in welchem ein Vergleich der Merkmalspunkte in
dem Überlappbereich
bezüglich
der Positionierung einer zu positionierenden Einzelbildabbildung
durchgeführt wird,
nachfolgend auf ein zweites Einzelbild und eine zu positionierende
Mosaikabbildung. Andererseits wird das Verfahren angewandt, welches
in den 6A und 6B gezeigt
ist, in welchem ein Vergleich für
die gesamten Merkmalspunkte in dem Fall durchgeführt wird, in welchem die Relativposition durch
das Positionieren einer ersten zu positionierenden Einzelbildabbildung
und der zu positionierenden Mosaikabbildung und durch Vergleichen
bezüglich der
Merkmalspunkte in den Überlappbereichen
nicht bestimmt werden kann oder, in dem Fall des Positionierens
eines Standbildes, welches basierend auf einer Abrufinstruktion
abgerufen wurde, und einer zurückgehaltenen
Mosaikabbildung.
-
Weiterhin
kann in dem Positionierprozess, welcher in Echtzeit bezüglich der
Einzelbildabbildungen durchgeführt
wird, welche kontinuierlich von der Kamera 210 gewonnen
werden, wenn die Anzahl der richtigen Übereinstimmung der derart beschriebenen Merkmalspunkte
geringer ist als ein konstantes Niveau, die Relativposition nicht
bestimmt werden und entsprechend wird die Bewertung abgegeben, dass das
Positionieren fehlgeschlagen ist.
-
Wie
in dem Fall eines Fehlschlagens des Positionierens ist ein Fall
denkbar, in welchem die Merkmalspunkte, welche zum Positionieren
notwendig sind, nicht detektiert werden können aufgrund des Einflusses
von außerhalb
des Fokus liegenden Unschärfen
(engl: „out
of focus blur”).
Weiterhin ist ein Fall denkbar, in dem der Überlappbereich, der aus dem
vorhergehenden Positionierungsresultat abgeschätzt ist, stark von dem tatsächlichen Überlappbereich
aufgrund eines zu kleinen Überlapps
der Referenzabbildung und der Einzelbildabbildung abweicht, oder
zu groß ist
bezüglich
des Bewegungsbetrags zwischen den Einzelbildern.
-
8A und 8B und 9A und 9B sind
Ansichten, welche jeweils ein Beispiel eines Vorgehens während des
Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigen, und zeigt
einen Live-Bildschirm 111, auf welchem eine Live-Abbildung
auf einer anzuzeigenden Mosaikabbildung angezeigt ist. 8A zeigt
eine Live-Abbildung,
welche bezüglich
einer Referenzabbildung positioniert ist, welche aus einer Mosaikabbildung
extrahiert ist, die aus zwei Standbildern hergestellt ist, und 8B zeigt
eine Mosaikabbildung, welche durch das Abrufen und Zusammensetzen
von Standbildern mit dem gleichen sichtbaren Feld wie die Live-Abbildung,
die in 8A gezeigt ist, aktualisiert
wird.
-
In
diesem Beispiel wird eine Positionierungsreferenzabbildung, die
aus einer zurückgehaltenen Mosaikabbildung
extrahiert ist, in einem rechteckigen Rahmen angeordnet, welcher
durch eine gepunktete Linie angezeigt ist. Diese Referenzabbildung
ist ein Standbild, welches zuletzt bezüglich der zurückgehaltenen
Mosaikabbildung zusammengesetzt wurde.
-
Andererseits
wird eine Live-Abbildung in einem rechteckigen Rahmen, welcher durch
eine durchgezogene Linie gezeigt ist, angeordnet und eine Anzeigenposition
des rechteckigen Rahmens wird entschieden basierend auf einem Bestimmungsresultat
einer Relativposition zwischen der Referenzabbildung und der vorliegenden
zu positionierenden Einzelbildabbildung. Also wird die Anzeigenposition der
Live-Abbildung verändert
in Antwort auf die Relativposition der Einzelbildabbildung, wenn
diese beim Positionieren der Einzelbildabbildung erfolgreich war. Andererseits
wird die Anzeigenposition der Live-Abbildung festgelegt auf eine Position
einer letzten Einzelbildabbildung, bei welcher die Positionierung
erfolgreich war, wenn die Positionierung fehlschlug.
-
Wenn
ein Abrufen eines zu zusammenzusetzenden Standbildes in einem Zustand,
welcher in 8A gezeigt ist, instruiert wird,
wird das Standbild mit dem gleichen sichtbaren Feld wie die Live-Abbildung
während
des Anzeigens abgerufen und mit der zurückgehaltenen Mosaikabbildung
gekoppelt, um eine neue zurückgehaltene
Mosaikabbildung zu erzeugen. Eine anzuzeigende Mosaikabbildung wird während des
Anzeigens durch das Reduzieren der neuen zurückgehaltenen Mosaikabbildung
aktualisiert. Zu diesem Zeitpunkt wird die Referenzabbildung ebenso
verändert
auf eine solche, welche zu dem abgerufenen Standbild korrespondiert.
-
9A zeigt
eine Live-Abbildung, welche bezüglich
der Referenzabbildung, die aus der Mosaikabbildung extrahiert ist,
welche in 8B gezeigt ist, positioniert
ist, und 9B zeigt eine Mosaikabbildung,
welche durch das Abrufen und Zusammensetzen eines Standbildes mit
dem gleichen sichtbaren Feld wie das der Live-Abbildung, welche
in 9A gezeigt ist, aktualisiert wird.
-
Die
Referenzabbildung, welche in 9A gezeigt
ist, ist ein Standbild, welches als letztes bezüglich der zurückgehaltenen
Mosaikabbildung während
deren Erzeugung zusammengesetzt wurde. Wenn die bewegbare Bühne 230 in
einer Aufwärtsrichtung
von einem Zustand aus, welcher in 8B gezeigt
ist, bewegt wird, wird das Gesichtsfeld während des Fotografierens in
eine Abwärtsrichtung
bezüglich
eines Werkstückes
(des zu untersuchendes Objekts) bewegt und die Live-Abbildung, welche
in 9A gezeigt ist, kann gewonnen werden.
-
Wenn
ein Abruf in einem Zustand instruiert wird, welcher in 9A gezeigt
ist, wird ein Standbild mit dem gleichen sichtbaren Feld wie das
der Live-Abbildung während
des Anzeigens abgerufen und mit der zurückgehaltenen Mosaikabbildung
gekoppelt, um eine neue zurückgehaltene
Mosaikabbildung zu erzeugen. Die anzuzeigende Mosaikabbildung während des
Anzeigens wird aktualisiert durch das Reduzieren der neuen zurückgehaltenen
Mosaikabbildung und die Referenzabbildung wird ebenso verändert zu
einer solchen, welche zu dem abgerufenen Standbild korrespondiert.
-
10A und 10B sind
Ansichten, welche jeweils ein Beispiel des Vorgehens während des Anzeigens
einer Live-Abbildung
in der Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigen und einen
Zustand zeigen, in welchem eine Referenzabbildung mit einer Bewegung eines
Gesichtsfeldes während
des Fotografierens verändert
wird. 10A zeigt eine Live-Abbildung,
in welcher ein Standbild, welches als letztes bezüglich der
Mosaikabbildung, welche in 9B gezeigt
ist, zusammengesetzt wurde, als die Referenzabbildung positioniert
ist. Weiterhin zeigt 10B eine Live-Abbildung, welche
positioniert ist bezüglich
einer Referenzabbildung, welche mit einer Bewegung eines Gesichtsfeldes
während
des Fotografierens verändert
wird.
-
Wenn
die bewegliche Bühne 230 in
eine Linksrichtung von einem Zustand aus, wie er in 10A gezeigt ist, bewegt wird, wird das Gesichtsfeld
während
des Fotografierens in einer Rechtsrichtung bezüglich des Werkstückes bewegt.
Wenn ein Überlapp
einer Einzelbildabbildung und des Standbilds, welches als letztes
bezüglich
der Mosaikabbildung zusammengesetzt wurde, klein wird durch die Bewegung
des sichtbaren Feldes, wird die Referenzabbildung verändert.
-
Genauer
wird die Referenzabbildung von dem Standbild, welches als letztes
bezüglich
der Mosaikabbildung zusammengesetzt ist, zu einem Standbild verändert, welches
den größten Überlappbereich
mit der Einzelbildabbildung aufweist, und ein Positionieren der
Einzelbildabbildung wird durchgeführt. In dieser neuen Referenzabbildung
wird ein Abbildungsflecken, welcher den größten Bereich in dem Überlappbereich
mit der Einzelbildabbildung hat, ausgewählt basierend auf einer aktualisierten
Historie und einem vergangenen Positionierungsresultat einer Anzeigenposition
der Einzelbildabbildung bezüglich
der Mosaikabbildung. In diesem Beispiel wird zwischen den Standbildern,
welche die Mosaikabbildung ausmachen, ein Standbild benachbart zu
der rechten Seite des als zuletzt zusammengesetzten Standbildes
als die neue Referenzabbildung ausgewählt.
-
11A und 11B sind
Ansichten, welche jeweils ein Beispiel der Betätigung während des Anzeigens einer Live-Abbildung in der
Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigen und einen
Zustand zeigen, bei welchem das Positionieren der Einzelbildabbildung
bei einer Bewegung eines Gesichtsfelds während des Fotografierens fehlgeschlagen
ist. 11A zeigt die Live-Abbildung genau bevor
die Positionierung fehlschlägt,
und 11B zeigt eine Live-Abbildung
genau nachdem das Positionieren fehlgeschlagen ist.
-
Die
Live-Abbildung, welche in 11A gezeigt
ist, umfasst eine Einzelbildabbildung, welche bezüglich der
Referenzabbildung, welche in 10B gezeigt
ist, positioniert ist. Wenn die sich bewegende Bühne 230 in einem Zustand
bewegt wird, welcher in 11A gezeigt
ist, wird ein Überlapp
der Einzelbildabbildung und der Referenzabbildung klein, so dass
sie beim Positionieren versagt.
-
Eine
Anzeigenposition der Einzelbildabbildung nach dem Versagen bei der
Positionierung wird in der Nähe
einer Anzeigenposition einer letzten Einzelbildabbildung festgelegt,
welche bei der Positionierung erfolgreich war, und in einem Anzeigenmodus
angezeigt, welcher sich unterscheidet von einem Fall, bei dem die
Positionierung erfolgreich war.
-
Die
Anzeigenposition der Einzelbildabbildung kann, nachdem die Positionierung
nicht erfolgreich war bezüglich
der Mosaikabbildung, von der Anzeigenposition der letzten Einzelbildabbildung, welche
beim Positionieren erfolgreich war, um näherungsweise mehrere Pixel
abweichen.
-
Wenn
das Positionieren der Einzelbildabbildung fehlgeschlagen ist, wird
ein Betriebsmodus von einem Hochgeschwindigkeitsfolgemodus auf einen Gesichtsfeldsuchmodus
umgeschaltet. Dann wird, wie für
die Einzelbildabbildung welche nach dem Fehlschlagen der Positionierung
gewonnen wird, die Merkmalsquantität der gesamten letzten Referenzabbildung,
bei welcher die Positionierung erfolgreich war, und eine Merkmalsabbildung
der gesamten Einzelbildabbildung miteinander vergleichen und entsprechend
wird eine Relativposition bestimmt.
-
12 ist
eine Ansicht, welche ein Beispiel eines Vorganges während des
Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigt, und eine Live-Abbildung
zeigt, welche neu positioniert ist, nachdem das Positionieren fehlgeschlagen
ist. Wenn die Positionierung der Einzelbildabbildung bezüglich der
Referenzabbildung, welche in 11 gezeigt
ist, fehlgeschlagen ist, wird ein Betriebsmodus auf einen Gesichtsfeldsuchmodus
umgeschaltet, welcher einen Vergleich der Merkmalsquantität der gesamten letzten
Referenzabbildung, bei welcher die Positionierung erfolgreich war,
und einer Merkmalsquantität der
gesamten Einzelbildabbildung, durchgeführt wird, um von jeglichem
Teil der Referenzabbildung zurückzukehren.
-
Schritte
S101 bis S126, welche in 13 bis 15 gezeigt
sind, sind Flussdiagramme, welche jeweils ein Beispiel eines Vorganges
während
des Anzeigens einer Live-Abbildung in der Vergrößerungsbetrachtungsvorrichtung 1,
welche in 1 gezeigt ist, zeigen. Als erstes
gewinnt die Merkmalsquantitätsextraktionseinheit 131 eine
zu positionierende Einzelbildabbildung und extrahiert Merkmalspunkte
der gesamten Abbildungen, wenn die zu positionierende Einzelbildabbildung
eine erste Einzelabbildung ist (Schritt S101 bis S103).
-
Als
nächstes
vergleicht die Relativpositionsbestimmungseinheit 132 für die gesamten
Merkmalspunkte, die in der gesamten Einzelbildabbildung umfasst
sind, und die gesamten Merkmalspunkte, welche in der gesamten Referenzabbildung
umfasst sind, und eine Relativposition zwischen der vorliegenden
zu positionierenden Einzelbildabbildung und einer zu positionierenden
Mosaikabbildung wird bestimmt (Schritt S104). Zu diesem Zeitpunkt
wird, wenn die Relativposition bestimmt werden kann und wenn die
Positionierung der Einzelbildabbildung erfolgreich war, eine Anzeigenposition
der Einzelbildabbildung bezüglich
der Mosaikabbildung verändert
basierend auf einem Bestimmungsresultat der Relativposition, und
die Live-Abbildung wird aktualisiert (Schritte S105, S110 und S111).
-
Andererseits,
wenn die gewonnene zu positionierende Einzelbildabbildung nicht
die erste Einzelbildabbildung ist, bezieht sich die Relativpositionsbestimmungseinheit 132 auf
ein Resultat der vorhergehenden Positionierung, also auf ein Bestimmungsresultat
der Relativposition zwischen der zu positionierenden Einzelbildabbildung,
welche vorhergehend durch ein Einzelbild bereitgestellt wurde, und
der zu positionierenden Mosaikabbildung, und schätzt einen Überlappbereich zwischen der
vorliegenden zu positionierenden Einzelbildabbildung und der Referenzabbildung
ab (Schritte S102, S106 und S107). Die Merkmalsquantitätsextraktionseinheit 131 extrahiert Merkmalspunkte
aus dem extrahierten überlappenden
Bereich.
-
Als
nächstes
vergleicht die Relativpositionsbestimmungseinheit 132 die
Merkmalspunkte in dem Überlappbereich
zwischen der vorliegenden zu positionierenden Einzelbildabbildung
und der Referenzabbildung und bestimmt die Relativposition zwischen diesen
Abbildungen (Schritt S108). Zu diesem Zeitpunkt wird, wenn die Relativposition
nicht bestimmt werden kann, eine Prozessprozedur nachfolgend zu Schritt
S103 ausgeführt
(Schritt S109). Wenn die Relativposition im Schritt S109 bestimmt
werden kann wenn sie beim Positionieren erfolgreich war, wird eine
Anzeigenposition der Einzelbildabbildung bezüglich der Mosaikabbildung verändert, basierend auf
dem Bestimmungsresultat der Relativposition, und die Live-Abbildung wird aktualisiert
(Schritte S110 und S111).
-
Nach
dem Aktualisieren der Live-Abbildung, wenn eine Abrufinstruktion
eines zusammenzusetzenden Standbildes gegeben ist, wird das Standbild abgerufen,
basierend auf der Abrufinstruktion und ein Positionieren wird durch
ein Musterabgleich mit den zurückgehaltenen
Mosaikabbildungen durchgeführt (Schritte
S112 und S114). Ein Kopplungsprozess wird zwischen dem Standbild
und der zurückgehaltenen
Mosaikabbildung durchgeführt,
basierend auf dem Positionierungsresultat, und die angezeigten und
zurückgehaltenen
Mosaikabbildungen werden aktualisiert (Schritte S115 und S116).
Die Prozessprozedur von Schritt S101 bis Schritt S116 wird wiederholt,
bis ein Abschließen
des Fotografierens instruiert wird, und wenn das Abschließen des
Fotografierens instruiert wird, ist die Prozedur abgeschlossen (Schritt
S113).
-
Wenn
die Relativposition nicht bestimmt werden kann im Schritt S105 und
wenn das Positionieren nicht erfolgreich war, wird ein Abgleichfehler
erzeugt und die Anzeigenposition der Einzelbildabbildung bezüglich der
Mosaikabbildung wird festgelegt, um die Live-Abbildung zu aktualisieren
(Schritte S117 bis S119). Nach dem Aktualisieren der Live-Abbildung, wenn
die Abrufinstruktion für
das Standbild gegeben ist, wird ein Fehler dahingehend, dass es
nicht möglich
ist dieses anzukoppeln, ausgegeben (Schritte S120 und S122).
-
Als
nächstes,
wenn ein Abschließen
des Fotografierens instruiert ist, wird dieser Prozess abgeschlossen
(Schritt S101). Andererseits, wenn das Abschließen des Fotografierens nicht
instruiert ist, erhält
die Merkmalsquantitätsextraktionseinheit 131 eine
neue zu positionierende Einzelbildabbildung und extrahiert die Merkmalspunkte
aus den gesamten Abbildungen (Schritte S121, S123 und S124).
-
Dann
vergleicht die Relativpositionsbestimmungseinheit 132 die
gesamten Merkmalspunkte, welche in der gesamten Einzelbildabbildung
umfasst sind, und die gesamten Merkmalspunkte, welche in der gesamten
Referenzabbildung umfasst sind und bestimmt die Relativposition
zwischen der vorliegenden zu positionierenden Einzelbildabbildung
und der zu positionierenden Mosaikabbildung (Schritt S125). Zu diesem
Zeitpunkt, wenn die Relativposition nicht bestimmt werden kann und
wenn das Positionieren fehlschlägt,
wird eine Prozessprozedur nachfolgend zum Schritt S119 wiederholt.
Andererseits, wenn die Relativposition bestimmt werden kann und
wenn das Positionieren erfolgreich ist, wird eine Prozessprozedur
nachfolgend zum Schritt S110 wiederholt.
-
Entsprechend
dem vorliegenden bevorzugten Ausführungsbeispiel wird ein Gesichtsfeld
während
des Fotografierens in einer angemessenen Position auf der Mosaikabbildung
während
der Erzeugung als der Live-Abbildung angezeigt, und daher kann das
Standbild abgerufen werden, um die Mosaikabbildung zu koppeln, während ein
Benutzer dazu gebracht wird, eine Positionsbeziehung zwischen dem
Gesichtsfeld während
des Fotografierens und der Mosaikabbildung während deren Erzeugung zu bestätigen. Genauer
wird die Anzeigenposition der Live-Abbildung verändert in Antwort auf die Relativposition
zwischen der Einzelbildabbildung und der Mosaikabbildung, wenn das
Positionieren der Einzelbildabbildung erfolgreich war. Andererseits
wird die Anzeigenposition der Live-Abbildung nicht verändert, wenn
das Positionieren fehlschlägt
und daher kann die Anzeigenposition durch die letzte Einzelbildabbildung,
bei welcher das Positionieren erfolgreich war, festgelegt werden.
-
Entsprechend
wird in dem Fall des Anzeigens des Gesichtsfeldes während des
Fotografierens in einer angemessenen Position auf der Mosaikabbildung
als der Live-Abbildung,
nachdem das Positionieren fehlgeschlagen ist, die Anzeigenposition der
Live-Abbildung zurückgehalten,
während
sie festgelegt wird, selbst wenn das sichtbare Feld bewegt wird,
und daher wird es möglich
zu erkennen, dass das Positionieren der Einzelbildabbildung fehlgeschlagen
ist. Weiterhin wird die Relativposition zwischen diesen Abbildungen
durch Vergleich der Merkmalspunkte, welche aus der Einzelbildabbildung
und der Mosaikabbildung extrahiert sind, bestimmt und daher wird
es möglich
zu verhindern, dass die Systemkonfiguration kompliziert wird.
-
Weiterhin
wird in dem Fall des Anzeigens eines Gesichtsfeldes während des
Fotografierens in einer angemessenen Position auf der Mosaikabbildung als
der Live-Abbildung die Anzeigenposition der sich bewegenden Bildabbildung
in der Umgebung der Anzeigenposition der Einzelbildabbildung, von
der als letzter bestimmt wurde, dass sie bei der Positionierung
erfolgreich war, festgelegt und daher kann das Gesichtsfeld während des
Fotografierens einfach in eine Position zurückgeführt werden, welche zur Positionierung
in der Lage ist.
-
Im Übrigen wird
in dem vorliegenden bevorzugten Ausführungsbeispiel eine Beschreibung
gegeben bezüglich
des Beispiels, in welchem für
die Einzelbildabbildung, nachdem das Positionieren fehlgeschlagen
ist, die Relativposition bestimmt wird durch den Vergleich der Merkmalsquantität der gesamten
letzten Referenzabbildung, bei welcher die Positionierung der Einzelbildabbildung
erfolgreich war, und der Merkmalsquantität der gesamten Einzelbildabbildung,
jedoch ist die vorliegende Erfindung nicht darauf beschränkt. Zum
Beispiel umfasst die vorliegende Erfindung einen Fall, in dem für die Einzelbildabbildung,
welche nach dem Fehlschlagen des Positionierens erhalten wurde,
die Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung
durch Vergleichen der Merkmalsquantität, welche in einem Umfangsbereich
der Mosaikabbildung umfasst ist, und der Merkmalsquantität der gesamten
Einzelbildabbildung bestimmt wurde.
-
Darüber hinaus
ist in dem vorliegenden bevorzugten Ausführungsbeispiel eine Beschreibung gegeben
bezüglich
eines Beispiels, in welchem die Referenzabbildung so verändert wird,
wie sie benötigt
wird, um die größte Fläche des Überlappbereichs mit
der Einzelbildabbildung zu enthalten, jedoch ist die vorliegende
Erfindung darauf nicht beschränkt. Zum
Beispiel kann in dem Fall, in dem die Relativposition selbst durch
einen Vergleich der Merkmalspunkte der gesamten zu positionierenden
Einzelbildabbildung und der Merkmalspunkte der gesamten Referenzabbildung
nicht bestimmt werden kann, die Relativposition durch ein Verändern der
Referenzabbildung und durch Vergleichen der Merkmalspunkte der ganzen
veränderten
Referenzabbildung und der Merkmalspunkte der ganzen zu positionierenden Einzelbildabbildung
bestimmt werden. In diesem Fall wird, wenn die Relativposition selbst
wenn die Referenzabbildung verändert
wird nicht bestimmt werden kann, eine Bewertung dahingehend durchgeführt, dass
das Positionieren der Einzelbildabbildung fehlgeschlagen ist. Weiterhin
kann für die
Einzelbildabbildung, welche nach dem Fehlschlagen des Positionierens
der Einzelbildabbildung gewonnen ist, die Relativposition durch
ein Vergleichen der Merkmalsquantität der gesamten letzten Referenzabbildung,
bei welcher die Positionierung erfolgreich war, und der Merkmalsquantität der gesamten
zu positionierenden Einzelbildabbildung bestimmt werden.
-
Weiterhin,
in dem vorliegenden Ausführungsbeispiel
wird eine Beschreibung eines Beispiels gegeben, in welchem die Oberseite,
in welcher die Kanten miteinander schneiden, als die Merkmalsquantität im Fall
des Vergleichens der zu positionierenden Einzelbildabbildung und
der zu positionierenden Mosaikabbildung extrahiert wird, die vorliegende Erfindung
ist jedoch nicht darauf beschränkt.
Zum Beispiel können
für einen
vorbestimmten Bereich einer Abbildung jeweils die Kontrastwerte
in dem Bereich aus der zu positionierenden Einzelbildabbildung und
der zu positionierenden Mosaikabbildung als die Merkmalsquantität extrahiert
werden und können
zwischen diesen Abbildungen verglichen werden. Weiterhin kann ein
Maskenabgleichen ausgeführt
werden, basierend auf der Merkmalsquantität in dem Bereich für den vorbestimmten
Bereich in dem Überlappbereich
ohne das Extrahieren der Kanten und des Kontrastes.
-
Zusätzlich ist
in dem vorliegenden bevorzugten Ausführungsbeispiel Beschreibung
gegeben bezüglich
eines Beispiels, in welchem durch Musterabgleich zwischen der zu
positionierenden Mosaikabbildung und der Einzelbildabbildung eine
relative Positionsbeziehung zwischen diesen Abbildung bewertet wird,
jedoch ist die vorliegende Erfindung nicht darauf beschränkt. Zum
Beispiel kann in der vorliegenden Erfindung ebenso eine solche mit
einem Positionssensor umfasst sein, welcher eine Position in einer X-Achsenrichtung
und einer Y-Achsenrichtung der bewegbaren Bühne 230 detektiert,
und eine Relativposition zwischen der Einzelbildabbildung und der Mosaikabbildung
basierend auf einem Ausgang des Positionssensors bestimmt wird.
-
Im
Allgemeinen, muss in dem Fall des Herstellens eines weniger erkennbaren
Nahtbereichs durch einen Überblendungsprozess,
wenn das Standbild mit der zurückgehaltenen
Mosaikabbildung so gekoppelt wird, dass es glatt verbunden wird
mit einer Glattheit von nicht weniger als einem konstanten Niveau,
nicht weniger als ein konstanter Betrag eines Überlappbereiches zwischen dem
Standbild und der zurückgehaltenen
Mosaikabbildung vorhanden sein. Entsprechend ist es in der Abbildungsvorrichtung,
welche die Relativposition zwischen der Einzelbildabbildung und
der Mosaikabbildung, basierend auf einem Ausgang des Positionssensors,
bestimmt, in dem Fall, in welchem das Standbild korrespondierend
zu der vorliegenden Einzelbildabbildung nicht glatt mit der Mosaikabbildung
gekoppelt werden kann, denkbar, dass die Anzeigenposition der Live-Abbildung
festgelegt wird.
-
Wenn
in einer solchen Konfiguration wird in dem Fall, in welchem das
Standbild, welches das gleiche sichtbare Feld wie die Live-Abbildung
aufweist, nicht glatt mit der Mosaikabbildung gekoppelt werden kann,
die Anzeigenposition der Live-Abbildung festgelegt und daher kann
ein Benutzer erkennen, dass das Gesichtsfeld während des Fotografierens nicht
glatt mit der Mosaikabbildung während
deren Erzeugung gekoppelt werden kann.