DE10053187A1 - Verfahren zur Unterdrückung geometrischer Verzerrungen eines Bildraumes - Google Patents
Verfahren zur Unterdrückung geometrischer Verzerrungen eines BildraumesInfo
- Publication number
- DE10053187A1 DE10053187A1 DE10053187A DE10053187A DE10053187A1 DE 10053187 A1 DE10053187 A1 DE 10053187A1 DE 10053187 A DE10053187 A DE 10053187A DE 10053187 A DE10053187 A DE 10053187A DE 10053187 A1 DE10053187 A1 DE 10053187A1
- Authority
- DE
- Germany
- Prior art keywords
- graphics
- space
- core
- transcription
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 52
- 230000035897 transcription Effects 0.000 claims abstract description 45
- 238000013518 transcription Methods 0.000 claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 31
- 238000000844 transformation Methods 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
Ein Bezugsraum enthält mehrere Bezugsgraphiken. Ein Bildraum wird durch Abbildung des Bezugsraumes erhalten. Gruppen von affinen Transformationen werden aus dem Bezugsraum und dem Bildraum bestimmt, um Graphikkerne abgebildeter Graphiken auf Graphikkerne von Bezugsgraphiken abzubilden. Wenn ein Positionsfehler nach einer affinen Transformation außerhalb einer Toleranz liegt, wird der Bezugsraum in Unterräume unterteilt. Affine Transformationen und Raumunterteilungen werden für Unterräume außerhalb der Toleranz wiederholt, bis ihre Abschätzung der Verzerrung schließlich innerhalb der Toleranz liegt.
Description
Die vorliegende Erfindung betrifft ein Verfahren zum
Unterdrücken geometrischer Verzerrungen, die beispielsweise
in einem Bildraum vorhanden sind, wenn eine ebene Form auf
der Grundlage eines Bildes gemessen wird, das von einem
Abbildungsgerät, beispielsweise einer CCD-Kamera, aus einem
zu messenden Probenraum aufgenommen wird.
Herkömmliche Verfahren zum Kompensieren geometrischer
Verzerrungen, die zum Beispiel in einem von einer CCD-Kamera
aufgenommenen Bildraum auftreten, unter Verwendung einer
gitterförmigen Graphik als Bezugsraum, umfassen:
- 1. ein Approximationsverfahren mit Polynomen;
- 2. ein Verfahren der Durchführung affiner Transformationen über dem gesamten Raum; und
- 3. ein Verfahren der funktionellen Approximation über den Schritt, nach Gründen zu suchen, welche Verzerrungen hervorrufen, beispielsweise die Aberration einer Linse.
Bei dem Verfahren (1), das eine Approximation unter Einsatz
von Polynomen durchführt, läßt sich die Erzielung einer hohen
Genauigkeit durch Verwendung von Polynomen höherer Ordnung
erwarten, was andererseits jedoch die Berechnungskosten
erhöht. Das Verfahren (2), welches affine Transformationen
über dem gesamten Raum vornimmt, kann nicht auf nicht-lineare
Verzerrungen reagieren, und läßt daher keine hohe Genauigkeit
erwarten. Das Verfahren (3), welches eine
Funktionsapproximation durchführt, weist die Schwierigkeit
auf, daß die Ermittlung der Funktion schwierig ist, und läßt
keine hohe Genauigkeit für derartigen Verzerrungen erwarten,
bei denen eine lokale Krümmung stark variiert.
Daher gibt es im Stand der Technik kein praktisches
Verfahren, um Verzerrungen in einem Bildraum einfach
innerhalb jeder festgelegten Toleranz zu kompensieren.
Ein Vorteil der vorliegenden Erfindung besteht in der
Bereitstellung eines Verfahrens, welches geometrische
Verzerrungen in einem Bildraum einfach innerhalb einer
vorbestimmten Toleranz unterdrücken kann.
Die vorliegende Erfindung stellt ein Verfahren zur
Unterdrückung geometrischer Verzerrungen in einem Bildraum
zur Verfügung, der durch Abbildung eines zu messenden
Probenraums erhalten wird. Das Verfahren umfaßt folgende
Schritte: Vorbereitung eines Bezugsraumes, der entsprechend
zu einem zu messenden Probenraum angeordnet ist, wobei der
Bezugsraum mehrere Bezugsgraphiken enthält, und vorher
bekannte Koordinatenwertpositionen für jeden Graphikkern in
der Bezugsgraphik sowie für ein Bezugszentrum aufweist, das
als Graphikkern der gesamten Bezugsgraphik in dem Bezugsraum
definiert ist; Überlagern eines Transkriptionszentrums in
einem Bildraum auf das Bezugszentrum in dem Bezugsraum, wobei
der Bildraum dadurch erhalten wird, daß der Probenraum so
abgebildet wird, daß er mehrere abgebildete Graphiken
entsprechend den mehreren Bezugsgraphiken enthält, und das
Transkriptionszentrum als ein Graphikkern der gesamten
abgebildeten Graphiken in dem Bildraum definiert ist;
Durchführung einer primären affinen Transformation zum
Transformieren einer Gruppe von Transkriptionsgraphikkernen,
die aus Graphikkernen in den mehreren abgebildeten Graphiken
bestehen, Kern für Kern auf eine Gruppe von
Bezugsgraphikkernen, die aus Graphikkernen in den mehreren
Bezugsgraphiken bestehen; Durchführung einer primären
räumlichen Unterteilung zum Aufteilen des Bezugsraumes in
mehrere primär unterteilte Räume; Ermittlung einer
Abschätzung für die Verzerrung jedes der primär unterteilten
Räume aus einem Positionsfehler zwischen jedem
Transkriptionsgraphikkern nach der primären affinen
Transformation und dem zugehörigen Bezugsgraphikkern;
Klassifizieren der primär unterteilten Räume in unterteilte
Räume innerhalb und außerhalb der Toleranz, bei denen die
Abschätzung für die Verzerrung innerhalb bzw. außerhalb einer
vorbestimmten Toleranz liegt; Durchführung einer zweiten
affinen Transformation für die unterteilten Räume außerhalb
der Toleranz, um eine Gruppe von Transkriptionsgraphikkernen
in dem entsprechenden Bildraum auf eine Gruppe von
Bezugsgraphikkernen in den unterteilten Räumen außerhalb der
Toleranz zu transformieren; Durchführung einer zweiten
räumlichen Unterteilung, um die primär unterteilten Räume
außerhalb der Toleranz in mehrere sekundär unterteilte Räume
nach der primären und der sekundären affinen Transformation
zu unterteilen; und Wiederholung der affinen Transformationen
und der räumlichen Unterteilungen für die unterteilten Räume
außerhalb der Toleranz, bis der Schätzwert für die Verzerrung
innerhalb der vorbestimmten Toleranz liegt.
Gemäß der vorliegenden Erfindung können Wiederholungen
affiner Transformationen und räumlicher Unterteilungen
einfach geometrische Verzerrungen in einem Bildraum
ausschalten, der durch Abbildung eines zu messenden
Probenraums mit Hilfe einer CCD-Kamera oder dergleichen
erhalten wird.
Bei dem Verfahren gemäß der vorliegenden Erfindung kann die
Abschätzung der Verzerrung als das Maximum einer Norm für
einen Positionsfehler zwischen dem Bezugsgraphikkern und dem
Transkriptionsgraphikkern nach der affinen Transformation
bestimmt werden. Alternativ hierzu kann, wenn der nächste
Transkriptionsgraphikkern in Bezug auf den Bezugsgraphikkern
erhalten werden kann, die Abschätzung der Verzerrung als das
Maximum einer Norm für einen Positionsfehler zwischen dem
nächsten Transkriptionsgraphikkern und dem
Transkriptionsgraphikkern entsprechend dem Bezugsgraphikkern
bestimmt werden. Bei jeder der affinen Transformationen kann
eine affine Transformation durch den Einsatz des Verfahrens
der kleinsten Fehlerquadrate in Bezug auf einen
Positionsfehler zwischen einer transformierten Position und
dem zugehörigen Bezugsgraphikkern bestimmt werden. Jede der
räumlichen Unterteilungen kann eine vierfache Unterteilung
umfassen, bei welcher ein Raum vertikal und horizontal
jeweils annähernd zweifach unterteilt wird. Die mehreren
Bezugsgraphiken können ihre Bezugsgraphikkerne zum Teil auf
einer Grenze entweder des Bezugsraums oder jedes von
unterteilten Räumen anordnen, die durch Unterteilung des
Bezugsraumes erhalten werden. Eine Grenze entweder des
Bezugsraumes oder jedes der Bezugsbereiche, die durch
Unterteilung des Bezugsraumes erhalten werden, kann entweder
ein Rechteck, ein Dreieck oder einen Kreisbogen beschreiben.
Die Erfindung wird nachstehend anhand zeichnerisch
dargestellter Ausführungsbeispiele näher erläutert, aus
welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:
Fig. 1 eine Beziehung zwischen einem Bezugsraum und einem
Bildraum bei der vorliegenden Erfindung;
Fig. 2 eine Beziehung zwischen einer affinen
Transformation und einer Toleranz bei der
vorliegenden Erfindung;
Fig. 3A ein Beispiel für eine räumliche Unterteilung des
Bezugsraumes bei der vorliegenden Erfindung;
Fig. 3B ebenfalls ein Beispiel für eine räumliche
Unterteilung des Bezugsraumes; und
Fig. 4 ein System zum Abbilden eines
Interferenzstreifenbildes, bei welchem die
vorliegende Erfindung einsetzbar ist.
Bei vorbestimmten Ausführungsformen werden Algorithmen zum
Ausschalten geometrischer Verzerrungen in einem Bildraum
gemäß der vorliegenden Erfindung in der folgenden Reihenfolge
beschrieben: (a) Bezugsraum und Bildraum; (b) Bestimmung der
Gleichung der affinen Transformation und der Abschätzung der
Verzerrung; und (c) räumliche Unterteilung, damit sämtliche
Positionsfehler innerhalb der Toleranz liegen, auf der
Grundlage der Abschätzung der Verzerrung.
Wie in Fig. 1 gezeigt ist, wird ein Bezugsraum 4 so
vorbereitet, daß er mehrere Bezugsgraphiken 1 entsprechend
einem zu messenden Probenraum aufweist. Jede Bezugsgraphik 1
weist einen Bezugsgraphikkern 2 (bk(k = 1, 2, . . ., n)) auf,
welcher der Graphikkern innerhalb einer vorbekannten, exakten
Koordinatenposition ist. Der Graphikkern in der gesamten
Bezugsgraphik 1 wird als das Bezugszentrum 3 (bg) bezeichnet,
von welchem ebenfalls angenommen wird, daß es einen vorher
bekannten Koordinatenwert aufweist.
Andererseits wird ein Bildraum 8 erhalten, wenn eine
CCD-Kamera eine Abbildung der Bezugsgraphik 1 durchführt. Bei
dem Bildraum 8 sind Graphiken entsprechend den
Bezugsgraphiken 1 als abgebildete Graphiken 5 bezeichnet;
Kerne entsprechend den Bezugsgraphiken 2 werden als
Transkriptionsgraphikkerne 6 bezeichnet (ak(k = 1, 2, . . .,
n)); und der Graphikkern in der gesamten abgebildeten Graphik
5, welcher dem Bezugszentrum 3 entspricht, wird als das
Transkriptionszentrum 7 (ag) bezeichnet. Jede der
Bezugsgraphiken 1 in dem Bezugsraum 4 ist so festgelegt, daß
ihr Bezugsgraphik 2 teilweise auf einer Grenze eines
unterteilten Raumes liegt, wenn wie nachstehend genauer
erläutert eine räumliche Unterteilung vorgenommen wird.
Bei einer derartigen Beziehung zwischen dem Bezugsraum und
dem Bildraum 8 wird das Bezugszentrum 3 (bg) dem
Transkriptionszentrum 7 (ag) überlagert, wie dies in Fig. 2
gezeigt ist. Dann wird eine affine Transformation
durchgeführt, um eine Transkription der
Transkriptionsgraphikkerne 6 auf die Bezugsgraphikkerne 2
durchzuführen.
Bei diesem Vorgang wird für sämtliche
Transkriptionsgraphikkerne 6 das Maximum eines
Positionsfehlers zwischen einer affinen transformierten
Position und dem zugehörigen Bezugsgraphikkern 2 als eine
Abschätzung der Verzerrung ε eingesetzt, die untersucht wird,
um festzustellen, ob sie innerhalb einer vorbestimmten
Toleranz δ liegt oder nicht. Wenn der Bezugsraum 4 in
n zweidimensionale Gitter unterteilt wird, wird folgendes
angenommen. Der kleinste Raum (ein quadratischer Bereich,
umgeben von vier benachbarten Punkten) enthält derartige,
vorher ausgewählte Gruppen von Bezugsgraphikkernen 2 und von
Transkriptionsgraphikkernen 6, die immer innerhalb einer
festgelegten Toleranz liegen, nachdem eine affine
Transformation durchgeführt wurde.
Wenn Bezugsgraphikkerne für n Transkriptionsgraphikkerne
ak = (ax k, ay k)T definiert werden als bk = (bx k, by k)T, so wird
eine affine Transformation durch folgende Gleichung (1)
dargestellt:
wobei angenommen wird, daß ein Koordinatenwert jedes
Graphikkerns in einen arideren Koordinatenwert in einem
derartigen Koordinatensystem umgewandelt wird, bei welchem
der Ursprung aus dem Transkriptionsoriginalgraphikkern ag und
dem Originalgraphikkern bg besteht. Unter Berücksichtigung
von bk - A (A0ak) für jedes k läßt sich eine Funktion
f(x1, x2, x3, x4) folgendermaßen ausdrücken:
Eine affine Transformation A wird durch das Verfahren der
kleinsten Fehlerquadrate bestimmt. Unter der Bedingung
δf/δx1 = δf/δx2 = δf/δx3 = δf/δx4 = 0 kann die affine
Transformation dadurch ermittelt werden, daß die folgende
lineare Gleichung (3) gelöst wird:
Eine Lösung der Gleichung (3) ergibt die folgende Gleichung
(4):
Die affine Transformation A in dem Bildraum kann durch
folgende Gleichung (5) dargestellt werden:
wobei (X, Y) einen Koordinatenwert in dem Bildraum
bezeichnet, und (x, y) einen Koordinatenwert in dem
Bezugsraum.
Wie voranstehend geschildert wird der Positionsfehler
zwischen dem Bezugsgraphikkern 2 und dem transformierten
Transkriptionsgraphikkern 6 als Abschätzung für die
Verzerrung ε verwendet. Beispielsweise wird eine Abschätzung
für die Verzerrung ε in dem Bildraum S als Maximum einer Norm
für einen Positionsfehler zwischen dem Bezugsgraphikkern und
dem affinen transformierten Transkriptionsgraphikkern durch
folgende Gleichung (6) definiert:
wobei eine Norm ∥.∥ definiert für jedes
wie in der folgenden Gleichung (7):
In Gleichung (6) bezeichnet b die Bezugsgraphikkerne in dem
Bezugsraum entsprechend dem Transkriptionsgraphikkern a ∈ S.
Bei einem weiteren Beispiel für die Abschätzung der
Verzerrung ε kann folgende Definition betrachtet werden,
unter Verwendung von b als Bezugsgraphikkern und a als
Transkriptionsgraphikkern, auf dieselbe Weise wie
voranstehend geschildert. Unter Berücksichtigung der nächsten
Transkriptionsposition in Bezug auf den Bezugsgraphikkern, wo
x die Beziehung a, x ∈ S erfüllt, und ∥Ax - b∥ erfüllt, kann
als Maximum für einen Positionsfehler zwischen der nächsten
Transkriptionsposition und dem Transkriptionsgraphikkern
entsprechend dem Bezugsgraphikkern die Abschätzung der
Verzerrung ε mit folgender Gleichung (8) definiert werden:
wobei x die nächste Transkriptionsposition ist.
Es wird vorausgesetzt, daß bei der vorliegenden Diskussion
die Abschätzung der Verzerrung ε gemäß Gleichung (6)
verwendet wird. Mit dieser Abschätzung der Verzerrung ε wird
ein Prozeß durchgeführt, um zu bestimmen, ob sie innerhalb
der vorbestimmten Toleranz δ liegt oder nicht. Ist dies nicht
der Fall, so wird mit dem Bildraum (Bezugsraum) ein Prozeß
durchgeführt, in welchem er in unterteilte Bildräume
aufgeteilt wird, mit denen dann nächste affine
Transformationen durchgeführt werden. Diese Prozesse werden
wiederholt, bis sämtliche Abschätzungen der Verzerrung ε
schließlich innerhalb der vorbestimmten Toleranz δ liegen, um
geometrische Verzerrungen auszuschalten.
Wie voranstehend geschildert werden die folgenden Schritte
der räumlichen Unterteilungen durchgeführt, wenn
bk = (bx k, by k)T bei den Bezugsgraphikkernen für n
Transkriptionsgraphikkerne ak = (ax k, ay k)T gesetzt wird; die
affine Transformation durch die Gleichung (1) dargestellt
wird; und bg bei dem Transkriptionsgraphikkern in dem
Bezugsraum sowie ag bei dem Originalgraphikkern in dem
Bezugsraum gesetzt wird.
Wie in Fig. 1 gezeigt ist, wird aus den Bezugsgraphikkernen
2: bk = (bx k, by k) in dem gesamten Raum S des Bezugsraumes 4
und den entsprechenden Transkriptionsgraphikkernen 6:
ak = (bx k, by k) eine primäre affine Transformation A0 durch das
voranstehend geschilderte Verfahren ermittelt.
Wie in Fig. 3A gezeigt ist, ergibt die primäre räumliche
Unterteilung, die bei dem Bezugsraum 4 durchgeführt wird,
unterteilte Räume S1, S2, S3 und S4. Beim vorliegenden
Beispiel ist die räumliche Unterteilung eine Unterteilung in
vier Teile, welche den Raum vertikal und horizontal jeweils
in zwei Teile so unterteilt, daß Unterteilungsgrenzen den
Graphikkern 2 überqueren. Daher ist ein Teil des
Bezugsgraphikkernes 2 auf einer Grenze jedes
Unterteilungsraums vorhanden (eines Bezugsbereiches oder des
Bezugsraumes). Die Grenze jedes Bezugsbereiches beschreibt
ein Parallelogramm (ein Quadrat oder ein Rechteck), und der
äußerste Rahmen bildet den Bezugsraum 4. Es ist ebenfalls
möglich, den Bezugsraum so zu wählen, daß eine Grenze des
Bezugsraumes oder jedes Bezugsbereiches in dem Bezugsraum
einen Kreisbogen oder ein Dreieck beschreibt. Der Bildraum 8
wird ebenfalls in Unterräume S1' bis S4' unterteilt, wie in
Fig. 3B gezeigt, was den primär unterteilten Räumen S1 bis
S4 des Bezugsraumes 4 entspricht. Da die unterteilten Räume
in dem Bezugsraum 4 jenen in dem Bildraum 8 in einer
Beziehung von 1 : 1 entsprechen, betrifft die nachfolgende
Beschreibung speziell die räumliche Unterteilung für den
Bezugsraum.
Eine Abschätzung der Verzerrung für jeden dieser unterteilten
Räume ist als εk (k = 1, 2, 3, 4) dargestellt, was dem
Maximum eines Positionsfehlers zwischen dem transformierten
Transkriptionsgraphikkern und dem entsprechenden
Bezugsgraphikkern entspricht. Diese unterteilten Räume werden
primär in unterteilte Räume innerhalb der Toleranz, bei denen
eine Abschätzung der Verzerrung vorhanden ist, die innerhalb
einer vorbestimmten Toleranz δ liegt, und in unterteilte
Räume außerhalb der Toleranz unterteilt, bei denen eine
Abschätzung der Verzerrung vorhanden ist, die außerhalb der
Toleranz liegt. Bei dem Beispiel von Fig. 3 weist unter den
vier unterteilten Räumen S1 bis S4 der unterteilte Raum S1
eine derartige Abschätzung der Verzerrung ε auf, die
innerhalb der Toleranz δ liegt, und daher mit der primären
affinen Transformation A0 kompensiert werden kann. Daher ist
es bei diesem unterteilten Raum S1 nicht erforderlich, daß er
weiter unterteilt wird, und kann er so kompensiert werden,
daß sein Positionsfehler innerhalb der festgelegten Toleranz
ε liegt, und zwar durch die folgende Gleichung (9) für eine
affine Transformation:
In Bezug auf die übrigen Unterteilten Räume S2, S3 und S4, bei
denen Abschätzungen der Verzerrung vorhanden sind, die
außerhalb der Toleranz δ liegen, geht die Prozedur mit dem
nächsten Schritt weiter.
Diese unterteilten Räume S2, S3 und S4 wurden bereits durch
die primäre affine Transformation A0 transformiert. In diesem
Fall wird A0a für den Transkriptionsgraphikkern in der
Transkriptionsgraphik verwendet, anstelle von a, in Bezug auf
die Bestimmung einer Gleichung für die affine Transformation
und die Abschätzung einer Verzerrung. Der unterteilte Raum S2
wird in der nachstehenden Diskussion erläutert.
Zur Bestimmung einer affinen Transformation wird bk - A (A0ak)
anstelle von bk - Aak verwendet. Eine affine Transformation A
wird durch das Verfahren der kleinsten Fehlerquadrate
bestimmt, wobei die Funktion f(x1, x2, x3, x4) durch folgende
Gleichung (10) ausgedrückt wird:
Die Abschätzung der Verzerrung ε kann durch folgende
Gleichung (11) erfolgen:
Wenn die so ermittelte, affine Transformation A durch A1
bezeichnet wird, wird eine affine Transformation A(2) in dem
unterteilten Raum S2 für jeden Wert von
gemäß folgender Gleichung (12) repräsentiert:
Daraus wird geschlossen, daß gilt: A(2) = A1A0. Diese affine
Transformation A(2) stellt eine Synthese von zwei
Transformationen dar, nämlich der primären affinen
Transformation A0 in dem gesamten Bildraum und der sekundären
affinen Transformation A1 in dem primär unterteilten Raum S2.
Mit dem unterteilten Raum S2 wird weiterhin eine sekundäre
Raumunterteilung durchgeführt, um sekundär unterteilte Räume
S21 bis S24 auszubilden, wie dies in den Fig. 3A-B gezeigt
ist. Die räumliche Unterteilung im vorliegenden Fall ist
ebenfalls eine Unterteilung auf vier Teile, bei welcher der
Raum jeweils vertikal und horizontal annähernd in zwei Teile
geteilt wird, so daß die Bezugsgraphikkerne 2 auf
Unterteilungsgrenzen angeordnet sind. Diese sekundären,
unterteilten Räume S21 bis S24 werden sekundär in unterteilte
Räume S21, S24 innerhalb der Toleranz sowie in unterteilte
Räume S22, S23 außerhalb der Toleranz unterteilt. Bei ihnen
sind Abschätzungen der Verzerrung εk(k = 1, 2, 3, 4) nach
der primären und sekundären vereinigten Transformation
vorhanden, die innerhalb einer festgelegten Toleranz δ bzw.
außerhalb von dieser liegen. Bei den unterteilten Räumen S21,
S24 innerhalb der Toleranz können deren Verzerrungen durch
die affine Transformation A(2) kompensiert werden. Für die
unterteilten Räume S22, S23 außerhalb der Toleranz werden
entsprechende Unterteilungen wiederholt.
In einem unterteilten Raum Sx1, x2, . . ., xn nach der
Unterteilung der n-ten Ordnung wird daher eine affine
Transformation A(n) allgemein für jedes
durch folgende Gleichung (13) repräsentiert:
Mit dieser affinen Transformation A(n) können Verzerrungen
ausgeschaltet werden.
Mit Hilfe der voranstehend geschilderten ersten bis dritten
Schritte ist es möglich, daß an sämtlichen Punkten in dem
Bildraum Positionsfehler innerhalb der festgelegten Toleranz
δ liegen.
Eine spezielle Ausführungsform eines Einsatzes der
voranstehend geschilderten Algorithmen bei einem System zum
Messen einer ebenen Form wird als nächstes beschrieben. Fig.
4 erläutert eine Einrichtung zur Messung von
Interferenzstreifen des Phasenverschiebungstyps mit mehreren
(im vorliegenden Fall drei) CCD-Kameras 412a, 412b und 412c,
um Interferenzstreifenmessungen zur Messung einer ebenen Form
aufzunehmen. In der japanischen Veröffentlichung JP 2-287101 A
wird das Prinzip einer derartigen Einrichtung zur
gleichzeitigen Messung phasenverschobener Interferenzstreifen
beschrieben. Eine Laserlichtquelle 401 sendet einen Strahl
aus kohärentem Licht aus, der durch eine Linse 402 vergrößert
wird, dann an einer Kollimatorlinse 404 über einen
nicht-polarisierenden Strahlteiler 403 kollimiert wird, und
auf eine Bezugsoberfläche 405 aufgestrahlt wird. Die
Bezugsoberfläche 405 ist zum Teil reflektierend und zum Teil
durchlässig. Ein Strahl, der durch die Bezugsoberfläche 405
hindurchgegangen ist, gelangt auf eine Probenoberfläche 407
über eine Viertelwellenlängenplatte 406.
Licht, das an der Bezugsoberfläche 405 reflektiert wird,
sowie Licht, das an der Probenoberfläche 407 reflektiert
wird, überlagern einander an der Viertelwellenlängenplatte
406 als nicht-interferierende Strahlen, welche orthogonale
Polarisationsrichtungen aufweisen (also eine Phasendifferenz
von 180 Grad). Dann erfolgt eine weitere Reflexion an dem
Strahlteiler 403. Die nicht-interferierenden Strahlen sind
zirkulär polarisierte Strahlen, welche Information in Bezug
auf die Ebene der Probenoberfläche 407 in Form einer
Phasendifferenz zwischen dem Licht, das an der
Bezugsoberfläche 405 reflektiert wurde (Bezugslicht) und dem
Licht enthalten, das an der Probenoberfläche 407 reflektiert
wurde (Probenlicht). Diese nicht-interferierenden Strahlen
werden durch zwei nicht-polarisierende Strahlteiler 408a,
408b und einen vollständig reflektierenden Spiegel 408c
hintereinander auf zwei Strahlen aufgeteilt, und dann drei
spektroskopischen Systemen 40a, 40b und 40c zugeführt.
Die spektroskopischen Systeme 40a und 40b weisen eine
Viertelwellenlängenplatte 409a und eine
Halbwellenlängenplatte 409b auf, zum Beispiel, um bei den
drei nicht-interferierenden Strahlen eine Phasendifferenz von
jeweils 90 Grad zu erzeugen.
Die spektroskopischen Systeme 40a, 40b und 40c weisen jeweils
Polarisatorplatten 410a, 410b und 410c auf, um
Phasendifferenzinformation jedes Spektralstrahls in
Interferenzstreifenintensitätsinformation umzuwandeln. Diese
Polarisatorplatten 410a, 410b und 410c weisen derartige
Polarisationsrichtungen auf, die um jeweils 45 Grad schräg
zueinander verlaufen. Daher können CCD-Kameras 412a, 412b und
412c in den spektroskopischen Systemen 40a, 40b und 40c drei
interferierende Bilder zwischen dem Bezugslicht und dem
Probenlicht aufnehmen, jeweils mit einer Phasenverschiebung
von 90 Grad. Abschwächungsplatten 411a und 411b sind zu dem
Zweck vorgesehen, eine gleichmäßige Lichtintensität des von
den spektroskopischen Systemen 40a, 40b und 40c empfangenen
Lichts sicherzustellen.
Die drei interferierenden Bilder, die unterschiedliche Phasen
aufweisen, und von den CCD-Kameras 412a, 412b und 412c
aufgenommen werden, werden einem Bildprozessor 413 zugeführt,
und von einem Steuercomputer 414 und einem Monitor 415
gesteuert, um über bestimmte arithmetische Berechnungen
Forminformation der Probenoberfläche 407 zu berechnen.
Im einzelnen kann jede Interferenzstreifeninformation I1(x, y)
bei der vorliegenden Ausführungsform in Bezug auf jeweilige
Positionen (x, y) in den Bildräumen von den drei CCD-Kameras
412a, 412b und 412c erhalten werden. Diese CCD-Kameras 412a,
412b und 412c sowie die ihnen vorgeschalteten optischen
Elemente rufen jedoch geometrische Verzerrungen in dem
Bildraum hervor. Daher ist die Interferenzstreifeninformation
I1(x, y) in Bezug auf jede Position (x, y) nicht immer gleich
der Interferenzinformation an derselben Position. Daher ist
eine gewisse Kompensation dazu erforderlich, die
geometrischen Verzerrungen auszuschalten oder zu
unterdrücken, damit die Interferenzstreifeninformation
I1(x, y) in Bezug auf jede Position (x, y) in dem Bildraum
immer gleich der Interferenzinformation an derselben Position
ist.
Zu diesem Zweck werden die voranstehend geschilderten
Algorithmen (a) bis (c) eingesetzt. Mit Sk 1(k = 1, . . ., n1)
bei jedem unterteilten Raum in drei erhaltenen Bildräumen
1 = 1, 2, 3 wird die Gleichung für eine affine Transformation
in jedem unterteilten Raum durch die folgende Gleichung (14)
angegeben:
wobei bg lk und ag lk den Originalgraphikkern bzw. den
Transkriptionsoriginalgraphikkern bei Sl k(k = 1, . . ., n1)
bezeichnet.
Dann ergibt sich jeder Koordinatenwert (X1, Y1) in den drei
Bildräumen 1 entsprechend jeweiligen Koordinatenwerten (x, y)
in dem Bezugsraum aus der folgenden Gleichung 15:
Daher kann die Interferenzinformation in Bezug auf die drei
Bildräume 1 entsprechend jeder Position (x, y) auf der
Probenoberfläche 407 aus der vorher erhaltenen
Interferenzstreifeninformation I1(Xl, Yl) an dem
Koordinatenwert (Xl , Yl) erhalten werden.
Daher kann Interferenzstreifeninformation
(Lichtintensitätswerte) entsprechend denselben Positionen wie
jenen auf der Probenoberfläche durch drei Abbildungsgeräte
erhalten werden, ohne geometrische Verzerrungen in dem
CCD-Bild.
Wie aus den voranstehenden Ausführungen deutlich geworden
sein sollte, kann das Verfahren gemäß der vorliegenden
Erfindung einfach geometrische Verzerrungen zwischen einem zu
messenden Probenraum und einem mittels CCD-abgebildeten Raum
innerhalb einer vorbestimmten Toleranz ausschalten. Daher
können Messungen der Form einer Ebene, einer
Koordinatenposition und dergleichen mit hoher Genauigkeit
mittels Einsatz mehrerer optischer Systeme und entsprechender
CCD-Kameras durchgeführt werden.
Darüber hinaus kann das vorliegende Verfahren in kürzerer
Zeit und mit niedrigeren Berechnungskosten durchgeführt
werden, soweit die optischen Systeme und die
Abbildungssysteme unverändert bleiben. Dies liegt daran, daß
dann, wenn eine endgültige affine Transformation zur
Einwirkung auf jeden Bereich erzeugt wird, diese jedesmal
dann eingesetzt werden kann, wenn Bildinformation erhalten
wird, um jeden Bereich in der Anfangsstufe der Verarbeitung
der Bildinformation zu bearbeiten.
Nach der Beschreibung von Ausführungsformen gemäß der
vorliegenden Erfindung werden Fachleuten auf diesem Gebiet
andere Ausführungsformen und Variationen auffallen, die mit
der vorliegenden Erfindung verträglich sind. Die vorliegende
Erfindung ist daher nicht auf die geschilderten
Ausführungsformen beschränkt, und es wird darauf hingewiesen,
daß sich Wesen und Umfang der vorliegenden Erfindung aus der
Gesamtheit der vorliegenden Anmeldeunterlagen ergeben und von
den beigefügten Patentansprüchen umfaßt sein sollen.
Claims (7)
1. Verfahren zur Unterdrückung geometrischer Verzerrungen
in einem Bildraum, der durch Abbildung eines zu
messenden Probenraums erhalten wird, mit folgenden
Schritten:
Erzeugung eines Bezugsraums, der entsprechend einem zu messenden Probenraum angeordnet ist, wobei der Bezugsraum mehrere Bezugsgraphiken enthält, und bei ihm vorbekannte Koordinatenwertpositionen sämtlicher Graphikkerne in der Bezugsgraphik und eines Bezugszentrums als Graphikkern der gesamten Bezugsgraphiken in dem Bezugsraum definiert sind;
Überlagerung eines Transkriptionszentrums in einem Bildraum auf das Bezugszentrum in dem Bezugsraum, wobei der Bildraum dadurch erhalten wird, daß der Probenraum so abgebildet wird, daß er mehrere abgebildete Graphiken entsprechend den mehreren Bezugsgraphiken enthält, und das Transkriptionszentrum als Graphikkern der gesamten abgebildeten Graphiken in dem Bildraum definiert ist;
Durchführung einer primären affinen Transformation, um eine Gruppe von Transkriptionsgraphikkernen, die aus Graphikkernen in den mehreren abgebildeten Graphiken bestehen, Kern für Kern auf eine Gruppe von Bezugsgraphikkernen zu transformieren, die aus Graphikkernen in den mehreren Bezugsgraphiken bestehen;
Durchführung einer primären räumlichen Unterteilung, um den Bezugsraum in mehrere primär unterteilte Räume zu unterteilen;
Ermittlung einer Abschätzung der Verzerrung für jeden der primär unterteilten Räume aus einem Positionsfehler zwischen jedem Transkriptionsgraphikkern nach der primären affinen Transformation und dem zugehörigen Bezugsgraphikkern;
Unterteilung der primär unterteilten Räume in unterteilte Räume innerhalb bzw. außerhalb der Toleranz, welche Abschätzungen der Verzerrung aufweisen, die innerhalb bzw. außerhalb einer vorbestimmten Toleranz liegt;
Durchführung einer sekundären affinen Transformation für die unterteilten Räume außerhalb der Toleranz, um eine Gruppe von Transkriptionsgraphikkernen in dem entsprechenden Bildraum auf eine Gruppe von Bezugsgraphikkernen in den unterteilten Räumen außerhalb der Toleranz zu transformieren;
Durchführung einer sekundären räumlichen Unterteilung, um die primär unterteilten Räume außerhalb der Toleranz in mehrere sekundär unterteilte Räume nach der primären und der sekundären affinen Transformation zu unterteilen; und
Wiederholung affiner Transformationen und räumlicher Unterteilungen für die unterteilten Räume außerhalb der Toleranz, bis die Abschätzungen der Verzerrung innerhalb der vorbestimmten Toleranz liegen.
Erzeugung eines Bezugsraums, der entsprechend einem zu messenden Probenraum angeordnet ist, wobei der Bezugsraum mehrere Bezugsgraphiken enthält, und bei ihm vorbekannte Koordinatenwertpositionen sämtlicher Graphikkerne in der Bezugsgraphik und eines Bezugszentrums als Graphikkern der gesamten Bezugsgraphiken in dem Bezugsraum definiert sind;
Überlagerung eines Transkriptionszentrums in einem Bildraum auf das Bezugszentrum in dem Bezugsraum, wobei der Bildraum dadurch erhalten wird, daß der Probenraum so abgebildet wird, daß er mehrere abgebildete Graphiken entsprechend den mehreren Bezugsgraphiken enthält, und das Transkriptionszentrum als Graphikkern der gesamten abgebildeten Graphiken in dem Bildraum definiert ist;
Durchführung einer primären affinen Transformation, um eine Gruppe von Transkriptionsgraphikkernen, die aus Graphikkernen in den mehreren abgebildeten Graphiken bestehen, Kern für Kern auf eine Gruppe von Bezugsgraphikkernen zu transformieren, die aus Graphikkernen in den mehreren Bezugsgraphiken bestehen;
Durchführung einer primären räumlichen Unterteilung, um den Bezugsraum in mehrere primär unterteilte Räume zu unterteilen;
Ermittlung einer Abschätzung der Verzerrung für jeden der primär unterteilten Räume aus einem Positionsfehler zwischen jedem Transkriptionsgraphikkern nach der primären affinen Transformation und dem zugehörigen Bezugsgraphikkern;
Unterteilung der primär unterteilten Räume in unterteilte Räume innerhalb bzw. außerhalb der Toleranz, welche Abschätzungen der Verzerrung aufweisen, die innerhalb bzw. außerhalb einer vorbestimmten Toleranz liegt;
Durchführung einer sekundären affinen Transformation für die unterteilten Räume außerhalb der Toleranz, um eine Gruppe von Transkriptionsgraphikkernen in dem entsprechenden Bildraum auf eine Gruppe von Bezugsgraphikkernen in den unterteilten Räumen außerhalb der Toleranz zu transformieren;
Durchführung einer sekundären räumlichen Unterteilung, um die primär unterteilten Räume außerhalb der Toleranz in mehrere sekundär unterteilte Räume nach der primären und der sekundären affinen Transformation zu unterteilen; und
Wiederholung affiner Transformationen und räumlicher Unterteilungen für die unterteilten Räume außerhalb der Toleranz, bis die Abschätzungen der Verzerrung innerhalb der vorbestimmten Toleranz liegen.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, daß die
Abschätzung der Verzerrung als das Maximum einer Norm
für einen Positionsfehler zwischen dem Bezugsgraphikkern
und dem Transkriptionsgraphikkern nach der affinen
Transformation bestimmt wird.
3. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, daß weiterhin
der nächste Transkriptionsgraphikkern aus dem
Bezugsgraphikkern erhalten wird, wobei die Abschätzung
der Verzerrung als das Maximum einer Norm für einen
Positionsfehler zwischen dem nächsten
Transkriptionsgraphikkern und dem
Transkriptionsgraphikkern entsprechend dem
Bezugsgraphikkern bestimmt wird.
4. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, daß eine affine
Transformation bei jeder der affinen Transformationen
durch die Verwendung des Verfahrens der kleinsten
Fehlerquadrate in Bezug auf einen Positionsfehler
zwischen einer transformierten Position und dem
entsprechenden Bezugsgraphikkern bestimmt wird.
5. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, daß jede der
räumlichen Unterteilungen eine Unterteilung auf vier
Teile umfaßt, durch Unterteilung eines Raums vertikal
und horizontal jeweils in zwei Teile.
6. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, daß die mehreren
Bezugsgraphiken ihre Bezugsgraphikkerne zum Teil auf
einer Grenze entweder des Bezugsraumes oder jedes der
unterteilten Räume anordnen, die durch Unterteilung des
Bezugsraumes erhalten werden.
7. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, daß eine Grenze
entweder des Bezugsraumes oder jedes der Bezugsbereiche,
die durch Unterteilung des Bezugsraumes erhalten werden,
entweder ein Rechteck, einen Kreis oder einen Kreisbogen
beschreibt.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30607699A JP4278800B2 (ja) | 1999-10-27 | 1999-10-27 | 撮像空間の幾何学的歪み解消方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10053187A1 true DE10053187A1 (de) | 2001-05-03 |
Family
ID=17952759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10053187A Withdrawn DE10053187A1 (de) | 1999-10-27 | 2000-10-26 | Verfahren zur Unterdrückung geometrischer Verzerrungen eines Bildraumes |
Country Status (3)
Country | Link |
---|---|
US (1) | US6671423B1 (de) |
JP (1) | JP4278800B2 (de) |
DE (1) | DE10053187A1 (de) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003168071A (ja) * | 2001-11-30 | 2003-06-13 | Sanyo Electric Co Ltd | 2次元バーコードの読み取り方法 |
US7305112B2 (en) * | 2002-10-15 | 2007-12-04 | The Scripps Research Institute | Method of converting rare cell scanner image coordinates to microscope coordinates using reticle marks on a sample media |
JP2004234379A (ja) | 2003-01-30 | 2004-08-19 | Sony Corp | 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置 |
US20060210192A1 (en) * | 2005-03-17 | 2006-09-21 | Symagery Microsystems Inc. | Automatic perspective distortion detection and correction for document imaging |
EP1947605B1 (de) | 2005-02-25 | 2019-03-06 | Psion Systems Inc. | Automatische Detektion und Korrektur von Perspektivenverzerrung für Dokumentabbildungen |
US7653264B2 (en) | 2005-03-04 | 2010-01-26 | The Regents Of The University Of Michigan | Method of determining alignment of images in high dimensional feature space |
KR101489790B1 (ko) * | 2006-05-18 | 2015-02-04 | 야세르 에이. 자그롤 | 편광 기반 논리 레벨 표현을 갖는 광 논리 디바이스들 및 그 설계 방법 |
US8004734B2 (en) * | 2006-05-18 | 2011-08-23 | Zaghloul Yasser A | Optical logic devices having polarization-based logic level representation and method of designing the same |
NL2018852B1 (en) * | 2017-05-05 | 2018-11-14 | Illumina Inc | Optical distortion correction for imaged samples |
CN110966939B (zh) * | 2018-09-28 | 2021-10-01 | 上海微电子装备(集团)股份有限公司 | 一种干涉测量装置、测量方法及光刻设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5448053A (en) * | 1993-03-01 | 1995-09-05 | Rhoads; Geoffrey B. | Method and apparatus for wide field distortion-compensated imaging |
US5929991A (en) * | 1997-03-07 | 1999-07-27 | Litel Instruments | Single plate corrector for stepper lens train |
US6130959A (en) * | 1997-07-16 | 2000-10-10 | Cognex Corporation | Analyzing an image of an arrangement of discrete objects |
JPH11211425A (ja) * | 1998-01-22 | 1999-08-06 | Asahi Glass Co Ltd | 透明板状体の歪の評価方法および評価装置 |
-
1999
- 1999-10-27 JP JP30607699A patent/JP4278800B2/ja not_active Expired - Fee Related
-
2000
- 2000-10-26 DE DE10053187A patent/DE10053187A1/de not_active Withdrawn
- 2000-10-26 US US09/695,850 patent/US6671423B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001124517A (ja) | 2001-05-11 |
JP4278800B2 (ja) | 2009-06-17 |
US6671423B1 (en) | 2003-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE4204857C2 (de) | Verfahren zur Untersuchung einer Oberflächenform mit einem Interferometer | |
DE10163027A1 (de) | Objektlageermittlungsverfahren und eine dieses Verfahren verwendende Vorrichtung | |
DE102012217240B4 (de) | Vorrichtung zum Messen einer dreidimensionalen Form | |
DE2230650C2 (de) | Verfahren und Vorrichtung zur optischen Untersuchung einer Oberfläche | |
DE102012106584B4 (de) | Verfahren und Vorrichtung zur Bildrekonstruktion | |
DE102011083774B4 (de) | Verfahren zum Bestimmen von Laser korrigierenden Tool-Parametern | |
DE3318678A1 (de) | Verfahren und vorrichtung zur interferometrie rauher oberflaechen | |
EP0453977B1 (de) | Verfahren und Anordnung zur optischen Untersuchung von Prüflingen | |
EP3289398B1 (de) | Verfahren zum generieren eines reflexionsreduzierten kontrastbildes und diesbezügliche vorrichtungen | |
DE112018002147T5 (de) | Krümmungsradiusmessung durch spektral gesteuerte Interferometrie | |
DE60319095T2 (de) | Verfahren zur Verzerrungskorrektur von Multifokus-Bilderstapeln | |
DE102017009099A1 (de) | Phasenverschiebungs-interferometer und formmessverfahren | |
DE112018006245T5 (de) | Vorrichtung zur dreidimensionalen Messung | |
DE10053187A1 (de) | Verfahren zur Unterdrückung geometrischer Verzerrungen eines Bildraumes | |
DE19524036C2 (de) | Verfahren und Vorrichtung zur interferometrischen Erfassung der Form und/oder Formveränderung von Prüflingen | |
EP1284409A1 (de) | Verfahren und Vorrichtung zur Untersuchung der Verformung von Prüfobjekten | |
DE19859801A1 (de) | Vorrichtung und Verfahren zur echtzeitfähigen Verformungsdarstellung | |
DE102011001475B4 (de) | Verfahren und Vorrichtungen zur Positionsbestimmung | |
DE102019122083A1 (de) | Optische ausrichtung basierend auf spektral-gesteuerter interferometrie | |
EP1030161A1 (de) | Phasendifferenzbild mit Tiefpassfilterung und Grauwertverschiebung | |
EP2031348A1 (de) | Vorrichtung für ein spiegelndes Metallband mit einer Inspektionseinheit zum Detektieren von Oberflächendefekten und/oder Vermessen der Oberflächentopographie | |
DE102019215707A1 (de) | Verfahren und Vorrichtung zur Charakterisierung der Oberflächenform eines optischen Elements | |
DE102018202637A1 (de) | Verfahren zur Bestimmung einer Fokuslage einer Lithographie-Maske und Metrologiesystem zur Durchführung eines derartigen Verfahrens | |
DE19513233C2 (de) | Verfahren und Vorrichtung zur Bestimmung von Phasen und Phasendifferenzen | |
DE19521551C2 (de) | Speckle-Interferometrie-Verfahren zur Gewinnung topographischer Informationen von einer konstanten Objektoberfläche |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |