DE3880975T2

DE3880975T2 - Verfahren und Vorrichtung zur Entfernungsbestimmung zwischen Oberflächenteilen einer drei-dimensionalen räumlichen Szene und einem Kamerasystem.

Info

Publication number: DE3880975T2
Application number: DE88310672T
Authority: DE
Inventors: Muralidhara Subbarao
Original assignee: Research Foundation of State University of New York; New York University NYU
Current assignee: Research Foundation of State University of New York; New York University NYU
Priority date: 1987-11-27
Filing date: 1988-11-11
Publication date: 1993-12-23
Anticipated expiration: 2008-11-12
Also published as: JP2756803B2; EP0318188A2; EP0318188B1; US4965840A; ATE89407T1; ES2043846T3; EP0318188A3; DE3880975D1; JPH01167610A

Description

Die vorliegende Erfindung bezieht sich im allgemeinen auf Verfahren und Vorrichtungen zur Entfernungsbestimmung zwischen Flächenteilen dreidimensionaler räumlicher Szenen (im folgenden "3-D-Szene") und einem Kamerasystem. Insbesondere bezieht sich die vorliegende Erfindung jedoch auf Verfahren und Vorrichtungen zum Bestimmen oder Messen solcher Entfernungen auf der Grundlage mindestens eines Paars von zweidimensionalen Bildern (im folgenden "Bilder") der 3-D-Szene, wovon jedes mit einem Kamerasystem aufgezeichnet worden ist, das unterschiedliche Sätze von Kameraparameterwerten besitzt, und an denen eine zweidimensionale digitale Verarbeitung auf parallele Weise ausgeführt worden ist, um die Entfernungen (d. h. Abstände) der Flächenteile vom Kamerasystem abzuleiten.
Die Bestimmung der Entfernung von Gegenständen oder sichtbaren Oberflächenteilen in einer dreidimensionalen räumlichen Szene ist für Roboterprozesse und für andere Formen von maschinellen Sehprozessen ein wichtiges Problem.
Es ist eine große Vielzahl von optischen Abstands- (d. h. Entfernungs-) Meßvorrichtungen und -prozessen bekannt. Derartige Vorrichtungen und Prozesse können als Kameras charakterisiert werden, die eine Entfernungsinformation aufzeichnen, die in der Literatur oftmals als "Tiefenkarten" von dreidimensionalen räumlichen Szenen bezeichnet werden.
Manche herkömmliche zweidimensionale Abstandsmeßkameras zeichnen die Helligkeit von Gegenständen auf, die durch einfallendes oder reflektiertes Licht beleuchtet werden. Derartige Abstandsmeßkameras zeichnen Bilder auf und analysieren die Helligkeit des zweidimensionalen Bildes, um dessen Entfernung von der Kamera zu bestimmen. Derartige Kameras und Verfahren besitzen erhebliche Nachteile, da sie kontrollierte Lichtbedingungen und ein hohes Lichtintensität-Unterscheidungsvermögen erfordern.
Es gibt im wesentlichen zwei Typen von optischen Abstandsmeßkameras, die als aktiver bzw. passiver Typ bezeichnet werden, wobei die Unterscheidung darauf beruht, wie das Zielobjekt oder Flächenteile beleuchtet werden. Aktive Abstandsmeßkameras steuern die Beleuchtungsquelle des Ziels, während passive Systeme von der Umgebungsbeleuchtung abhängen.
Im Gegensatz zu der später diskutierten passiven Abstandmessung erfordert die aktive Abstandsmessung mittels Lichts eine durch die optische Abstandsmeßkamera gesteuerte Beleuchtungsquelle. Die am intensivsten untersuchten Bereiche der aktiven Abstandsmessung sind die Triangulierungsanalyse, die Flugzeitanalyse (d. h. LADAR), die Projektionsmusteranalyse (d. h. Moir ) und die Bildschärfenabgleichanalyse.
In der Triangulationsanalyse ist die zweite Kamera eines Stereokamerasystems durch eine strukturierte Lichtquelle wie etwa einen Projektor ersetzt. Typischerweise erzeugt der Projektor ein Lichtmuster, das gerade Kanten enthält. Wenn die Beobachtung in direkter Ausrichtung auf einen Lichtprojektor ausgeführt würde, erschienen die Kanten unabhängig von der Tiefenkontur der von ihm beaufschlagten Fläche als gerade Linien. Wenn die Beobachtung statt dessen aus einer versetzten Position ausgeführt würde, erschienen die Kanten gebogen. Die Kontur der Biegung der Kanten kann leicht mit der Tiefe korreliert werden.
Ein weiteres Verfahren mit strukturiertem Licht erfordert die Projektion eines Paars von regelmäßig beabstandeten zweidimensionalen Mustern auf den betreffenden Gegenstand. Die beiden Muster treten zueinander in Interferenz und erzeugen ein Moir -Muster, das einfach photographiert werden kann. Die topographischen Konturen in einem Moir - Muster sind zur Änderung der Entfernung des betrachteten Gegenstandes von der Kamera proportional.
LADAR ähnelt der elektromagnetischen Peilung durch das RADAR. Der Unterschied besteht darin, daß für die aktive Beleuchtungsquelle ein pulsmodulierter Laser verwendet wird. Speziell konstruierte Sensoren in der Abstandsmeßvorrichtung messen die Flugzeit des Impulses vom Laser zum Ziel und zurück zur Abstandsmeßvorrichtung. LADAR-Systeme sind langsam, weil sie eine aufeinanderfolgende Abtastung der Szene erfordern, um eine Tiefenkarte zu erzeugen. Außerdem sind sie teuer.
Ein weiteres System der aktiven Lichtabstandmessung ist die Bildschärfenabgleichanalyse. In einem derartigen System wird von der Kamera ein Lichtstrahlbüschel ausgesandt. Der Radius des Streukreises des Strahls bei Betrachtung durch eine geeichte Linse stellt ein Maß der Entfernung des Ziels dar.
In der passiven Abstandsmessung werden drei Hauptprinzipien angewandt: (1) Gestaltanalyse; (2) Multi- (typischerweise Stereo-)perspektivenanalyse; und (3) Feldtiefen- oder Bildschärfenanalyse. Ausführungsformen sämtlicher dieser drei passiven Abstandsmeßprinzipien können mit herkömmlichen zweidimensionalen Kameras verwirklicht werden.
Beispielsweise wird eine Form der Gestaltanalyse durch die Beobachtung und die Aufzeichnung (z. B. Photographieren) eines Zielgegenstandes oder eines Flächenteils von bekannter Größe und durch Bestimmen seiner Entfernung von der Kamera ausgeführt, indem einfach dessen aufgezeichnete Größe gemessen wird. Alternativ kann dann, wenn zwei horizontal versetzte Ansichten eines Gegenstandes photographiert werden und die beiden Photographien an einem beliebigen Punkt mit bekannter Tiefe zur Deckung gebracht sind, der Abstand irgendeines anderen korrelierten Elements gemessen werden, in dem deren Ungleichheit in dem horizontalen Dimension zwischen den zur Deckung gebrachten Photographien gemessen wird. Dieses Verfahren ist auch als Stereobeobachtung bekannt.
Die letzte passive Kategorie ist die Feldtiefen- oder Bildschärfenanalyse. Optische Abstandsmeßkameras, die unter diese Kategorie fallen, beruhen auf der Tatsache, daß die Tiefeninformation aus Bildschärfengradienten erhalten werden kann, die sich aus der beschränkten Tiefe des Feldes ergeben, das den meisten optischen Systemen eigentümlich ist.
Eine Annäherung, die das Suchen der Linseneinstellung erfordert, die das am besten fokussierte Bild des Gegenstandes ergibt, kann in der automatischen Fokussierungsmethodologie gesehen werden. Autofokus-Verfahren messen sämtlich die Tiefe (d. h. die Entfernungen zwischen der Kamera und den Punkten der Szene), indem sie diejenige Linseneinstellung suchen, die an einem besonderen Punkt die beste Bildschärfe ergibt. Ein Überblick über derartige Techniken ist in der Arbeit "A Perspective On Range-Finding Techniques For Computer Vision" von R.A. Jarvis in IEEE Transaction on Pattern Analysis and Machine Intelligence, Band PAMI-5, Seiten 122-139, März 1983, zu finden. Die Grenzen dieses grundlegenden Verfahrens bestehen darin, daß es die Tiefe in einem Zeitpunkt lediglich an einem Punkt mißt und daß es die Modifikation der Linseneinstellung in einem weiten Wertebereich erfordert, um diejenige Einstellung zu suchen, die die beste Bildschärfe liefert.
Autofokus-Verfahren können jedoch dadurch verbessert werden, daß entweder die mit jeder Linseneinstellung gewonnenen Bilder gespeichert werden und dann die gespeicherten Bilder für den besten Bildschärfenzustand in jedem Punkt gesucht werden oder durch Verwenden einer großen Anzahl von spezialisierten Bildschärfenmeßeinrichtungen, die eine parallele Suche nach der besten Linseneinstellung ausführen. Beide Alternativen besitzen ernsthafte Nachteile, da die erste Alternative die Gewinnung und die Speicherung von beispielsweise 30 oder mehr Bildern zur Folge hat, während die zweite Alternative eine komplizierte parallelarbeitende Hardware erfordert.
Ein weiteres Verfahren, das auf der Feldtiefenanalyse beruht, hat die Messung des Bildschärfenfehlers (d. h. des Bildschärfengradienten) zur Folge und verwendet diese Messung, um die Tiefe zu schätzen. Ein derartiges Verfahren ist in der Arbeit mit dem Titel "A New Sense for Depth Field" von Alex P. Pentland, veröffentlicht in den Proceedings of the International Joint Conference on Artificial Intelligence, August 1985, und überarbeitet und ohne wesentliche Änderungen neu veröffentlicht im Juli 1987 in IEEE Transactions on Pattern Analysis and Machine Intelligence, Band PAMI-9, Nr. 4, offenbart.
Pentland schlägt zwei Verfahren der Tiefenkarten-Erzeugung vor. Das erste Verfahren verwendet ein einzelnes Bild einer Szene, das die Kanten enthält, die im fokussierten Bild Stufendiskontinuitäten darstellen. Dieses Verfahren erfordert die Kenntnis des Ortes dieser Kanten, ferner kann dieses Verfahren nicht verwendet werden, wenn in der Szene keine perfekten Stufenkanten vorhanden sind.
In dem zweiten Verfahren diskutierte Pentland ein Verfahren zur Messung der Streuparameter des Kamerasystems, das die Erzeugung zweier Bilder mittels verschiedener Blendeneinstellungen umfaßt wovon eine diejenige einer Lochkamera sein muß. Bei Verwendung der in dieser Annäherung berechneten Streuparameter können Tiefenschätzungen einer Szene bei Verwendung einer Linsensystem-Formel berechnet werden, die unter Verwendung geometrischer Betrachtungen abgeleitet wird. Die Anwendung des Pentland-Verfahrens erzeugt ernsthafte praktische Schwierigkeiten, da ihm eigentümlich ist, ein Bild durch eine Lochkamera (d. h. eine sehr kleine Blende) zu schaffen, die (i) nur eine sehr geringe Lichtmenge einfängt und (ii) die verstümmelnden Wirkungen der hierdurch eingeführten Beugung erhöht, wodurch die erzeugten Bilder verzerrt werden.
Ein weiteres Verfahren, das die Feldtiefenanalyse verwendet, ist in der Arbeit mit dem Titel "Depth From Focus" von Paul Grossmann in Pattern Recognition letters, Band 5, Seiten 63-69, Elsevier Science Publishers, B.V., offenbart. Dieses Verfahren ist dem Verfahren von Pentland sehr ähnlich und besitzt die gleichen Nachteile, nämlich daß es (i) die Kenntnis des Ortes der Kanten erfordert und (ii) nicht verwendet werden kann, wenn in der Szene keine perfekten Stufenkanten vorhanden sind.
Sowohl die optische Abstandsmessung als auch die "Tiefenkarten"-Erzeugung können auch passiv verwirklicht werden, indem Stereobeobachtungsprozesse verwendet werden, wie sie beispielsweise in dem US-Patent Nr. 4,601,053 für Grumet offenbart sind. Grumet offenbart ein Verfahren für die automatische quantitative Abstandmessung in bezug auf wenigstens einen entfernten, passiven Gegenstand unter Verwendung eines Paars von beabstandeten TV-Kameras (d. h. eine binokulare Beobachtung). Es werden kleine Verschiebungen von entsprechenden Punkten in einem Stereo-Bildpaar gemessen und in eine Abstandsmessung umgewandelt.
Obwohl Verfahren der Tiefenkarten-Erzeugung unter Verwendung einer Stereobeobachtung bekannt sind, führen Probleme, die die Gestaltwiederherstellung und die Bildentsprechung zwischen verschiedenen Bildern einer gegebenen Szene zur Folge haben, dazu, daß derartige Techniken (i) technisch schwierig zu implementieren sind, (ii) rechnerisch komplex sind und (iii) fehleranfällig sind, weil sie Annahmen hinsichtlich der Geometrie der Szene erfordern.
Angesichts des oben diskutierten Standes der Technik ist es offensichtlich, daß in der Abstandsmeßtechnik im allgemeinen ein großer Bedarf an einem verallgemeinerten Verfahren zur entweder passiven oder aktiven Echtzeit-Bestimmung der Entfernung von Gegenständen und Flächenteilen von in einem Abstand von einem Kamerasystem befindlichen dreidimensionalen Szenen ohne die damit einhergehenden Unzulänglichkeiten und Nachteile der Verfahren und Vorrichtungen des Standes der Technik besteht.
Gemäß einem Aspekt der vorliegenden Erfindung umfaßt ein Verfahren zur Entfernungsbestimmung zwischen einem Flächenteil einer dreidimensionalen räumlichen Szene und einem ein abbildendes System aufweisenden Kamerasystem, wobei das Kamerasystem durch eine Punktstreufunktion und drei Kameraparameter charakterisierbar ist, von denen einer oder mehrere während des Bilderzeugungsvorganges auf einen unterschiedlichen Wert gesetzt werden kann und die alle zur Bildung eines ersten und zweiten Satzes von Kameraparametern quantifizierbar sind, welche mindestens einen unterschiedlichen Kameraparameterwert haben,
(a) die Erzeugung eines ersten zweidimensionalen Bildes der dreidimensionalen räumlichen Szene unter Benutzung des durch einen ersten Satz von Kameraparametern charakterisierbaren Kamerasystems;
(b) die Erzeugung eines zweiten zweidimensionalen Bildes der dreidimensionalen räumlichen Szene unter Benutzung des durch einen zweiten Satz von Kameraparametern charakterisierbaren Kamerasystems, wobei der erste und der zweite Satz von Kameraparametern mindestens einen unterschiedlichen Kameraparameterwert aufweisen;
(c) die Auswahl eines ersten und zweiten Teilbildes aus den ersten und zweiten zweidimensionalen Bildern, die dem Flächenteil der dreidimensionalen Szene, dessen Entfernung vom Kamerasystem zu bestimmen ist, entsprechen;
(d) die Ableitung einer ersten Zwangsbedingung zwischen den Streuparametern der den ersten und den zweiten Teilbildern entsprechenden Punktstreufunktionen auf der Basis der ersten und zweiten Teilbilder;
(e) die Ableitung einer zweiten Zwangsbedingung zwischen den Streuparametern auf der Basis der Werte der Kameraparameter;
(f) die Bestimmung der Streuparameter mittels der in den Schritten (d) und (e) abgeleiteten ersten und zweiten Zwangsbedingungen; und
(g) die Bestimmung der Entfernung zwischen dem Kamerasystem und dem Flächenteil der dreidimensionalen räumlichen Szene auf der Basis mindestens einer der in Schritt (f) bestimmten Streuparameter und der ersten und zweiten Sätze von Kameraparametern.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung umfaßt ein Verfahren zur Entfernungsbestimmung einer Vielzahl von Flächenteilen einer dreidimensionalen räumlichen Szene, gemessen von einem ein abbildendes System aufweisenden Kamerasystem, wobei das Kamerasystem durch eine Punktstreufunktion und drei Kameraparameter charakterisierbar ist, von denen einer oder mehrere während des Bilderzeugungsvorganges auf einen unterschiedlichen Wert gesetzt werden kann und die alle zur Bildung eines ersten und zweiten Satzes von Kameraparametern quantifizierbar sind, welche mindestens einen unterschiedlichen Kameraparameterwert haben,
(a) die Erzeugung eines ersten zweidimensionalen Bildes der dreidimensionalen räumlichen Szene unter Benutzung des durch einen ersten Satz von Kameraparametern charakterisierbaren Kamerasystems;
(b) die Erzeugung eines zweiten zweidimensionalen Bildes der dreidimensionalen räumlichen Szene unter Benutzung des durch einen zweiten Satz von Kameraparametern charakterisierbaren Kamerasystems, wobei der erste und zweite Satz von Kameraparametern mindestens einen unterschiedlichen Kameraparameterwert aufweisen;
(c) die Aufteilung der ersten und zweiten zweidimensionalen Bilder in eine Vielzahl zweidimensionaler Teilbilder, deren jedes zweidimensionale Teilbild im ersten zweidimensionalen Bild einem zweidimensionalen Teilbild im zweiten zweidimensionalen Bild entspricht und deren jede einander entsprechende zweidimensionale Teilbilder des ersten und zweiten Bildes einem der Flächenteile der dreidimensionalen Szene entsprechen;
(d) die Ableitung einer ersten Zwangsbedingung zwischen den den ersten und entsprechenden zweiten Teilbildern entsprechenden Streuparametern der Punktstreufunktion auf der Basis jedes ersten und entsprechenden zweiten Teilbildes;
(e) die Ableitung einer zweiten Zwangsbedingung zwischen den Streuparametern für jedes erste und entsprechende zweite Teilbild auf der Basis der Werte der Kameraparameter;
(f) die Bestimmung der Streuparameter für jedes erste und entsprechende zweite Teilbild unter Benutzung der in den Schritten (d) und (e) gebildeten ersten und zweiten Zwangsbedingungen; und
(g) die Bestimmung der Entfernung zwischen dem Kamerasystem und jedem Flächenteil in der dreidimensionalen räumlichen Szene auf der Basis mindestens eines der in Schritt (f) bestimmten Streuparameter, wobei eine Tiefenkarte der dreidimensionalen räumlichen Szene erhalten wird.
Gemäß einem dritten Aspekt der vorliegenden Erfindung umfaßt eine Vorrichtung zur Entfernungsbestimmung zwischen Flächenteilen einer dreidimensionalen räumlichen Szene und einem davon entfernten Kamerasystem
(a) ein Kamerasystem einschließlich einer Empfänger- Bildebene, einer Kamerablende und eines durch erste und zweite Hauptebenen und eine Brennweite charakterisierbaren abbildenden Systems, wobei die zweite Hauptebene näher an der Empfänger-Bildebene als die zweite Hauptebene ist und das Kamerasystem wenigstens drei Kameraparameter besitzt, nämlich
(i) den Abstand zwischen zweiter Hauptebene und Empfänger-Bildebene,
(ii) den Durchmesser der Kamerablende, und
(iii) die Brennweite des abbildenden Systems;
(b) ein Mittel zur Veränderung des Wertes mindestens eines der Kameraparameter zur Erzeugung zweidimensionaler Bilder von Flächenteilen auf der Empfänger-Bildebene unter Benutzung eines Satzes von Kameraparameterwerten, von denen mindestens einer unterschiedlich ist;
(c) ein Mittel zur quantitativen Messung des Wertes jedes der Kameraparameter einschließlich der Änderungen in den Kameraparameterwerten durch das Mittel zur Veränderung derselben;
(d) ein Mittel zur Gewinnung zweidimensionaler Bilder vom Bildempfänger und zur Erzeugung entsprechender digitaler. Bilddaten zu jedem gewonnenen zweidimensionalen Bild; und
(e) einen Bildverarbeitungsrechner zur Aufnahme der digitalen Bilddaten des Bildes und deren Verarbeitung zur Bestimmung der Entfernungen zwischen dem Flächenteil und dem Kamerasystem.
In einer Ausführungsform können die Änderungen der Werte der Kameraparameter in irgendeinem von mindestens einem oder mehreren der folgenden Kameraparameter auftreten:
(i) dem Abstand zwischen der zweiten Hauptebene des abbildenden Systems und der Empfänger-Bildebene des Kamerasystems;
(ii) dem Durchmesser der Kamerablende; und
(iii) der Brennweite des abbildenden Systems.
Der zweite Aspekt der vorliegenden Erfindung schafft ein Verfahren zur gleichzeitigen Bestimmung von Entfernungen von mehreren Flächenteilen einer dreidimensionalen Szene, die von einem Kamerasystem (der Tiefenkarten-Erzeugung) auf der Grundlage eines Paars von zweidimensionalen Bildern derselben dreidimensionalen Szene, wovon jedes durch ein Kamerasystem mit einem unterschiedlichen Satz von Kameraparameterwerten erzeugt worden ist, und unabhängig davon, ob irgendein Teil des Bildes im Brennpunkt liegt oder nicht, gemessen werden.
Die vorliegende Erfindung kann außerdem einen Tiefenkarten-Erzeugungsprozeß schaffen, der parallel verarbeitet wird und lediglich lokale Berechnungen erfordert. Bei diesem Verfahren bestehen keinerlei Einschränkungen, die erfordern, daß die Kameraparameter in irgendeinem besonderen Bereich liegen, noch werden irgendwelche Annahmen hinsichtlich der analysierten dreidimensionalen räumlichen Szene gemacht. Die einzige Forderung des vorliegenden Verfahrens ist die Kenntnis der Kameraparameter und der Kameracharakteristiken. Die Kameracharakteristik kann anfangs unter Benutzung einer geeigneten Kameraeichungsprozedur gewonnen werden, die während des Prozesses der Tiefenerzeugung nicht wiederholt werden muß.
Die vorliegende Erfindung kann ein Kamerasystem und ein Verfahren zur schnellen und automatischen Fokussierung des Kamerasystems schaffen, indem Entfernungsmessungen verwendet werden, die durch das obenerwähnte Verfahren bestimmt sind.
Ferner kann die vorliegende Erfindung ein Verfahren zur Erzeugung eines bildschärfenverbesserten zweidimensionalen Bildes unter Verwendung des Verfahrens der Tiefenkarten-Erzeugung der vorliegenden Erfindung schaffen. Dieser Aspekt der vorliegenden Erfindung kann bei der Fernsehfunkübertragung von Szenen, die Gegenstände in verschiedenen Entfernungen enthalten, nützlich sein. Er kann auch bei der Verarbeitung von Bildern von dreidimensionalen Proben nützlich sein, die von Fernseh-Mikroskopen erhalten werden, wie sie in der Medizin (z. B. der Ophthalmo- Chirurgie und der Mikrobiologie) verwendet werden.
Die vorliegende Erfindung ist ein Verfahren zur Entfernungsbestimmung zwischen einem Flächenteil (oder eines Gegenstandes in) einer 3-D-Szene und einem davon entfernten Kamerasystem. Die Entfernung oder der Abstand, wie sie oft genannt wird, wird auf der Grundlage von wenigstens einem Paar von Bildern bestimmt, wovon jedes Bild unter Verwendung eines Kamerasystems entweder mittels einer endlichen oder einer infinitesimalen Änderung des Wertes wenigstens eines Kameraparameters (z. B. der Entfernung zwischen der zweiten Haupt ebene und der Empfänger-Bildebene, der Brennweite des Linsensystems oder des Durchmessers der Kamerablende) erzeugt wird.
Insbesondere schafft das Verfahren der vorliegenden Erfindung einen rechnerisch effizienten Prozeß für die zuverlässige Entfernungsbestimmung zwischen einem Flächenteil einer 3-D-Szene und einem hiervon entfernten Kamerasystem. Das Kamerasystem der vorliegenden Erfindung enthält ein Linsensystem, ferner ist das Kamerasystem durch wenigstens drei Kameraparameter charakterisiert, von denen wenigstens einer oder mehrere während des Bilderzeugungsprozesses auf unterschiedliche Werte gesetzt werden kann. Sämtliche der Kameraparameter müssen quantifizierbar sein, um wenigstens einen ersten und einen zweiten Satz von Kameraparametern zu schaffen, unter denen sich wenigstens ein unterschiedlicher Kameraparameterwert befindet.
Das Verfahren der vorliegenden Erfindung enthält die Erzeugung eines ersten Bildes der 3-D-Szene, die durch die Energie elektromagnetischer Wellen beleuchtet wird, sowie die Verwendung des Kamerasystems, das durch einen ersten Satz von Kameraparametern charakterisiert ist. Außerdem wird unter Verwendung der Energie elektromagnetischer Wellen und des Kamerasystems, das durch einen zweiten Satz von Kameraparametern charakterisiert ist, ein zweites Bild der 3-D-Szene erzeugt. Insbesondere besitzen der erste und der zweite Satz von Kameraparametern wenigstens einen unterschiedlichen Parameterwert.
Aus den ersten und zweiten so erzeugten Bildern werden ein erstes und ein zweites Teilbild ausgewählt. Die Teilbilder entsprechen dem Flächenteil der 3-D-Szene, von dem die Entfernung zum Kamerasystem bestimmt werden soll.
Auf der Grundlage des ersten und des zweiten Teilbildes wird eine erste "Zwangsbedingung" (d. h. eine mathematische Darstellung, eine Verbindungsbeziehung oder eine Gleichung) zwischen den Streuparametern der Punktstreufunktion, die dem ersten und dem zweiten Teilbild entspricht, abgeleitet. Insbesondere beschreibt oder definiert die Punktstreufunktion eines Kamerasystems, wie die Punkte in einer 3-D-Szene auf Punkte im beobachtetem Bild abgebildet werden, das auf der Empfänger-Bildebene des Kamerasystems erzeugt wird. Der Streuparameter der Punktstreufunktion des Kamerasystems stellt ein Maß der Bild-"Unschärfe" dar.
Auf der Grundlage der Werte der Kameraparameter wird eine zweite Zwangsbedingung zwischen den Streuparametern und der Punktstreufunktion, die dem ersten und dem zweiten Teilbild entspricht, abgeleitet.
Unter Verwendung der ersten und der zweiten Zwangsbedingung, die oben erwähnt worden sind, werden anschließend die Streuparameter bestimmt.
Auf der Grundlage wenigstens eines der wie oben bestimmten Streuparameter und des ersten und des zweiten Satzes von Kameraparametern wird die Entfernung zwischen dem Kamerasystem und dem Flächenteil in der 3-D-Szene bestimmt.
In der bevorzugten Ausführungsform wird die erste Zwangsbedingung zwischen den Streuparametern dadurch abgeleitet, daß die erste und die zweite Funktion der spektralen Leistungsdichte, die dem ersten und dem zweiten Teilbild entsprechen, berechnet werden. Dann wird ein Verhältnisausdruck unter Benutzung der ersten und der zweiten Funktion der spektralen Leistungsdichte formuliert, schließlich wird auf der Grundlage des Verhältnisausdrucks die erste Zwangsbedingung zwischen den Streuparametern formuliert.
Die zweite Zwangsbedingung zwischen den Streuparametern wird durch die Formulierung einer Beziehung zwischen den Streuparametern und dem dem Flächenteil in der 3-D-Szene entsprechenden Streukreisdurchmesser formuliert. Unter Verwendung dieser Beziehung wird die zweite Zwangsbedingung zwischen den Parametern abgeleitet.
In der bevorzugten Ausführungsform enthält das Kamerasystem eine Kamerablende und einen Bildempfänger mit einer Empfänger-Bildebene, ferner enthält das Linsensystem wenigstens ein Linsenelement. Das Linsensystem ist durch eine erste und eine zweite Hauptebene und eine Brennweite charakterisiert, wobei sich die zweite Hauptebene näher an der Empfänger-Bildebene befindet. Die drei Kameraparameter sind (i) die Entfernung zwischen der zweiten Hauptebene und der Empfänger-Bildebene, (ii) der Durchmesser der Kamerablende und (iii) die Brennweite des Linsensystems. In der bevorzugten Ausführungsform können entweder irgendein Parameter, irgendwelche zwei Parameter oder alle drei Parameter dieser Kameraparameter geändert werden.
In der bevorzugten Ausführungsform enthält das Linsensystem zwei Linsen, es können jedoch ebensogut Linsensysteme verwendet werden, die eine oder mehr als zwei Linsen besitzen. Die Punktstreufunktion des Kamerasystems wird so gewählt, daß sie Gauß-Form besitzt, das verallgemeinerte Verfahren kann jedoch Punktstreufunktionen von beliebiger Form verwenden.
Alternativ kann das Abbildungssystem der Kamera ein optisches System mit Abbildungsspiegeln oder -linsen oder Kombinationen hiervon enthalten.
Ein weiterer Aspekt der vorliegenden Erfindung umfaßt ein Verfahren zur automatischen Fokussierung des Kamersystems unter Verwendung des obenbeschriebenen Verfahrens, d. h. des Verfahrens zur Entfernungsbestimmung zwischen Kamerasystem und einem Flächenteil einer 3-D-Szene, die in den Brennpunkt gebracht werden soll. In dieser Ausführungsform ist der Kameraparameter, der bestimmt wird, entweder die effektive Brennweite des Linsensystems oder die Entfernung zwischen der zweiten Haupt ebene und der Empfänger-Bildebene, der den Teilbild-Flächenteil in den Brennpunkt bringt. Diese Bestimmung wird unter Verwendung einer Linsensystemformel ausgeführt, die aus geometrischen Betrachtungen des Kamerasystems abgeleitet worden ist. Der oben bestimmte Kameraparameterwert wird anschließend so gesetzt, daß das Kamerasystem schnell und automatisch fokussiert wird.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein Verfahren zur Entfernungsbestimmung einer Vielzahl von Flächenteilen einer 3-D-Szene, wenn sie von einem Kamerasystem gemessen wird. Auf ein derartiges Verfahren wird im allgemeinen Bezug genommen, wenn die Tiefenkarte einer 3-D-Szene erzeugt wird. Wie in den anderen Ausführungsformen der vorliegenden Erfindung enthält das Kamerasystem ein Linsensystem, das vorzugsweise eine Vielfachlinse für eine einfache Brennweiteneinstellung besitzt. Das Kamerasystem ist durch eine Punktstreufunktion charakterisiert und zusätzlich durch drei Kameraparameter charakterisiert, von denen wenigstens einer oder mehrere während des Bilderzeugungsprozesses auf einen unterschiedlichen Wert gesetzt werden können. Es ist notwendig, daß sämtliche Kameraparameterwerte quantifizierbar sind.
Das Tiefenkarten-Erzeugungsverfahren ist dem Verfahren zur Entfernungsbestimmung zwischen einem Flächenteil und einem hiervon beabstandeten Kamerasystem ähnlich, mit der Ausnahme, daß anstatt der Bestimmung der Entfernung zwischen dem Kamerasystem und einem Flächenteil mehrere Entfernungen aus einer Mehrzahl von Flächenteilen in einer 3-D-Szene zu dem Kamerasystem parallel bestimmt werden. Das Verfahren erfordert die Erzeugung von ersten und zweiten Bildern wie oben beschrieben und anschließend die Unterteilung der ersten und der zweiten Bilder in mehrere Teilbilder. Jedes Teilbild in den ersten Bildern entspricht einem Teilbild in den zweiten Bildern. Jedes Teilbild der ersten und der zweiten Bilder entspricht einem der Flächenteile der 3-D-Szene.
Wie in den obenbeschriebenen Ausführungsformen wird die Funktion der spektralen Leistungsdichte für jedes Teilbild der ersten und der zweiten Bilder berechnet. Der Streuparameter der Punktstreufunktion, die jedem Teilbild der ersten und der zweiten Bilder entspricht, wird parallel auf der Grundlage der einem jeden Teilbild entsprechenden Funktion der spektralen Leistungsdichte und dem ersten und dem zweiten Satz von Kameraparametern bestimmt. Danach werden wie in den obenbeschriebenen Verfahren parallel die Entfernungen zwischen dem Kamerasystem und jedem Flächenteil in der 3-D-Szene auf der Grundlage eines der den vorher bestimmten Teilbildern entsprechenden Streuparameter und der zwei Sätze von Kameraparametern bestimmt. Durch dieses Verfahren der zweidimensionalen Bildverarbeitung wird eine Tiefenkarten-Erzeugung der 3-D-Szene in Echtzeit und auf rechnerisch effiziente Weise geschaffen.
In den obenerwähnten Ausführungsformen kann irgendeiner oder mehrere der Kameraparameter in diesem Verfahren während des Bilderzeugungsprozesses auf unterschiedliche Werte gesetzt werden.
Ein weiterer Aspekt der vorliegenden Erfindung umfaßt bin Verfahren zur Erzeugung eines bildschärfenverbesserten Bildes aus einem Paar von ersten und zweiten Bildern, die gemäß den Prinzipien der vorliegenden Erfindung erzeugt wird. Das Verfahren zur Erzeugung von bildschärfenverbesserten Bildern verwendet die Mehrzahl der Streuparameter, die in dem Verfahren zur Erzeugung einer Tiefenkarte einer 3-D-Szene wie oben diskutiert bestimmt werden. Insbesondere verwendet dieses Verfahren die berechneten Streuparameter, die den jeweiligen Teilbildern entsprechen, um eine zweidimensionale digitale Signalverarbeitung an denselben auszuführen, um die Bildschärfe eines jeden Teilbildes zu verbessern, deren Gesamtsumme bei einer Synthetisierung das verbesserte Bild ergibt.
Das Verfahren zur Erzeugung von bildschärfenverbesserten Bildern umfaßt die Bestimmung der jedem Teilbild entsprechenden Übertragungsfunktion des Kamerasystems. Diese Bestimmung wird auf der Grundlage der "optischen Übertragungsfunktion" (d. h. der Fourier-Transformierten der Punktstreufunktion) des Kamerasystems, wenigstens eines der Streuparameter, die jedem Teilbild entsprechen, und des ersten und des zweiten Bildes ausgeführt. Die zweidimensionale Fourier-Transformierte eines jeden Teilbildes wird anschließend berechnet. Die zweidimensionale Fourier-Transformierte für jedes bildschärfenverbesserte Teilbild wird auf der Grundlage der Übertragungsfunktion des Kamerasystems für jedes Teilbild und der entsprechenden zweidimensionalen Fourier-Transformierten eines jeden gewonnenen (d. h. beobachteten) Teilbildes berechnet. Die inverse Fourier-Transformierte wird für jede im obigen Schritt bestimmte zweidimensionale Fourier-Transformierte berechnet, um das hierzu entsprechende bildschärfenverbesserte Teilbild zu erzeugen. Danach werden die bildschärfenverbesserten Teilbilder synthetisiert, um das bildschärfenverbesserte Bild zu erzeugen.
Das in der obenbeschriebenen Ausführungsform verwendete Kamerasystem kann dasselbe Kamerasystem sein, das in dem Verfahren der Tiefenkarten-Erzeugung verwendet wird.
Es wird außerdem eine Vorrichtung für die Entfernungsbestimmung zwischen Flächenteilen einer 3-D-Szene und dem obenbeschriebenen Kamerasystem geschaffen, vor allem kann es jedoch dazu verwendet werden die anderen Ausführungsformen hiervon zu verwirklichen. Im allgemeinen enthält die Vorrichtung das obenbeschriebene Kamerasystem und Mittel zum Verändern des Wertes wenigstens eines oder mehrerer der Kameraparameter. Die Vorrichtung enthält außerdem Mittel für die quantitative Messung der Größe des Wertes eines jeden der Kameraparameter einschließlich der von den Mitteln zur Veränderung derselben bewirkten Veränderungen der Kameraparameterwerte. Außerdem enthält die Vorrichtung Mittel für die Gewinnung zweidimensionaler Bilder aus dem Bildempfänger und für die Erzeugung digitaler Bilddaten, die jedem gewonnenen Bild entsprechen. Um die Entfernung zwischen dem Flächenteil und dem Kamerasystem zu bestimmen, ist ein Bildverarbeitungscomputer vorgesehen, der die digitalen Bilddaten der gewonnenen Bilder empfängt und die selben verarbeitet. Außerdem kann die Vorrichtung ein Mittel enthalten, um (i) die Werte der Kameraparameter, (ii) die während des Bildgewinnungsprozesses daran ausgeführten Änderungen und (iii) ein dreidimensionales graphisches Modell der erzeugten Tiefenkarten optisch anzuzeigen.
Ein Ergebnis der vorliegenden Erfindung besteht darin, daß die Tiefenkarte einer gesamten 3-D-Szene unabhängig davon, ob irgendein Teil des Bildes fokussiert ist oder nicht, und ungeachtet der Werte der Kameraparameter auf einmal erhalten werden kann.
In der bevorzugten Ausführungsform der vorliegenden Erfindung kann der einem jeden Teilbild entsprechende Streuparameter einfach und vor allem unabhängig von den Durchmessereinstellungen der Kamerablende während der Erzeugung (d. h. Gewinnung) des ersten und des zweiten Bildes bestimmt werden. Dieses Ergebnis steht im Gegensatz zum Stand der Technik, der erfordert, daß eine der Durchmessereinstellungen der Kamerablende nahe bei Null liegt.
Das Verfahren zur Erzeugung bildschärfenverbesserter zweidimensionaler Bilder ist insbesondere für die Verwendung in der Mikroskopie geeignet, um ein bildschärfenverbessertes zweidimensionales Bild einer 3-D-Mikroskopprobe abzuleiten. Dieses Verfahren hat außerdem einen großen Nutzen bei der Ableitung einer Fernsehbildanzeige einer 3-D-Szene, in der sowohl die Vordergrundgegenstände als auch die Hintergrundgegenstände in der Szene trotz erheblicher Unterschiede der jeweiligen Positionen der Vordergrund- und der Hintergrundgegenstände in der Tiefendimension der 3-D-Szene auf der Fernsehbildanzeige scharf erscheinen.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß sie ein passives Verfahren zur schnellen Autofokussierung eines Kamerasystems schafft. Insbesondere erfordert dieses Verfahren die Gewinnung und die Verarbeitung lediglich zweier Bilder, während im Gegensatz hierzu der Stand der Technik die Gewinnung und die Verarbeitung einer Abfolge von Bildern erfordert, die entweder durch die Bewegung der Empfänger-Bildebene rückwärts oder vorwärts entlang der optischen Achse oder durch die Veränderung der Brennweite des Linsensystems über einen Bereich von Brennweitenwerten erzeugt werden.
Für ein weiteres Verständnis der Aufgaben der vorliegenden Erfindung wird auf die folgende Beschreibung der bevorzugten Ausführungsformen Bezug genommen, die in Verbindung mit den beigefügten Zeichnungen gegeben wird, von denen:
Fig. 1 eine perspektivische, schematische Darstellung ist, die eine Szene zeigt und zwei Flächenteile und ein Kamerasystem enthält, welches ein Linsensystem und einen auf der optischen Achse desselben angeordneten Bildempfänger aufweist, wobei die Darstellung die Geometrie des Kamerasystems und die Kameraparameter erläutert;
Fig. 2 eine Seitenansicht der schematischen Darstellung von Fig. 1 ist, die die Geometrie und die Kameraparameter des Kamerasystems erläutert, die in der bevorzugten Ausführungsform der vorliegenden Erfindung verwendet werden;
Fig. 3 ein Blockschaltbild der Vorrichtung der vorliegenden Erfindung ist, das ein Kamerasystem, eine Einrichtung zur Gewinnung digitaler Bilder und einen Bildverarbeitungscomputer zeigt;
Fig. 4 ein Blockschaltbild eines computergesteuerten Kamerasystems für die Vorrichtung von Fig. 3 ist, das eine Linsenposition-Steuereinrichtung für die Veränderung der Brennweite des Linsensystems, eine Empfänger-Bildebenenposition-Steuereinrichtung für die Veränderung der Entfernung zwischen der Empfänger-Bildebene und der zweiten Haupt ebene des Linsensystems und eine Kamerablendendurchmesser-Steuereinrichtung für die Veränderung des Durchmessers der Kamerablende erläutert;
Fig. 5 ein Blockschaltbild eines alternativen Kamerasystems für die Einrichtung von Fig. 3 ist, das eine Doppelkamera-Konfiguration für die gleichzeitige Erzeugung eines Paars von zweidimensionalen Bildern einer 3-D-Szene vom selben Beobachtungspunkt besitzt, wobei jedes Kamerasystem einen Satz von Kameraparametern mit wenigstens einem unterschiedlichen Wert verbindet;
Fig. 6 ein Flußdiagramm ist, das die Schritte zeigt, die bei der Bestimmung der Entfernung zwischen einem Kamerasystem und einem Flächenteil in der 3-D-Szene und bei der automatischen Fokussierung des Kamerasystems gemäß dem Verfahren der vorliegenden Erfindung ausgeführt werden;
Die Fig. 7A und 7B zusammengenommen ein Flußdiagramm bilden, das die Schritte zeigt, die bei der Erzeugung der Tiefenkarte einer gegebenen 3-D-Szene und bei der Erzeugung von bildschärfenverbesserten Bildern aus einem Paar von Bildern hiervon ausgeführt werden; und
Fig. 8 eine schematische Darstellung des Kamerasystems der vorliegenden Erfindung ist, die eine Draufsicht eines alternativen Abbildungssystems erläutert, das einen Abbildungsspiegel verwendet.
In Fig. 1 ist eine perspektivische schematische Darstellung des Kamerasystems der vorliegenden Erfindung gezeigt, welches eine dreidimensionale räumliche Szene beobachtet. Das Kamerasystem 1 in der bevorzugten Ausführungsform enthält ein Linsensystem 2 mit einer ersten Linse L&sub1; und einer zweiten Linse L&sub2;, die entlang einer optischen Achse 3 angeordnet sind und die Einstellung der Brennweite f des Linsensystems 2 ermöglichen. Die Brennweite f ist ein Kameraparmeter.
Das Linsensystem kann durch eine erste Hauptebene P&sub1; und eine zweite Hauptebene P&sub2; sowie durch jede der Linsen L&sub1; und L&sub2; insofern, als diese jeweils eine Linsenebene im herkömmlichen Sinn besitzen, charakterisiert werden. Der Wert der Brennweite f des Linsensystems wird durch eine Längsverschiebung der Linse L&sub2; rückwärts oder vorwärts entlang der optischen Achse geändert. Die andere Linse L&sub1;, die sich direkt gegenüber der Szene befindet, wird nicht bewegt. Beide Linsen können konvexe Linsen sein, eine von ihnen kann jedoch auch konkav sein. In jedem Fall ist die effektive Brennweite f durch die wohlbekannte Formel
gegeben, wobei fL1 und fL2 die Brennweiten der beiden Linsen L&sub1; bzw. L&sub2; sind und R die Entfernung zwischen den beiden Linsen ist. Die Positionen der Hauptebenen P&sub1;, P&sub2; und der Hauptpunkte Q&sub1; und Q&sub2; des Linsensystems werden durch Verwendung von aus der geometrischen Optik wohlbekannten Verfahren bestimmt, wie sie beispielsweise im Kapitel VII, Abschnitt 2 des Textes Optics (1968) von K.N Ogle, herausgegeben von Charles C. Thomas, Springfield, Illinois, diskutiert werden. Als alternatives Verfahren zur Änderung von f durch eine Längsbewegung der Linse L&sub2; ist es auch möglich, ein Linsensystem zu verwenden, das mehr als zwei Linsen besitzt, wobei die Brennweite f durch Ersetzen einer der Linsen durch eine andere mit einer anderen Brennweite geändert wird.
Das Kamerasystem enthält außerdem eine Empfänger-Bildebene 4, auf der ein projiziertes Bild erzeugt und aufgezeichnet wird. Die Entfernung zwischen der zweiten Hauptebene P&sub2; des Linsensystems und der Empfänger-Bildebene 4 ist mit s bezeichnet und bildet einen Kameraparameter. Der Wert des Kameraparameters s kann durch eine Längsbewegung der Empfänger-Bildebene 4 rückwärts und vorwärts entlang der optischen Achse geändert werden.
Der dritte Kameraparameter des Kamerasystems ist der Durchmesser D der Kamerablende, deren Wert durch Ändern des Durchmessers derselben unabhängig gesteuert wird. Es ist wünschenswert, eine möglichst große Kamerablende zu verwenden, da eine größere Kamerablende (i) eine geringere Feldtiefe und somit ein größeres Abstands-(oder Tiefen-) Unterscheidungsvermögen für das Kamerasystem ergibt, (ii) eine größere Bild-Strahlungsintensität schafft und (iii) verstümmelnde Effekte aufgrund der Beugung reduziert.
Die theoretischen Grundlagen, die den Verfahren der vorliegenden Erfindung zugrunde liegen, werden insbesondere mit Bezug auf die Fig. 1 und 2 erläutert.
In Fig. 2 wird ein Punkt P auf dem Flächenteil in der dreidimensionalen räumlichen Szene bei p' fokussiert und als Bild p auf die Empfänger-Bildebene 4 projiziert. Die Beziehung zwischen den Positionen von p' und P ist durch die folgende Linsensystem-Formel
1/f = 1/u + 1/v (2)
gegeben, wobei f die effektive Brennweite ist, u die Entfernung des Gegenstandes P zur ersten Hauptebene P&sub1; ist und v die Entfernung zwischen dem fokussierten Bild p' und der zweiten Hauptebene P&sub2; ist. Wenn das Bild p nicht scharf ist, erzeugt das Linsensystem auf der Empfänger- Bildebene 4 ein kreisförmiges Bild, das gemeinhin "Streukreis" genannt wird. Anhand der einfachen ebenen Geometrie und der obenangegebenen Linsenformel (2) kann gezeigt werden, daß der Durchmesser des Streukreises durch
gegeben ist, wobei D der effektive Durchmesser des Linsensystems ist. Wenn die räumliche Vergrößerung des Streukreises durch Teilen seines Durchmessers durch den Kameraparameter s normiert wird, wird für den normierten Durchmesser d erhalten:
In der obigen Gleichung kann der normierte Durchmesser d in Abhängigkeit davon, ob s ≤ v oder s < v ist, entweder positiv oder negativ sein. Im ersteren Fall befindet sich die Empfänger-Bildebene hinter dem fokussierten Bild p', während sie sich im letzteren Fall vor dem fokussierten Bild p' befindet. Gemäß den Prinzipien der geometrischen Optik ist die Bildintensität innerhalb des Streukreises theoretisch konstant und gegeben durch
hc(x,y) = 4/πd², falls x² + y² ≤ d²/4, und 0, falls x² + y² > d²/4. (5)
Aufgrund von Systembandbreiten-Einschränkungen, die durch die Beugung und durch Linsen-Aberrationen verursacht werden, ist ein genaues Modell der Intensitätsverteilung (d. h. der Punktstreufunktion) jedoch durch eine zweidimensionale Gaußsche Funktion gegeben:
wobei EXP die Exponentialfunktion darstellt und σ der Streuparameter der Punktstreufunktion ist, derart, daß
σ = kd für k ≤ 0. (7)
Insbesondere ist k eine Proportionalitätskonstante, die eine Eigenschaft einer gegebenen Kamera ist und anfangs durch eine im Stand der Technik bekannte Kameraeichung bestimmt wird.
Durch Definition ist das Streubild des Punktes P, das durch h(x,y) dargestellt ist, tatsächlich die Punktstreufunktion des Kamerasystems. Aus den obigen Gleichungen kann für den Streuparameter die folgende Formel abgeleitet werden:
Es wird insbesondere festgestellt, daß die Punktstreufunktion h(x,y) von oben durch den Streuparameter _ definiert ist und daher für Punkte an verschiedenen Entfernungen von der Linsenebene unterschiedlich ist. Vom Volumen von h(x,y) kann gezeigt werden, daß es den Einheitswert besitzt, wobei die Fourier-Transformierte von h(x,y), die gemeinhin die optische Übertragungsfunktion des Kamerasystems genannt wird, von der Form ist:
H(w,v) = EXP[- 1/2·(w² + v²)·σ²] (9)
wobei w, v räumliche Frequenzparameter sind, die in Radian pro Einheitsentfernung ausgedrückt sind.
Nachdem die mathematische Form der Punktstreufunktion des Kamerasystems beschrieben worden ist, wird nun die mathematische Funktion des beobachteten Bildes g(x,y) der dreidimensionalen Szene auf der Empfänger-Bildebene beschrieben, die durch die Punktstreufunktion des Kamerasystems h(x,y) und die räumliche Intensitätsverteilung f(x,y) des fokussierten Bildes auf dem Flächenteil gegeben ist.
G(w,v) und F(w,v) sind die zweidimensionalen Fourier- Transformierten von g(x,y) bzw. f(x,y), wobei das beobachtete Bild g(x,y) durch gut begründete Prinzipien ausgedrückt werden kann durch
g(x,y) = h(x,y)*(x,y) (10)
wobei * die Faltungsoperation bezeichnet.
Daran erinnernd, daß die Faltung im räumlichen Bereich mit einer Multiplikation im Fourier-Bereich äquivalent ist, kann die obige Gleichung im Fourier-Bereich ausgedrückt werden durch
G(w,v) := H(w,v) F(w,v). (11)
Anhand begründeter Prinzipien ist die Funktion der spektralen Leistungsdichte P(w,v) von G(w,v) gegeben durch
P(w,v) = G(w,v) G*(w,v) (12)
wobei G*(w,v) die Komplexkonjugierte von G(w,v) ist.
Wegen G*(w,v) = H*(w,v) F*(w,v) kann der obige Ausdruck folgendermaßen geschrieben werden:
P(w,v) = H(w,v)H*(w,v) F(w,v)F*(w,V) (13)
Wenn in Gleichung (9) H(w,v) ersetzt wird, ist die Funktion der spektralen Leistungsdichte P(w,v) eines Streubildgebiets gegeben durch
P(w,v) = EXP[-(w² + v²)σ²] F(w,v)F*(w,v) (14)
Da die Funktion der spektralen Leistungsdichte P(w,v), die wie oben darstellbar ist, eine Funktion des Streuparameters σ ist und da von dem Streuparameter σ gezeigt worden ist, daß er für Gegenstände in der Szene, die sich in verschiedenen Entfernungen von der Kamera befinden, unterschiedlich ist, wird die Analyse der erzeugten zweidimensionalen Bilder vorzugsweise in Teilbildgebieten ausgeführt, in denen der Streuparameter σ angenähert konstant ist.
Außerdem wird wegen der Streuwirkung die Intensität eines Teilbildes an ihren Randbildelementen durch die Intensität benachbarter Teilbilder beeinflußt. Dieses Phänomen ist als Bildüberlappung bekannt, das auftritt, wenn die Bild-Intensitätsverteilung, die durch benachbarte sichtbare Flächenteile in der Szene erzeugt wird, mit dem beobachteten Bild überlappt. Um nachteilige Wirkungen der Bildüberlappung zu verringern, wird jede Teilbild-Intensitätsverteilung mit einer geeigneten zweidimensionalen Gaußschen Funktion, die im betrachteten Teilbild zentriert ist, gewichtet (d. h. multipliziert) . Die resultierenden gewichteten Teilbilder werden dann in dem Verfahren der vorliegenden Erfindung verwendet, deren mathematische Grundlagen weiter unter für die folgenden verschiedenen Ausführungsformen der vorliegenden Erfindung gegeben werden.
In der ersten Ausführungsform der vorliegenden Erfindung wird der Abstand des gewünschten Flächenteils von einem Kamerasystem unter Verwendung eines Paars von zweidimensionalen Bildern g&sub1;(x,y) und g&sub2;(x,y) des gewünschten Flächenteils bestimmt. Diese Bilder g&sub1;(x,y) und g&sub2;(x,y) werden durch ein Kamerasystem mit den Kameraparametern {s&sub1;, f&sub1;, D&sub1;} bzw. {fs&sub2;, f&sub2;, D&sub2;} erzeugt. Diese Sätze von Kameraparametern besitzen wenigstens einen unterschiedlichen Parameter mit einer endlichen Wertedifferenz. Aus den Gleichungen (9) und (11) ergeben sich die Fourier-Transformierten von g&sub1;(x,y) und g&sub2;(x,y) zu
Unter Verwendung von Gleichung (14) werden die Funktionen der spektralen Leistungsdichte für die mit unterschiedlichen Kameraparameterwerten {s&sub1;, f&sub1;, D&sub1;] und {s&sub2;, f&sub2;, D&sub2;} erzeugten Bilder g&sub1;(x,y) und g&sub2;(x,y) ausgedrückt durch
P&sub1;(w,v) = EXP[-(w²+v²)σ&sub1;²] F(w,v)F*(w,v) (16A)
bzw.
P&sub2;(w,v) = EXP[-(w²+v²)σ&sub2;²] F(w,v)F*(w,v) (16B)
Durch Division von Gleichung (16A) durch Gleichung (16B) wird der folgende Ausdruck erhalten:
Nun wird durch Logarithmieren beider Seiten der obigen Gleichung und Umordnen der Terme der folgende Ausdruck erhalten:
Aus dem räumlichen Frequenzpaar (w,v) kann die rechte Seite der obigen Gleichung (18) aus dem gegebenen Bildpaar G&sub1;(w,v) und G&sub2;(w,v) berechnet werden. Daher kann Gleichung (18) dazu verwendet werden, aus den beobachteten Bildern g&sub1;(x,y) und g&sub2;(x,y) σ&sub1;².σ&sub2;² zu bestimmen. Im Prinzip ist die Messung der spektralen Leistungsdichte an einem einzigen räumlichen Frequenzpunkt (w,v) ausreichend, um den Wert von σ&sub1;²-σ&sub2;² zu bestimmen, eine bessere Schätzung kann jedoch durch Bildung des Mittelwertes über ein Gebiet im räumlichen Frequenzbereich erhalten werden.
Der geschätzte Mittelwert des Ausdrucks (18) kann durch C dargestellt werden, wobei
und R ein Gebiet im räumlichen Frequenzbereich ist, der die Punkte P&sub1;(w,v) = P&sub2;(w,v) nicht enthält, und A die Fläche im Gebiet R ist. Daher kann aus Gleichung (18) aus den beobachteten Bildern g&sub1;(x,y) und g&sub2;(x,y) die Zwangsbedingung zwischen den Streuparametern σ&sub1; und σ&sub2; erhalten werden:
σ&sub1;²-σ&sub2;²=C (20)
Oben steht eine Gleichung mit zwei Unbekannten. Um sie für die Streuparameter σ&sub1; und σ&sub2; zu lösen, wird aus zwei unterschiedlichen Sätzen von Kameraparametern {s&sub1;, f&sub1;, D&sub1;} und {s&sub2;, f&sub2;, D&sub2;} folgendermaßen eine zusätzliche Gleichung erhalten.
Aus der oben abgeleiteten Gleichung (8) und den beiden Kameraparametersätzen, die den beobachteten Bildern g&sub1;(x,y) bzw. g&sub2;(x,y) entsprechen, werden die beiden folgenden Gleichungen erhalten:
und
Wenn aus den beiden obigen Gleichungen die Entfernung U zwischen der Kamera und dem Flächenteil eliminiert wird, wird die folgende Gleichung erhalten:
σ&sub1; = α σ&sub2; + β (22)
wobei
α = k&sub1;D&sub1;/k&sub2;D&sub2; (23A)
und
Die Gleichungen σ&sub1;²-σ&sub2;² = C und _&sub1; = ασ&sub2; + β ergeben zusammen die beiden Gleichungen mit zwei unbekannten Variablen gegeben sind.
Es muß besonders hervorgehoben werden, daß diese beiden Gleichungen für die Vorliegende Erfindung grundlegend sind. Die erste von ihnen, d. h. σ&sub1;²-σ&sub2;² = C stellt eine erste "Zwangsbedingung" (d. h. eine Verbindungsbeziehung oder einen mathematischen Ausdruck) zwischen den beiden Streuparametern dar, die aus den beobachteten Bildern erhalten werden. Die zweite Gleichung, d. h. σ&sub1; = ασ+β stellt eine zweite "Zwangsbedingung" (d. h. eine Verbindungsbeziehung oder einen mathematischen Ausdruck) dar, der lediglich aus den Kameraparameterwerten und den Kameracharakteristiken erhalten wird. Es ist festgestellt worden, daß es andere Annäherungen gibt, um die Streuparameterwerte σ&sub1; und σ&sub2; zu bestimmen. Unabhängig von der übernommenen Annäherung erfordert das Verfahren der vorliegenden Erfindung die Ableitung zweier Zwangsbedingungen, wobei (i) eine der Zwangsbedingungen aus den beobachteten Bildern erhalten wird und (ii) die andere Zwangsbedingung aus den Kameraparameterwerten und den Kameracharakteristiken erhalten wird. Die beiden auf diese Weise abgeleiteten Gleichungen werden gleichzeitig gelöst, um die Streuparameter σ&sub1; und σ&sub2; zu erhalten. Vor allem kann der die Zwangsbedingungen zwischen den Streuparametern σ&sub1; und σ&sub2; durch die Kameraparameter und die Kameracharakteristiken definierende Ausdruck unabhängig vom Analysebereich der beobachteten Bilder erhalten werden. Beispiele solcher Bereiche enthalten die Fourier-Transformation, die räumliche Transformation, die Z-Transformation usw.
Aus den grundlegenden Gleichungen (20) und (22) wird für die bevorzugte Ausführungsform die folgende Gleichung abgeleitet:
(α² - 1)σ&sub2;² + 2αβσ&sub2; + β² = C (24)
Der obige Ausdruck ist eine quadratische Gleichung (d. h. eine Polynomfunktion) für den Streuparameter σ&sub2;, deren Lösung durch
gegeben ist.
Im allgemeinen gibt es für diese Gleichung zwei Lösungen. Eine einzige Lösung ergibt sich jedoch dann, wenn beide beobachteten Bilder g&sub1;(x,y) und g&sub2;(x,y) mit derselben Kamerablendendurchmesser-Einstellung, d. h. D&sub1; = D&sub2;, erzeugt werden. Es können andere Spezialfälle abgeleitet werden, bei denen eine einzige Lösung erhalten wird, beispielsweise wenn die beiden Kamerablendendurchmesser unterschiedlich sind (d. h. D&sub1; ≠ D&sub2;) und die Brennweiten und die Entfernungen Empfänger-Bildebene/zweite Hauptebene gleich sind (d. h. f&sub1; = f&sub2; = s&sub1; = s&sub2;) In diesem Fall können nur negative Lösungen der Streuparameter σ&sub1; und σ&sub2; akzeptiert werden.
Wenn nach den Streuparametern σ&sub1; und σ&sub2; aufgelöst worden ist und die Kameraparametersätze {s&sub1;, f&sub1;, D&sub1;} und {s&sub2;, f&sub2;, D&sub2;} festgestellt worden sind, kann die Entfernung oder der Abstand u des Flächenteils vom Kamerasystem aus den Gleichungen (21A) oder (21B) berechnet werden:
u = k&sub1; D&sub1; s&sub1; f&sub1;/s&sub1; f&sub1; σ&sub1; + k&sub1; D&sub1; (f&sub1; - s&sub1;) (26A)
bzw.
u = k&sub2; D&sub2; s&sub2; f&sub2;/s&sub2; f&sub2; σ&sub2; + k&sub2; D&sub2; (f&sub2; - s&sub2;) (26B)
In einer weiteren Ausführungsform der vorliegenden Erfindung wird der Abstand des gewünschten Flächenteils von einem Kamerasystem unter Verwendung eines Paars von zweidimensionalen Bildern g&sub1;(x,y) und g&sub2;(x,y) des gewünschten Flächenteils bestimmt, welche von dem Kamerasystem mit den Kameraparametern {s, f, D} und {s + δs, f + δf, D + δD} erzeugt worden sind, wobei δs, δf, δD infinitesimal kleine Änderungen der jeweiligen Kameraparameterwerte sind. Wenigstens einer von δs, δf, δD sollte von Null verschieden sein.
Aus Gleichung (8) wird der folgende Ausdruck erhalten:
Aus dem früher abgeleiteten Ausdruck (14) kann der folgende Ausdruck abgeleitet werden:
δP(w,v) = ω2(w² + v²) P(w,v)σ σδ (28)
Durch Umordnen der Terme im obigen Ausdruck wird der folgende Ausdruck erhalten:
wobei die rechte Seite folgendermaßen durch C definiert ist:
Im Prinzip ist die Messung von P(w,v) und δP(w,v) an einem einzigen Punkt (w,v) im Bereich der räumlichen Frequenzen ausreichend, um C zu berechnen, wie jedoch weiter oben angegeben wurde, kann eine bessere Schätzung von C aus den beobachteten Bildern durch
berechnet werden, wobei wie oben R ein Gebiet im Bereich der räumlichen Frequenz ist, der diejenigen Punkte nicht enthält, bei denen δP(w,v) = 0 ist, und wobei A die Fläche des Gebietes R ist. Aus den Ausdrücken (27B), (29) und (31) wird der folgende Ausdruck erhalten:
der eine quadratische Gleichung (d. h. eine Polynomfunktion zweiter Ordnung) des Streuparameters σ ist.
Durch Lösen der obigen quadratischen Gleichung (32) kann der Streuparameter σ unter Verwendung von im Stand der Technik bekannten Verfahren bestimmt werden. Im allgemeinen werden zwei Lösungen erhalten, eine einzige Lösung wird jedoch für σ erhalten, wenn der Kamerablendendurchmesser D während des Bilderzeugungsprozesses nicht geändert wird, d. h. δD = 0. Aus dem Streuparameter σ kann die Entfernung u aus
U = kDsf/sfσ + kD(f - s) (33)
erhalten werden.
Nachdem die theoretischen Grundlagen der Prinzip-Ausführungsform des Verfahrens der vorliegenden Erfindung erläutert worden sind, wird nun das Verfahren zur Entfernungsbestimmung zwischen einem Flächenteil und dem Kamerasystem beschrieben.
Bei der Ausführung des Verfahrens der vorliegenden Erfindung können verschiedene Typen von Vorrichtungen verwendet werden, von denen Beispiele in den Fig. 3, 4 und 5 erläutert sind. Wie in Fig. 5 gezeigt, kann das in dem Bilderzeugungsprozeß verwendete Kamerasystem zwei getrennte Kameras enthalten, wovon jede durch einen unterschiedlichen Satz von Kameraparametern charakterisiert ist und die den Flächenteil vom selben Beobachtungspunkt aus beobachten. Alternativ kann ebensogut ein einfaches computergesteuertes Kamerasystem mit variablen Kameraparametern, wie es in Fig. 4 gezeigt ist, verwendet werden. In beiden Fällen wird das Kamerasystem jedoch die allgemeine Konfiguration besitzen, die in dem Blockschaltbild von Fig. 3 gezeigt ist.
In Fig. 3 ist eine Vorrichtung der bevorzugten Ausführungsform gezeigt, die ein Kamerasystem 1, eine Bildgewinnungseinrichtung 5 und einen Bildverarbeitungscomputer 6 enthält. Das Kamerasystem 1 enthält ein abbildendes System, das in der bevorzugten Ausführungsform ein Linsensystem ist, das durch wenigstens drei Kameraparameter {s, f, D} charakterisiert ist. Alternativ kann es in einigen Anwendungen wünschenswert sein, ein Abbildungssystem zu verwenden, das einen oder mehrere Abbildungsspiegel enthält, um ein Bild zu erzeugen. Ein solches alternatives System ist in Fig. 8 erläutert, die ein Kamerasystem 1''' zeigt, das ein Abbildungssystem mit einer Linse und einem Spiegel enthält.
In der bevorzugten Ausführungsform bildet ein digitaler Bildempfänger 8 wie etwa eine Matrix von Ladungsverschiebungseinrichtungen (CCD) die Empfänger-Bildebene des Kamerasystems. Der Bildempfänger kann ebensogut ein photographischer Film sein, in welchem Fall eine anschließende Digitalisierung erforderlich ist. Vorzugsweise wird eine herkömmliche digitale Bildgewinnungseinrichtung 5 dazu verwendet, aus dem vom Kamerasystem 1 erzeugten Videosignal (vs) eine digitale Bild-Intensitätsmatrix g(x,y) zu erhalten, wobei 1 ≤ x ≤ m und 1 ≤ y ≤ n und m und n ganze Zahlen sind, die die Größe des Bildes spezifizieren. Wie in Fig. 3 erläutert, gibt der Bildverarbeitungscomputer 6 aufgrund von Eingangssteuerdaten, die die Werte der Kameraparameter spezifizieren, an das Kamerasystem Steuersignale aus, um die jeweiligen Kameraparameterwerte zu setzen.
Nach der Bildgewinnung verarbeitet der Bildverarbeitungscomputer die digitalisierte Bild-Intensitätsmatrix g(x,y) entsprechend den Bildverarbeitungsverfahren der vorliegenden Erfindung.
Fig. 4 erläutert eine mögliche Kamerakonfiguration, die bei der praktischen Ausführung des Verfahrens der vorliegenden Erfindung verwendet werden kann. Darin ist ein computergesteuertes Kamerasystem mit variablen Kameraparametern erläutert. Das computergesteuerte Kamerasystem enthält ein Kamerasystem 1', eine digitale Gewinnungseinrichtung 5 und einen Bildverarbeitungscomputer 6. Die Kamera enthält ein Linsensystem 2, eine Kameratrennwand 10 mit einer Kamerablende und einen Bildempfänger 8. In dieser Ausführungsform umfaßt das Linsensystem zwei Linsen L&sub1; und L&sub2;, die durch eine variabele Entfernung r getrennt sind. Das Kamerasystem 1' enthält außerdem eine Steuereinrichtung 11 für die Position der Linse L&sub2;, eine Steuereinrichtung 12 für die Position der Empfänger-Bildebene und eine Steuereinrichtung 13 für den Durchmesser der Kamerablende, wobei jede von ihnen vom Bildverarbeitungscomputer 6 Steuersignale empfängt und ihren jeweiligen Kameraparameter einstellt und/oder mißt. Die Messungen der Kameraparameter s, f und D werden mittels Sensoren ausgeführt, die mit "s", "f" bzw. "D" gekennzeichnet sind. Diese Sensoren können vom Kontakttyp oder vom kontaktlosen Typ sein, wie sie im Stand der Technik bekannt sind. Die L&sub2;-Position-Steuereinrichtung 11 steuert die effektive Brennweite f des Kamerasystems 1' durch Verändern der Entfernung r zwischen den Linsen L&sub1; und L&sub2;. Die Steuereinrichtung 12 für die Position der Empfänger-Bildebene steuert den Kameraparameter s direkt. Die Kamerablenden- Steuereinrichtung 13 steuert den Durchmesser D der Kamerablende. Der Hauptvorteil der Kamerakonfiguration von Fig. 4 besteht darin, daß lediglich eine Kameraeinheit mit durch einen Computer steuerbaren Parametern erforderlich ist.
In Fig. 5 ist eine alternative Ausführungsform des Kamerasystems von Fig. 3 erläutert. Darin ist ein Kamerasystem 1'' gezeigt, das eine Doppelkamerakonfiguration für die gleichzeitige Erzeugung eines Paars von Bildern einer 3-D-Szene vom selben Beobachtungspunkt unter Verwendung einer Spiegelkonfiguration besitzt. In dieser Ausführungsform sind die Sätze von Kameraparametern {s, f, D} für jede Kameraeinheit unterschiedlich, wobei sie vorzugsweise vor der Bilderzeugung im voraus gesetzt werden und während des Bilderzeugungsprozesses nicht geändert werden müssen, wie dies in der Kamerakonfiguration von Fig. 4 notwendig ist.
In den Kamerakonfigurationen der Fig. 4 und 5 ist eine visuelle Anzeigeeinrichtung 14 vorgesehen, um die unter Verwendung des Verfahrens der vorliegenden Erfindung bestimmten Entfernungen visuell anzuzeigen. Vorzugsweise ist die visuelle Anzeigeeinrichtung 14 eine Kathodenstrahlröhreneinrichtung, die dazu geeignet ist, sowohl perspektivische 3-D-Ansichten von bestimmten Tiefenkarten einer 3-D-Szene graphisch anzuzeigen als auch numerische Werte von Kameraparametern und dergleichen anzuzeigen.
Nun werden mit Bezug auf Fig. 6 die Schritte des Verfahrens der vorliegenden Erfindung beschrieben. Mit den Kameraparametern {s&sub1;, f&sub1;, D&sub1;} wird ein Bild g&sub1;(x,y) gewonnen, während mit den Kameraparametern {s&sub2;, f&sub2;, D&sub2;} ein zweites Bild g&sub2;(x,y) gewonnen wird.
In dem Fall, in dem der Kameraparameter s während des Bilderzeugungsprozesses (d. h. s&sub1; ≠ s&sub2;) geändert wird, ist eine Normierung der Bildvergrößerung (in Form einer "räumlichen Skalierung") erforderlich, um sicherzustellen, daß die Punkte des mit dem Parameter s&sub1; gewonnenen Bildes den Punkten des mit dem Parameter s&sub2; gewonnenen zweiten Bildes entsprechen. Mit anderen Worten, die räumliche Bildskalierung ist erforderlich, da die Vergrößerung eines beobachteten Bildes zur Entfernung s der Empfänger-Bildebene von der zweiten Hauptebene P&sub2; proportional ist. Daher wird eine räumliche Skalierung ausgeführt, so daß sämtliche Bilder dieselbe Vergrößerung besitzen. In der bevorzugten Ausführungsform wird die s=1 entsprechende Vergrößerung verwendet.
Die räumliche Skalierung kann durch die folgende Prozedur erzielt werden. Wenn g1p(x,y) das skalierte Bild von g&sub1;(x,y) und wenn g2p(x,y) das skalierte Bild von g&sub2;(x,y) ist, können für die räumliche Skalierung die folgenden Transformationen verwendet werden:
In dem Fall, in dem der Kameraparameter s&sub2; größer als der Kameraparameter s&sub1; ist, wird die digitale Gewinnungseinrichtung 5 g2p(x,y) dichter als g1p(x,y) abtasten. In diesem besonderen Fall müssen die Werte von g2p(x,y) an denselben Punkten erhalten werden, an denen g1p(x,y) abgetastet worden ist, indem ein im Stand der Technik bekanntes Interpolationsverfahren verwendet wird. Das neu abgetastete Bild von g2p(x,y) kann mit g2ps(x,y) bezeichnet werden.
Nachdem die obenbeschriebenen Vorverarbeitungsoperationen dort, wo es notwendig ist, ausgeführt worden sind, werden aus dem ersten und dem zweiten zweidimensionalen Bild g1p(x,y) bzw. g2p(x,y) erste und zweite Teilbilder g1A(x,y) und g2A(x,y) ausgewählt, die dem Bild desselben Flächenteils "A" in der 3-D-Szene entsprechen. Diese Teilbilder g1A(x,y) und g2A(x,y) entsprechen dem Flächenteil "A" der Szene, deren Entfernung u zum Kamerasystem bestimmt werden muß.
Um jegliche unerwünschte Effekte des oben beschriebenen "Überlappungseffektes" abzuschwächen (d. h. die Effekte der Bildstreuung über die Grenzen der Teilbilder hinweg), kann jedes Teilbild mit einer geeigneten "mittengewichteten" Maske multipliziert werden. Z.B. kann eine Gaußsche Maske verwendet werden, deren Streuung gleich dem 0,2-0,5fachen "Durchmesser" der Teilbilder ist.
Auf dieser Stufe des Verfahrens werden die Teilbilder g1A(x,y) und g2A(x,y) in bezug auf Veränderungen der Bilddichte durch eine Operation normiert, die im folgenden mit "Graustufen-Skalierung" bezeichnet wird. Die Graustufen-Skalierung kann dadurch ausgeführt werden, daß die Grauwerte von g2A(x,y) mit einer Konstante multipliziert werden, die durch das Verhältnis des mittleren Grauwertes von g1A(x,y) zum Mittelwert von g2A(x,y) gegeben ist.
Die Funktionen der spektralen Leistungsdichte P&sub1;(w,v) und P&sub2;(w,v) von g1A(x,y) und g2A(x,y) werden berechnet, wobei w, v die Parameter der räumlichen Frequenz sind, die in Radian pro Einheitsabstand ausgedrückt sind.
Nun wird die Größe C wie in Gleichung (19) berechnet.
Der Streuparameter σ&sub2; kann aus Gleichung (25) erhalten werden. Auf der Grundlage des oben bestimmten Streuparameters σ&sub2; kann der Abstand u zwischen dem Kamerasystem und dem Flächenteil unter Verwendung von Gleichung (26B) bestimmt werden, die im folgenden erneut angegeben wird:
u = A&sub1;/A&sub2;σ&sub2;k + A&sub3; (26B)
wobei A&sub1; = k&sub2;D&sub2;s&sub2;f&sub2;, A&sub2; = s&sub2;f&sub2; und A&sub3; = k&sub2;D&sub2;(f&sub2;-s&sub2;)
An dieser Stelle wird festgestellt, daß es in dem obigen Verfahren Abwandlungen gibt, wenn gewünscht ist, die Entfernung u unter Verwendung von kleinen (infinitesimalen) Änderungen in den Werten der Kameraparameter zu bestimmen. Diese Abwandlungen sind:
(1) Die Größe C wird unter Verwendung von Gleichung (31) anstatt von Gleichung (19) berechnet;
(2) Der Streuparameter σ wird unter Verwendung von Gleichung (32) anstatt von Gleichung (25) bestimmt; und
(3) Die Entfernung u kann dann unter Verwendung von Gleichung (33) anstatt von Gleichung (26B) bestimmt werden.
An dieser Stelle ist es günstig, einen weiteren Aspekt der vorliegenden Erfindung zu beschreiben, der ein Verfahren zur automatischen Fokussierung eines Kamerasystems unter Verwendung des obenbeschriebenen Verfahrens zur Entfernungsbestimmung zwischen dem Kamerasystem und dem Flächenteil einer 3-D-Szene umfaßt, wobei dieses Kamerasystem automatisch scharfgestellt werden soll.
Wie in Fig. 6 gezeigt, kann nach der Bestimmung der Entfernung u zwischen dem Flächenteil und dem Kamerasystem gemäß einem der obenbeschriebenen Verfahren die folgende Linsensystemformel
1/f = 1/u + 1/s (34)
dazu verwendet werden, die effektive Brennweite f des Linsensystems oder die Position s der Empfänger-Bildebene zu bestimmen, die das Teilbildgebiet, das dem Flächenteil entspricht, in den Brennpunkt bringt.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein Verfahren für die gleichzeitige Entfernungsbestimmung von mehreren Flächenteilen einer von einem Kamerasystem gemessenen dreidimensionalen räumlichen Szene in parallelen Operationen.
Für die Bilder g&sub1;(x,y) und g&sub2;(x,y), die mit unterschiedlichen Sätzen von Kameraparametern erzeugt werden, können die den mehreren Flächenteilen entsprechenden Teilbilder durch g1i,j(x,y) und g2i,j(x,y) dargestellt werden, mit 1 ≤ i ≤ m und 1 ≤ j ≤ n, wobei jedes (i,j) Paar einen einzigen Flächenteil in der Szene spezifiziert. Entsprechend den Teilbildern g1i,j(x,y) und g2i,j(x,y) wird die folgende Notation verwendet:
(i) Fourier-Transformierte: G1i,j(w,v), G2i,j(w,v);
(ii) Das fokussierte Teilbild des (i,j)-ten Flächenteils: f1,j(x,y);
(iii) Die Fourier-Transformierte des fokussierten Teilbildes: Fi,j(w,v);
(iv) Optische Übertragungsfunktion der Kamera: H1i,j(w,v), H2i,j(w,v);
(v) Funktionen der spektralen Leistungsdichte: P1i,j(w,v), P2i,j(x,y);
(vii) Streuparameter: σ1i,j, σ2i,j;
(vii) Entfernungen von der Kamera: ui,j (zusammengefaßt auch bekannt als "Tiefenkarte")
Nun werden mit Bezug auf die Fig. 7A und 7B die Schritte des Verfahrens der Tiefenkarten-Erzeugung beschrieben.
Unter Verwendung von zwei unterschiedlichen Sätzen von Kameraparametern {s&sub1;, f&sub1;, D&sub1;} und {s&sub2;, f&sub2;, D&sub2;} werden Bilder g&sub1;(x,y) bzw. g&sub2;(x,y) gewonnen. An jedem Bild g&sub1;(x,y) und g&sub2;(x,y) werden Graustufen- und räumliche Skalierungsoperationen ausgeführt, wie oben beschrieben worden ist. Jedes Bild g&sub1;(x,y) und g&sub2;(x,y) wird in einen Satz von entsprechenden Teilbildern g1i,j(x,y) bzw. g2i,j(x,y) unterteilt. Die Fourier-Transformierten G1i,j(w,v) und G2i,j(w,v) und anschließend die Funktionen der spektralen Leistungsdichte P1i,j(w,v) und P2i,j(w,v) der Teilbilder werden berechnet. Auf der Grundlage von P1i,j(w,v) und P2i,j(w,v) und der Kameraparametersätze {s&sub1;, f&sub1;, D&sub1;} und {s&sub2;, f&sub2;, D&sub2;} werden die Streuparameter σ1i,j (oder σ2i,j) wie oben beschrieben berechnet.
Auf der Grundlage der Streuparameter σ1i,j (oder σ2i,j) und der Kameraparametersätze {s&sub1;, f&sub1;, D&sub1;} und {s&sub2;, f&sub2;, D&sub2;} können die Flächenteil-Entfernungen ui,j durch eines der obenbeschriebenen Entfernungsmeßverfahren erhalten werden.
Durch dieses Verfahren der zweidimensionalen Bildverarbeitung wird eine Tiefenkarten-Erzeugung der dreidimensionalen räumlichen Szene in Echtzeit und auf eine rechnerisch effiziente Weise geschaffen.
An dieser Stelle ist es nun günstig, das Verfahren zur Erzeugung eines bildschärfenverbesserten Bildes aus einem Paar von ersten und zweiten Bildern, die gemäß den Prinzipien der vorliegenden Erfindung erzeugt worden sind, zu beschreiben. Unter erneuter Bezugnahme auf Fig. 7 wird die Tiefenkarte ui,j wie oben beschrieben erhalten. Die optische Übertragungsfunktion H1i,j(w,v) (oder H2i,j(w,v)), die g1i,j(x,y) oder g2i,j(x,y) entspricht, wird auf der Grundlage der Streuparameter σ1i,j(oder σ2i,j) bestimmt.
Die zweidimensionale Fourier-Transformierte Fi,j(w,v) für jedes bildschärfenverbesserte Teilbild kann erhalten werden zu
Die bildschärfenverbesserten Teilbilder fi,j(x,y) für jeden Flächenteil in der Szene können durch Berechnen der inversen Fourier-Transformierten von Fi,j(w,v) erhalten werden. Alternativ können die bildschärfenverbesserten Teilbilder fi,j(x,y) im räumlichen Bereich unter Verwendung eines im Stand der Technik bekannten inversen Faltungsprozesses berechnet werden, in der bevorzugten Ausführungsform wird dies jedoch aus Gründen der rechnerischen Vereinfachung durch Divisionsoperationen im Bereich der räumlichen Frequenzen ausgeführt. Durch die Kombination der bildschärfenverbesserten Teilbilder fi,j(x,y) wird das bildschärfenverbesserte Bild f(x,y) der Szene erhalten.
Es liegt innerhalb des beanspruchten Umfangs der vorliegenden Erfindung, die Entfernung u eines Flächenteils in einer 3-D-Szene zu einem Kamerasystem unter Verwendung von mehr als einem Paar von zweidimensionalen Bildern zu bestimmen, die gemäß den Prinzipien der vorliegenden Erfindung gewonnen worden sind. Wenn daher n zweidimensionale Bilder unter Verwendung unterschiedlicher Sätze von Kameraparameterwerten gewonnen werden, können n-1 unabhängige Schätzungen der Entfernung u ausgeführt werden, wobei der Mittelwert dieser Entfernungen eine gute Schätzung der Entfernung u bildet. Unabhängige Schätzungen der Entfernung u werden durch Anwenden des Entfernungsbestimmungsverfahrens der vorliegenden Erfindung auf Paare von Bildern erhalten, derart, daß jedes Paar wenigstens ein Bild enthält, das nicht in einem beliebigen anderen Paar enthalten ist. Es ist zu erwarten, daß die Leistung sämtlicher der obenbeschriebenen Verfahren unter Verwendung von mehr als genau zwei Bildern verbessert werden kann.
Außerdem haben die obenbeschriebenen Verfahren eine Fourier-Bereichsanalyse der gewonnenen Bilder und Teilbilder zur Grundlage. Es ist jedoch möglich, eine entsprechende Analyse in anderen Bereichen (z. B. einem räumlichen Bereich, einem Z-Transformationsbereich usw.) auszuführen. Der Fourier-Bereich ist einfachheitshalber gewählt worden, ferner ist insbesondere die Analyse des Leistungsspektrums gewählt worden, da sie bei der Signalverarbeitung eine physikalische Interpretation zuläßt.
In der bevorzugten Ausführungsform der Entfernungsmessungs- und Tiefenkarten-Erzeugungsverfahren wurde ein Kamerasystem verwendet, das durch eine Gaußsche Punktstreufunktion charakterisiert ist. Es liegt jedoch innerhalb des beanspruchten Umfangs der vorliegenden Erfindung, die Verfahren so abzuwandeln, daß sie Kamerasysteme enthält, die durch eine beliebige Punktstreufunktion charakterisierbar sind. In solchen Fällen wird der Ausdruck, der für die Punktstreuparameter abgeleitet werden kann, unterschiedlich sein. Im folgenden wird eine Möglichkeit zur Entwicklung eines Modells eines Kamerasystems beschrieben, das durch eine beliebige Punktstreufunktion charakterisierbar ist und mit dem Entfernungen zu Flächenteilen in einer 3-D-Szene bestimmt werden.
Eine erste Zwangsbedingung (d. h. eine Verbindungsbeziehung oder ein mathematischer Ausdruck) zwischen σ&sub1; und σ&sub2; durch die beobachteten Bilder g&sub1;(x,y) und g&sub2;(x,y) kann wie im folgenden beschrieben erhalten werden.
Die optischen Übertragungsfunktionen für die beobachteten Bilder g&sub1;(x,y) und g&sub2;(x,y) können mit Hσ1(w,v) bzw. Hσ2(w,v) bezeichnet werden. Unter Verwendung von Gleichung (13) können die Funktionen der spektralen Leistungsdichte ausgedrückt werden durch
P&sub1;(w,v) = Hσ1(w,v) Hσ1*(w,v)F(w,v)F*(w,v) (36A)
und
P&sub2;(w,v) = Hσ2(w,v) Hσ2*(w,v)F(w,v)F*(w,v) (36B)
Durch Division von Gleichung (36A) durch Gleichung (36B) wird die folgende Zwangsbedingung erhalten:
Dieser Ausdruck definiert vor allem eine erste Zwangsbedingung zwischen den Streuparametern σ&sub1; und σ&sub2; durch die Funktionen der spektralen Leistungsdichte der beobachteten Bilder g&sub1;(x,y) und g&sub2;(x,y). Dieser Ausdruck ist in dem Fall, in dem die Punktstreufunktion eine Gaußsche Form besitzt, zu der in Gleichung (17) definierten ersten Zwangsbedingung analog.
Für eine beliebige Punktstreufunktion h(x,y) kann der Streuparameter als Quadratwurzel des zweiten Mittenmomentes der Verteilung h(x,y) definiert werden, d. h.
wobei (x, y) der Schwerpunkt der Verteilung ist, der gegaben ist durch
Der Streuparameter σ kann mit dem Durchmesser d des Streukreises durch eine Funktion t folgendermaßen in Beziehung gesetzt werden:
d = t(σ) (40)
wobei t durch die Kameraeichung bestimmt ist. Ersetzen von d in Gleichung (40) durch die Kameraparameter aus Gleichung (4) ergibt die folgende Gleichung:
Durch Umordnen der Terme in der obigen Gleichung (41) wird der folgende Ausdruck erhalten:
Nun können für zwei unterschiedliche Sätze von Kameraparametern {s&sub1;, f&sub1;, D&sub1;} und {s&sub2;, f&sub2;, D&sub2;} die folgenden Ausdrücke abgeleitet werden:
Wenn aus den obigen Gleichungen (44A) und (44B) der Term u eliminiert wird und diese Gleichungen vereinfacht werden, kann die folgende Gleichung erhalten werden:
t(σ&sub1;) = α't(σ&sub2;) + β' (45)
wobei
α' = D&sub1;/D&sub2; (46A)
und
Gleichung (45) ist eine zweite Zwangsbedingung zwischen den zwei Streuparametern σ&sub1; und σ&sub2;. Diese zweite Zwangsbedingung ist in dem Fall, in dem die Punktstreufunktion eine Gaußsche Form besitzt, zu der in Gleichung (22) definierten zweiten Zwangsbedingung analog.
Wie die Gleichungen (20) und (22) für den Fall einer Gaußschen Punktstreufunktion bilden die Gleichungen (37) und (45) zwei grundlegende Gleichungen mit den Unbekannten σ&sub1; und σ&sub2;. Durch die gleichzeitige Lösung dieser Gleichungen (37) und (45) können die Streuparameter σ&sub1; und σ&sub2; erhalten werden. Danach wird die Entfernung u des Flächenteils vom Kamerasystem unter Verwendung entweder von Gleichung (26A) oder von Gleichung (26B) berechnet.

Claims

1. Verfahren zur Entfernungsbestimmung zwischen einem Flächenteil einer dreidimensionalen räumlichen Szene und einem ein abbildendes System aufweisenden Kamerasystem, wobei das Kamerasystem durch eine Punktstreufunktion und drei Kameraparameter charakterisierbar ist, von denen einer oder mehrere während des Bilderzeugungsvorganges auf einen unterschiedlichen Wert gesetzt werden kann und die alle zur Bildung eines ersten und zweiten Satzes von Kameraparametern quantifizierbar sind, welche mindestens einen unterschiedlichen Kameraparameterwert haben, wobei das Verfahren aufweist:

(a) Erzeugung eines ersten zweidimensionalen Bildes der dreidimensionalen räumlichen Szene unter Benutzung des durch einen ersten Satz von Kameraparametern charakterisierbaren Kamerasystems;

(b) Erzeugung eines zweiten zweidimensionalen Bildes der dreidimensionalen räumlichen Szene unter Benutzung des durch einen zweiten Satz von Kameraparametern charakterisierbaren Kamerasystems, wobei der erste und zweite Satz von Kameraparametern mindestens einen unterschiedlichen Kameraparameterwert aufweisen;

(c) Auswahl eines ersten und zweiten Teilbildes aus den ersten und zweiten zweidimensionalen Bildern, die dem Flächenteil der dreidimensionalen Szene, dessen Entfernung vom Kamerasystem zu bestimmen ist, entsprechen;

(d) Ableitung einer ersten Zwangsbedingung zwischen den Streuparametern der den ersten und zweiten Teilbildern entsprechenden Punktstreufunktionen auf der Basis der ersten und zweiten Teilbilder;

(e) Ableitung einer zweiten Zwangsbedingung zwischen den Streuparametern auf der Basis der Werte der Kameraparameter;

(f) Bestimmung der Streuparameter mittels der in den Schritten (d) und (e) abgeleiteten ersten und zweiten Zwangsbedingungen; und

(g) Bestimmung der Entfernung zwischen dem Kamerasystem und dem Flächenteil in der dreidimensionalen räumlichen Szene auf der Basis mindestens einer der in Schritt (f) bestimmten Streuparameter und der ersten und zweiten Sätze von Kameraparametern.

2. Verfahren nach Anspruch 1, worin Schritt (d) einschließt:

Berechnung erster und zweiter Funktionen der spektralen Leistungsdichte zu den ersten und zweiten Teilbildern;

Formulierung eines Verhältnisausdrucks unter Benutzung der ersten und zweiten Funktionen der spektralen Leistungsdichte; und

Formulierung der ersten Zwangsbedingung zwischen den Streuparametern auf der Basis dieses Verhältnisausdrucks.

3. Verfahren nach Anspruch 1 oder 2, worin Schritt (e) einschließt:

Formulierung einer Beziehung zwischen den Streuparametern und dem dem Flächenteil in der dreidimensionalen Szene entsprechenden Streukreisdurchmesser und Benutzung der Beziehung zur Ableitung der zweiten Zwangsbedingung zwischen den Streuparametern.

4. Verfahren zur Entfernungsbestimmung einer Vielzahl von Flächenteilen einer dreidimensionalen räumlichen Szene, gemessen von einem ein abbildendes System aufweisenden Kamerasystem, wobei das Kamerasystem durch eine Punktstreufunktion und drei Kameraparameter charakterisierbar ist, von denen einer oder mehrere während des Bilderzeugungsvorganges auf einen unterschiedlichen Wert gesetzt werden kann und die alle zur Bildung eines ersten und zweiten Satzes von Kameraparametern quantifizierbar sind, welche mindestens einen unterschiedlichen Kameraparameterwert haben, wobei das Verfahren aufweist:

(c) Aufteilung der ersten und zweiten zweidimensionalen Bilder in eine Vielzahl zweidimensionaler Teilbilder, deren jedes zweidimensionale Teilbild im ersten zweidimensionalen Bild einem zweidimensionalen Teilbild im zweiten zweidimensionalen Bild entspricht und deren jede einander entsprechende zweidimensionale Teilbilder des ersten und zweiten Bildes einem der Flächenteile der dreidimensionalen Szene entsprechen;

(d) Ableitung einer ersten Zwangsbedingungen zwischen den den ersten und entsprechenden zweiten Teilbilder entsprechenden Streuparametern der Punktstreufunktion auf der Basis jedes ersten und entsprechenden zweiten Teilbildes;

(e) Ableitung einer zweiten Zwangsbedingung zwischen den Streuparametern für jedes erste und entsprechende zweite Teilbild auf der Basis der Werte der Kameraparameter;

(f) Bestimmung der Streuparameter für jedes erste und entsprechende zweite Teilbild unter Benutzung der in den Schritten (d) und (e) gebildeten ersten und zweiten Zwangsbedingungen; und

(g) Bestimmung der Entfernung zwischen dem Kamerasystem und jedem Flächenteil in der dreidimensionalen räumlichen Szene auf der Basis mindestens einer der in Schritt (f) bestimmten Streuparameter, wobei eine Tiefenkarte der dreidimensionalen räumlichen Szene erhalten wird.

5. Verfahren nach Anspruch 4, worin die den ersten und entsprechenden zweiten Teilbildern entsprechenden Streuparameter zur Erzeugung eines bildschärfenverbesserten zweidimensionalen Bildes aus den ersten und zweiten zweidimensionalen Bildern mit einem Verfahren benutzt werden mit:

Bestimmung der optischen Übertragungsfunktion des Kamerasystems entsprechend jedem ersten und entsprechenden zweiten Teilbild für mindestens eines der ersten und zweiten Bilder auf der Basis der den jeden ersten und entsprechenden zweiten Teilbildern in Schritt (f) bestimmten Streuparameter;

Berechnung der zweidimensionalen Fourier-Transformation jedes der ersten und zweiten Teilbilder; Berechnung der zweidimensionalen Fourier-Transformation für jedes bildschärfenverbesserte erste und entsprechende zweite Teilbild mittels Division der zweidimensionalen Fourier-Transformierten durch die entsprechende optische Übertragungsfunktion des Kamerasystems auf der Basis der Übertragungsfunktion des Kamerasystems für jedes erste und entsprechende zweite Teilbild und der entsprechenden zweidimensionalen Fourier-Transformierten jedes ersten und zweiten Teilbildes;

Berechnung der inversen Fourier-Transformation für jede in dem obigen Schritt bestimmte zweidimensionale Fourier-Transformierte für das dementsprechende bildschärfenverbesserte zweidimensionale Teilbild; und künstliche Erzeugung jedes bildschärfenverbesserten zweidimensionalen Teilbildes zur Bildung des bildschärfenverbesserten Bildes.

6. Verfahren nach Anspruch 4 oder 5, worin Schritt (e) einschließt:

Formulierung einer Beziehung zwischen dem Streuparameter des Kamerasystems und dem Durchmesser des Streukreises, und

Benutzung dieser Beziehung zur Ableitung der zweiten Zwangsbedingung zwischen den Streuparametern für jedes erste und entsprechende zweite Teilbild.

7. Verfahren nach einem der Ansprüche 4 bis 6, worin Schritt (d) einschließt:

Berechnung erster und zweiter Funktionen der spektralen Leistungsdichte zu jedem ersten und entsprechenden zweiten Teilbild,

Formulierung eines Verhältnisausdrucks zu jedem ersten und entsprechenden zweiten Teilbild unter Benutzung der ersten und zweiten Funktionen der spektralen Leistungsdichte zu jeden ersten und entsprechenden zweiten Teilbildern; und

Formulierung der ersten Zwangsbedingung zwischen den Streuparametern für jedes erste und entsprechende zweite Teilbild auf der Grundlage des Verhältnisausdrucks von jedem ersten und zweiten Teilbild.

8. Verfahren nach einem der vorhergehenden Ansprüche, worin das Kamerasystem eine Blende und eine Empfänger- Bildebene aufweist, worin das abbildende System durch erste und zweite Hauptebene und eine Brennweite charakterisierbar ist, wobei die zweite Hauptebene näher an der Empfänger-Bildebene ist als die erste Hauptebene, und worin die drei Kameraparameter

(i) der Abstand zwischen der zweiten Hauptebene und der Empfänger-Bildebene,

(ii) der Durchmesser der Kamerablende, und

(iii) die Brennweite des abbildenden Systems sind.

9. Verfahren nach Anspruch 8 in Verbindung mit Ansprüchen 1 bis 3, worin die ermittelte Entfernung zwischen dem Kamerasystem und dem Flächenteil der dreidimensionalen räumlichen Szene zur automatischen Fokussierung des Kamerasystems mittels eines Verfahrens genutzt wird, das aufweist:

(a) Bestimmung der Entfernung zwischen dem Kamerasystem und einem Flächenteil der dreidimensionalen räumlichen Szene;

(b) Bestimmung eine (i) Brennweite des abbildenden Systems und (ii) Entfernung zwischen der Linsenebene und der den Flächenteil scharf abbildenden Empfänger-Bildebene auf der Basis der in Schritt (a) bestimmten Entfernung, wobei eine von der Kamerakonfiguration und den Merkmalen des Kamerasystems abgeleitete Abbildungsformel benutzt wird; und

(c) Einstellung des in Schritt (b) bestimmten Kameraparameters auf den dort mit der Abbildungsformel ermittelten Wert.

10. Verfahren nach Anspruch 9, worin Schritt (b) die Bestimmung einer der Größen Brennweite des abbildenden Systems und Abstand zwischen zweiter Hauptebene und Empfänger-Bildebene unter Benutzung der Abbildungsformel aufweist, worin deren Variablen die Brennweite des abbildenden Systems, die Entfernung zwischen dem Kamerasystem und dem Flächenteil der dreidimensionalen räumlichen Szene sowie den Abstand zwischen Empfänger- Bildebene und zweiter Hauptebene für ein fokussiertes zweidimensionales Teilbild umfassen.

11. Verfahren nach einem der vorhergehenden Ansprüche, worin das abbildende System ein Linsensystem oder ein abbildendes Spiegelsystem aufweist.

12. Verfahren nach einem der vorhergehenden Ansprüche, worin die Punktstreufunktion von Gauss'scher Form ist.

13. Vorrichtung zur Entfernungsbestimmung zwischen Flächenteilen einer dreidimensionalen Szene und einem davon entfernten Kamerasystem mit:

(a) einem Kamerasystem (1) einschließlich einer Empfänger-Bildebene (4), einer Kamerablende und eines durch erste und zweite Hauptebenen (P&sub1;, P&sub2;) und eine Brennweite charakterisierbaren abbildenden Systems (2), wobei die zweite Hauptebene (P&sub2;) näher an der Empfänger-Bildebene (4) als die erste Hauptebene ist und das Kamerasystem mindestens drei Kameraparameter hat,

(i) den Abstand zwischen zweiter Hauptebene und Empfänger-Bildebene,

(ii) den Durchmesser der Kamerablende, und

(iii) die Brennweite des abbildenden Systems;

(b) einem Mittel zur Veränderung des Wertes mindestens eines der Kameraparameter zur Erzeugung zweidimensionaler Bilder von Flächenteilen auf der Empfänger-Bildebene unter Benutzung eines Satzes von Kameraparameterwerten, von denen mindestens einer unterschiedlich ist;

(c) einem Mittel zur quantitativen Messung des Wertes jedes der Kameraparameter einschließlich der Änderungen in den Kameraparameterwerten durch das Mittel zur Veränderung derselben;

(d) einem Mittel zur Gewinnung zweidimensionaler Bilder vom Bildempfänger und zur Erzeugung entsprechender digitaler Bilddaten zu jedem gewonnen zweidimensionalen Bild; und

(e) einem Bildverarbeitungsrechner zur Aufnahme der digitalen Bilddaten des Bildes und deren Verarbeitung zur Bestimmung der Entfernungen zwischen dem Flächenteil und dem Kamerasystem gemäß einem Verfahren nach einem der Ansprüche 4 bis 12.

14. Vorrichtung nach Anspruch 13, die weiterhin ein visuelles Anzeigemittel (14) zur visuellen Anzeige der Werte der Kameraparameter und der darin bewirkten Änderungen aufweist.

15. Vorrichtung nach Anspruch 13 oder 14, worin das abbildende System ein Linsensystem (2) oder ein abbildendes Spiegelsystem aufweist.

16. Vorrichtung nach einem der Ansprüche 13 bis 15, worin die Empfänger-Bildebene ein Feld ladungsgekoppelter Speicher oder einen fotografischen Film aufweist.

17. Vorrichtung nach einem der Ansprüche 13 bis 16, worin das visuelle Anzeigemittel eine Kathodenstrahlröhre hat.