DE69207043T2

DE69207043T2 - Verfahren und Vorrichtung zur automatischen Scharfeinstellung einer CCD-Kamera mittels einer DCT

Info

Publication number: DE69207043T2
Application number: DE69207043T
Authority: DE
Inventors: Jamal Baina
Original assignee: Telediffusion de France ets Public de Diffusion
Current assignee: Telediffusion de France ets Public de Diffusion
Priority date: 1991-04-11
Filing date: 1992-04-09
Publication date: 1996-09-19
Anticipated expiration: 2012-04-10
Also published as: EP0508897B1; FR2675330A1; DE69207043D1; EP0508897A1; FR2675330B1

Description

Die Erfindung betrifft ein Verfahren zur automatischen Scharfeinstellung (Selbstfokussierung) in einer Vorrichtung zum Erstellen von Bildern, wobei diese Vorrichtung eine Optik mit variabler Brennweite umfaßt, die über ein Befehlssignal gesteuert wird, um eine Abbildung einer beobachteten Szene zu erstellen, sowie Mittel zum Bereitstellen von repräsentativen digitalen Daten des erstellten Bildes, dessen Schärfe von der Brennweite der Optik abhängt.
Um die automatische Scharfeinstellung in einer Vorrichtung zum Erstellen von Bildern durchzuführen, die eine Optik mit variabler Brennweite umfaßt, wie beispielsweise eine Videokamera mit Röhre, eine Kamera mit Halbleiteraufnahme oder ähnliches, wird bisher die Entfernung zwischen einem Gegenstand der beobachteten Szene und dem Bildschirm der Kamera mittels eines telemetrischen Zielsystems gemessen, der auf Infrarotstrahlung, auf Ultraschall oder auf einem anderen Verfahren basiert. Das Steuersignal wird ausgehend von dieser Messung so geregelt, daß man die Brennweite der Optik der Kamera ändert, um ein scharfes Bild des Gegenstandes zu erhalten, d.h., um die Abbildung des Gegenstandes in die Ebene des Kamerabildschirms zu bringen. Die telemetrischen Zielsysteme für Videokameras oder ähnliche Geräte wurden in der Art perfektioniert, daß die Regelung des Steuersignals das Ergebnis mehrerer telemetrischer Zielpeilungen berücksichtigt, die verschiedene Bildpunkte betreffen. Solche Kameras mit automatischer Scharfeinstellung werden üblicherweise bei computergesteuerten visuellen Systemen angewandt, welche viele Anwendungen haben, insbesondere für Industrieroboter, aber auch für die Fernüberwachung, Fernkonferenzen oder auf dem Gebiet der Biomedizin, wo eine automatische Bilduntersuchung bei bestmöglicher Schärfe häufig erforderlich ist. Andererseits ist es bei solchen computergesteuerten Videosystemen oft von Nutzen, ein Teil des Bildes automatisch oder auf Befehl scharf einstellen zu können, ohne die Aufnahmeachse zu ändern, um dieses Teil des Bildes hervorzuheben und nützliche Daten für die Verarbeitung des Bildes durch den Computer zu erhalten.
Die bekannten autofokussierenden Kameras erlauben solche Funktionen nicht, weil das telemetrische Zielsysteme entweder ein festes Gebiet des Bildes anpeilt oder aber von extrem komplexer Realisation und somit kostspielig ist.
Es sind andererseits vorhergehende Systeme automatischer Scharfeinstellung bekannt, USA 4 814 889 (GEC) und EPA 290 802 (POLAROID), die keine telemetrische Zielanpeilung nutzen. Gemäß Patent USA 4 814 889, wird die Berechnung der Scharfeinstellung nur indirekt durch Aufsummieren der Leuchtdichte erhalten, wobei dieses indirekte Erhalten eine Verarbeitung erfordert, um den Kontrast zu verstärken. Diese Behandlung erfordert eine Filterung, die Informationsverluste zur Folge hat. Dieses Verfahren ist nur für bestimmte Bildarten geeignet, die starke Kontraste aufweisen (beispielsweise sich abwechselnde Streifen); ferner sind die Berechnungen kompliziert. Nach der europäischen Patentanmeldung EPA 290 802, wird die Scharfeinstellung durch Aufsummieren der Quadrate der Differenzen zwischen benachbarten Bilderpixeln erfaßt. Dies erfordert ebenfalls eine große Anzahl von Rechnungen.
Ein Ziel der Erfindung ist das Bereitstellen eines Verfahrens für die automatische Scharfeinstellung in einer Vorrichtung zum Erstellen von Bildern, die in einem computergesteuerten Videosystem angewandt wird, wobei dieses Verfahren die funktionellen Besonderheiten der Geräte nutzen soll, aus denen solche computergesteuerte Videosysteme zusammengestellt sind.
Ein weiterer Zweck der Erfindung ist die Bereitstellüng eines Verfahrens für das automatische Fokussieren in einer Vorrichtung zum Erstellen von Bildern, welches einfach zu erstellen, preiswert und flexibel in der Handhabung sein soll.
Das Verfahren der Erfindung für das automatische Fokussieren in einer Vorrichtung zum Erstellen von Bildern, wobei diese Vorrichtung eine Optik mit variabler Brennweite umfaßt, die über ein Befehlssignal gesteuert wird, um eine Abbildung einer beobachteten Szene zu erstellen, sowie Mittel zum Bereitstellen von repräsentativen digitalen Daten des erstellten Bildes, dessen Schärfe von der Brennweite der Optik abhängt, ist dadurch bemerkenswert, daß das Steuerungssignal der Optik der Vorrichtung zum Erstellen von Bildern ausgehend von einem für das Bild repräsentative digitalen Signal geregelt wird, um die maximale Bildschärfe zu erhalten, wobei das digitale Signal durch Transformation der digitalen Bilddaten erzeugt wird, die durch eine diskrete Kosinustransformation in repräsentative Koeffizienten der räumlichen Bildfrequenzen transformiert werden.
Bei der oben erwähnten bisherigen Technik werden die Rechnungen im Pixeraum durchgeführt. Gemäß der Erfindung werden sie im Gegenteil im Frequenzraum durchgeführt. Die Grundidee der Erfindung ist, daß die Frequenzkoeffizienten einer Kosinustransformierten niedriger sind, wenn das Bild unscharf ist. Gemäß einer bevorzugten Ausführung erzielt man direkt einen charakteristischen Wert der Scharfeinsteung durch Summieren der Koeffizienten der diskreten Kosinustransformierten (TCD) für mindestens einen Bildbereich, was dazu führt, daß wenige Berechnungen erforderlich sind.
Vorteilhafterweise umfaßt das Verfahren die folgenden Schritte:
- die digitalen Bilddaten werden zusammengefügt, um digitale Datenblöcke zu bilden, die repräsentativ für einen Bildbereich sind;
- jeder Datenblock wird in einen Block von diskreten Kosinustransformiertenkoeffizienten transformiert;
- für jeden Koeffizientenblock wird ein Parameter as der örtlichen Bildaktivität gemäß der folgenden Beziehung berechnet:
wobei Fu,v ein Koeffizient aus dem Koeffizientenblock ist,
u, v die Indizes des Koeffizienten im Koeffizientenblock sind,
N eine Dimension des Koeffizientenblocks ist;
- ausgehend von den örtlichen Bildaktivitätsparametern as, wird ein globaler Bildaktivitätparameter AS gemäß der folgenden Beziehung berechnet:
wobei x,y die Indizes der Parameter as sind, die den Koeffizientenblöcken zugeordnet sind,
L, M die Zahlendimensionen der digitalen Buddatenblöcke des Bildbereichs sind;
- das Befehlssignal wird so gesteuert, daß man den maximalen Wert für den Parameter AS der gesamten Bildaktivität erhält.
Die Erfindung betrifft ein Videosystem, welches eine Videokamera umfaßt, die eine Optik mit variabler Brennweite hat, welche durch ein Befehlssignal gesteuert wird, um ein repräsentatives Videosignal eines Bildes, dessen Schärfe von der Brennweite der Optik abhängt, zu liefern; ferner eine Digitalisierungsvorrichtung für das Videosignal, das mit der Videokamera verbunden ist, um digitale Bilddaten zu liefern; eine Verarbeitungsvorrichtung für die digitalen Bilddaten, die mit der Digitalisierungsvorrichtung verbunden ist sowie Steuerungsmittel des Befehlssignals, um die Brennweite der Optik zu ändern, dadurch gekennzeichnet, daß das Steuerungsmittel des Befehlssignals Mittel zur Berechnung umfaßt, die mit der Digitalisierungsvorrichtung verbunden sind, um die digitalen Bilddaten in diskrete Kosinustransformiertenkoeffizienten umzuwandeln sowie eine Berechnungs- und Steuerungsvorrichtung, die mit den ersten Mitteln zur Berechnung verbunden ist, um das Befehlssignal in Beantwortung der Koeffizienten zu steuern, damit die höchste Bildschärfe automatisch erzielt wird. Vorteilhafterweise wird die Berechnungs- und Steuerungsvorrichtung zwischen der Digitalisierungsvorrichtung und der Berechnungsvorrichtung eingefügt und überträgt die digitalen Bilddaten, die für einen Bereich repräsentativ sind, an die Berechnungsvorrichtung, in Beantwortung einer Bildbereichsinformation, wobei die Berechnungs- und Steuerungsvorrichtung so gestaltet ist, daß sie das Befehlssignal steuert, bis der Bildbereich die höchste Schärfe aufweist. Die Berechnungs und Steuerungsvorrichtung ist geeignet, um mindestens einige der Koeffizienten zu summieren, wobei die Koeffizienten alle positiv betrachtet werden.
Diese und weitere Eigenschaften und Vorteile der Erfindung werden beim Lesen der folgenden detaillierten Beschreibung einer Ausführung der Erfindung besser ersichtlich, die sich auf die beiliegenden Figuren bezieht, wobei:
- Figur 1 die schematische Darstellung eines computergesteuerten. Videosystems gemäß der Erfindung ist;
- Figur 2 das Prinzip des Verfahrens der Erfindung darstellt.
Nimmt man auf Figur 1 Bezug, so umfaßt das computergesteuerte Videosystem eine Vorrichtung zum Erzeugen von Bildern 10, beispielsweise eine Videokamera, die ein für ein erzeugtes Bild repräsentatives Videosignal SV liefert, eine Digitalisierungsschaltung wie 20, die mit dem Ausgang der Videokamera verbunden ist, um das Videosignal zu digitalisieren und um digitale Bilddaten DN (Pixels) zu liefern, eine Vorrichtung zur Datenbehandlung 25, beispielsweise ein Computer, die mit der Digitalisierungsschaltung verbunden ist, um die digitalen Bilddaten zu bearbeiten sowie eine Steuerungsschaltung wie 30, um die Videokamera automatisch scharf einzustellen. Die Behandlungsvorgänge sind an eine besondere Anwendung gekoppelt: Fernüberwachung, industrielle Robotertechnik usw.
Es ist eindeutig, daß die Vorrichtung zur Bilderzeugung ebenso eine Halbleitervorrichtung sein kann, die am Ausgang direkt digitale Bilddaten DN liefert,, ohne daß man den Rahmen der Erfindung verläßt.
Die Bilderzeugungsvorrichtung umfaßt eine Optik mit variabler Brennweite wie 15, die mit einem Motor 16 ausgerüstet ist, um die Elemerite der Optik zu bewegen, in Beantwortung auf ein elektrisches Befehlssignal, das von der Steuerungsschaltung 30 geliefert wird, um automatisch ein scharfes Bild zu erhalten. Dieses elektrische Steuerungssignal wird mit den Symbolen + F, -F dargestellt, die beispielsweise elektrische Spannungen sein können, die selektiv an die Klemmen des Motors 16 angelegt werden, wobei das Anlegen dieser Spannungen die Bewegung in die eine oder andere Richtung bewirkt, in Abhängigkeit von der Spannung, die am Konvergenzbrennpunkt der Optik mit Bezug auf die Ebene des Bildschirms der Bilderzeugungsvorrichtung angelegt wird.
Die Steuerungsschaltung 30 umfaßt einen an sich bekannten verkabelten Prozessor 40, der am Eingang die digitalen Bilddaten DN empfängt, um sie einer diskreten Kosinustransformation (TCD) in Realzeit zu unterwerfen und am Ausgang die Koeffizienten der diskreten Kosinustransformierten DT zu liefern. Wie weiter vorne beschrieben, werden die TCD-Koeffizienten einer Bearbeitungs- und Berechnungseinheit 35 zugeführt, um die räumliche Aktivität des erzeugten Bildes festzustellen, welches den TCD-Koeffizienten und daher den digitalen Bilddaten entspricht. In Beantwortung der TCD-Koeffizienten liefert die Bearbeitungs- und Berechnungseinheit 35 ein Signal mit dem Vorzeichen SF und ein Verweisignal TF an eine Steuereinheit 36, die eines der Befehlssignale + F, -F erzeugt, als Funktion des Vorzeichensignals und während der durch das Verweilsignal angegebenen Zeitdauer, um der Kamera 10 das Erzeugen eines Bildes optimaler Schärfe zu ermöglichen.
Genauer gesagt werden die digitalen Daten (Leuchtdichte eines jeden Pixels) P1,1, P1,2, ... eines von der Kamera 10 erzeugten digital isierten Bildes 100 zu nebeneinanderliegenden Bildblöcken 110 mit jeweils N x N digitalen Daten zusammengefügt. In Figur 2 ist N gleich 4. Die Blöcke 110 digitaler Bilddaten werden durch eine diskrete Kosinustransformation (TCD) in Blöcke 120 mit den Koeffizienten F1,1, F1,2, ..., die mit Raumfrequenzen des Bildes assimilierbar sind, gemäß der folgenden, an sich bekannten Beziehung:
Wobei Cu = CV = 1/ ;u oder v = 0
Cu =Cv = 1; u = 1, ..., N-1
Fu,v ist der TCD-Transformiertenkoeffizient im Block 120
Px,y ist die Leuchtdichte eines Pixels im Block 110
u,v sind die Indizes des Pixels im Block 110
x, y sind die Indizes der Pixel im Block 110.
Gemäß der Erfindung wird angenommen, daß die räumliche Aktivität in einem Block 110 von digitalen Bildeementen die Existenz vieler Variationen der Leuchtdichte der dem Block 110 entsprechenden Pixel wiedergibt. Betrachtet man ihn nun im transformierten Bereich, so hat ein Block 110 von digitalen Bildelementen, der räumlich sehr aktiv ist, eine entsprechende Frequenzdarstellung, und die ihm in einem Block 120 entsprechenden TCD-Koeffizienten haben große Absolutwerte.
Das Verfahren der Erfindung verwendet eine Zählung (Summierung) der Koeffizienten (mit Ausnahme der kontinuierlichen Komponenten F0,0), die alle positiv betrachtet werden, um das Befehlssignal zu steuern, bis man die optimale Schärfe des in der Kamera 10 erzeugten Bildes erreicht.
Hierzu, und nach einer bevorzugten Ausführung, berechnet man für jeden Block 120 von TCD-Koeffizienten einen örtlichen Aktivitätsparameter as, der für den Kontrast eines Teils des Bildes repräsentativ ist, mittels der folgenden Beziehung (Summe der Quadrate der Koeffizienten, von der das Quadrat der kontinuierlichen Komponenten subtrahiert wird):
Es wird dann ein Parameter AS der gesamten Bildaktivität ausgehend von den örtlichen Bildaktivitätsparametern as berechnet, die vorher für alle Blöcke 120 berechnet wurde, gemäß der folgenden Beziehung:
wobei x,y die Indizes der Parameter as sind, die den Koeffizientenblöcken zugeordnet sind,
L, M die Zahlendimensionen der digitalen Bilddatenblöcke des Bildbereichs sind, auf der man scharf einstellen möchte.
Zuletzt wird das Befehlssignal gesteuert, um den Höchstwert des Parameters AS der gesamten Bildaktivität zu erhalten, d. h., während der aufeinanderfolgenden Bildaufnahmen und für verschiedene Brennweiten erzeugt die Bearbeitungs- und Berechnungseinheit 35 Signale SF und TF nach jeder Aufnahme eines Bildes und nach der Behandlung der TCD-Koeffizienten, wie vorher beschrieben, um den Parameter AS konvergieren zu lassen. Das Verfahren zum Erhalt des Höchstwertes des Parameters AS wird bevorzugterweise durch ein Programm ausgeführt.
Wenn man wieder die Figur 1 betrachtet, so erscheint die Bearbeitungs- und Berechnungseinheit 35 zwischen der Digitalisierungsschaltung 20 und dem TCD- Berechnungsprozessor 40 eingefügt. Die Bearbeitungs- und Berechnungseinheit 35, die der Computer sein kann, aus dem die Bearbeitungseinheit 25 besteht, empfängt am Eingang die Werte L, M, die einen Bereich des scharf einzustellenden Bildes definieren. Diese Werte L, M können automatisch durch die Bearbeitungseinheit 25 geliefert werden oder durch einen Operator über eine (nicht dargestellte) Tastatur für die Dateneingabe. In Antwort auf die Werte L, M, bestimmt die Bearbeitungs- und Berechnungseinheit 35 die digitalen Datenblöcke 110, die dem TCD-Berechnungsprozessor 40 bereitzustellen sind, um diese in Blöcke 120 von TCD- Koeffizienten zu transformieren. In Antwort auf einen TCD-Koeffizienten, bestimmt die Bearbeitungsund Berechnungseinheit 35 einen Parameter AS für die Gesamtaktivität des ausgewählten Bildbereiches und steuert das Befehlssignal über die Steuereinheit 36, damit die Parameter AS auf einen Höchstwert hin konvergieren, der einer optimalen Schärfe des ausgewählten Bildbereiches entspricht.
Es wird darauf aufmerksam gemacht, daß die Werte L, M das gesamte Bild oder einen kleinen Teil davon definieren können.
So erfolgt die Scharfeinstellung automatisch über das komplette von der Kamera erzeugte Bild oder über einen Teil davon. Andererseits verwendet die Methode für die automatische Scharfeinstellung einer steuerbaren Kamera mit variabler Brennweite ausschließlich elektronische Mittel, nämlich Rechnungsprozessoren, die üblicherweise bei den Systemen zur Bildkodierung angewandt werden und die nicht teuer sind. Insbesondere für die Fernüberwachung können vorteilhafterweise Algorithmen zum automatischen Abtasten der Bilder entworfen werden, die das Fokussieren der Kameraoptik nacheinander auf verschiedene Bildbereiche ermöglichen. Die interaktive Wahl des scharf einzustellenden Bildbereiches ist interessant für Videokonferenzen. Selbstverständlich beschränkt sich die Erfindung nicht auf die oben dargestellte Ausführung, und es können andere Varianten konzipiert werden, ohne den Rahmen der Erfindung zu verlassen.

Claims

1. Verfahren zur automatischen Scharfeinstellung in einer Vorrichtung zum Erstellen von Bildern (10), wobei diese Vorrichtung eine Optik (15) mit variabler Brennweite umfaßt, die über ein Befehlssignal gesteuert wird, um eine Abbildung einer beobachteten Szene zu erstellen, sowie Mittel (20) zum Bereitstellen von repräsentativen digitalen Daten (DN) eines erstellten Bildes, dessen Auflösung von der Brennweite der Optik abhängt. Dieses Verfahren, bei dem das Befehlssignal der Abbildungsvorrichtungsoptik, ausgehend von einem für das Bild repräsentativen digitalen Signal, so gesteuert wird, das man die höchste Bildauflösung erhält, ist dadurch gekennzeichnet, daß das digitale Signal durch Transformation der digitalen Bilddaten erzeugt wird, welche durch eine diskrete Kosinustransformierte (TCD) in Koeffizienten umgewandelt wird, die für die Raumfrequenzen des Bildes repräsentativ sind.

2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, daß es eine Zählung der positiv genommenen Koeffizienten anwendet.

3. Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, daß es die folgenden Schritte umfaßt:

- die digitalen Bilddaten werden zusammengefügt, um digitale Datenblöcke (110) zu bilden, die repräsentativ für einen Bildbereich sind;

-jeder Datenblock wird in einen Block (120) von diskreten Kosinustransformiertenkoeffizienten transformiert;

- für jeden Koeffizientenblock wird ein Parameter as der örtlichen Bildaktivität gemäß der folgenden Beziehung berechnet:

wobei Fu,v ein Koeffizient aus dem Koeffizientenblock ist,

u,v die Indizes des Koeffizienten im Koeffizientenblock sind,

N eine Dimension des Koeffizientenblocks ist;

- ausgehend von den örtlichen Bildaktivitätsparametern as, wird ein globaler Bildaktivitätparameter AS gemäß der folgenden Beziehung berechnet:

wobei x,y die Indizes der Parameter as sind, die den Koeffizientenblöcken zugeordnet sind,

L,M die Zahlendimensionen der digitalen Bilddatenblöcke des Bildbereichs sind;

- das Befehlssignal wird so gesteuert, das man den maximalen Wert für den Parameter AS der gesamten Bildaktivität erhält.

4. Videosystem, welches eine Videokamera (10) umfaßt, die eine Optik (15) mit variabler Brennweite hat, welche durch ein Befehlssignal gesteuert wird, um ein repräsentatives Videosignal eines Bildes, dessen Auflösung von der Brennweite der Optik abhängt, zu liefern; ferner eine Digitalisierungsvorrichtung (20) für das Videosignal, das mit der Videokamera verbunden ist, um digitale Bilddaten zu liefern; eine Verarbeitungsvorrichtung (25) für die digitalen Bilddaten, die mit der Digitalisierungsvorrichtung verbunden ist, sowie Steuerungsmittel (30) des Befehlssignals, um die Brennweite der Optik zu ändern, dadurch gekennzeichnet, daß das Steuerungsmittel des Befehlssignals Mittel zur Berechnung (40) umfaßt, die mit der Digitalisierungsvorrichtung verbunden sind, um die digitalen Bilddaten in diskrete Kosinustransformiertenkoeffizienten umzuwandeln sowie eine Berechnungs und Steuerungsvorrichtung (35, 36), die mit den ersten Mitteln zur Berechnung verbunden ist, um das Befehlssignal in Beantwortung der Koeffizienten zu steuern, damit die höchste Bildauflösung automatisch erzielt wird.

5. Anspruch gemäß Anspruch 4, wobei die Berechnungs und Steuerungsvorrichtung zwischen der Digitalisierungsvorrichtung und den Mitteln zur Berechnung eingebracht wird und die für einen Bildbereich repräsentativen digitalen Buddaten als Antwort auf eine Information des Bildbereichs an die Berechnungsmittel überträgt, wobei die Mittel zur Berechnung und zum Steuern so ausgebildet sind, das sie das Befehlssignal steuern, bis der Bildbereich die maximale Auflösung aufweist.

6. System gemäß Anspruch 4 oder 5, dadurch gekennzeichnet, daß die Mittel zur Berechnung und zur Steuerung so ausgebildet sind, daß sie die Koeffizienten addieren, die alle positiv genommen werden.