AT412317B - Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen - Google Patents

Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen Download PDF

Info

Publication number
AT412317B
AT412317B AT0070502A AT7052002A AT412317B AT 412317 B AT412317 B AT 412317B AT 0070502 A AT0070502 A AT 0070502A AT 7052002 A AT7052002 A AT 7052002A AT 412317 B AT412317 B AT 412317B
Authority
AT
Austria
Prior art keywords
histogram
image
sum
value
quality measure
Prior art date
Application number
AT0070502A
Other languages
English (en)
Other versions
ATA7052002A (de
Inventor
Christoph Dipl Ing Nowak
Bernhard Dipl Ing Spatzek
Original Assignee
Advanced Comp Vision Gmbh Acv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Comp Vision Gmbh Acv filed Critical Advanced Comp Vision Gmbh Acv
Priority to AT0070502A priority Critical patent/AT412317B/de
Publication of ATA7052002A publication Critical patent/ATA7052002A/de
Application granted granted Critical
Publication of AT412317B publication Critical patent/AT412317B/de

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description


   <Desc/Clms Page number 1> 
 



   Die Erfindung betrifft ein Verfahren gemäss dem Oberbegriff des Patentanspruches 1 sowie eine Einrichtung gemäss dem Oberbegriff des Patentanspruches 11. 



    Derartige Verfahren und Einrichtungen sind prinzipiell bekannt ; üblicherweiseerfolgt die Einre-   gelung der Blendenöffnung mit Hilfe eines Belichtungsmessers, der die Lichtverhältnisse des aufzunehmenden Objektes misst und die Blendenöffnung einregelt. 



   Aus der EP 0125536 A2 bzw. der DE 19701484 A1 bzw. der US 2001/0017660 A1 sind Einhei- ten zur Einregelung der Blendenöffnung von Videokameras bekannt, bei denen Histogramme von aufgenommenen Bildern erstellt und ausgewertet werden. Die beschriebenen Auswerteverfahren sind jedoch relativ Zeitaufwendig bzw. bedingen beträchtlichem Gerättechnischen   Aufwand.   



   Ziel der Erfindung ist es, unter Verzicht auf eine Belichtungsmessung bzw. Helligkeitsmessung automatisch Videobildsequenzen von beliebigen Szenen, Gegenständen, Objekten usw. bei unter- schiedlichen und veränderlichen Lichtverhältnissen in bestmöglicher Qualität aufzunehmen. 



   Als Regelgrössen in Abhängigkeit einer gemessenen Helligkeit stehen prinzipiell drei Parameter des Aufnahmesystems zur Verfügung: 
1. Die Belichtungszeit (in diskreten Schritten) 
2. Die Verstärkung der resultierenden Spannungen der Bildpunkte am Bildsensor (kontinuier- lich) 
3. Die Öffnungsweite der Blende des Objektivs (kontinuierlich) 
Die Belichtungszeit ist in der Regel nur sehr eingeschränkt in diskreten Schritten veränderbar. 



  Proportional zur Höhe der Verstärkung nimmt das Bildrauschen zu. Die Regelgrössen Belichtungs- zeit und Verstärkung weisen eine sehr eingeschränkte Dynamik auf. 



   Das angestrebte Ziel wird bei einem Verfahren der eingangs genannten Art mit den im Kenn- zeichen des Patentanspruches 1 angeführten Merkmalen erreicht. Eine Einrichtung der eingangs genannten Art ist erfindungsgemäss durch die im Kennzeichen des Anspruches 11 angeführten Merkmale charakterisiert. 



   Mit der erfindungsgemässen Vorgangsweise werden trotz sich während der Aufnahme verän- dernder Lichtverhältnisse bzw. bei unterschiedlichen Lichtverhältnissen optimal belichtete Aufnah- men erreicht, ohne allzu grossen Aufwand treiben zu müssen. 



   Die Öffnung der Blende des Objektivs kann kontinuierlich von "geschlossen" bis .ganz offen. eingestellt werden, die Belichtungszeit und Verstärkung wird auf einen fixen bzw. optimalen Wert gestellt, die Dynamik des Aufnahmesystems ist grösstmöglich. Die Parameter Belichtungszeit und/oder Verstärkung werden nicht verändert. Die Öffnungsweite der Blende eines entsprechend gebauten Objektivs kann mit Hilfe einer Steuerspannung innerhalb eines definierten Wertebereichs (z. B. 1,5 V - 5,5 V) eingestellt werden. 



   Erfindungsgemäss werden zur Bildaufnahme optoelektronische Bildaufnahmegeräte bzw. 



  Videokameras eingesetzt, die eine entsprechende Regelung der Blendenöffnung zulassen und bei denen die Ausgangssignale des Bildsensors einer Auswerteeinrichtung zugeführt sind, in der die Bildsignale verarbeitet und in Abhängigkeit von diesen Bildsignalen eine Regelung der Blendenöff- nung erfolgt. 



   Eine vorteilhafte Auswertung der Bildsignale, d. h. der Intensitätswerte der Bildpunktsignale, wird durch die Merkmale des Anspruches 5 vorgegeben. Eine alternative vorteilhafte Ausführungs- form ist mit den Merkmalen des Anspruches 6 gegeben. Die Merkmale der Ansprüche 7,8 und 9 geben an, wie in möglichst raschen Schritten die Blendenöffnung auf den optimalen Wert eingere- gelt werden kann. 



   Vorteilhafte Ausführungsformen der Erfindung ergeben sich aus der folgenden Beschreibung, den Patentansprüchen und den Zeichnungen. 



   Anhand der Zeichnungen wird die Erfindung beispielsweise näher erläutert. 



   Fig. 1 zeigt ein Beispiel eines von einer aufgenommenen Szene bzw. von einem Gegenstand erhaltenen Histogramms. Fig. 2 zeigt ein normiertes Histogramm. Fig. 3 bis 5 zeigen normierte Histogramme für unterschiedlich belichtete Szenen. Fig. 6 zeigt ein Diagramm mit einer gleichver- teilten Referenzverteilung. Fig. 7 zeigt ein Diagramm betreffend den Verlauf der Summe der quad- ratischen Abweichungen über die Steuerspannung der Blende. Fig. 8 zeigt ein Diagramm betref- fend den Verlauf der Entropie E über die Steuerspannung der Blende. Fig. 9 zeigt ein Diagramm betreffend sechs Regelbereiche im Verlauf der Summe der quadratischen Abweichungen über die Steuerspannung der Blende. Fig. 10 zeigt ein Diagramm betreffend die sechs Regelbereiche im 

 <Desc/Clms Page number 2> 

 Verlauf der Entropie E über die Steuerspannung der Blende.

   Fig. 11zeigt schematisch den prinzi- piellen Aufbau einer erfindungsgemässen Einrichtung. 



   Eine erfindungsgemässe Einrichtung zur Durchführung des erfindungsgemässen Verfahrens umfasst eine optische bzw. optoelektronische Bildaufnahmeeinheit 1, insbesondere Videokamera mit einem Bildsensor 2, auf dem der aufzunehmende Gegenstand bzw. die Szene 20 mittels eines mit einer gesteuerten Blende versehenen Objektivs 3 abgebildet wird. Der Bildsensor 2 ist an eine Auswerteeinrichtung 4 angeschlossen, welche die Blendenöffnung in Abhängigkeit der einlangen- den Intensitätssignale der einzelnen Bildpunkte steuert. 



   Ein Bild besteht aus einer Matrix von diskreten Bildpunkten. Jeder Bildpunkt (Pixel) repräsen- tiert einen von der Kamera gemessenen Intensitätswert. Dieser Intensitätswert kann innerhalb definierter Grenzen einen ganzzahlig diskreten Wert annehmen. Zur Beurteilung der Qualität eines Bildes wird vorzugsweise jeder einzelne Bildpunkt des Bildes herangezogen. Des weiteren wird ein Histogramm des Bildes angelegt, so wie es in Fig. 1 dargestellt ist. 



   Diese Histogramme sind die Darstellung der absoluten Häufigkeiten einer diskreten Intensitäts- Wertemenge und werden meist in Form eines Graphen dargestellt. Auf der Abszisse des Graphen ist in aufsteigender Reihenfolge ein ganzzahlig diskretes Intervall des verfügbaren Wertebereiches der Intensitäts-Wertemenge aufgetragen. Auf der Ordinate des Graphen ist die entsprechende Anzahl der in der Intensitäts-Wertemenge vorkommenden ganzzahlig diskreten Werte aufgetragen. 



   Histogramme von digitalen Bildern mit q Daten- bzw. Farbkanälen werden erzeugt, indem für jeden Daten- bzw. Farbkanal der Bildpunkte eines aufgenommenen Bildes ein Histogramm erstellt wird, dass jedes dieser Histogramme getrennt ausgewertet wird und die bei Auswertung dieser einzelnen Histogramme sich ergebenden Einzel-Qualitätsmasse, gegebenenfalls nach einer Wich- tung, zu dem Qualitätsmass dieses Bildes verknüpft werden. 



   Es wird somit für jeden Daten- bzw. Farbkanal jeweils ein Histogramm erstellt, und die Histogramme werden getrennt analysiert. Einzelne oder alle Daten- bzw. Farbkanäle werden nach definierten Regeln miteinander verknüpft, und aus den resultierenden Verknüpfungen werden Histogramme erstellt. So können etwa die drei Farbkanäle (z. B. rot, grün und blau) eines Farbbil- des zu einem Grauwertkanal reduziert werden. 



   Die Analyse der Bildqualität wird erfindungsgemäss mit zwei unterschiedlichen Methoden unter Verwendung derartiger Histogramme vorgenommen: 
1. Berechnung der Summe der quadratischen Abweichungen zwischen der Verteilung f (i) des 
Histogrammes und einem Histogrammprototyp bzw. einer Referenzverteilung g (i), wobei als Algorithmus zur Ermittlung des Qualitätsmasses ein Vergleich des vorzugsweise nor- mierten Histogramms oder eines Teilbereiches derselben mit einer vorgegebenen, insbe- sondere gleichverteilten, Referenzverteilung g (i) erfolgt, wobei für den Vergleich vorzugs- weise die Summe der quadratischen Abweichungen zwischen der Verteilung f (i) des 
Histogramms und der Referenzverteilung g (i) bzw.

   die Summe der quadratischen Abwei- chungen der einzelnen korrespondierenden Häufigkeiten der Intensitätswerte über die jeweils vorgegebenen diskreten Intensitätswertintervalle gebildet und diese Summe als 
Qualitätsmass des jeweils aufgenommenen Bildes angesehen wird, wobei als Referenzver- teilung g (i) vorzugsweise eine Verteilung über den Wertebereich des normierten 
Histogramms bzw. dessen Teilbereiches eingesetzt wird, deren Summe über dem Werte- bzw. Teilbereich 1 beträgt. 



   2. Berechnung der Entropie, wobei als Algorithmus zur Ermittlung des Qualitätsmasses mit der 
Verteilungsfunktion f (i) eines normierten Histogramms oder eines Teilbereiches desselben der Wert der Entropie E 
 EMI2.1 
 ermittelt wird, wobei   0 < i < n   und 0 < m < n ist, und die Entropie als   Qualitätsmass   des jeweils aufgenommenen Bildes angesehen wird. 



   In Fig. 1 wird ein Histogramm eines gewählten, abzubildenden Objektes beispielsweise dargestellt. Gegeben ist z. B. ein Grauwertbild, repräsentiert durch eine Matrix von 640 x 480 Bildpunkten. Jeder Bildpunkt hat einen verfügbaren ganzzahlig diskreten Wertebereich   @   E [0... 255]. 

 <Desc/Clms Page number 3> 

 



   Je nach den Intensitätswerten der einzelnen Bildpunkte ergeben sich unterschiedlich gestaltete Histogramme ; bei Bildern, die gering belichtet sind, liegen die Intensitätswerte im unteren, d. h. im   linken Bereich, des Histogrammes ; beiüberbelichteten Bildern liegen die Intensitätswerte vorzugs-   weise im rechten Bereich des Histogrammes. 



   Um Rechenarbeit einzusparen bzw. die Auswertbarkeit der Histogramme zu vereinfachen, ist vorgesehen, dass das jeweils ermittelte Histogramm vor Ermittlung des Qualitätsmasses normiert bzw. die relative Häufigkeit der Intensitätswerte ermittelt wird, indem die absoluten Häufigkeiten bzw. die Anzahl der in den einzelnen diskreten Intensitätswertintervallen enthaltenen Intensitäts- werte durch die Anzahl aller in der Intensitätswertsmenge enthaltenen Intensitätswerte bzw. durch die Anzahl der ausgesuchten Bildpunkte dividiert wird. 



    Bei der Erstellung eines normierten Histogramms f (i) die absoluten Intensitäts-   Häufigkeiten durch die Summe aller in der Wertemenge enthaltenen Werte dividiert. Bei einer Matrix mit 640x480 Bildpunkten beträgt die Anzahl aller in der Wertemenge enthaltenen Werte, sofern tatsächlich von allen Bildpunkten die Intensitätswerte ausgewertet werden, 307200. Man erhält dadurch die relativen Häufigkeiten, und das normierte Histogramm repräsentiert die Vertei- lungsfunktion. Die Summe der relativen Häufigkeiten im betrachteten Intervall ist 1 (Gl, 1). Das normierte Histogramm unterscheidet sich vom nicht normierten Histrogramm nur in der Skalierung der Ordinate. 
 EMI3.1 
 



   Dem einen vorgegebenen Grauwertbild entsprechenden Histogramm gemäss Fig. 1 entspricht das korrespondierende normierte Histogramm gemäss Fig. 2. 



   Ein Ziel ist es, anhand des normierten Histogramms eines aufgenommenen Bildes eine Zahl zu berechnen, welche die Qualität des Bildes bezüglich einer vordefinierten Charakteristik beschreibt. 



  Dazu kann ein Vergleich mit einer Referenzverteilung erfolgen. Grundlage dafür ist eine vordefi-   nierte ganzzahlig diskrete Verteilungsfunktion g (i). dient als Referenz für die gewünschte   Verteilung der ganzzahlig diskreten Bildwerte. Für diese Verteilungsfunktion g (i) gilt im ganzzahlig diskreten Intervall des verfügbaren Wertebereiches der Wertemenge (Gl, 2). 
 EMI3.2 
 



   Als Metrik für den Vergleich des normierten Histogramms f(i) mit einer gegebenen Referenzver- teilung g (i) dient die Summe der quadratischen Abweichungen der einzelnen korrespondierenden Häufigkeiten über das Intervall des verfügbaren Wertebereiches der Wertemenge. 



   Gl. 3 zeigt die Berechnung der Summe der quadratischen Abweichung. Diese Summe ist ein reeller Wert und liegt im Intervall / =   [0...1].   
 EMI3.3 
 



   In den Fig. 3 bis 5 sind drei unterschiedlich beleuchtete idente Bilder bzw. Szenen mit den jeweiligen erstellten normierten Histogrammen f (i)   Des weiteren wird zum Beispiel eine gleichverteilte Referenzverteilung g (i) gemäss Fig. 6 vor-   gegeben. 



   Anhand der normierten Histogramme und der Referenzverteilung wird mit Gleichung Gl. 3 die Summe der quadratischen Abweichungen berechnet. Für die Bilder gemäss Fig. 3 bis 5 betragen die quadratischen Abweichungen 0. 0061, 0. 0040 und 0. 0536. Die Auswertung für Fig. 4 ergibt die geringste Abweichung und ist somit die Aufnahme mit höchster Qualität. 



   Aus dem erhaltenen Histogramm wird mit einem vorgegebenen Algorithmus ein Qualitätsmass für das jeweilige aufgenommene Bild ermittelt, wobei der Zusammenhang zwischen einem Quali- tätsmass von mit unterschiedlicher Blendenöffnung aufgenommenen, vorzugsweise gleichen Bil- dern und der Blendenöffnung bzw. der für diese Blendenöffnung erforderlichen Steuerspannung eine Qualitätsmassfunktion bildet, die innerhalb des Regelbereiches für die Blendenöffnung einen der optimalen Belichtung entsprechenden Extremwert besitzt oder diesen an einer Grenze des 

 <Desc/Clms Page number 4> 

 Regelbereiches anstrebt bzw. annimmt. Somit wird jeder Blendenöffnung ein Qualitätsmass zuge- ordnet und es kann aufgrund der Kenntnis des Verlaufes dieser Funktion die Blendenöffnung optimiert werden. 



   Fig. 7 zeigt den Verlauf der SSD einer Bildsequenz einer statischen Szene, wobei die Öff- nungsweite der Blende des Objektivs kontinuierlich von ganz geschlossen, bis .ganz offen, variiert wird. Auf der Ordinate (siehe Fig. 7) ist die SSD, auf der Abszisse ist die Steuerspannung des Objektivs Ust e [1,5V...5,5V] aufgetragen. Die optimale Öffnungsweite der Blende liegt im Minimum des Verlaufes der SSD über der Steuerspannung des Objektivs. Die einzelnen ermittelten Quali- tätsmasse bilden die Qualitätsmassfunktion, welche Funktion über den betrachteten Bereich der Steuerspannung an einer Stelle einen Extremwert aufweist oder nach einer Seite einem Extrem- wert zustrebt.

   Dieses Zustreben zu einem Extremwert erfolgt dann, wenn die aufzunehmende Szene entweder derart unterbelichtet oder derart überbelichtet ist, dass die Empfindlichkeitsgrenze des Bildsensors unterschritten oder sein Sättigungsbereich erreicht ist. 



   Eine Alternative zur Berechnung einer Qualitätsmassfunktion besteht in der Berechnung der Entropie E (Informationsgehalt) (Gl, 4) eines aufgenommenen Bildes durch die Auswertung des   normierten Histogramms f (i) das ganzzahlig diskrete Intervall i e [m...n].   
 EMI4.1 
 
 EMI4.2 
 tischen Szene, wobei die Öffnungsweite der Blende des Objektivs kontinuierlich von ganz geschlossen, bis   nganz   offen" variiert wird. Auf der Ordinate ist die Entropie E, auf der Abszisse ist die Steuerspannung des Objektivs Ust e   [1,5V...5,5V]   aufgetragen. Die optimale Öffnungsweite der Blende liegt im Maximum des Verlaufes der Entropie E über der Steuerspannung Ust des Objektivs. 



   Unter Verwendung der aufgezeigten Vorgangsweisen zur Einregelung der optimalen Öff- nungsweite der Blende, ist es erforderlich, die Qualitätsmassfunktion in einer bestimmten Weise zu beschreiten, um zu deren Extremwerten oder zu deren Sättigungsbereichen zu gelangen. Bei dem ersten aufgenommenen Bild einer Bildsequenz kann über die vorzunehmenden Schritte bzw. die Richtung, in der die Steuerspannung verändert werden soll, keine Aussage getroffen werden, prinzipiell auch dann nicht, wenn man bei der minimalen oder maximalen Öffnungsweite der Blen- de beginnt.

   Sofern allerdings bei einer Aufnahmesequenz ein Bildwechsel erfolgt oder eine Verän- derung des Bildes erfolgt, so soll aus der sich ergebenden Veränderung zwischen zwei aufeinan- derfolgenden Bildern bereits eine Information erhalten werden, in welche Richtung die Steuerspan- nung verändert werden soll, um sich der optimalen Öffnungsweite der Blende anzunähern. Damit soll einerseits der Rechenaufwand verringert bzw. die Nachstellung der Blende in kürzerer Zeit möglich werden. 



   Für die Feststellung, ob die gerade an der Blende anliegende Steuerspannung in einem der beiden Sättigungsbereiche liegt, die sich links und rechts vom Extremwert befinden, ist erfindungs- gemäss vorgesehen, dass die Summe der quadratischen Abweichungen über zwei, insbesondere aneinander anschliessende Teilbereiche, vorzugsweise die Hälften des Histogramms berechnet wird, dass die Summe der quadratischen Abweichungen des Gesamt-Histogramms durch die Differenz der Summe der quadratischen Abweichungen der beiden Teilbereiche dividiert und mit einem vorgegebenen Wert verglichen wird, und dass in Abhängigkeit des Vergleiches entschieden wird, ob sich der aufnehmende Bildsensor bzw. das System in einem der beiden Sättigungsberei- che befindet, wobei gegebenenfalls die für die Änderung der Steuerspannung vorgegebenen Spannungsschritte mit einem Faktor > 1 multipliziert werden.

   



   Sofern man sich in einem Sättigungsbereich befindet, wird zur Bestimmung der Richtung, in der fortgeschritten werden muss, wie in Fig. 9 und 10 dargestellt ist, für Werte der Steuerspan- nung, die in den Bereichen 1 bzw. 6 liegen, aus dem Vergleich des normierten Histogramms f (i)    einer gegebenen Referenzverteilung g (i) in einem definierten Teilbereich p e [0...1] (in der Regel   wird p = 0,5 angenommen) des ganzzahlig diskreten Intervalls   (i # [m...#n.   p3 bzw.   i # # n.p#+1...n#   des verfügbaren Wertebereiches der Wertemenge die   SSDhnks   (Gl. 5),   SSDrechts   (Gl. 6), die Summe der Abweichungen links (Sum of Differences links   (SDhnks),   Gl. 7) und Summe der Abweichungen rechts (Sum of Differences rechts (SDrechts), Gl. 8) berechnet.

   

 <Desc/Clms Page number 5> 

 
 EMI5.1 
 



   Es wird in diejenige Richtung fortgeschritten bzw. geregelt, in der die Summe der Abweichun- gen negativ ist. 



   Es ist prinzipiell auch möglich, nicht die jeweiligen Hälften des Histogramms als Teilbereiche zu nehmen, sondern auch Teilbereiche, die einen anderen Anteil an der Gesamtlänge des Histogramms aufweisen. Vorteilhafterweise liegen die Teilbereiche nebeneinander bzw. schliessen aneinander an. 



   Anhand der in den Fig. 9 und 10 dargestellten Qualitätsmassfunktionen wird die für eine optima- le Bildaufnahme vorgenommene Regelung der Öffnung der Blende des Objektivs erläutert. Die Qualitätsmassfunktion wurde ermittelt, indem für ein Bild bestimmter Helligkeit eine Reihe von Bildern aufgenommen wurde, und zwar jeweils mit unterschiedlicher Blendenöffnung. Aus dem damit bekannten Zusammenhang zwischen den Qualitätsmassen und der Steuerspannung lassen sich nunmehr Rückschlüsse auf die erforderliche Spannungsänderung in Richtung auf das Opti- mum ziehen, wozu allerdings erkannt werden muss, in welchem Bereich der Qualitätsmassfunktion man sich gerade befindet.

   Dies könnte anhand des vorliegenden Qualitätsmasses abgeleitet wer- den ; man weiss jedoch nicht, ob man sich links oder rechts des Extremwertes befindet bzw. welche Form die Qualitätsmassfunktion besitzt ; es ist nur bekannt, dass sie einen Extremwert besitzt oder der Sättigung zustrebt. 



   Der Regelvorgang kann als eine Art Schleife angesehen werden, die direkt nach der Initialisie- rung der notwendigen Parameter betreten wird. Mit jedem neu aufgenommenen Bild werden neue Bilddaten erhalten und ausgehend von den aktuellen Bilddaten und den aktuellen Steuerspan- nungsparametern bzw. der aktuellen Blendenöffnung wird unter Zugrundelegung der neuen Bildda- ten erneut ein Qualitätsmass in Form der Summe der quadratischen Abweichungen oder der Entro- pie berechnet bzw. es wird die Summe der Abweichungen zwischen der Verteilungsfunktion gemäss Gleichung 7 bzw. Gleichung 8 berechnet. 



   Abgesehen von der Feststellung des Bereiches, in dem man sich befindet, mit der Steuerspan- nung, ist es auch erforderlich, die Richtung festzulegen, in der die Spannung verändert werden soll. Dazu ist es vorteilhaft, wenn zur Bestimmung des Vorzeichens bzw. der Richtung des Wertes der vorzunehmenden Änderung der dem ermittelten Qualitätsmass entsprechenden Steuerspan-   nung die Summe der Abweichungen zwischen der Verteilungsfunktion f (i) Histogramms und   der Referenzverteilung g (i) über zwei definierte Teilbereiche, vorzugsweise jeweils über die Hälften des Histogramms, ermittelt werden und die Steuerspannung in die Richtung des Teilbereiches hin verändert wird, in der die Summe der Abweichung negativ ist. Dies gilt für den Sättigungsbereich. 



   Schliesslich ist es von Vorteil, die Grösse der vorzunehmenden Änderung festzulegen. Dazu ist vorgesehen, dass die Änderung des Qualitätsmasses von zwei aufeinanderfolgenden Bildern ermit- telt und durch die Differenz der den beiden Qualitätsmassen zugeordneten Steuerspannungen dividiert wird und dass dieser Wert der absolut vorzunehmenden Änderung entspricht. Diese Änderung wird mit einem vorgegebenen Faktor multipliziert. Zur Feststellung der Richtung bzw. eines Richtungswechsels bzw. des Vorzeichens der Änderung wird die Änderung des Qualitäts- masses aufeinanderfolgender Bilder festgestellt ; bei Feststellung einer Entfernung vom Optimum 

 <Desc/Clms Page number 6> 

 wird das Vorzeichen der Änderung umgekehrt. Bei Beginn der Regelung besitzt die Änderung ein positives Vorzeichen.

   Der bisherige Wert der Steuerspannung und die Änderung ergeben gemein- sam den neuen Wert der Steuerspannung für die Blendenöffnung. Im Bereich kleiner Änderungen des Qualitätsmasses im Nahbereich des Extremums wird die ermittelte Änderung gegebenenfalls mit einem Faktor < 1 multipliziert. 



   Um eine optimal konvergierende Vorgangsweise zu gewährleisten, hat sich die Unterteilung des Verlaufes der Qualitätsfunktion bzw. der SSD in sechs Bereiche bewährt (siehe Fig. 9). Diese Bereiche werden im Regelverlauf unterschiedlich behandelt. Aufgrund der berechneten Daten des Qualitätsmasses wird der Systemzustand dem jeweiligen Bereich zugeordnet. 



   Bereich 1 repräsentiert den linken Sättigungsbereich. Die auftretenden diskreten Bildwerte liegen ausschliesslich im untersten Abschnitt des betrachteten Histogramms. Das Bild ist zu dunkel. Dieser Bereich wird durch Öffnen der Blende (Erhöhung der Steuerspannung) ver- lassen. 



   Bereiche 2 und 5 umfassen die steil in Richtung Optimum abfallenden Flanken. Kleine 
Spannungsänderungen bewirken relativ grosse Änderungen der SSD. Die zur Einstellung des neuen Spannungswertes erforderliche Spannungsänderung wird aus der Steigung der 
Tangente (Änderung der SSD dividiert durch die Änderung der Steuerspannung) abgelei- tet. 



   Bereiche 3 und 4 beinhalten den Flachbereich links und rechts des Optimums. Aufgrund der geringeren Steigung der Tangente (Änderung der SSD dividiert durch die Änderung der 
Steuerspannung) erfolgt eine langsamere Annäherung an das Optimum. Wurde dieses durch Wahl einer zu hohen Änderung der Steuerspannung übersprungen, wird das durch ein Ansteigen der SSD erkannt. In diesem Fall kann durch Richtungswechsel und Verklei- nerung der Spannungsschritte eine rasche Konvergenz zum Optimum gewährleistet wer- den. 



   . Bereich 6 beinhaltet den Sättigungsbereich rechts des Optimums. Die auftretenden diskre- ten Bildwerte liegen überwiegend im obersten Abschnitt des betrachteten Histogramms. 



   Das Bild ist zu hell. Aufgrund lokaler Minima sind suboptimale Lösungen denkbar. Daher ist eine alleinige Regelung über Tangentensteigung nicht zielführend. Durch Detektion dieses 
Sonderfalls und Verminderung der Spannung wird der Bereich gerichtet verlassen. 



   Sollte sich während der Regelung die beobachtete Szene ändern, kann dies entweder geson- dert detektiert werden oder innerhalb des Algorithmus über eine plötzliche signifikante Änderung der SSD erkannt und speziell behandelt werden. 



   Ebenso wie bei der Regelung über die SSD ist auch hier eine Einteilung der Span- nung/Entropie-Funktion in mehrere Bereiche sinnvoll - wie in Fig. 10 dargestellt. Die Zuordnung erfolgt analog zu Fig. 9. 



   Der Unterschied zwischen der Regelung der Blendenspannung über SSD und der über Entro- pie ist einerseits die Zielfunktion, die im Falle der Entropie immer zu maximieren ist und anderer- seits der dem charakteristischen Verlauf der Kurve angepasste Parametersatz. Diese Parameter umfassen vor allem diverse Konstanten für die Spannungsschrittskalierung, Schranken für die Bereichswahl und für minimale Spannungsschnittwerte für die Änderung der Steuerspannung. 



   Eine in Fig. 11 beispielsweise dargestellte erfindungsgemässe Einrichtung besitzt eine optoe- lektronische Aufnahmeeinheit 1, insbesondere eine Videokamera mit einem Objektiv 3 und einer elektrisch gesteuerten Blende sowie einem Bildsensor 2. An den Bildsensor 2 ist eine Auswerteein- richtung 4 angeschlossen, die als wesentliche Bestandteile einen Histogrammbildner 5 für die aufgenommenen Bilder aufweist. In dem Histogrammbildner können die für die aufgenommenen Bilder ermittelten Histogramme auch normiert werden. Mit 6 ist ein Speicher und mit 16 ein Vergleicher für eine Referenzverteilung g (i) bezeichnet. Mit 7 ist ein Bilddatenspeicher für zumin- dest ein jeweils vorangehend aufgenommenes und für das aktuelle Bild dargestellt.

   In einem Speicher 8 sind die Parameter gespeichert, die für den ersten Änderungsschritt der Steuerspan- nung der Blende zum Einsatz kommen sollen, nämlich zumindest ein Spannungswert und das Vorzeichen dieser Spannung. Mit 10 ist ein   D/A-Wandler   bezeichnet. 



   Mit 9 ist ein Rechner mit einem Speicher 11für Algorithmen bezeichnet, mit dem das Quali- tätsmass des jeweils aktuellen Bildes errechnet bzw. die Qualitätsmasse von vorangegangenen Bildem bzw. aktuellen Bildern und von Teilbildem sowie die Abweichungen zwischen der 

 <Desc/Clms Page number 7> 

 Verteilungsfunktion f (i) und der Referenzverteilung g (i) in den beiden Teilbereichen berechnet werden können. 



   Die Auswerteeinheit funktioniert unter der Steuerung des Mikroprozessors 9, von dem die ent- sprechenden Programmschritte, Berechnungen und die Blendensteuerung abgewickelt bzw. gesteuert werden. 



   PATENTANSPRÜCHE : 
1. Verfahren zum Ausgleich sich verändernder Lichtverhältnisse bzw. zur Optimierung der 
Belichtung bei der insbesondere automatischen Aufnahme von Videobildsequenzen, wobei die Blendenöffnung mit einer Steuerspannung innerhalb eines definierten Blendenwertbe- reichs eingestellt bzw. nachgeregelt wird, wobei mit den von ausgesuchten, vorzugsweise mit den von allen Bildpunkten des jeweils aufgenommenen Bildes erhaltenen Intensitäts- werten der Bildpunktsignale des Bildsensors ein Histogramm gebildet wird, wobei für das 
Histogramm die Anzahl der in dem Bild auftretenden bzw.

   auszuwertenden, jeweils in vor- gegebene diskrete Intensitätsintervalle fallenden Intensitätswerte der einzelnen Bildpunkt- signale ermittelt wird, dadurch gekennzeichnet, -dass aus dem erhaltenen Histogramm mit einem vorgegebenen Algorithmus ein Quali- tätsmass für das jeweilige aufgenommene Bild ermittelt wird, wobei der Zusammenhang zwischen einem Qualitätsmass von mit unterschiedlicher Blendenöffnung aufgenommenen, vorzugsweise gleichen Bildern und der Blendenöffnung bzw. der für diese Blendenöffnung erforderlichen Steuerspannung eine Qualitätsmassfunktion bildet, die innerhalb des Regel- bereiches für die Blendenöffnung einen der optimalen Belichtung entsprechenden 
Extremwert besitzt oder diesen an einer Grenze des Regelbereiches anstrebt bzw. annimmt und -dass die sich aufgrund einer geänderten Steuerspannung bzw.

   Blendenöffnung ergeben- de Änderung des Qualitätsmasses für aufeinanderfolgende Bilder festgestellt wird und abhängig von dieser Änderung unter Zugrundelegung der Qualitätsmassfunktion die Steu- erspannung für die Blendenöffnung zur Belichtung eines bzw. des folgenden Bildes um einen Wert bzw. auf einen Wert geändert wird, der einer Annäherung des Qualitätsmasses an den Extremwert der Qualitätsmassfunktion erwarten lässt.

Claims (1)

  1. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Belichtungszeit und/oder die Verstärkung der Bildpunktsignale während der Optimierung der Belichtung unverändert bleiben.
    3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das jeweils ermittelte Histogramm vor Ermittlung des Qualitätsmasses normiert bzw. die relative Häufigkeit der Intensitätswerte ermittelt wird, indem die absoluten Häufigkeiten bzw. die Anzahl der in den einzelnen diskreten Intensitätswertintervallen enthaltenen Intensitätswerte durch die Anzahl aller in der Intensitätswertsmenge enthaltenen Intensitätswerte bzw. durch die Anzahl der ausgesuchten Bildpunkte dividiert wird.
    4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass für jeden Daten- bzw. Farbkanal der Bildpunkte eines aufgenommenen Bildes ein Histogramm erstellt wird, dass jedes dieser Histogramme getrennt ausgewertet wird und die bei Aus- wertung dieser einzelnen Histogramme sich ergebenden Einzel-Qualitätsmasse, gegebe- nenfalls nach einer Wichtung, zu dem Qualitätsmass dieses Bildes verknüpft werden.
    5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, -dass als Algorithmus zur Ermittlung des Qualitätsmasses ein Vergleich des vorzugsweise normierten Histogramms oder eines Teilbereiches derselben mit einer vorgegebenen, ins- besondere gleichverteilten, Referenzverteilung g (i) erfolgt, wobei für den Vergleich die Summe der quadratischen Abweichungen zwischen der Verteilung f (i) des Histogramms und der Referenzverteilung g (i) bzw.
    die Summe der quadratischen Abweichungen der einzelnen korrespondierenden Häufigkeiten der Intensitätswerte über die jeweils vorgege- <Desc/Clms Page number 8> benen diskreten Intensitätswertintervalle gebildet und diese Summe als Qualitätsmass des jeweils aufgenommenen Bildes angesehen wird, wobei als Referenzverteilung g (i) vor- zugsweise eine Verteilung über den Wertebereich des normierten Histogramms bzw. des- sen Teilbereiches eingesetzt wird, deren Summe über dem Werte- bzw. Teilbereich 1 beträgt.
    6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass als Algo- rithmus zur Ermittlung des Qualitätsmasses mit der Verteilungsfunktion f (i) eines normierten Histogramms oder eines Teilbereiches desselben der Wert der Entropie E n E =-Ïf(i)log2f(i) i=m ermittelt wird, wobei 0 < i < n und 0 < m < n ist, und die Entropie als Qualitätsmass des jeweils aufgenommenen Bildes angesehen wird.
    7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Summe der quadratischen Abweichungen über zwei, insbesondere aneinander anschliessende Teil- bereiche, vorzugsweise die Hälften des Histogramms berechnet wird, dass die Summe der quadratischen Abweichungen des Gesamt-Histogramms durch die Differenz der Summe der quadratischen Abweichungen der beiden Teilbereiche dividiert und mit einem vorge- gebenen Wert verglichen wird, und dass in Abhängigkeit des Vergleiches entschieden wird, ob sich der aufnehmende Bildsensor in einem der beiden links und rechts vom Extremwert liegenden Sättigungsbereiche befindet, und dass gegebenenfalls die für die Änderung der Steuerspannung vorgegebenen Spannungsschritte mit einem Faktor > 1 multipliziert werden.
    8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass im Bereich der Sättigung zur Bestimmung des Vorzeichens bzw. der Richtung des Wertes der vorzu- nehmenden Änderung der dem ermittelten Qualitätsmass entsprechenden Steuerspannung die Summe der jeweiligen Abweichung zwischen der Verteilungsfunktion f (i) Histogramms und der Referenzverteilung g (i) über zwei definierte Teilbereiche, vorzugs- weise jeweils über die Hälften des Histogramms, ermittelt und die Steuerspannung in die Richtung des Teilbereiches hin verändert wird, in der die Summe der Abweichung negativ ist und/oder dass zur Feststellung der Richtung und/oder eines erforderlichen Richtungs- wechsels (bei Überspringen des Extremwertes) bzw.
    zur Feststellung des Vorzeichens einer erforderlichen Änderung die Änderung des Qualitätsmasses aufeinanderfolgender Bilder ermittelt wird, wobei bei Feststellung einer Entfernung vom Optimum das Vorzei- chen der Änderung umgekehrt wird, wobei vorzugsweise bei Beginn der Regelung die Än- derung ein positives Vorzeichen besitzt.
    9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Ände- rung des Qualitätsmasses von zwei aufeinanderfolgenden Bildern ermittelt und durch die Differenz der den beiden Qualitätsmassen zugeordneten Steuerspannungen dividiert und dieser Wert als neuer Wert der Steuerspannung für die Blendenöffnung eingesetzt wird und dass gegebenenfalls im Bereich kleiner Änderungen des Qualitätsmasses im Nahbe- reich des Extremums der ermittelte Wert der Steuerspannung mit einem Faktor < 1 multip- liziert wird.
    10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass bei Auf- nahmebeginn die Bildaufnahme mit der kleinsten Blendenöffnung begonnen wird.
    11. Einrichtung zur, insbesondere automatischen, Aufnahme von Videobildsequenzen, wobei zum Ausgleich sich verändernder Lichtverhältnisse bzw. zur Optimierung der Belichtung die Blendenöffnung mit einer Steuerspannung innerhalb eines definierten Blendenwertbe- reichs eingestellt bzw. nachgeregelt wird, wobei an den Bildsensor (2) eine Auswerteein- richtung (4) mit Rechner (9) angeschlossen ist, mit der die Blendenöffnung bzw. die Blen- den-Steuerspannung eingeregelt wird, und wobei die digitalen Bilddaten bzw.
    die Intensi- tätswerte der Bildpunkte des jeweils aufgenommenen Bildes in der Auswerteeinrichtung (4) einem Histogrammbildner zugeführt sind, zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, -dass die Auswerteeinrichtung (4) einen Speicher (11) für zumindest einen Algorithmus <Desc/Clms Page number 9> umfasst und mit diesem Algorithmus basierend auf dem Histogramm ein Qualitätsmass für das aufgenommene Bild ermittelt wird, -dass die Auswerteeinrichtung (4) in Abhängigkeit des für das jeweilige aufgenommene Bild ermittelten Qualitätsmasses die Blendenöffnung bzw.
    die Blendensteuerspannung ein- regelt, -dass die Auswerteeinrichtung (4) einen Speicher (6) für zumindest eine Referenzvertei- lung g (i) und einen Vergleicher (16) zum Vergleich der Referenzverteilung g (i) mit der Ver- teilungsfunktion f (i) Histogramms umfasst und das Ergebnis des Vergleiches als Quali- tätsmass herangezogen wird, und -dass die Auswerteeinheit (8) einen Speicher (8) für die Grösse des ersten vorzunehmen- den Schrittes für die Änderung der Steuerspannung und gegebenenfalls des Vorzeichens für die Regelung der Blendenöffnung umfasst.
    12. Einrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Auswerteeinrichtung (4) einem Speicher (7) für die Bilddaten des jeweils aktuellen Bildes und die Bilddaten des jeweils vorangehenden Bildes sowie für die Werte der Summe der quadratischen Abwei- chungen (SSD) zwischen der Werteverteilung bzw. Verteilungsfunktion f (i) Histogramms und der Referenzverteilung g (i) umfasst und basierend auf der Summe der quadratischen Abweichungen (SSD) das Qualitätsmass ermittelt.
    13. Einrichtung nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Auswerteein- richtung (4) einen Speicher für die Summe der quadratischen Abweichungen (SSD) für zwei, insbesondere aneinander anschliessende Teilbereiche des Histogrammes sowie die Summe der Abweichungen zwischen der Verteilungsfunktion f (i) der Referenzvertei- lung g (i) für das jeweils aktuelle Bild umfasst.
    HIEZU 2 BLATT ZEICHNUNGEN
AT0070502A 2002-05-06 2002-05-06 Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen AT412317B (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AT0070502A AT412317B (de) 2002-05-06 2002-05-06 Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
AT0070502A AT412317B (de) 2002-05-06 2002-05-06 Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen

Publications (2)

Publication Number Publication Date
ATA7052002A ATA7052002A (de) 2004-05-15
AT412317B true AT412317B (de) 2004-12-27

Family

ID=32234887

Family Applications (1)

Application Number Title Priority Date Filing Date
AT0070502A AT412317B (de) 2002-05-06 2002-05-06 Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen

Country Status (1)

Country Link
AT (1) AT412317B (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413981B2 (en) 2012-10-19 2016-08-09 Cognex Corporation System and method for determination and adjustment of camera parameters using multi-gain images
DE102013017365B4 (de) 2012-10-19 2023-01-26 Cognex Corporation System und verfahren zum bestimmen und einstellen von kameraparametern mittels multi-gainbildern

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0725536A2 (de) * 1995-02-03 1996-08-07 Canon Kabushiki Kaisha Verfahren und Vorrichtung zur Bildabtastung mit Dynamikumfangserweiterung
DE19701484A1 (de) * 1997-01-17 1998-07-23 Bosch Gmbh Robert Verfahren zur Regelung der Belichtung von Videokameras
US20010017660A1 (en) * 2000-02-29 2001-08-30 Isao Kawanishi Camera device and shooting method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0725536A2 (de) * 1995-02-03 1996-08-07 Canon Kabushiki Kaisha Verfahren und Vorrichtung zur Bildabtastung mit Dynamikumfangserweiterung
DE19701484A1 (de) * 1997-01-17 1998-07-23 Bosch Gmbh Robert Verfahren zur Regelung der Belichtung von Videokameras
US20010017660A1 (en) * 2000-02-29 2001-08-30 Isao Kawanishi Camera device and shooting method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413981B2 (en) 2012-10-19 2016-08-09 Cognex Corporation System and method for determination and adjustment of camera parameters using multi-gain images
US10110829B2 (en) 2012-10-19 2018-10-23 Cognex Corporation System and method for determination and adjustment of camera parameters using multi-gain images
DE102013017365B4 (de) 2012-10-19 2023-01-26 Cognex Corporation System und verfahren zum bestimmen und einstellen von kameraparametern mittels multi-gainbildern

Also Published As

Publication number Publication date
ATA7052002A (de) 2004-05-15

Similar Documents

Publication Publication Date Title
EP1231564B1 (de) Digitale lokale Bildeigenschaftssteuerung mittels Masken
DE3784635T2 (de) Lichtsignalkontrollschaltung für Bildaufnahmegerät.
DE19619734C2 (de) Elektronisches Endoskopsystem
DE69121007T2 (de) Weissabgleichseinstellungsvorrichtung zur automatischen Einstellung des Weissabgleichs in Abhängigkeit von Farbinformationssignal aus einem Bildaufnahmegerät
DE69028973T2 (de) Weissabgleichseinstellungsvorrichtung zur automatischen Einstellung des Weissabgleichs in Abhängigkeit von Leuchtdichteinformationssignal und Farbinformationssignal aus einem Bildaufnahmegerät
DE69723802T2 (de) Bildverarbeitungsvorrichtung und -verfahren
DE69028141T2 (de) Schaltung zur automatischen Regelung des Weissabgleiches
DE3643870C2 (de) Verfahren und Schaltung zur automatischen Belichtungsregelung einer Fernsehkamera
WO2004086291A2 (de) Verfahren zur qualitativen beurteilung eines materials mit mindestens einem erkennungsmerkmal
DE3913803A1 (de) Belichtungsregeleinrichtung
DE19908211A1 (de) Verfahren und Vorrichtung zum Bestimmen der Farbe einer Lichtart
EP1231773A1 (de) Lokale Schärfung fotografischer Bilder mittels Masken
DE69836017T2 (de) Automatische fokusiereinrichtung
DE2753632C2 (de) Verfahren und Vorrichtung zum Selektieren von kopierunwürdigen fotografischen Vorlagen
WO2020094732A1 (de) Verfahren und vorrichtung zum inspizieren einer objektoberfläche, insbesondere zum inspizieren der oberfläche eines pulverbettes mit einer vielzahl von pulverpartikeln
EP0475897A1 (de) Verfahren zur Erstellung von fotographischen Farbkopien
WO1999046928A1 (de) Verfahren zur automatischen auswahl von farbkalibrierungen
DE102004032921A1 (de) Elektronische Endoskopeinrichtung
DE3126787A1 (de) Verfahren zum auswerten eines farboriginals
EP2095628A1 (de) Belichtungsregelung für hdr-kamera
AT412317B (de) Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen
DE3543444A1 (de) Verfahren und regelvorrichtung zur erzielung eines gleichfoermigen druckresultats an einer autotypisch arbeitenden mehrfarbendruckmaschine
DE2912130C2 (de)
DE3531126A1 (de) Vorrichtung zum herstellen fotografischer abzuege
DE4216884A1 (de) Verfahren zum bestimmen des belichtungswerts beim photographischen kopieren

Legal Events

Date Code Title Description
ELJ Ceased due to non-payment of the annual fee