BE1016426A3 - Device for increasing the dynamic range of digital capture systems. - Google Patents

Device for increasing the dynamic range of digital capture systems. Download PDF

Info

Publication number
BE1016426A3
BE1016426A3 BE2005/0045A BE200500045A BE1016426A3 BE 1016426 A3 BE1016426 A3 BE 1016426A3 BE 2005/0045 A BE2005/0045 A BE 2005/0045A BE 200500045 A BE200500045 A BE 200500045A BE 1016426 A3 BE1016426 A3 BE 1016426A3
Authority
BE
Belgium
Prior art keywords
light
segments
filter
sensor
rows
Prior art date
Application number
BE2005/0045A
Other languages
Dutch (nl)
Original Assignee
Ceulemans Jean Paul Jeanne
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ceulemans Jean Paul Jeanne filed Critical Ceulemans Jean Paul Jeanne
Priority to BE2005/0045A priority Critical patent/BE1016426A3/en
Application granted granted Critical
Publication of BE1016426A3 publication Critical patent/BE1016426A3/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

The device is for the enlargement of the dynamic range of a digital captation system and involves a digital sensor formed by sensor cells, with at least one filter between the sensor and the light source or picture to be captated. The filter has a quantity of segments (12-15), which per segment absorb, bend and/or reflect at least 35 per cent more of the intensity of the light compared with the other parts of the filter. The filter is formed by a light-absorbeing layer, a light-bending layer and/or a light-reflecting layer on one or more of the lenses or filters normally provided between the sensor and the picture to be captured, such as, for example, on a mosaic filter, an infra-red filter, on an anti-alias filter or on a micro-lens. The segments are arranged in a regular pattern and in accordance with a fraction of the sensor cells or pixels of the digital sensor.

Description

       

  Inrichting voor het vergroten van het dynamisch bereik van digitale captatiesystemen.

  
De huidige uitvinding heeft betrekking op een inrichting voor het vergroten van het dynamisch bereik van digitale captatiesystemen in digitale beeldverwerkingstoestellen zoals digitale fototoestellen, digitale video camera's en dergelijke.

  
Het hart van de meest bekende digitale captatiesystemen bestaat in hoofdzaak uit een digitale sensor van het zogenaamde CCD-type of van het CMOS-type.

  
Zulke sensoren zien eruit als elektronische chips en bevatten, al naar gelang de toepassing, enkele miljoenen sensorcellen die elk overeenstemmen met een zogenaamde pixel.

  
Het aantal pixels in zulke sensor bepaalt mede de resolutie van het captatiesysteem.

  
Zulke bekende sensorcellen bevatten een captatie-oppervlak en een capaciteit die geladen wordt in de mate van de belichting van het captatie-oppervlak. De belichting of de blootstelling aan licht is voor vele bekende sensorcellen evenredig aan de lichtintensiteit en aan de duur van de belichting. De oplading van de capaciteit is in functie van de belichting en van de grootte van het captatie-oppervlak.

  
Zulke bekende digitale sensorcellen hebben een lineaire respons op de blootstelling aan licht, of geven met andere woorden een lineair variërende output in functie van de belichting die op het captatie-oppervlak van de sensorcel invalt.

  
Een gekend probleem is echter dat de lineaire respons abrupt wordt afgebroken vanaf een zeker niveau van belichting, namelijk wanneer de capaciteit van de sensorcel volledig geladen is.

  
Inderdaad, vanaf een bepaalde hoeveelheid belichting zal de respons onveranderd blijven bij verder toenemende belichting omdat de capaciteit niet verder geladen kan worden. Het niveau van belichting waarbij dit fenomeen zich voordoet, wordt het clippunt genoemd.

  
Als het beeld lichter wordt, zal er geen wijziging zijn in de captatie ervan, wat resulteert in foto's of scans met witte vlekken en verlies van detail daar waar overbelichting heerst.

  
Een bekende oplossing voor dit probleem bestaat erin dat naast elke gebruikelijke sensorcel een tweede sensorcel wordt voorzien met dezelfde capaciteit doch met een kleiner captatie-oppervlak.

  
Dankzij het kleinere captatie-oppervlak van deze tweede sensorcellen zal voor eenzelfde belichtingstijd en bij eenzelfde lichtintensiteit, de capaciteit van de sensorcel minder geladen zijn dan de capaciteit van de daarnaast gelegen eerste sensorcellen. 

  
Deze tweede sensorcellen hebben een hoger clippunt of vereisen meer belichting om volledig te worden geladen, en de verhouding van de respectievelijke clippunten is evenredig met de verhouding van de respectievelijke captatie-oppervlakken.

  
De respons van de tweede sensorcellen op variërende belichting verloopt ook lineair maar met een beduidend lagere gevoeligheid.

  
Het nadeel van bovenstaande technologie is dat zulke sensoren twee soorten sensorcellen bevatten wat de sensoren complexer en duurder maakt.

  
Het doel van de uitvinding is een afdoend antwoord te bieden aan voornoemde en andere problemen en daartoe bevat de inrichting voor het vergroten van het dynamisch bereik van digitale captatiesystemen die een digitale sensor bevatten die is opgebouwd uit sensorcellen, waarbij de inrichting minstens een filter bevat die tussen de sensor en de lichtbron of het te capteren beeld wordt voorzien, waarbij de filter een veelheid van segmenten bevat die per segment minstens 35% meer van de intensiteit van het licht absorberen, afbuigen en/of reflecteren in vergelijking met de overige delen van de filter.

  
Een belangrijk voordeel is dat het dynamisch bereik van het captatiesysteem verhoogd wordt zonder dat een speciale sensor dient te worden voorzien. De digitale sensor kan inderdaad zijn opgebouwd uit allemaal gelijke sensorcellen. 

  
In de eerste plaats zijn zulke captatiesystemen goedkoper omdat ze eenvoudiger zijn en in de tweede plaats dienen geen aanpassingen te worden gemaakt aan het productieapparaat omdat de gebruikelijke sensoren met gelijke sensorcellen kunnen worden aangewend.

  
Volgens een voorkeurdragende uitvoeringsvorm bestaat de filter uit een mozaïekfilter waarvan een fractie van de segmenten minstens gedeeltelijk lichtabsorberend, minstens gedeeltelijk lichtafbuigend en/of minstens gedeeltelijk lichtreflecterend worden uitgevoerd.

  
Bij voorkeur stemmen de vorm en de onderlinge positionering van de segmenten van zulke mozaïek overeen met de sensorcellen of pixels op de sensor.

  
Zulke verbeterde mozaïekfilter kan worden bekomen door het voorzien van een masker of lichtabsorberende laag, een lichtafbuigende laag en/of een lichtreflecterende laag ter plaatse van segmenten op één of meer van de filters of lenzen die sowieso voorzien worden tussen de sensor en het te capteren beeld.

  
Zulk masker kan bijvoorbeeld voorzien worden op de kleuren mozaïekfilter, waardoor een fractie van de kleurensegmenten minder licht zullen doorlaten tot de overeenstemmende achtergelegen pixels.

  
Desgevallend kunnen ook segmenten van de microlens van de digitale beeldverwerkingstoestellen lichtabsorberend, lichtafbuigend en/of lichtreflecterend worden uitgevoerd. 

  
Ook in de anti-alias filter of in de infrarood filter die gebruikelijk worden toegepast in beeldverwerkingstoestellen kunnen lichtabsorberende, lichtafbuigende of lichtreflecterende segmenten worden voorzien.

  
Met het inzicht de kenmerken van de uitvinding beter aan te tonen, zijn hierna, als voorbeeld zonder enig beperkend karakter, enkele voorkeurdragende uitvoeringsvormen beschreven van een inrichting voor het vergroten van het dynamisch bereik van digitale captatiesystemen, met verwijzing naar de bijgaande tekeningen, waarin:
figuur 1 schematisch een pixelstructuur van een bekende digitale sensor weergeeft; figuur 2 een grafiek van de respons van een sensorcel volgens figuur 1 weergeeft in functie van de belichting; figuur 3 schematisch een pixelstructuur weergeeft van een andere bekende digitale sensor met sensorcellen met verschillend captatie-oppervlak, respectievelijk grote en kleine sensorcellen; figuur 4 een grafiek van de respons van de kleine en dus minder lichtgevoelige sensorcellen van figuur 3 weergeeft in functie van de belichting;

   figuur 5 een grafiek van de globale respons van een koppel nabijgelegen kleine en grote sensorcellen volgens figuur 3 weergeeft in functie van de belichting; figuren 6 tot 8 variante uitvoeringsvormen weergeven van verbeterde filters volgens de uitvinding.

  
k In figuur 1 wordt een pixelstructuur weergegeven van een bekende digitale sensor die is opgebouwd uit sensorcellen 1 die de pixels vormen van de sensor. Elke sensorcel 1 heeft een achthoekig captatie-oppervlak 2 en de opeenvolgende rijen 3 zijn in deze uitvoeringsvorm geschrankt onder elkaar geplaatst zodat de sensorcellen 1 diagonaal in lijn gepositioneerd zijn.

  
Figuur 2 geeft grafisch de respons weer van een sensorcel 1 zoals weergegeven in figuur 1. De horizontale as beduidt de belichting of de blootstelling aan licht gedurende een bepaalde belichtingstijd.

  
De belichting is evenredig met de lichtintensiteit en de duur van de belichting.

  
De verticale as beduidt de geaccumuleerde lading in de capaciteit van een sensorcel 1.

  
Het is duidelijk dat vanaf het zogenaamde clippunt of het niveau van belichting waarbij de capaciteit volledig geladen is, de respons van de sensorcellen 1, zijnde de geaccumuleerde lading, onveranderd blijft bij verder toenemende belichting.

  
De sensorcel 1 is dan verzadigd en heeft als gevolg dat de details bij captatie van sterk belichte objecten verloren gaan. De sensor maakt in de overbelichte zones geen onderscheid meer tussen sterk belicht en sterker belicht. Dit fenomeen wordt ook omschreven als het beperkte dynamisch bereik aan de zijde van de zogenaamde "hoge lichten" . 

  
In figuur 3 wordt schematisch een pixelstructuur weergegeven van een andere bekende digitale sensor die een oplossing biedt aan het bovenstaande probleem, waarbij de pixels van deze digitale sensor naast de gebruikelijke eerste sensorcel 1, een tweede sensorcel 4 bevat met kleiner captatie-oppervlak 2.

  
Deze tweede sensorcellen 4 zijn gezien hun relatief en absoluut kleiner captatie-oppervlak bijvoorbeeld vier maal minder snel verzadigd.

  
In figuur 4 wordt de overeenstemmende grafiek van de respons van zulk een tweede sensorcel 4 weergegeven in functie van de belichting.

  
In figuur 5 wordt een grafiek weergegeven van een combinatie van de responsdata van een gebruikelijke sensorcel 1 en een daarnaast gelegen tweede sensorcel 4 met kleiner captatie-oppervlak 4.

  
Het is duidelijk dat de responsdata van de gebruikelijke sensorcel 1 en van de tweede sensorcel 4 op verschillende lineaire of niet-lineaire wijzen gecombineerd kunnen worden, en dat zelfs een verschillend algoritme gehanteerd kan worden naargelang de belichting van de betreffende pixels, bijvoorbeeld om ruis te onderdrukken.

  
Zulk een gecombineerd gebruik van gebruikelijke sensorcellen 1 en tweede sensorcellen 4 laat toe details te capteren van sterk belichte objecten of afbeeldingen. 

  
Inderdaad, indien een sterk belichte afbeelding leidt tot verzadiging van een gebruikelijke sensorcel 1, zal de daarnaast gelegen tweede sensorcel 4 met absoluut en relatief kleiner captatie-oppervlak 4 niet noodzakelijk ook verzadigd zijn, precies omdat slechts een fractie van het licht wordt opgevangen gedurende dezelfde belichtingstijd.

  
Door de gepaste combinatie van de data afkomstig uit de gebruikelijke sensorcellen 1 en de data uit de tweede sensorcellen 4 bekomt men gecapteerde beelden met behoud van details van de sterk belichte objecten.

  
In figuur 6 wordt een voorkeurdragende uitvoeringsvorm weergegeven van een filter 5 die volgens de uitvinding tussen een digitale sensor, zoals hierboven beschreven van een digitaal captatiesysteem en het te capteren beeld wordt voorzien, meer speciaal bijvoorbeeld tussen de digitale sensor en de lens van een fototoestel of dergelijke.

  
Voor het vervolg van de redenering wordt uitgegaan van een digitale sensor, doch een filter 5 volgens de uitvinding kan ook worden toegepast in combinatie met andere sensoren, bijvoorbeeld met een sensor zoals deze van figuur 3.

  
In deze uitvoering is de filter 5 geïntegreerd uitgevoerd met een mozaïekfilter die gebruikelijk voorzien wordt in digitale captatiesystemen.

  
De gebruikelijke mozaïekfilters 6 met het klassiek zogenaamd Bayer-patroon vertonen afwisselend eerste en tweede rijen, 7 respectievelijk 8, waarbij de eerste rijen 7 afwisselend groene en rode segmenten 9 en 10 bevatten, en waarbij de tweede rijen 8 afwisselend blauwe en groene segmenten 11 en 9 bevatten.

  
Volgens de uitvinding en zoals weergegeven in figuur 6 zijn de groene segmenten 9 uit de tweede rijen 8 vervangen door kleurloze segmenten 12, waarbij de kleurloze segmenten 12 lichtabsorberend, lichtafbuigend en/of lichtreflecterend werken.

  
In dit geval worden de pixels met verhoogde dynamiek, met andere woorden de sensorcellen 1 die overeenstemmend met de kleurloze segmenten 12 zijn gelegen, enkel voor de meting van de grijswaarden gebruikt.

  
Per drie sensorcellen 1 of pixels die een meting registreren van de groenwaarde, de roodwaarde en de blauwwaarde van een bepaald punt van een afbeelding door filtering door de segmenten 9, 10 en 11, wordt een sensorcel 1 voorzien die de grijswaarde meet, doch nadat een deel van het licht geabsorbeerd, afgebogen of gereflecteerd werd, meer in het bijzonder door de segmenten
12 van de filter 5.

  
Hiertoe kan de filter 5 voorzien zijn van een laag of laagdelen ter plaatse van de betreffende kleurloze segmenten 12.

  
Het is duidelijk dat ook een fractie van het kleurloze segment 12 volledig kan worden afgedekt en lichtdicht gemaakt, zodat hetzelfde effect bekomen wordt. 

  
Inderdaad, een laag die voorzien wordt over gans een segment 12 en die instaat voor een gedeeltelijke absorptie, een gedeeltelijke afbuiging en/of een gedeeltelijke reflectie van het invallend licht, is equivalent aan een laag die voorzien wordt over een deel van een segment 12 en die instaat voor een gehele absorptie, een gehele afbuiging en/of een gehele reflectie van het invallend licht.

  
We merken op dat de laag die aangebracht is ter plaatse van de kleurloze segmenten 12 bijvoorbeeld ook een fractie van het licht kan absorberen en tevens een fractie kan afbuigen, een fractie kan reflecteren, én een fractie kan doorlaten.

  
De doorgelaten fractie bedraagt volgens de uitvinding minder dan 65%, en bij voorkeur minder dan 50%, in vergelijking met de doorgelaten lichtintensiteit doorheen de overige segmenten 9, 10 en 11.

  
Opdat de gevoeligheid van het captatiesysteem niet te veel zou moeten inboeten, is het best dat de bedoelde absorberende, afbuigende en/of reflecterende segmenten 9 tussen 25% en 50% van de oorspronkelijke lichtintensiteit doorlaten.

  
In figuur 7 wordt een andere voorkeurdragende uitvoeringsvorm weergegeven van een filter 5 die volgens de uitvinding tussen een digitale sensor van een digitaal captatiesysteem en het te capteren beeld wordt voorzien.

  
In dit geval betreft het tevens een mozaïekfilter 6 die echter is opgebouwd uit afwisselend eerste en tweede rijen, 7 respectievelijk 8, waarbij de eerste rijen 7 opeenvolgend groene segmenten 9, rode segmenten 10 en donkerblauwe segmenten 13 bevatten, en waarbij de tweede rijen 8 opeenvolgend blauwe segmenten 11, donkergroene segmenten 14 en donkerrode segmenten 15 bevatten, en waarbij de donkere segmenten 13, 14 en 15 lichtabsorberend, lichtafbuigend en/of lichtreflecterend werken.

  
In figuur 8 tenslotte wordt nog een andere voorkeurdragende uitvoeringsvorm van een filter 5 weergegeven volgens de uitvinding.

  
Deze mozaïekfilter 6 is opgebouwd uit afwisselend eerste en tweede rijen, 7 respectievelijk 8, waarbij de eerste rijen 7 opeenvolgend gele, magenta en donkerblauwe segmenten 16,
17 en 13 bevatten, en waarbij de tweede rijen 8 opeenvolgend cyaan, donkergroene en donkerrode segmenten
18, 14 en 15 bevatten, en waarbij de donkere segmenten 13,
14 en 15 lichtabsorberend, lichtafbuigend en/of lichtreflecterend werken.

  
Het is duidelijk dat vele combinaties mogelijk zijn en dat bijvoorbeeld ook kan worden uitgegaan van een klassiek bayer patroon waarbij een fractie, bijvoorbeeld de helft van de groene segmenten donkergroen zijn uitgevoerd.

  
We merken op dat de filter 5 volgens de uitvinding ook geïntegreerd kan voorzien worden met één of meer van de overige filters of lenzen die gebruikelijk voorzien worden tussen de eigenlijke digitale sensor en het te capteren beeld, zoals bijvoorbeeld met een infrarood filter, op een anti-aliasfilter, op een microlens, etc. 

  
In het geval van de microlens kan deze zodanig zijn uitgevoerd dat de microlenzen in overeenstemming met een fractie van de pixels, de zogenaamde donkere pixels, kleiner uitgevoerd of zelfs afwezig kunnen zijn.

  
De lichtabsorberende, lichtafbuigende en/of lichtreflecterende werking kan bekomen worden door bijvoorbeeld een laag te voorzien op één of meer van de voornoemde filters of lenzen die gebruikelijk voorzien worden tussen de eigenlijke digitale sensor en het te capteren beeld.

  
Het is duidelijk dat de betreffende segmenten 12 tot 15 niet volgens een mozaïekpatroon dienen te worden aangebracht.

  
Het komt echter bijzonder praktisch uit om telkens per groep pixels één segment te voorzien op een filter 5 die tussen de sensor en het te capteren beeld is voorzien en die slechts een fractie van het invallend licht af komstig van het te capteren beeld laat doorschijnen tot aan de overeenstemmende pixel.

  
Aangezien pixels of sensorcellen 1 in het algemeen minstens geordend en vaak in lijnen 3 worden geplaatst, zullen herhaalde groeperingen van nabij gelegen pixels tevens een geordende structuur vormen, en indien daarin telkens een segment 9 op dezelfde plaats wordt voorzien voor het slechts gedeeltelijk doorlaten van het licht, wordt automatisch een mozaïekpatroon bekomen. 

  
Het is duidelijk dat vele mogelijke groeperingen mogelijk zijn die binnen het kader van de uitvinding vallen.

  
In het geval een betreffend segment 12 tot 15 voorzien is van een afbuigende werking, is het mogelijk dat een bijkomende pixel wordt voorzien voor de registratie van de donkere delen van een te capteren beeld.

  
Inderdaad, door een fractie van het invallend licht af te buigen naar het captatie-oppervlak van een nabijgelegen pixel, wordt de lichtintensiteit op die laatste pixel als het ware versterkt.

  
Hierdoor wordt het mogelijk ook de donkere zones gedetailleerder in kaart te brengen, waardoor het dynamisch bericht, zowel aan de donkere, als aan de overbelichte zijde worden uitgebreid.

  
We merken tenslotte op dat de filter 5 volgens de uitvinding ook kan worden toegepast in digitale captatiesystemen die voorzien zijn van zogenaamde directe beeldsensors.

  
Deze bestaan, in tegenstelling tot de gebruikelijke digitale sensoren, uit drie lagen pixels die rechtstreeks al de kleuren capteren.

  
De huidige uitvinding is geenszins beperkt tot de als voorbeeld beschreven en in de figuren weergegeven uitvoeringsvormen, doch een dergelijke verbeterde inrichting voor het vergroten van het dynamisch bereik van digitale captatiesystemen kan volgens verschillende varianten worden verwezenlijkt zonder buiten het kader van de uitvinding te treden.



  Device for increasing the dynamic range of digital capture systems.

  
The present invention relates to a device for increasing the dynamic range of digital capture systems in digital image processing devices such as digital cameras, digital video cameras and the like.

  
The heart of the most well-known digital capturing systems consists essentially of a so-called CCD or CMOS type digital sensor.

  
Such sensors look like electronic chips and contain, depending on the application, several million sensor cells, each corresponding to a so-called pixel.

  
The number of pixels in such a sensor partly determines the resolution of the capture system.

  
Such known sensor cells contain a capturing surface and a capacity that is charged to the extent of exposure of the capturing surface. For many known sensor cells, the exposure or the exposure to light is proportional to the light intensity and the duration of the exposure. The capacity charging depends on the exposure and the size of the capture area.

  
Such known digital sensor cells have a linear response to the exposure to light, or in other words give a linearly varying output as a function of the exposure incident on the capture surface of the sensor cell.

  
A known problem, however, is that the linear response is abruptly interrupted from a certain level of exposure, namely when the capacity of the sensor cell is fully charged.

  
Indeed, from a certain amount of exposure, the response will remain unchanged with further increasing exposure because the capacity cannot be charged further. The level of exposure at which this phenomenon occurs is called the clip point.

  
If the image becomes lighter, there will be no change in its capture, resulting in photos or scans with white spots and loss of detail where there is overexposure.

  
A known solution to this problem consists in that a second sensor cell is provided next to every usual sensor cell with the same capacity but with a smaller capturing surface.

  
Thanks to the smaller capturing area of these second sensor cells, the capacity of the sensor cell will be less charged than the capacity of the adjacent first sensor cells for the same exposure time and with the same light intensity.

  
These second sensor cells have a higher clip point or require more exposure to be fully charged, and the ratio of the respective clip points is proportional to the ratio of the respective capture surfaces.

  
The response of the second sensor cells to varying exposure is also linear but with a considerably lower sensitivity.

  
The disadvantage of the above technology is that such sensors contain two types of sensor cells, which makes the sensors more complex and expensive.

  
The object of the invention is to provide a satisfactory answer to the aforementioned and other problems and for this purpose the device for increasing the dynamic range of digital capture systems comprising a digital sensor composed of sensor cells, the device comprising at least one filter which between the sensor and the light source or the image to be captured, the filter comprising a plurality of segments that per segment absorb, deflect and / or reflect at least 35% more of the intensity of the light compared to the other parts of the light filter.

  
An important advantage is that the dynamic range of the capture system is increased without the need for a special sensor. The digital sensor can indeed be made up of all the same sensor cells.

  
In the first place, such capturing systems are cheaper because they are simpler and, in the second place, no adjustments have to be made to the production equipment because the usual sensors can be used with the same sensor cells.

  
According to a preferred embodiment, the filter consists of a mosaic filter, a fraction of the segments of which are at least partially light-absorbing, at least partly light-deflecting and / or at least partly light-reflecting.

  
Preferably, the shape and mutual positioning of the segments of such a mosaic correspond to the sensor cells or pixels on the sensor.

  
Such an improved mosaic filter can be obtained by providing a mask or light-absorbing layer, a light-deflecting layer and / or a light-reflecting layer at the location of segments on one or more of the filters or lenses that are in any case provided between the sensor and the image to be captured. .

  
Such a mask can be provided, for example, on the color mosaic filter, as a result of which a fraction of the color segments will transmit less light to the corresponding rear pixels.

  
If necessary, segments of the micro lens of the digital image processing devices can also be designed to be light-absorbing, light-deflecting and / or light-reflecting.

  
Light-absorbing, light-deflecting or light-reflecting segments can also be provided in the anti-alias filter or in the infrared filter which are customarily used in image processing devices.

  
With the insight to better demonstrate the features of the invention, a few preferred embodiments of a device for increasing the dynamic range of digital capturing systems are described below, with reference to the accompanying drawings, in which:
Figure 1 schematically represents a pixel structure of a known digital sensor; Figure 2 shows a graph of the response of a sensor cell according to Figure 1 as a function of the exposure; figure 3 schematically represents a pixel structure of another known digital sensor with sensor cells with different capturing surface, large and small sensor cells respectively; Figure 4 shows a graph of the response of the small and therefore less photosensitive sensor cells of Figure 3 as a function of the exposure;

   Figure 5 shows a graph of the global response of a couple of nearby small and large sensor cells according to Figure 3 as a function of the exposure; Figures 6 to 8 show variant embodiments of improved filters according to the invention.

  
Figure 1 shows a pixel structure of a known digital sensor that is composed of sensor cells 1 that form the pixels of the sensor. Each sensor cell 1 has an octagonal capturing surface 2 and the successive rows 3 are placed underneath each other in this embodiment so that the sensor cells 1 are positioned diagonally in line.

  
Figure 2 graphically shows the response of a sensor cell 1 as shown in Figure 1. The horizontal axis indicates the exposure or exposure to light during a certain exposure time.

  
The exposure is proportional to the light intensity and the duration of the exposure.

  
The vertical axis indicates the accumulated charge in the capacity of a sensor cell 1.

  
It is clear that from the so-called clip point or the level of exposure at which the capacity is fully charged, the response of the sensor cells 1, being the accumulated charge, remains unchanged with further increasing exposure.

  
The sensor cell 1 is then saturated and has the consequence that the details are lost when capturing strongly exposed objects. In the overexposed zones, the sensor no longer distinguishes between strongly exposed and strongly exposed. This phenomenon is also described as the limited dynamic range on the side of the so-called "highlights".

  
Figure 3 schematically shows a pixel structure of another known digital sensor that offers a solution to the above problem, wherein the pixels of this digital sensor contain, in addition to the usual first sensor cell 1, a second sensor cell 4 with a smaller capturing area 2.

  
In view of their relatively and absolutely smaller capture surface, these second sensor cells 4 are saturated four times less rapidly, for example.

  
Figure 4 shows the corresponding graph of the response of such a second sensor cell 4 as a function of the exposure.

  
Figure 5 shows a graph of a combination of the response data of a conventional sensor cell 1 and an adjacent second sensor cell 4 with a smaller capture area 4.

  
It is clear that the response data of the conventional sensor cell 1 and of the second sensor cell 4 can be combined in different linear or non-linear ways, and that even a different algorithm can be used depending on the exposure of the pixels concerned, for example to reduce noise. to suppress.

  
Such a combined use of conventional sensor cells 1 and second sensor cells 4 allows details of highly exposed objects or images to be captured.

  
Indeed, if a highly exposed image leads to saturation of a conventional sensor cell 1, the adjacent second sensor cell 4 with absolute and relatively smaller capturing area 4 will not necessarily also be saturated, precisely because only a fraction of the light is captured during the same exposure time.

  
By the appropriate combination of the data from the usual sensor cells 1 and the data from the second sensor cells 4, one obtains captured images while retaining details of the highly exposed objects.

  
Figure 6 shows a preferred embodiment of a filter 5 which according to the invention is provided between a digital sensor, as described above, with a digital capture system and the image to be captured, more particularly, for example, between the digital sensor and the lens of a camera or of such.

  
For the continuation of the reasoning, a digital sensor is assumed, but a filter 5 according to the invention can also be used in combination with other sensors, for example with a sensor such as that of Fig. 3.

  
In this embodiment, the filter 5 is integrated with a mosaic filter that is usually provided in digital capture systems.

  
The usual mosaic filters 6 with the classic so-called Bayer pattern alternately show first and second rows, 7 and 8 respectively, the first rows 7 alternately comprising green and red segments 9 and 10, and wherein the second rows 8 alternately show blue and green segments 11 and 9.

  
According to the invention and as shown in Figure 6, the green segments 9 from the second rows 8 have been replaced by colorless segments 12, the colorless segments 12 having a light-absorbing, light-deflecting and / or light-reflecting effect.

  
In this case, the pixels with increased dynamics, in other words the sensor cells 1 which correspond to the colorless segments 12, are only used for the measurement of the gray values.

  
For every three sensor cells 1 or pixels that register a measurement of the green value, the red value and the blue value of a certain point of an image by filtering through the segments 9, 10 and 11, a sensor cell 1 is provided which measures the gray value, but after a part of the light was absorbed, deflected or reflected, more particularly by the segments
12 of the filter 5.

  
For this purpose, the filter 5 can be provided with a layer or layer parts at the location of the respective colorless segments 12.

  
It is clear that also a fraction of the colorless segment 12 can be completely covered and made light-tight, so that the same effect is obtained.

  
Indeed, a layer that is provided over a whole segment 12 and that is responsible for a partial absorption, a partial deflection and / or a partial reflection of the incident light is equivalent to a layer that is provided over a part of a segment 12 and which is responsible for a complete absorption, a complete deflection and / or a complete reflection of the incident light.

  
We note that the layer applied at the location of the colorless segments 12 can, for example, also absorb a fraction of the light and also deflect a fraction, reflect a fraction, and allow a fraction to pass.

  
The transmitted fraction according to the invention is less than 65%, and preferably less than 50%, compared to the transmitted light intensity through the remaining segments 9, 10 and 11.

  
In order that the sensitivity of the capturing system should not lose too much, it is best that the intended absorbent, deflecting and / or reflecting segments 9 transmit between 25% and 50% of the original light intensity.

  
Figure 7 shows another preferred embodiment of a filter 5 which according to the invention is provided between a digital sensor of a digital capture system and the image to be captured.

  
In this case it also concerns a mosaic filter 6, which is however composed of alternating first and second rows, 7 and 8 respectively, wherein the first rows 7 successively contain green segments 9, red segments 10 and dark blue segments 13, and wherein the second rows 8 consecutively contain blue segments 11, dark green segments 14 and dark red segments 15, and wherein the dark segments 13, 14 and 15 have a light-absorbing, light-deflecting and / or light-reflecting effect.

  
Finally, figure 8 shows another preferred embodiment of a filter 5 according to the invention.

  
This mosaic filter 6 is composed of alternating first and second rows, 7 and 8 respectively, the first rows 7 consecutively yellow, magenta and dark blue segments 16,
17 and 13, and wherein the second rows 8 consecutively contain cyan, dark green and dark red segments
18, 14 and 15, and wherein the dark segments 13,
14 and 15 light-absorbing, light-deflecting and / or light-reflecting work.

  
It is clear that many combinations are possible and that, for example, it is also possible to start from a classic bayer pattern in which a fraction, for example half of the green segments, is of dark green.

  
We note that the filter 5 according to the invention can also be provided integrated with one or more of the other filters or lenses which are usually provided between the actual digital sensor and the image to be captured, such as for example with an infrared filter, on an anti alias filter, on a micro lens, etc.

  
In the case of the micro lens, it can be designed such that the micro lenses in accordance with a fraction of the pixels, the so-called dark pixels, can be smaller or even absent.

  
The light-absorbing, light-deflecting and / or light-reflecting effect can be obtained, for example, by providing a layer on one or more of the aforementioned filters or lenses which are usually provided between the actual digital sensor and the image to be captured.

  
It is clear that the relevant segments 12 to 15 do not have to be arranged according to a mosaic pattern.

  
However, it is particularly practical to provide one segment per group of pixels on a filter 5 which is provided between the sensor and the image to be captured and which allows only a fraction of the incident light from the image to be captured to shine through to the corresponding pixel.

  
Since pixels or sensor cells 1 are generally arranged at least in order and often in lines 3, repeated groups of neighboring pixels will also form an ordered structure, and if a segment 9 is provided therein in each case for allowing only partial passage of the light, a mosaic pattern is automatically obtained.

  
It is clear that many possible groupings are possible that fall within the scope of the invention.

  
In case a respective segment 12 to 15 is provided with a deflection effect, it is possible that an additional pixel is provided for recording the dark parts of an image to be captured.

  
Indeed, by deflecting a fraction of the incident light to the capture surface of a nearby pixel, the light intensity on that last pixel is, as it were, enhanced.

  
This makes it possible to map the dark zones in more detail, thereby extending the dynamic message, both on the dark and on the overexposed side.

  
Finally, we note that the filter 5 according to the invention can also be used in digital capture systems that are provided with so-called direct image sensors.

  
Unlike conventional digital sensors, these consist of three layers of pixels that capture all the colors directly.

  
The present invention is by no means limited to the embodiments described as examples and shown in the figures, but such an improved device for increasing the dynamic range of digital capture systems can be realized according to different variants without departing from the scope of the invention.


    

Claims (13)

Conclusies.Conclusions. 1. Inrichting voor het vergroten van het dynamisch bereik Device for increasing the dynamic range van digitale captatiesystemen die een digitale sensor bevatten die is opgebouwd uit sensorcellen (1), daardoor gekenmerkt dat de inrichting minstens een filter (5) bevat die tussen de sensor en de lichtbron of het te capteren beeld wordt voorzien, waarbij de filter (5) een veelheid van segmenten (12-15) bevat die per segment (12-15) minstens 35% meer van de intensiteit van het licht absorberen, afbuigen en/of reflecteren in vergelijking met de overige delen van de filter (5). of digital capture systems comprising a digital sensor made up of sensor cells (1), characterized in that the device comprises at least one filter (5) provided between the sensor and the light source or the image to be captured, the filter (5) a plurality of segments (12-15) contains those per segment (12-15) absorb, deflect and / or reflect at least 35% more of the intensity of the light compared to the other parts of the filter (5). 2. Inrichting volgens conclusie 1, daardoor gekenmerkt dat Device according to claim 1, characterized in that de filter (5) bekomen wordt door het voorzien van een lichtabsorberende laag, een lichtafbuigende laag en/of een lichtreflecterende laag op één of meer van de filters of lenzen die gebruikelijk voorzien worden tussen de sensor en het te capteren beeld, zoals bijvoorbeeld op een mozaïekfilter (6), op een infrarood filter, op een anti-aliasfilter of op een microlens. the filter (5) is obtained by providing a light-absorbing layer, a light-deflecting layer and / or a light-reflecting layer on one or more of the filters or lenses which are usually provided between the sensor and the image to be captured, such as for example on a mosaic filter (6), on an infrared filter, on an anti-alias filter or on a micro lens. 3. Inrichting volgens conclusie 1, daardoor gekenmerkt dat Device according to claim 1, characterized in that de lichtabsorberende, lichtafbuigende en/of lichtreflecterende segmenten (12-15) in een regelmatig patroon en in overeenstemming met een fractie van de sensorcellen (1) of pixels van de digitale sensor zijn geordend. the light-absorbing, light-deflecting and / or light-reflecting segments (12-15) are arranged in a regular pattern and in accordance with a fraction of the sensor cells (1) or pixels of the digital sensor. 4. Inrichting volgens conclusie 1, daardoor gekenmerkt dat Device according to claim 1, characterized in that ze voorzien is van een zogenaamde mozaïekfilter (6), waarbij een deel van de segmenten (12-15) van de mozaïekfilter (6) minstens gedeeltelijk lichtabsorberend, lichtafbuigend en/of lichtreflecterend zijn uitgevoerd. it is provided with a so-called mosaic filter (6), wherein part of the segments (12-15) of the mosaic filter (6) are at least partially light-absorbing, light-deflecting and / or light-reflecting. 5. Inrichting volgens conclusie 4, daardoor gekenmerkt dat Device according to claim 4, characterized in that de mozaïekfilter (6) is opgebouwd uit afwisselend eerste rijen (7) en tweede rijen (8), waarbij de eerste rijen the mosaic filter (6) is composed of alternating first rows (7) and second rows (8), the first rows 6..Inrichting volgens conclusie 4, daardoor gekenmerkt dat Device according to claim 4, characterized in that de mozaïekfilter (6) is opgebouwd uit afwisselend eerste rijen (7) en tweede rijen (8), waarbij de eerste rijen the mosaic filter (6) is composed of alternating first rows (7) and second rows (8), the first rows (7) opeenvolgend gele, magenta en donkerblauwe segmenten (7) consecutively yellow, magenta and dark blue segments (16), (17) respectievelijk (13), bevatten, en waarbij de tweede rijen (8) opeenvolgend cyaan, donkergroene en donkerrode segmenten (18), (14) en respectievelijk (15) bevatten, en waarbij de donkere segmenten (13-15) lichtabsorberend, lichtafbuigend en/of lichtreflecterend werken. (16), (17) and (13) respectively, and wherein the second rows (8) consecutively contain cyan, dark green and dark red segments (18), (14) and (15) respectively, and wherein the dark segments (13 -15) light-absorbing, light-deflecting and / or light-reflecting work. 7. Inrichting volgens conclusie 4, daardoor gekenmerkt dat Device according to claim 4, characterized in that de mozaïekfilter (6) is opgebouwd uit afwisselend eerste rijen (7) en tweede rijen (8), waarbij de eerste rijen the mosaic filter (6) is composed of alternating first rows (7) and second rows (8), the first rows (7) opeenvolgend groene segmenten (9), rode segmenten (7) successively green segments (9), red segments (7) afwisselend groene segmenten (9) en rode segmenten (7) alternately green segments (9) and red segments 8. Inrichting volgens één van de conclusies 4 tot 7, Device according to one of claims 4 to 7, daardoor gekenmerkt dat de vorm en de afmetingen van de segmenten (9-18) in overeenstemming zijn met de sensorcellen (1) of pixels van de gebruikte digitale sensor. characterized in that the shape and dimensions of the segments (9-18) are in agreement with the sensor cells (1) or pixels of the digital sensor used. 9. Inrichting volgens één van de conclusies 4 tot 8, Device according to one of claims 4 to 8, daardoor gekenmerkt dat de segmenten (9-18) rechthoekig zijn. characterized in that the segments (9-18) are rectangular. 10. Inrichting volgens één van de conclusies 4 tot 9, Device according to one of claims 4 to 9, daardoor gekenmerkt dat het aantal segmenten (9-18) gelijk is aan het aantal sensorcellen (1) of pixels van de gebruikte digitale sensor. characterized in that the number of segments (9-18) is equal to the number of sensor cells (1) or pixels of the digital sensor used. (10) en donkerblauwe segmenten (13) bevatten, en waarbij de tweede rijen (8) opeenvolgend blauwe segmenten (11), donkergroene segmenten (14) en donkerrode segmenten (15) bevatten, en waarbij de donkere segmenten (13-15) lichtabsorberend, lichtafbuigend en/of lichtreflecterend werken. (10) and contain dark blue segments (13), and wherein the second rows (8) successively contain blue segments (11), dark green segments (14) and dark red segments (15), and wherein the dark segments (13-15) are light-absorbing , light-deflecting and / or light-reflecting work. (10) bevatten, en waarbij de tweede rijen (8) afwisselend blauwe segmenten (11) en kleurloze segmenten (10), and wherein the second rows (8) alternate between blue segments (11) and colorless segments 11. Inrichting volgens één van de conclusies 4 tot 10, Device according to one of claims 4 to 10, daardoor gekenmerkt dat het patroon van de segmenten (9- characterized in that the pattern of the segments (9- 18) gelijk is aan het patroon van de sensorcellen (1) of pixels van de gebruikte digitale sensor. 18) is equal to the pattern of the sensor cells (1) or pixels of the digital sensor used. 12. Filter zoals omschreven in één of meer van de 12. Filter as described in one or more of the voorgaande conclusies. preceding claims. (12) bevatten, waarbij de kleurloze segmenten (12) lichtabsorberend, lichtafbuigend en/of lichtreflecterend werken. (12), wherein the colorless segments (12) have a light-absorbing, light-deflecting and / or light-reflecting effect. 13. Beeldverwerkingstoestel dat voorzien is van een 13. An image processing apparatus provided with a inrichting volgens één of meer van voorgaande conclusies. device according to one or more of the preceding claims.
BE2005/0045A 2005-01-25 2005-01-25 Device for increasing the dynamic range of digital capture systems. BE1016426A3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
BE2005/0045A BE1016426A3 (en) 2005-01-25 2005-01-25 Device for increasing the dynamic range of digital capture systems.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
BE2005/0045A BE1016426A3 (en) 2005-01-25 2005-01-25 Device for increasing the dynamic range of digital capture systems.

Publications (1)

Publication Number Publication Date
BE1016426A3 true BE1016426A3 (en) 2006-10-03

Family

ID=34974782

Family Applications (1)

Application Number Title Priority Date Filing Date
BE2005/0045A BE1016426A3 (en) 2005-01-25 2005-01-25 Device for increasing the dynamic range of digital capture systems.

Country Status (1)

Country Link
BE (1) BE1016426A3 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044209A1 (en) * 2000-10-18 2002-04-18 Sony Corporation Solid-state image pickup device
EP1206130A1 (en) * 2000-11-07 2002-05-15 Eastman Kodak Company Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044209A1 (en) * 2000-10-18 2002-04-18 Sony Corporation Solid-state image pickup device
EP1206130A1 (en) * 2000-11-07 2002-05-15 Eastman Kodak Company Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image

Similar Documents

Publication Publication Date Title
KR102593800B1 (en) Solid-state image pickup element and electronic device
US8466998B2 (en) Solid-state image sensor and imaging apparatus equipped with solid-state image sensor
CN205211754U (en) Image sensor
JP5547349B2 (en) Digital camera
CN206759600U (en) Imaging system
JP4483951B2 (en) Imaging device
US8159599B2 (en) Focus detection apparatus, focus detection method, and image sensing apparatus
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US20080080028A1 (en) Imaging method, apparatus and system having extended depth of field
CN102089698B (en) Image-capturing apparatus
US20100188532A1 (en) Image sensor and image-capturing device
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
CN102484723B (en) Solid-state image capturing element, image capturing device and signal processing method
CN101755463A (en) Multiple component readout of image sensor
JP2008005488A (en) Camera module
US6885400B1 (en) CCD imaging device and method for high speed profiling
US9787889B2 (en) Dynamic auto focus zones for auto focus pixel systems
TWI567963B (en) Optical isolation grid over color filter array
JP2007019820A (en) Solid state imaging device
WO2012073727A1 (en) Imaging device and focal position detection method
JP2002250860A5 (en)
CN102025927A (en) Solid-state imaging device and electronic apparatus
JP2001210812A (en) Solid-state image pickup device and solid-state image pickup system provided with the same
CN106506997A (en) Imageing sensor including phase difference detection pixel
JP6545829B2 (en) Image pickup apparatus and image data generation method