DE102006054306A1 - Method for determining the color components of light - Google Patents
Method for determining the color components of light Download PDFInfo
- Publication number
- DE102006054306A1 DE102006054306A1 DE102006054306A DE102006054306A DE102006054306A1 DE 102006054306 A1 DE102006054306 A1 DE 102006054306A1 DE 102006054306 A DE102006054306 A DE 102006054306A DE 102006054306 A DE102006054306 A DE 102006054306A DE 102006054306 A1 DE102006054306 A1 DE 102006054306A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- image sensor
- light
- information
- difference information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000010287 polarization Effects 0.000 claims description 89
- 239000004973 liquid crystal related substance Substances 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 10
- 238000001454 recorded image Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 239000013078 crystal Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000005054 agglomeration Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000004090 dissolution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
- G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Ermittlung der Farbanteile des Lichtes wenigstens einer Lichtquelle mittels wenigstens eines Bildsensors, wobei mit dem wenigstens einen Bildsensor ein wenigstens eine Bildeinheit unterteiltes Bild eines mit der wenigstens einen Lichtquelle beleuchteten Motivs aufnehmbar ist, wobei zu jeder Bildeinheit für mehrere Farbkanäle eine numerische Bildinformation gespeichert wird, bei dem ein erstes Bild aufgenommen wird und wenigstens ein zweites Bild, welches nur oder zumindest im Wesentlichen nur die linear polarisierten Lichtanteile desselben Motivs umfasst, wobei durch Differenzbildung zwischen den numerischen Bildinformationen jedes Farbkanals von wenigstens einem Teil der Bildeinheiten eines ersten und wenigstens eines zweiten Bildes eine numerische Differenzinformation gebildet wird. Die Erfindung betrifft weiterhin eine Foto- oder Filmkamera mit wenigstens einem Objektiv und wenigstens einem Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern die wenigstens zwei Bildsensoren umfasst, wobei vor und/oder während einer Bildaufnahme ein erster Bildsensor mit unpolarisiertem und ein zweiter Bildsensor mit linear polarisiertem Licht oder beide Bildsensoren mit unterschiedlich linear polarisiertem Licht beleuchtbar ist/sind, wobei aus den Bildinformationen beider Sensoren wenigstens eine Differenzinformation bildbar ist, mit der die Bildinformationen eines Bildsensors korrigierbar sind, insbesondere für einen ...The invention relates to a method for determining the color components of the light of at least one light source by means of at least one image sensor, wherein with the at least one image sensor, a divided at least one image unit image of a lit with the at least one light source motif is receivable, wherein each image unit for a plurality of color channels one storing numerical image information in which a first image is taken and at least one second image which comprises only or at least substantially only the linearly polarized light components of the same motif, wherein by differentiating between the numerical image information of each color channel of at least a part of the image units of a first and at least one second image, numerical difference information is formed. The invention further relates to a photographic or film camera having at least one lens and at least one image sensor for receiving a single image or a series of images comprising at least two image sensors, wherein before and / or during an image acquisition, a first image sensor with unpolarized and a second image sensor linearly polarized light or both image sensors with different linearly polarized light can be illuminated is / are, from the image information of both sensors at least a difference information can be formed with which the image information of an image sensor can be corrected, in particular for a ...
Description
Die Erfindung betrifft ein Verfahren zur Ermittlung der Farbanteile des Lichts wenigstens einer Lichtquelle mittels wenigstens eines Bildsensors, wobei mit dem wenigstens einen Bildsensor ein in Bildeinheiten (Pixel) unterteiltes Bild eines mit der wenigstens einen Lichtquelle beleuchteten Motivs aufnehmbar ist, wobei zu jeder Bildeinheit für mehrere Farbkanäle eine numerische Bildinformation gespeichert wird.The The invention relates to a method for determining the color components the light of at least one light source by means of at least one Image sensor, wherein the at least one image sensor in an image units (Pixel) subdivided image of one with the at least one light source illuminated subject is receivable, with each picture unit for several color channels a numerical image information is stored.
Die Erfindung betrifft weiterhin eine Foto- oder Filmkamera oder ein Zusatzmodul für eine solche Kamera, insbesondere mit wenigstens einem Objektiv und wenigstens einem Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern. Die Erfindung betrifft auch eine Einheit für eine Foto- oder Filmkamera zur Bereitstellung von Farbinformationen über das beleuchtende Licht.The The invention further relates to a photographic or film camera or a Additional module for Such a camera, in particular with at least one lens and at least one image sensor for taking a single image or a series of pictures. The invention also relates to a unit for a photo or movie camera for providing color information about the lighting light.
Beim Aufnehmen von Fotos oder beim Filmen ist die Problematik bekannt, dass die Wiedergabe eines aufgenommenen Motivs hinsichtlich der Farbe maßgeblich davon abhängt, dass die Farbanteile des verwendeten Lichtes bzw. die Farbtemperatur des Lichtes abgestimmt ist auf das verwendete Filmmaterial bzw. die spektrale Empfindlichkeit eines Bildsensors im Bereich der digitalen Fotografie bzw. Filmerstellung. Hierbei kann weiterhin das verwendete Licht nicht nur von einer Lichtquelle stammen, sondern ggfs. auch von mehreren, was zu Mischlichtsituationen führt.At the Taking pictures or filming is the problem known that the reproduction of a recorded subject in terms of color decisively depends on that the color components of the light used or the color temperature the light is matched to the film material or the spectral sensitivity of an image sensor in the digital domain Photography or film production. This can continue to use the Light not only come from a light source, but possibly also of several, resulting in mixed light situations.
In der klassischen Fotografie ist es dabei bekannt, dass ein Fotograf mittels eines Messgerätes die Farbtemperatur und somit die spektrale Farbverteilung, mithin also die Farbanteile, des verwendeten Lichtes ausmisst, um sodann unter Berücksichtigung des verwendeten Filmmaterials durch Einsatz von verschiedenen Filtern eine optimale Weißdarstellung ohne Farbverfälschung bei Objekten im Motiv zu erreichen, die tatsächlich in der Realität eine weiße Farbe aufweisen. Weiterhin wird dabei erreicht, dass neutral graue Flächen in der bildlichen Wiedergabe ebenso neutral grau erscheinen.In The classic photography is known to be a photographer by means of a measuring device the Color temperature and thus the spectral color distribution, therefore so the color components of the light used measures then to below Consideration of the used film material by using different filters an optimal white representation without color distortion to achieve objects in the subject that actually in reality a white color exhibit. Furthermore, it is achieved that neutral gray areas in the visual rendering also appear neutral gray.
Die Problematik wird in der digitalen Fotografie bzw. Filmerstellung dadurch gelöst, dass eingesetzte Kameras üblicherweise einen sogenannten Weißabgleich durchführen, der oftmals jedoch nicht in ausreichendem Maße zu zufrieden stellenden Foto- oder Filmergebnissen führt.The Problem becomes in the digital photography or film production solved by that used cameras usually a so-called white balance carry out, often insufficiently satisfactory Photo or film results.
Hierbei ist es bekannt, dass bei digitalen Foto- oder Filmkameras voreingestellte Farbtemperaturwerte ausgewählt werden können, die sodann für eine Korrektur der tatsächlichen Bildaufnahmen eingesetzt werden. Ebenso ist es bekannt, einen automatischen Weißabgleich durchzuführen, bei dem mittels eines Bildverarbeitungsalgorithmus aus einem Bild anhand verschiedener Kriterien die voraussichtlich verwendete Farbtemperatur bzw. die Zusammensetzung des Lichtes einer oder mehrerer Lichtquellen im Wesentlichen lediglich abgeschätzt wird. Die so ermittelten Informationen hinsichtlich der Farbanteile des Lichtes werden sodann eingesetzt, um eine Korrektur der aufgenommenen Bilder durchzuführen.in this connection It is known that pre-set for digital photo or film cameras Color temperature values selected can be then for one Correction of the actual Image recordings are used. Likewise, it is known an automatic White balance perform, in which by means of an image processing algorithm from an image based on various criteria the expected color temperature or the composition of the light of one or more light sources essentially only estimated. The thus determined Information regarding the color components of the light then become used to correct the captured images.
Es wird dabei im Wesentlichen auf das Vorhandensein hinreichend neutraler Bildinhalte vertraut, was in der Konsequenz zu Schätzwerten für die Farbanteile des verwendeten Lichtes führt, die bei diesem bekannten Verfahren nicht nur von der Beleuchtung, sondern auch stark vom Bildinhalt abhängen.It is essentially sufficiently neutral to the presence Image content trusts, which consequently leads to estimates for the color components the light used leads, the in this known method not only of the lighting, but also depend heavily on the image content.
Im Ergebnis werden so oftmals nur sehr einfache Korrekturwerte für jeden Farbkanal (beispielsweise RGB, rot-grün-blau) erhalten, über die die Farbkanäle eines aufgenommenen Bildes global über den gesamten Bildausschnitt ausbalanciert werden. Lokale variable Beleuchtungsverteilungen, z.B. mit unterschiedlichen Lichtquellen (wie beispielsweise bei Mischlichtsituationen, insbesondere bei gelbem Sonnenlicht und blauem Himmelslicht) lassen sich so nur unzureichend abgleichen und können so nur als ein Kompromiss verstanden werden.in the The result is often very simple correction values for everyone Color channel (for example, RGB, red-green-blue) obtained over the the color channels a captured image globally over the entire image detail to be balanced. Local variable illumination distributions, e.g. With different light sources (such as in mixed light situations, especially in yellow sunlight and blue sky light) can be so only inadequately balance and so can only as a compromise be understood.
Die Aufgabe der Erfindung ist es, die Farbanteile des Lichtes wenigstens einer Lichtquelle hinreichend genau zu bestimmen, insbesondere unabhängig von dem Inhalt eines aufgenommenen Bildes und so verlässliche Korrekturwerte zu erhalten, die die Farbanteile des verwendeten Lichtes wenigstens einer Lichtquelle repräsentieren, insbesondere um so die Möglichkeit zu bieten, einen Weißabgleich nicht nur global, sondern z.B. auch lokal, beispielsweise Pixel für Pixel, durchzuführen, so dass auch Mischlichtsituationen erfolgreich korrigierbar sind.The The object of the invention is the color components of the light at least be determined with sufficient accuracy, in particular independently of a light source the content of a captured image and so reliable To obtain correction values that the color components of the used Represent light of at least one light source, in particular to so the possibility to offer a white balance not only global, but e.g. also locally, for example pixels for pixels, perform, so that mixed light situations can be successfully corrected.
Die Aufgabe wird gelöst durch ein Verfahren zur Ermittlung der Farbanteile des Lichtes wenigstens einer Lichtquelle mittels wenigstens eines Bildsensors, wobei mit dem wenigstens einen Bildsensor ein in Bildeinheiten, insbesondere in wenigstens eine Bildeinheit unterteiltes Bild einer mit der wenigstens einen Lichtquelle beleuchteten Motivs aufnehmbar ist, wobei zu jeder Bildeinheit für mehrere Farbkanäle eine numerische Bildinformation gespeichert wird und wobei erfindungsgemäß ein erstes Bild aufgenommen wird und wenigstens ein zweites Bild aufgenommen wird, welches nur oder zumindest im Wesentlichen nur die linear polarisierten Lichtanteile desselben Motivs umfasst, wobei durch Differenzbildung zwischen den numerischen Bildinformationen jedes Farbkanals von wenigstens einem Teil der Bildeinheiten eines ersten und wenigstens eines zweiten Bildes eine numerische Differenzinformation gebildet wird.The object is achieved by a method for determining the color components of the light of at least one light source by means of at least one image sensor, wherein with the at least one image sensor a divided image units, in particular in at least one image unit image of a lighted with the at least one light source motif is receivable, wherein for each image unit for a plurality of color channels, a numerical image information is stored and wherein according to the invention a first image is taken and at least a second image is taken which comprises only or at least substantially only the linearly polarized light components of the same motif, whereby by differentiating between the numerical image information each Color channel of at least a portion of the image units of a first and at least one second image a numerical Differenzinfor is formed.
Weiterhin wir die Aufgabe gelöst durch eine Foto- oder Filmkamera oder ein Zusatzmodul für eine Foto- oder Filmkamera, insbesondere mit wenigstens einem Objektiv und wenigstens einem Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern wobei wenigstens zwei Bildsensoren vorgesehen sind, wobei vor und/oder während einer Bildaufnahme ein erster Bildsensor mit unpolarisierten und ein zweiter Bildsensor mit linear polarisierten Licht oder beide Bildsensoren mit unterschiedlich linear polarisiertem Licht beleuchtbar ist/sind, wobei aus den Bildinformationen beider Sensoren wenigstens eine Differenzinformation bildbar ist, mit der die Bildinformationen eines Bildsensors korrigierbar sind, insbesondere für einen Weißabgleich. Die Aufgabe wird auch gelöst durch eine Einheit für eine Foto- oder Filmkamera, bei der ein einziger Bildsensor vorgesehen ist, wobei vor und/oder während einer Bildaufnahme ein erstes Bild mit unpolarisierten und ein zweites Bild mit linear polarisierten Licht oder beide Bilder mit unterschiedlich linear polarisiertem Licht aufnehmbar sind, wobei aus den Bildinformationen beider Bilder wenigstens eine Differenzinformation bildbar ist, mit der die Bildinformationen eines Bildsensors der Kamera korrigierbar sind, insbesondere für einen Weißabgleich.Farther we solved the task through a photo or film camera or an add-on module for a or film camera, in particular with at least one lens and at least one image sensor for taking a single image or a series of images wherein at least two image sensors are provided are, taking before and / or during an image capture a first image sensor with unpolarized and a second image sensor with linear polarized light or both image sensors can be illuminated with differently linearly polarized light wherein from the image information of both sensors at least one Difference information is picturable, with which the image information an image sensor can be corrected, in particular for a White balance. The task is also solved through a unit for a photo or film camera, in which a single image sensor provided is, being before and / or during an image capture a first image with unpolarized and a second Image with linearly polarized light or both images with different linearly polarized light are receivable, wherein the image information of both Pictures at least one difference information is bildbar, with the the image information of an image sensor of the camera correctable are, in particular for a white balance.
Die Erfindung geht zunächst davon aus, dass wenigstens ein Bildsensor eingesetzt wird, mittels dem in bekannter Weise ein in Bildeinheiten (d.h. Pixel zeilenweise und spaltenweise) unterteiltes Bild aufnehmbar ist. Es kann sich hierbei um denjenigen Bildsensor handeln, der ohnehin in einer Aufnahmevorrichtung, z.B. einer Kamera vorgesehen ist, um ein Bild aufzunehmen, oder um einen oder mehrere separate Bildsensoren, die nur zur Durchführung des Verfahrens eingesetzt werden. Ein oder mehrere separate Bildsensoren können zur Durchführung des Verfahren als eine dafür vorgesehen Einheit in eine Kamera integriert sein oder es handelt sich um eine externe Einheit oder externes Zusatzmodul, welche/s z.B. am Blitzschuh einer Kamera angesteckt werden kann.The Invention goes first assume that at least one image sensor is used by means of in known manner in image units (i.e., pixels, line by line and columns) divided image is receivable. It may be this is the image sensor that is already in a recording device, e.g. a camera is provided to take a picture, or to one or more separate image sensors, only to carry out the process be used. One or more separate image sensors can be used for execution of the procedure as one for it provided unit to be integrated into a camera or it acts is an external unit or external add-on module, e.g. can be connected to the hot shoe of a camera.
Ein solcher Bildsensor kann eine Bildauflösung bieten, die der Auflösung entspricht, die für die Aufnahme von Fotos oder Filmen eingesetzt wird, z.B. viele Megapixel oder aber auch ein deutlich reduzierte Auflösung, ggf. auch nur einen Pixel. So kann ein mit einem solchen Bildsensor aufgenommenes Bild eine Auflösung von einem Pixel bis zu vielen Megapixeln haben kann.One such image sensor can provide an image resolution that matches the resolution, the for the taking of photos or films is used, e.g. many megapixels or even a significantly reduced resolution, possibly even just one pixel. Thus, an image taken with such an image sensor can be a resolution from one pixel to many megapixels.
Ein mit dem wenigstens einen Sensor aufgenommenes Bild weist somit eine oder mehrere Bildeinheiten auf, die auch als Pixel bezeichnet werden, wobei unter Zugrundelegung eines Farbraumsystems zu jeder Bildeinheit für mehrere Farbkanäle eine numerische Bildinformation gespeichert wird. Bei einem solchen bekannten Farbraumsystem kann es sich z.B. um den RGB-Farbraum handeln, bei dem als Grundfarben die Farben rot, grün und blau zugrunde gelegt werden. Jeder dieser Farben bildet einen Farbkanal im Sinne der Erfindung.One with the at least one sensor recorded image thus has a or several image units, which are also referred to as pixels, assuming a color space system for each image unit for many Color channels one numeric image information is stored. In such a known Color space system may be e.g. to act around the RGB color space, at the basic colors are red, green and blue become. Each of these colors forms a color channel in the sense of Invention.
Um die Farbe einer Bildeinheit eines Bildes zu speichern, wird somit für jede Bildeinheit, bezogen auf das vorgenannte Beispiel des gewählten Farbraumes, eine Information über die anteilige Verteilung der Farben in dem jeweiligen Farbkanal, also z.B. rot, grün und blau gespeichert. Im RGB-Farbraum werden somit zu jeder Bildeinheit, bzw. Pixel wenigstens drei numerische Werte gespeichert.Around thus saving the color of an image unit of an image for every Image unit, based on the aforementioned example of the selected color space, an information about the proportionate distribution of the colors in the respective color channel, ie e.g. Red Green and blue saved. In the RGB color space, each image unit or pixels stored at least three numerical values.
Das Verfahren ermittelt demnach die Farbwerte (z.B. RGB) der Lichtfarbe, wie ein oder mehrere Sensoren aufgrund ihrer spezifischen spektralen Empfindlichkeiten sie empfangen.The Method thus determines the color values (e.g., RGB) of the light color, like one or more sensors due to their specific spectral sensitivities they receive.
Die vorliegende Beschreibung versteht einen Bildsensor im Sinne des Verfahrens als einen Bildaufnehmer, der mehrere Farbsignale (in der Regel 3-dimensional) empfängt. Ob dazu ein Bild durch ein Farbfiltermosaik nebeneinanderliegender Pixel oder übereinanderliegender Farbpixel (z.B. Foveon) mit nur 1 Aufnahme oder ob bei wechselnden Farbfiltern mehrfache Aufnahmen aufgezeichnet werden, ist für das Verfahren unwesentlich.The This description understands an image sensor in the sense of Method as an imager, which receives multiple color signals (in the rule 3-dimensional) receives. Whether to a picture through a color filter mosaic next to each other Pixel or more superimposed Color pixels (e.g., foveon) with only 1 shot or changing color Color filters multiple recordings are recorded for the procedure immaterial.
Wichtig für das Verfahren ist, dass die spektralen Empfindlichkeiten der am Verfahren beteiligten Sensoren möglichst gut übereinstimmen. Dieses gilt sowohl für die Sensoren, die an der Ermittlung der Lichtfarbe beteiligt sind (Meßsensoren) und ebenso für den Hauptsensor einer Kamera (Bildsensor), dessen Bild in einer bevorzugten Ausführung auf diese Lichtfarbe neutral abgeglichen werden soll.Important for the Method is that the spectral sensitivities of the process involved sensors as possible agree well. This applies to both the sensors that are involved in the determination of the light color (Measuring sensors) and also for the main sensor of a camera (image sensor) whose image is in one preferred embodiment to be neutralized to this light color.
Die Auflösung der Meßsensoren kann deutlich geringer gewählt werden als diejenige des Bildsensors, weil sich die Beleuchtung innerhalb einer Szene nur geringfügig und dann auch nicht abrupt ändert. Zudem ist ein gewisser Grad an lokaler Mittelung (was einer niederen Auflösung de facto entspricht) dem Verfahren nicht abträglich, weil in der elektronischen Auswertung zumindest für einen globalen Weißabgleich eine gewisse Mittelwertbildung der Beleuchtung vorgenommen wird.The resolution the measuring sensors can be chosen significantly lower Be as the one of the image sensor because of the lighting within a scene changes only slightly and then not abruptly. moreover is a certain degree of local averaging (which is a low resolution de facto) does not adversely affect the procedure, because in the electronic Evaluation at least for a global white balance a certain averaging of the illumination is made.
Allerdings empfiehlt es sich, zumindest für den Fall einer Polarisationsauswertung mit einer Flüssigkristallanordnung eine hinreichende Ortsauflösung zur Verfügung zu stellen, um die Phasenverschiebung beispielsweise an den ortsabhängigen Neigungswinkel oder auch an die farbabhängige Wellenlänge im Fall eines Farbmosaiks anzupassen.Indeed it is recommended, at least for the Case of polarization evaluation with a liquid crystal array a sufficient spatial resolution to disposal to make the phase shift, for example, to the location-dependent angle of inclination or to the color-dependent wavelength in the case to adapt to a color mosaic.
Je nach Motiv und Logik der elektronischen Auswertung kann es sinnvoll sein, unterschiedliche Belichtungsgrade der Szene aufzunehmen und auszuwerten. Dadurch lassen sich ansonsten über- und untersteuerte Bereiche, die nicht sinnvoll auszuwerten wären, dennoch nutzen.Depending on the motive and logic of the electronic Evaluation, it may be useful to record and evaluate different degrees of exposure of the scene. This makes it possible to use otherwise over- and under-steered areas that would not be meaningfully evaluated.
In der Praxis werden die Bildinformationen erhalten, indem beispielsweise zur Bildaufnahme ein CMOS- oder CCD-Sensor verwendet wird, der entsprechende Filter für die jeweiligen Farben der Farbkanäle aufweist, so dass für jeden physikalisch repräsentierten Pixel dieses Bildsensors jede Farbe separat aufgenommen und abgespeichert werden kann. In einem gespeicherten Bild, welches beispielsweise in dieselbe Anzahl von Bildeinheiten unterteilt ist, wie sie auch der Bildsensor physikalisch aufweist, können somit unter Zugrundelegung des RGB-Farbraums für jede Bildeinheit drei numerische Bildinformationen gespeichert werden, wobei jede der drei Bildinformationen einem der drei Farbkanäle zugeordnet ist. Wird ein anderer Farbraum zugrund gelegt, so kann auch eine von 3 unterschiedliche Anzahl von Farbkanälen berücksichtigt werden.In In practice, the image information is obtained by, for example For image capture a CMOS or CCD sensor is used, the corresponding Filter for the respective colors of the color channels so that for each physically represented Pixel of this image sensor each color separately recorded and stored can be. In a stored image, which is for example in the same number of image units is divided as the same Image sensor physically, can thus on the basis of of the RGB color space for each picture unit will be stored three numerical picture information wherein each of the three image information is associated with one of the three color channels is. If a different color space is used, so can one be considered by 3 different number of color channels.
Die Erfindung nutzt zur Lösung der Problematik die Tatsache, dass es an Körpern, die in einem aufgenommenen Motiv vorhanden sind, sowohl zu einer Reflektion des Lichtes an den Körper-Oberflächen kommt als auch zu einer Remission, d.h. einer Rückstrahlung des Lichtes aus dem Körperinneren.The Invention uses the solution the problem is the fact that it is attached to bodies that are in one Subject are present, both to a reflection of the light the body surfaces comes as well as to a remission, i. a reflection of the light the inside of the body.
Hierbei ist zu berücksichtigen, dass remittierte Strahlungsanteile aus dem Körperinneren vollständig unpolarisiert sind und aufgrund einer wellenlängenabhängigen Absorption die individuelle Körperfarbe bestimmen.in this connection is taken into account, that remitted radiation components from the inside of the body completely unpolarized are and due to a wavelength-dependent absorption the individual body color determine.
Im Gegensatz dazu reflektieren Grenzflächen die spektralen Lichtanteile einer oder mehrerer Lichtquellen nahezu wellenlängenunabhängig. Das reflektierte Licht ist dabei zumindest teilweise bis vollständig linear polarisiert, je nachdem, unter welchem Winkel die Reflektion von der Oberfläche eines Körpers beobachtet wird. Der höchste Polarisationsgrad liegt dann vor, wenn die Reflektion im Brewsterwinkel stattfindet.in the In contrast, interfaces reflect the spectral light components one or more light sources almost independent of wavelength. The reflected light is at least partially to completely linearly polarized, depending after, at what angle the reflection from the surface of a body is observed. The highest The degree of polarization is present when the reflection takes place at the Brewster angle.
Der Kerngedanke der Erfindung basiert darauf, das zumindest teilweise linear polarisierte Licht eines aufgenommenen Motivs auszuwerten, da dieses Licht, wie eingangs erwähnt ist, wellenlängenunabhängig ist und somit die Farbanteile der wenigstens einen verwendeten Lichtquelle repräsentiert. Eine Verfälschung durch die Farbe aufgenommener Körper kann somit ausgeschlossen werden.Of the The core idea of the invention is based on that at least partially evaluate linearly polarized light of a recorded subject, since this light, as mentioned above, is wavelength independent and thus the color components of the at least one light source used represents. A adulteration body absorbed by the color can thus be excluded.
Um somit eine Ausblendung der remittierten Lichtanteile aus einem Motiv zu erhalten, kann es gemäß einem möglichen Aspekt der Erfindung vorgesehen sein, dass zunächst wie vorgenannt ein erstes Bild aufgenommen wird, welches alle Polarisationsanteile bzw. Polarisationsrichtungen des Lichtes umfasst und somit sowohl die remittierten Lichtanteile eines oder mehrerer Körper in einem Motiv sowie auch die von dem einen oder mehreren Körper reflektierten Lichtanteile.Around thus a suppression of the remitted lights from a motif It can be done according to one potential Aspect of the invention can be provided that first as mentioned above, a first image is recorded, which all polarization components or polarization directions of the light and thus includes both the remitted light components one or more bodies in a subject as well as those reflected by the one or more bodies Light components.
In dem wenigstens einen zweiten Bild hingegen werden nur die linear polarisierten Lichtanteile desselben Motivs erfasst, wonach anschließend von den somit in den beiden Bildern vorliegenden numerischen Bildinformationen eines jeden Farbkanals von wenigstens einem Teil, gegebenenfalls von allen Bildeinheiten eines Bildes, die Differenz gebildet wird, so dass in der sodann enthaltenen Differenzinformation zu jedem der Farbkanäle einer jeden für das Verfahren benutzten Bildeinheit der Remissionsanteil im Wesentlich oder vollständig eliminiert ist und im Wesentlichen nur der Reflektionsanteil an Oberflächen übrig bleibt, der wie vorgenannt wellenlängenunabhängig ist und somit auf die Farbverteilung bzw. spektrale Zusammensetzung des für die Beleuchtung verwendeten Lichtes schließen lässt.In however, only the second image becomes linear polarized light components of the same subject detected, after which of the thus in the two images present numerical image information of each color channel of at least one part, optionally from all the image units of a picture, the difference is formed so that in the then contained difference information to each the color channels one for each Method image unit used the remission proportion substantially or completely is eliminated and essentially only the reflection component Surfaces left over, as previously mentioned wavelength independent and thus on the color distribution or spectral composition of for the lighting used to close the light.
Gemäß einem anderen Aspekt der Erfindung kann es vorgesehen sein, dass auch bei einem ersten Bild die Aufnahme derart erfolgt, dass ein erstes Bild im Wesentlichen nur linear polarisierte Lichtanteile umfasst. Ansonsten erfolgt das verfahrensmäßige Vorgehen wie vorgenannt. Hierbei ist es wichtig, dass die Polarisationsrichtungen des linear polarisierten Lichtes, welches beim ersten und einem zweiten Bild erfasst wird, unterschiedlich ist, da sonst bei der Differenzbildung keine Differenz übrig bleibt. Besonders bevorzugt können die Polarisationsrichtungen bei dem ersten und einem zweiten Bild unter 90 Grad zueinander angeordnet sein. Dies hat den Vorteil, dass es in einem ersten Bild bei einer vorgegebenen Lage der Polarisation Reflexe gibt, die vollständig ausgelöscht werden und bei einem zweiten Bild mit dazu senkrecht eingestellter Polarisationsrichtung eben diese Reflexe maximal durch den Polarisator durchgelassen und im Bild erfasst werden. Sämtliche unpolarisierten Remissionsanteile im Licht werden bei beiden Bildern zumindest im Wesentlichen in gleicher Stärke erfasst.According to one Another aspect of the invention may be that also in a first image, the recording is made such that a first image essentially comprises only linearly polarized light components. Otherwise the procedural procedure takes place as mentioned above. It is important that the polarization directions of linearly polarized light, which at the first and a second picture is captured, is different, otherwise at the Difference formation no difference remains. Especially preferred can the polarization directions in the first and a second image be arranged at 90 degrees to each other. This has the advantage that it is in a first image at a given position of polarization There are reflexes that are complete extinguished and in a second image with vertically adjusted Polarization direction just these reflections maximum through the polarizer be transmitted and captured in the image. All unpolarized remission shares in the light are at least substantially the same in both pictures Strength detected.
Nach einer Differenzbildung zweier Bilder mit jeweils erfassten linear polarisiertem Licht, bevorzugt unter 90 Grad Polarisationsdifferenz zwischen den Bildern, wird somit in dem Differenzbild der reflektierte Lichtanteil, insbesondere der, der durch die Wahl der Polarisationsrichtung bestimmt wurde, dominieren.To a difference of two images with each detected linear polarized light, preferably less than 90 degrees polarization difference between the images, is thus reflected in the difference image Proportion of light, in particular that, by the choice of polarization direction was determined, dominate.
Unabhängig davon, ob von zwei aufgenommenen Bildern eines der Bilder unpolarisiertes Licht erfasst hat oder beide linear polarisiertes Licht erfasst haben, liegen somit für jede der für das Verfahren verwendeten Bildeinheiten der beiden Bilder, ggfs für alle Bildeinheiten der beiden Bilder pro Farbkanal je eine Differenzinformation vor. Mit Bezug auf den RGB-Farbraum ergeben sich somit für jede Bildeinheit, zu der eine Differenz gebildet wurde, drei Differenzinformationen, nämlich eine für den Farbkanal rot, eine für den Farbkanal grün und eine für den Farbkanal blau.Irrespective of whether unpolarized light from two recorded images of one of the images has been detected or both have detected linearly polarized light, the image units of the two images used for the process are, if appropriate, for each each image units of the two images per color channel before each a difference information. With reference to the RGB color space, three difference information thus result for each image unit to which a difference has been formed, namely one for the color channel red, one for the color channel green and one for the color channel blue.
Da diese Differenzinformationen für jede der betrachteten Bildeinheiten vorliegen, besteht erfindungsgemäß die Möglichkeit, anhand dieser gewonnenen Differenzinformationen eine Korrektur in einem Bild, insbesondere einen wirksamen Weißabgleich lokal in einem aufgenommenen Bild, d.h. ggfs. sogar für jeden Pixel bzw. jede Bildeinheit eines Bildes durchzuführen. Hierbei kann es vorgesehen sein, zur Korrektur nur den Betrag der Differenzinformation, also ohne Berücksichtigung des Vorzeichens, auszuwerten.There this difference information for Each of the image units considered, there is the possibility according to the invention, on the basis of this difference information obtained a correction in a picture, in particular an effective white balance locally recorded in a Image, i. if necessary even for every pixel or image unit of an image. in this connection it can be provided to correct only the amount of the difference information, without consideration of the sign to evaluate.
Wird das Verfahren mit einem Bildsensor durchgeführt, der auch zur Aufnahme von Bildern bei einer Kamera genutzt wird, so können Differenzinformation mit derselben Auflösung vorliegen, wie Sie ein aufgenommenes Bild hat. Es kann dann eine pixelweise Korrektur eines aufgenommenen Bildes vorgenommen werden. Werden separate Bildsensoren eingesetzt, so kann die Auflösung, mit der Differenzinformationen vorliegen z.B. deutlich kleiner sein als die Auflösung eines Hauptbildsensors.Becomes the procedure performed with an image sensor, which is also for recording Of images used with a camera, so can difference information with same resolution present how you have a picture taken. It can be one pixel-by-pixel correction of a recorded image. If separate image sensors are used, then the resolution, with the difference information is e.g. be significantly smaller as the resolution a main image sensor.
Es kann sodann vorgesehen sein, dass die Differenzinformationen für eine Korrektur eines Bildes von einem Hauptsensor bereichsweise den Bildeinheiten eines aufgenommenen Bildes zugeordnet werden. Wird z.B. mit Bildsensoren zur Durchführung des Verfahrens nur eine Bildeinheit verwendet, so können die Differenzinformation global zur Korrektur für alle Bildeinheiten eines aufgenommenen Bildes verwendet werden.It can then be provided that the difference information for a correction an image of a main sensor in areas of the image units associated with a captured image. If e.g. with image sensors to carry out of the procedure uses only one picture unit, then the Difference information globally for the correction of all image units of a taken picture.
Bei Einsatz eines Hauptbildsensors einer Kamera zur Durchführung des Verfahrens kann vorteilhaft das verfahrensgemäß aufgenommene erste Bild auch genutzt werden, um dieses nach der Differenzbildung zu korrigieren.at Using a main image sensor of a camera to perform the Advantageously, the method may also be the first image recorded according to the method be used to correct this after subtraction.
Unabhängig von der physikalischen oder genutzten Auflösung des wenigstens einen Bildsensors, der zur Durchführung des Verfahren genutzt wird, kann es vorgesehen sein, die erhaltenen Differenzinformationen zu gewichten und/oder zu mitteln, z.B. um so die gewichteten/gemittelten Differenzinformationen zur bereichsweisen oder globalen Korrektur von Bildern bzw. den Bildeinheiten (Pixeln) dieser Bilder zu nutzen.Independent of the physical or used resolution of the at least one image sensor, the one to carry the process is used, it can be provided, the obtained Weight and / or average difference information, e.g. around so the weighted / averaged difference information for area by area or global correction of images or image units (pixels) to use these pictures.
Gemäß der Erfindung kann z.B. nur ein Bildsensor eingesetzt werden (z.B. zusätzlich zu einem Hauptbildsensor oder alleinig) mit dem nacheinander ein erstes und wenigstens ein zweites Bild aufgenommen wird. Es können auch wenigstens zwei Bildsensoren eingesetzt werden, wobei mit einem ersten Bildsensor immer das erste Bild und mit dem wenigstens einem zweiten Bildsensor zeitgleich wenigstens ein zweites Bild aufgenommen wird.According to the invention can e.g. only one image sensor is used (e.g., in addition to a main image sensor or alone) with the one after the other and at least one second image is taken. It can too at least two image sensors are used, with a first Image sensor always the first image and with the at least one second Image sensor at least a second image is recorded at the same time.
Hierbei kann an einer Kamera zur Durchführung des Verfahrens jeder Bildsensor eine eigene Abbildungsoptik aufweisen, oder die Bildsensoren nutzen eine gemeinsame Optik und eine nachfolgende Strahlteilung, um jeden Bildsensor mit einem Lichtbündel zu beleuchten. Ggfs. kann dafür auch die Optik verwendet werden, die eine Abbildung des Motivs auf einen Hauptbildsensor einer Kamera produziert.in this connection can perform on a camera of the method, each image sensor has its own imaging optics, or the image sensors use a common optics and a subsequent beam splitting, to illuminate each image sensor with a light beam. If necessary. can for that too the optics are used, which is a picture of the subject on one Main image sensor of a camera produced.
Um das wenigstens eine zweite Bild, ggfs. auch das erste Bild mit lediglich oder zumindest im Wesentlichen linear polarisierten Lichtanteilen aufzunehmen, kann es vorgesehen sein, dass dies unter Verwendung eines linearen Polarisators, beispielsweise eines Polarisationsfilters oder eines Polarisationswürfels, erfolgt.Around the at least one second picture, if necessary. Also the first picture with only or at least substantially linearly polarized light components It may be provided that this is done using a linear polarizer, such as a polarizing filter or a polarization cube, he follows.
Es kann hierbei vorgesehen sein, dass beispielsweise eine bekannte Foto- oder Filmkamera mit wenigstens einem Objektiv und wenigstens einem (Haupt-) Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern eingesetzt wird. So kann mit einer solchen Kamera zunächst in üblicher Weise ein Bild aufgenommen werden, insbesondere welches das Licht ohne jegliche polarisationsbeeinflussende Maßnahmen aufnimmt (oder mit einer ersten Polarisationsrichtung) und anschließend kann von demselben Motiv nochmal, jedoch jetzt mit polarisationsbeeinflussenden Maßnahmen oder in einer anderen Polarisationsrichtung wenigstens ein zweites Bild aufgenommen werden, wobei aufgrund der Verwendung des Polarisators im Wesentlichen nur linear polarisiertes Licht bei einem zweiten Bild und ggfs auch dem ersten Bild den Weg zum Bildsensor findet.It can be provided here that, for example, a known Photo or film camera with at least one lens and at least a (main) image sensor for taking a single image or a Series of images is inserted. So can with such a camera first in usual Way a picture is taken, in particular which the light without any polarization-influencing measures takes up (or with a first polarization direction), and then may be from the same motif again, but now with polarization-influencing measures or in another polarization direction at least a second one Picture being taken, due to the use of the polarizer essentially only linearly polarized light in a second Picture and if necessary also the first picture the way to the picture sensor finds.
Das erfindungsgemäße Verfahren kann so mit bereits am Markt erhältlichen Kameras lediglich unter Zuhilfenahme eines Polarisators durchgeführt werden.The inventive method can be so with already available on the market Cameras are carried out only with the aid of a polarizer.
Erfindungsgemäß kann es jedoch auch vorgesehen sein, Kameras oder Zusatzmodule für Kameras einzusetzen, die neben einem Hauptsensor noch zwei separate Bildsensoren zur Durchführung des Verfahrens aufweisen, wobei zumindest einer der Bildsensoren (nach Durchgang des Lichtes eines Motivs durch einem Polarisator) mit linear polarisiertem Licht beleuchtet wird, ggfs. auch beide Bildsensoren mit unterschiedlich linear polarisierten Licht beleuchtet werden.According to the invention it can However, also be provided cameras or add-on modules for cameras to use, in addition to a main sensor still two separate image sensors to carry out the Have method, wherein at least one of the image sensors (after Passage of the light of a motif through a polarizer) with is illuminated linearly polarized light, if necessary. Also both image sensors be illuminated with different linearly polarized light.
Bei sämtlichen Ausführungen, bei denen ein erstes Bild ohne Verwendung eines Polarisators und ein zweites Bild mit Verwendung eines linearen Polarisators aufgenommen wird, kann es besonders bevorzugt vorgesehen sein, dass der Transmissionsverlust des Polarisators bei der Aufnahme eines zweiten Bildes im Vergleich zum ersten Bild kompensiert wird. Beispielsweise kann hierfür eine geänderte, insbesondere höhere Verstärkung im Signalweg eines Bildsensors angewendet werden oder aber es kann auch vorgesehen sein, auf die bei dem zweiten Bild erhaltenen numerischen Bildinformationen einen Multiplikator anzuwenden, der den Transmissionsverlust ausgleicht.For all versions where a first image is taken without using a polarizer and a second image using a linear polarizer, it may be particularly preferably provided that the transmission loss of the polarizer when taking a second image compared to the first image is compensated. For example, a modified, in particular higher amplification in the signal path of an image sensor can be used for this purpose, or it can also be provided to apply to the numerical image information obtained in the second image a multiplier which compensates for the transmission loss.
Auf diese Art und Weise können das erste Bild und das wenigstens eine aufgenommene zweite Bild aneinander kalibriert werden, insbesondere so dass in dem zweiten Bild, bezogen auf den transmittierten linearen Licht-Anteil im Wesentlichen gleiche oder ähnliche Signalpegel erreicht werden wie in dem ersten Bild desselben Motiv.On this way you can the first image and the at least one captured second image be calibrated to each other, in particular so that in the second Image, based on the transmitted linear light component substantially same or similar Signal levels are achieved as in the first image of the same subject.
So wird durch die Differenzbildung sichergestellt, dass die auf Remission beruhenden Lichtanteile eliminiert werden und in dem so gebildeten Differenzbild die spektral unabhängigen Reflektionsanteile dominieren.So is ensured by the difference that the on remission based light components are eliminated and in the thus formed Difference image the spectrally independent Reflections dominate.
Hierbei werden in dem Differenzbild diejenigen Reflektionsanteile dominieren, deren Polarisationsrichtung parallel ausgerichtet sind zu der linearen Durchlassrichtung des Polarisationsfilters bzw. Polarisators, der bei der zweiten Bildaufnahme eingesetzt wurde. Da diese Anteile beim zweiten Bild in der Aufnahme aufgrund der Wirkung des linearen Polarisationsfilters maximal durchgelassen werden und die zweite Aufnahme hinsichtlich des Signalpegels insbesondere der remittierten Anteile kalibriert bzw. normiert ist an die erste Aufnahme, verbleibt bei der Differenzbildung im Bildinhalt des Differenzbildes der Informationsanteil, der parallel zur Ausrichtung des eingesetzten Polarisators liegt, also der Reflexionsanteil.in this connection will dominate in the difference image those reflection components, whose polarization direction is aligned parallel to the linear transmission direction of the polarization filter or polarizer, in the second Image capture was used. Because these shares in the second picture in the picture due to the effect of the linear polarizing filter maximum pass and the second shot in terms the signal level in particular the remitted shares calibrated or is normalized to the first shot, remains at the difference in the picture content of the difference picture the information share, the parallel to align the polarizer used, so the reflection component.
Werden für beide Bilder Polarisatoren eingesetzt, so kann ggfs. eine Kalibrierung der Bilder aneinander entfallen, da sich der Transmissionsverlust bei beiden Bildern gleich auswirkt.Become for both If polarizers are used, calibration may be required the images together, since the transmission loss at the same effect on both pictures.
Möglicherweise werden in einem fotografisch erfassten Motiv Körperoberflächen in verschiedenen Richtungen angeordnet sein, so dass auch Reflektionen des für die Beleuchtung verwendeten Lichtes und somit der insbesondere einen verwendeten Lichtquelle unter verschiedenen Winkeln erfolgen. Aufgrund der unterschiedlichen Ausrichtungen der Körperoberflächen in einer Szene wird es daher in einem aufgenommenen Bild Reflektionen unter vielen verschiedenen Winkeln geben, so dass zum einen die Stärke der Reflektion und zum anderen auch der Grad der Polarisation über ein aufgenommenes Bild verteilt unterschiedlich sein kann.possibly become in a photographically captured motif body surfaces in different directions be arranged so that also reflections of the light used for lighting and thus the particular one light source used under different Angles take place. Due to the different orientations of the Body surfaces in Therefore, a scene becomes reflection in a captured image from many different angles, so that on the one hand the Strength the reflection and the degree of polarization over a recorded image distributed may be different.
Es wird jedoch in jedem aufgenommenen Motiv bezogen auf die gewählte Richtung der linearen Polarisation immer Motivbereiche geben, von denen eine Reflektion des Lichtes ausgeht und deren Differenzinformation ausgewertet werden kann, insbesondere um eine Korrektur eines ggfs erst später aufgenommenen Bildes durchzuführen.It however, it will be in each recorded motif in relation to the chosen direction The linear polarization always give subject areas, one of which Reflection of the light goes out and evaluated their difference information can be, in particular a correction of a possibly later recorded Picture.
Da am zuverlässigsten eine Information über die Farbanteile des verwendeten Lichtes wenigstens einer Lichtquelle aus denjenigen entstandenen Reflektionen gewonnen werden kann, bei denen der höchste Polarisationsgrad und/oder die höchste Reflektionsintensität vorliegt, kann es gemäß einem Aspekt der Erfindung vorgesehen sein, dass aus den Differenzinformationen jeder (verwendeten) Bildeinheit diejenigen Differenzinformationen von Bildeinheiten ausgewählt werden, die zumindest in einem der Farbkanäle oder in allen der Farbkanäle den höchsten Differenz-Betrag aufweisen. Diese ausgewählten Differenzinformation können sodann für eine Korrektur von Bildern verwendet werden.There most reliable an information about the Color components of the light used at least one light source from those reflections can be obtained at whom the highest Degree of polarization and / or the highest reflection intensity it can, according to one Aspect of the invention be provided that from the difference information each (used) image unit those difference information selected from image units be at least in one of the color channels or in all of the color channels the highest difference amount exhibit. These selected Difference information can then for a correction of images are used.
Es kann aus diesen Differenz-Informationen mit dem höchsten Differenzbetrag geschlossen werden, dass bei der Reflektion, die in dieser betrachteten Bildeinheit erfasst wurde, ein hoher Polarisationsgrad vorliegt, so dass die gewonnene Differenzinformation eine sehr zuverlässige Information über den Farbanteil des reflektierten Lichtes wiederspiegelt, zumindest desjenigen Lichtes, welches lokal in der Bildaufnahme an dem betreffenden Körper reflektiert wurde, der in der betrachteten Bildeinheit abgebildet wurde.It can from this difference information with the highest difference amount be concluded that at the reflection that is considered in this Image unit has been detected, a high degree of polarization is present, so that the difference information obtained a very reliable information about the color component reflected light, at least of that light, which was locally reflected in the image recording on the body in question, which was depicted in the picture unit under consideration.
In einer anderen Ausbildung der Erfindung kann es auch vorgesehen sein, dass mehrere zweite Bilder aufgenommen werden, wobei in jedem der zweiten Bilder das Licht mit einer linearen Polarisation einer anderen Polarisationsrichtung aufgenommen wird, insbesondere wobei für jedes Paar aus einem ersten und einem der zweiten Bilder Differenzinformationen gebildet werden. Auch hierbei kann das erste Bild mit unpolarisiertem Licht oder aber auch mit linear polarisiertem Licht aufgenommen werden, wie es eingangs erläutert wurde.In another embodiment of the invention may also be provided that a plurality of second images are taken, wherein in each of the second Imagine the light with a linear polarization of another polarization direction in particular, wherein for each pair of a first and one of the second images difference information is formed. Again, the first picture with unpolarized light or but also be recorded with linear polarized light, like it explained at the beginning has been.
Diesem Verfahrensaspekt liegt die Überlegung zugrunde, dass wie vorgenannt, Körper mit verschiedenen Oberflächenausrichtungen in einem fotografierten Motiv aufgenommen werden können, wobei Reflektionen unter verschiedenen Winkeln und somit auch mit verschieden ausgerichteten linearen Polarisationen auftreten können. Durch die Aufnahme einer Serie von wenigstens zwei zweiten Bildern unter verschiedenen Polarisationsrichtungen (z.B. von 45 Grad zueinander) kann somit gewährleistet werden, dass Reflektionen unter verschiedenen Polarisationswinkeln bei der Differenzbildung aus zwei Bildern diskriminiert werden können. So können Differenzinformationen jeweils zu einem Paar aus zwei Bildern, nämlich einem ersten (unpolarisierten oder polarisierten) und einem der zweiten polarisierten Bilder oder aber auch zwischen zwei der zweiten polarisierten Bildern gebildet werden, wobei abhängig davon, welches Paar für die Differenzbildung, und somit welche Polarisationsrichtung verwendet wurde, Reflektionen aus verschiedenen Bereichen eines aufgenommenen Motivs jeweils das Differenzbild bzw. die Differenzinformation zu den Bildeinheiten dominieren können.This method aspect is based on the consideration that, as mentioned above, bodies with different surface orientations can be recorded in a photographed subject, whereby reflections can occur at different angles and thus also with differently oriented linear polarizations. By taking a series of at least two second images under different polarization directions (eg of 45 degrees to each other) can thus be ensured be that reflections under different polarization angles in the difference formation of two images can be discriminated. Thus, difference information can each be formed into a pair of two images, namely a first (unpolarized or polarized) and one of the second polarized images or even between two of the second polarized images, depending on which pair for the difference formation, and thus which Polarization direction was used, reflections from different areas of a recorded motif in each case can dominate the difference image or the difference information to the image units.
Hier kann es gemäß einem Aspekt der Erfindung vorgesehen sein, dass die Differenzinformationen zu wenigstens einem Teil der möglichen Paare, bevorzugt zu jedem Paar von Bildern verglichen werden, somit also ein Vergleich der erhaltenen Differenzbilder (zu ggfs. jeder Bildpaarung) stattfindet und die Differenzinformation eines Paares bzw. das Differenzbild eines Paares ausgewählt wird, bei dem zumindest in einem der Farbkanäle, gegebenenfalls in allen Farbkanälen, der höchste Differenz-Betrag vorliegt. Bei diesen Differenzinformationen wird demnach der Reflektionsanteil am höchsten sein, so dass das Differenzbild mit diesen höchsten Differenzanteilen eine zuverlässige Bestimmung der Farbanteile des verwendeten Lichtes zulässt. Dieses Differenzbild bzw. die Differenzinformationen eines jeden Farbkanals zu jeder ausgewählter Bildeinheiten dieses Differenzbildes kann demnach verwendet werden, um bei später aufgenommenen Bildern einen Weißabgleich, beispielsweise pro Pixel bzw. Bildeinheit oder bereichsweise oder global durchzuführen.Here can it according to one Aspect of the invention can be provided that the difference information to at least a part of the possible Pairs, preferably to be compared to each pair of images, thus Thus, a comparison of the obtained difference images (for any Image pairing) takes place and the difference information of a pair or the difference image of a pair is selected, wherein at least in one of the color channels, optionally in all color channels, the highest Difference amount exists. In this difference information is Accordingly, the reflection component to be highest, so that the difference image with these highest Difference shares a reliable Determination of the color components of the used light permits. This Difference image or the difference information of each color channel to every one selected Image units of this difference image can therefore be used at later captured pictures a white balance, for example, per pixel or image unit or area by area or perform globally.
Gemäß einem anderen Aspekt der Erfindung kann es vorgesehen sein, die Differenzinformation, die aus allen Paarungen zu jeder Bildeinheit vorliegen, zu vergleichen und zu jeder Bildeinheit diejenigen Differenzinformationen auszuwählen, die in zumindest einem der Farbkanäle den höchsten Betrag aufweisen. So wird gemäß diesem Aspekt nicht aus den verschiedenen Paaren ein vollständiges Differenzbild für die weitere Verarbeitung gewählt, sondern immer aus allen möglichen Paarungen die Differenzinformationen zu einer bestimmten Bildeinheit, die den stärksten Reflektionsanteil repräsentieren und somit also wie vorgenannt den höchsten zahlenmäßigen Betrag aufweisen. Hierdurch ergibt sich ein resultierendes Differenzbild, welches in jeder Bildeinheit aus Differenzinformationen zusammengesetzt sein kann, die aus verschiedenen der ursprünglichen Paarungen der aufgenommenen Bilder resultieren.According to one According to another aspect of the invention, it may be provided that the difference information, the from all pairings to each image unit and to select for each image unit those difference information that in at least one of the color channels the highest Amount. So, according to this Aspect not from the different pairs a complete difference picture for the further processing selected, but always from all kinds Pairings the difference information to a specific image unit, the the strongest Represent reflection component and thus, as mentioned above, the highest numerical amount exhibit. This results in a resulting difference image, which in each image unit be composed of difference information that can be taken from different of the original pairings of the Pictures result.
Unabhängig von den vorgenannten Ausführungen liegen gemäß der Erfindung zu jeder der betrachteten Bildeinheiten eines ersten und eines zweiten Bildes oder auch zwischen zwei zweiten Bildern Differenzinformationen vor. Hierbei gibt es zu jeder der betrachteten Bildeinheiten eine Anzahl von Differenzinformationen, die der Anzahl der verwendeten Farbkanäle des jeweils betrachteten Farbraumes entspricht, also beispielsweise drei Differenzinformationen pro Bildeinheit eines Bildes im RGB-Farbraum.Independent of the aforementioned embodiments lie according to the invention to each of the image units of a first and a second considered Picture or even between two second pictures difference information in front. There is one for each of the image units considered Number of difference information, the number of color channels used by each considered color space corresponds, so for example, three difference information per image unit of an image in the RGB color space.
Gemäß der Erfindung kann es nun vorgesehen sein, dass die Differenzinformationen zu wenigstens einer Bildeinheit ggfs. zu mehreren oder allen Bildeinheiten direkt oder nach einer Umrechnung eingesetzt werden, um die Bildinformation eines ggfs. auch erst später aufgenommenen Bildes zu korrigieren, insbesondere wobei durch die Korrektur ein Weißabgleich durchgeführt wird.According to the invention It can now be provided that the difference information to if necessary to at least one image unit to several or all image units used directly or after conversion to the image information possibly also later corrected image, in particular wherein by the Correct a white balance carried out becomes.
Beispielsweise kann ein Differenzbild, also alle Differenzinformationen zweiter voneinander subtrahierter Bildinformationen zu jeder Bildeinheit logarithmiert werden. Es kann über alle Differenzinformation (insbesondere selektiv für jeden Farbkanal) eine globale Mittelwertbildung durchgeführt werden. Oder es wird ein Histogramm bzgl. der Häufigkeit der auftretenden Differenzinformation erstellt. Der Mittelwert oder der oder die häufigsten Differenzinformation können dann für jeden Farbkanal Korrekturwerte bilden, mit denen z.B. global ein aufgenommenes Bild hinsichtlich des Weisswertes korrigiert werden kann.For example can a difference image, so all difference information is second subtracted image information about each image unit be logarithmized. It can over all difference information (especially selective for each Color channel) a global averaging can be performed. Or it becomes a histogram regarding the frequency of difference information created. The mean or the most common difference information can then for each Color channel form correction values with which, for example, globally a recorded Image can be corrected with respect to the white value.
Wird beispielsweise ein Bild aufgenommen mit einer bestimmten Anzahl von Bildeinheiten, wobei jede Bildeinheit beispielsweise einer Spalte und einer Zeile des Bildes zugeordnet sein kann, so kann es vorgesehen sein, dass aufgrund einer vorherigen Differenzbildbildung zu jeder einzelnen Bildeinheit eines aufgenommenen Bildes eine Differenzinformation vorliegt, mit der die Korrektur vorgenommen werden kann. Es besteht so die Möglichkeit, pixelweise, d.h. pro Bildeinheit eines aufgenommenen Bildes, den Weißabgleich durchzuführen.Becomes For example, a picture taken with a certain number of image units, where each image unit is a column, for example and can be assigned to one line of the picture, so it can be provided be that due to a previous difference image formation to each individual image unit of a recorded image difference information present, with which the correction can be made. It exists so the possibility pixel by pixel, i. per image unit of a captured image, the White balance perform.
Es kann in einer anderen Ausführung auch vorgesehen sein, dass die Differenzinformationen gewichtet werden, um so eine für alle Bildeinheiten beispielsweise gemeinsame Differenzinformation zu bilden, die sodann zur Korrektur für später aufgenommene Bilder eingesetzt werden kann. Es erfolgt dann bei den später aufgenommenen Bildern in jeder einzelnen Bildeinheit eine Korrektur, beispielsweise anhand derselben Differenzinformation.It may be in a different execution also be provided that the difference information weighted be such for one all image units, for example, common difference information then used to correct for later taken pictures can be. It then takes place in the pictures taken later in each individual image unit a correction, for example based the same difference information.
Aufgrund der bereits vorgenannten Tatsache, dass in einigen Bildbereichen eines aufgenommenen Bildes die Reflektionsanteile mal mehr und mal weniger stark ausgebildet sein können, kann es auch vorgesehen sein, dass die Differenzinformationen, die zu einer Bildeinheit vorliegt, gewichtet werden mit den Differenzinformationen benachbarter Bildeinheiten. So kann für eine jeweils betrachtete Bildeinheit eine neue resultierende Differenzinformation gebildet werden, die berücksichtigt, wie die Differenzinformationen in benachbarten Bildeinheiten sind. Es kann so erreicht werden, dass auch in Bildeinheiten, die bei einer Aufnahme nur einen geringen Reflektionsanteil aufwiesen, bei zukünftig aufgenommenen Bildern korrekte Differenzinformationen vorliegen, um einen späteren Abgleich durchführen zu können.Due to the fact already mentioned above, that in some image areas of a recorded image the reflection components can sometimes be more and sometimes less powerful, it can also be provided that the difference information present for an image unit is weighted with the difference information of neighboring image units. So, for each considered Image unit a new resulting difference information are formed, which takes into account how the difference information in adjacent image units. It can be achieved in such a way that even in image units which had only a low reflection component during a recording, in the case of images taken in future, correct difference information is available in order to be able to carry out a later comparison.
Um das Verfahren mit einer Foto- oder Filmkamera oder einem Zusatzmodul zu einer Kamera durchzuführen, kann es vorgesehen sein, dass vor und/oder während einer Bildaufnahme das durch das Objektiv gesammelte Licht in einen unpolarisierten und einen linear polarisierten Anteil oder zwei verschieden ausgerichtete linear polarisierte Anteile aufgespalten wird, wobei die beiden Anteile jeweils von einem Bildsensor aufgenommen werden und wobei einer der Bildsensoren das eine erste Bild und der andere Bildsensor das eine zweite Bild aufnimmt.Around the procedure with a photo or film camera or an additional module to perform a camera It may be provided that before and / or during an image acquisition the light collected by the lens into an unpolarized and a linearly polarized portion or two differently oriented ones linearly polarized fractions is split, the two Shares are each recorded by an image sensor and wherein one the image sensors that a first image and the other image sensor the takes a second picture.
Hier können aus den gewonnenen Differenzinformationen aus den Bildern der beiden Bildsensoren die numerischen Bildinformationen, die mit dem ersten Bildsensor aufgenommen wurden oder diejenigen Bildinformationen eines weiteren für die Foto- oder Filmaufnahme vorgesehenen Bildsensors korrigiert werden.Here can from the obtained difference information from the pictures of the two Image sensors display the numerical image information with the first Image sensor were taken or those image information another for corrected the photo or film recording provided image sensor become.
Es kann dabei vorgesehen sein, dass eine erfindungsgemäße Foto- oder Filmkamera oder Zusatzmodul, insbesondere mit wenigstens einem Objektiv und wenigstens einem Bildsensor zur Aufnahme eines Einzelbildes oder einer Reihe von Bildern eingesetzt wird, die zwei Bildsensoren umfasst, wobei vor und/oder während einer Bildaufnahme ein erster Bildsensor mit unpolarisiertem und ein zweiter Bildsensor mit linear polarisiertem Licht beleuchtbar ist oder die beiden Bildsensoren mit verschieden linear polarisiertem Licht beleuchtbar sind. Hierbei kann sodann aus den Bildinformationen der beiden Sensoren wenigstens eine Differenzinformation bildbar sein, mit der die Bildinformation eines Bildsensors korrigierbar ist, insbesondere für den vorgenannten Weißabgleich.It It may be provided that a photographic or film camera or additional module, in particular with at least one Lens and at least one image sensor for taking a single image or a series of images that uses two image sensors wherein, before and / or during an image capture a first image sensor with unpolarized and a second image sensor with linearly polarized light can be illuminated or the two image sensors with different linearly polarized Light are illuminated. This can then from the image information the two sensors at least a difference information be bildbar with which the image information of an image sensor is correctable, especially for the aforementioned white balance.
Es kann vorgesehen sein, dass der erste und der zweite Bildsensor separat zu einem Bildsensor in der Kamera vorgesehen sind, der zur Aufnahme des Einzelbildes oder der Reihe von Bildern vorgesehen ist, also separat zu einem Hauptsensor. Hierbei können der erste und der zweite Bildsensor beispielsweise eine geringere Auflösung aufweisen als derjenige Haupt-Bildsensor, der zur Aufnahme des Einzelbildes oder der Reihe von Bildern vorgesehen ist.It it can be provided that the first and the second image sensor separately are provided to an image sensor in the camera for recording the frame or the series of images is provided, ie separate to a main sensor. Here, the first and the second Image sensor, for example, have a lower resolution than the main image sensor, provided for capturing the frame or series of images is.
Dem liegt die Überlegung zugrunde, dass nicht zwingend zu jeder Bildeinheit eines aufgenommenen Bildes eine individuelle Differenzinformation zur Durchführung einer Korrektur vorliegen muss, sondern dass es gegebenenfalls ausreicht, eine oder nur einige wenige Differenzinformationen durch den ersten und zweiten Bildsensor zur Verfügung zu stellen, die global oder beispielsweise bereichsweise zur Korrektur bei denjenigen Bildeinheiten eines aufgenommenen Bildes angewandt werden, insbesondere die der globalen oder bereichsweise erfassten Differenzinformation zugeordnet sind.the lies the consideration underlying that not necessarily to every image unit of a recorded Picture an individual difference information to perform a Must be correct, but that it may be sufficient one or only a few difference information through the first and second image sensor available to make global or, for example, regionally for correction applied to those image units of a recorded image especially those of the global or regional level Difference information are assigned.
Bei einer erfindungsgemäßen Kamera oder Zusatzmodul, die/das mit dem Verfahren zum Einsatz kommen kann, kann dem ersten und zweiten Bildsensor ein einziges oder je ein separates Objektiv zugeordnet sein, so dass mit dieser Anordnung aus Objektiv und dem ersten und zweiten Bildsensor im Wesentlichen die gleiche Szene erfasst wird wie mit dem Haupt-Bildsensor und dem Objektiv, welches für die tatsächliche Erfassung des gewünschten Szenenbildes eingesetzt wird.at a camera according to the invention or additional module that can be used with the method, For example, the first and second image sensors may be one or more be assigned to separate lens, so that with this arrangement lens and the first and second image sensors substantially the same scene is captured as with the main image sensor and the lens, which for the actual Capture the desired Scene image is used.
Es kann alternativ auch vorgesehen sein, dass der erste und der zweite Bildsensor durch Licht beaufschlagt wird, welches aus dem Haupt-Strahlengang aus dem Haupt-Objektiv und einem Haupt-Bildsensor ausgekoppelt ist, der zur Aufnahme des Einzelbildes oder der Reihe von Bildern vorgesehen ist. Derartig ausgekoppeltes Licht kann beispielsweise nach der Auskopplung aufgespalten werden in einen unpolarisierten und einen linear polarisierten Anteil oder zwei verschieden linear polarisierte Anteile, wobei diese beiden aufgespaltenen Anteile jeweils wieder dem ersten und dem zweiten Bildsensor für die Verfahrensdurchführung zugeführt werden.It Alternatively, it can also be provided that the first and the second Image sensor is acted upon by light, which from the main beam path is decoupled from the main lens and a main image sensor, provided for capturing the frame or series of images is. Such coupled-out light, for example, after the Decoupling will be split into one unpolarized and one linearly polarized portion or two differently linearly polarized Shares, these two split shares each again the first and the second image sensor for the process implementation are supplied.
Es kann auch eine Kamera vorgesehen sein, die einen Hauptbildsensor aufweist und einen weiteren Bildsensor mit eigener Optik (Objektiv) zur Aufnahme desselben Motiv, wobei z.B. der zusätzliche Bildsensor eine geringere physikalische Auflösung aufweist als der Hauptbildsensor. Dieser zusätzliche Bildsensor kann in die Kamera oder in ein externes Zusatzmodul integriert sein. Es kann bei einer Bildaufnahme z.B. mit dem Hauptbildsensor das erfindungsgemäß erste Bild aufgenommen werden, welches z.B. alle unpolarisierten Lichtanteile oder alle Lichtanteile einer ersten Polarisationsrichtung einfängt.It can also be provided a camera that has a main image sensor has and another image sensor with its own optics (lens) for receiving the same motif, e.g. the additional image sensor is a smaller one having physical resolution as the main image sensor. This additional image sensor can be used in the camera or integrated into an external add-on module. It can be used in an image acquisition e.g. with the main image sensor according to the invention first Picture, which is e.g. all unpolarized light components or captures all light components of a first polarization direction.
Mit dem zweiten separaten Bildsensor kann nur linear polarisiertes Licht desselben Motivs oder eine andere Polarisationsrichtung aufgenommen werden. Hierfür kann zumindest in der Optik des zweiten Sensors ein Polarisator vorgesehen sein. Da der zweite separate Bildsensor eine geringere Auflösung hat kann es vorgesehen sein aus dem ersten Bild des Hauptsensors nur einen Teil der Bildeinheiten für die Durchführung des Verfahren auszuwählen, insbesondere einen Bereich im Bild, z.B. einen zentralen Bereich der in Anzahl und Anordnung der Bildeinheiten zu den Bildeinheiten des zweiten separaten Bildsensor korrespondiert.With the second separate image sensor only linearly polarized light of the same subject or another polarization direction can be recorded. For this purpose, a polarizer can be provided at least in the optics of the second sensor. Since the second separate image sensor has a lower resolution, it may be provided to select only a part of the image units for carrying out the method from the first image of the main sensor, in particular an area in the image, for example a central area corresponding in number and arrangement of the image units to the image units of the second separate image sensor.
So kann ein Differenzbild aus allen Bildeinheiten des Bildes vom zweiten Bildsensor und den ausgewählten Bildeinheiten des Bildes des ersten Hauptsensors erstellt werden. Die so erhaltenen Differenzinformationen können eingesetzt werden, ggfs. nach einer Gewichtung, Mittelung, Interpolation oder Zusammenfassung, um das Bild des ersten Hauptsensors, insbesondere global zu korrigieren.So can be a difference image from all image units of the image of the second Image sensor and the selected Image units of the image of the first main sensor are created. The difference information thus obtained can be used, if necessary after a weighting, averaging, interpolation or summary, to correct the image of the first main sensor, in particular globally.
In einer anderen Ausführung kann es auch vorgesehen sein, ein Einheit für eine Foto- oder Filmkamera vorzusehen, in der nur ein einziger Bildsensor vorgesehen ist, wobei vor und/oder während einer Bildaufnahme ein erstes Bild mit unpolarisierten und ein zweites Bild mit linear polarisierten Licht oder beide Bilder mit unterschiedlich linear polarisiertem Licht aufnehmbar sind, wobei aus den Bildinformationen beider Bilder wenigstens eine Differenzinformation bildbar ist, mit der die Bildinformationen eines Bildsensors der Kamera korrigierbar sind, insbesondere für einen Weißabgleich. Eine solche Einheit kann ebenso wie vorbeschrieben in einer Kamera integriert sein oder extern angeordnet sein, z.B. über den Blitzschuh einer Kamera an der Kamera befestigt sein, insbesondere wobei über Kontakte im Blitzschuh und am Zusatzmodul eine Kommunikation durchführbar ist, um der Kamera Information für einen Weißabgleich zu übermitteln.In another version It can also be provided, a unit for a photo or film camera provide, in which only a single image sensor is provided, wherein before and / or during an image capture a first image with unpolarized and a second Image with linearly polarized light or both images with different linearly polarized light are receivable, taking from the image information both pictures at least a difference information is formed, with the image information of an image sensor of the camera correctable are, in particular for a white balance. Such a unit may as well as previously described in a camera be integrated or arranged externally, e.g. on the Hot shoe of a camera attached to the camera, in particular being over Contacts in the hotshoe and at the additional module communication is feasible, to the camera information for a white balance to convey.
Bei den vorgenannten Kameraausführungen bzw. Ausführungen der Einheiten/Zusatzmodule kann so vor oder während einer Bildaufnahme mit einem Hauptbildsensor über den ersten und zweiten zusätzlichen Bildsensor die Bildung eines Differenzbildes erfolgen, wobei die erhaltenen Differenzinformationen eingesetzt werden können, um die Bildeinheiten desjenigen Bildes zu korrigieren, die mit dem Hauptsensor aufgenommen wurden.at the aforementioned camera versions or versions The units / additional modules can be used before or during an image acquisition a main image sensor via the first and second additional Image sensor take place the formation of a difference image, wherein the obtained difference information can be used to to correct the image units of the image that is associated with the main sensor were recorded.
Unter einem Polarisator wird, sofern nicht anderes erwähnt wird, in Sinne der Erfindung jede Art von polarisationsbeeinflussendem Element verstanden, z.B. ein einfaches Polarisationsfilter oder eine Anordnung aus Polarisationsfilter und/oder Lambda/2- oder Lambda/4-Platten.Under a polarizer is, unless otherwise mentioned, within the meaning of the invention any type of polarization-influencing element understood, e.g. a simple polarizing filter or an array of polarizing filters and / or lambda / 2 or lambda / 4 plates.
Das polarisationsbeeinflussende Element kann auch ausgebildet sein als eine Flüssigkristallanordnung mit nachfolgendem Polarisationsfilter, insbesondere wobei der Grad der Polarisationsbeeinflussung durch unterschiedliche Spannungen an der Flüssigkristallanordnung einstellbar ist. Ebenso kann das polarisationsbeeinflussende Element ausgebildet sein als ein Polarisationsfilterarray, welches nebeneinander angeordnete Flächenbereiche aufweist, die unterschiedlich polarisiertes Licht passieren lassen oder das polarisationsbeeinflussende Element kann ausgebildet sein als ein doppelbrechendes Element, insbesondere vor welchem eine Maske, insbesondere eine Linienmaske angeordnet ist.The polarization-influencing element may also be formed as a liquid crystal device with subsequent polarizing filter, in particular wherein the degree the polarization influence by different voltages on the liquid crystal device is adjustable. Likewise, the polarization-influencing element be formed as a polarizing filter array, which side by side arranged areas has that pass differently polarized light or the polarization-influencing element may be formed as a birefringent element, in particular in front of which one Mask, in particular a line mask is arranged.
Ausführungsbeispiele der Erfindung sowie einleitende Anmerkungen sind anhand der folgenden Figuren erläutert. Es zeigen:embodiments The invention and the introductory remarks are based on the following figures explained. Show it:
Ziel des neuen Verfahrens ist die Gewinnung der Lichtfarbe der Beleuchtung innerhalb der aufzuzeichnenden Szene, um mit dieser Information einen sicheren automatischen Weißabgleich in elektronischen Kameras zu schaffen. Das Verfahren besitzt im Gegensatz zum Stand der Technik messtechnischen Charakter und nutzt den Polarisationsgrad von an Körperoberflächen reflektierten Lichtanteilen aus.aim The new method is to obtain the light color of the lighting within the scene to record with this information a secure automatic white balance in electronic To create cameras. The method has in contrast to the state technology metrological character and uses the degree of polarization reflected from on body surfaces Light proportions.
Der Reflexionsgrad an glänzenden oder auch matten Oberflächen ist in guter Näherung wellenlängenunabhängig. Die reflektierten Lichtanteile beliebiger Oberflächen sind daher spektral wie die beleuchtende Lichtart zusammengesetzt und damit unbunt. Der Polarisationsgrad dieser reflektierten Lichtanteile wird durch die Fresnel'schen Gleichungen (Reflexionsgesetz) begründet und lässt sich durch mindestens 2 unter verschiedenen Polarisationsrichtungen aufzunehmende Bilder auswerten Die remittierten Lichtanteile von Körperoberflächen kennzeichnen seine Farbigkeit und sind durch mehrfache Streueffekte innerhalb des Körpers nahezu unpolarisiert.Of the Reflectance on shiny or even matt surfaces is in good approximation Wavelength. The reflected light components of arbitrary surfaces are therefore spectral like the illuminating light composed and thus achromatic. Of the The degree of polarization of these reflected light components is determined by the Fresnel equations (Reflection Law) justified and lets by at least 2 under different polarization directions Evaluate the images to be taken The remitted light components of Identify body surfaces its colourfulness and are due to multiple scattering effects within of the body almost unpolarized.
Die
Die
Die Differenzbildung von unter verschiedenen Polarisationsrichtungen aufgenommenen Bildern detektiert den Polarisationsgrad der unbunten Reflexionsanteile und lässt die bunten unpolarisierten Remissionsanteile verschwinden. Man kann so eine ortsaufgelöste Information der beleuchtenden Lichtfarbe innerhalb der Szene erhalten, wie sie ein Bildsensor empfängt.The Difference formation from under different polarization directions recorded images detected the degree of polarization of the achromatic reflection components and lets the colorful unpolarized remission shares disappear. One can such a spatially resolved Get information of the illuminating light color within the scene, as she receives an image sensor.
Sowohl die Intensität des reflektieren Lichtanteils als auch sein Polarisationsgrad sind maßgeblich von der Ausrichtung der betrachteten Körperoberfläche zu Lichtquelle und Kamera und seiner Oberflächenrauhigkeit, nicht aber von der remittierten Körperfarbe abhängig. Bei 3-dimensionalen Objekten ergibt sich demgemäß ein lokal variabler Nutzsignalpegel.Either the intensity of the reflected light component as well as its degree of polarization decisively from the orientation of the considered body surface to light source and camera and its surface roughness, but not dependent on the remitted body color. at 3-dimensional objects accordingly results in a locally variable useful signal level.
Die Verhältnisse der sensor- und beleuchtungsspezifischen Lichtfarbwerte sind genau die Informationen, die für einen exakten Weißabgleich eines mit diesem Sensor aufgezeichneten Bildes benötigt werden.The conditions the sensor and lighting specific light color values are accurate the information for an exact white balance of an image recorded with this sensor.
Die
praktische Umsetzung des Verfahrens wird schematisch in der
Zur Ermittlung der Lichtfarbe sind an die optische Abbildung bzgl. Auflösungsvermögen und geometrischer Verzeichnungsfreiheit deutlich geringere Anforderungen zu stellen als an die Optik des Hauptsensors einer Kamera. Es ist allerdings bevorzugt darauf zu achten, dass der Bildausschnitt der Teilbilder zur Differenzbildung möglichst gut übereinstimmt. Kantenversatz beispielsweise zwischen den Teilbildern oder auch ein ausgeprägter Farbquerfehler können zu Störsignalen im Differenzbild führen, die das Messergebnis verfälschen können. Inwiefern diese Effekte durch optische Genauigkeit bzw. Korrekturen oder erst durch eine elektronische Korrektur bei der Bildauswertung kompensiert werden, ist eine Frage des angestrebten Systemdesigns.to Determination of the light color are related to the optical image with respect to resolution and geometric distortion freedom significantly lower requirements to put as to the optics of the main sensor of a camera. It is However, it is preferable to ensure that the image section of the Partial images for difference formation match as well as possible. Misalignment for example, between the fields or a pronounced lateral chromatic aberration can to interfering signals lead in the difference picture, which distort the measurement result can. How do these effects by optical accuracy or corrections or only compensated by an electronic correction in the image evaluation is a question of the desired system design.
Der betrachtete Bildausschnitt zur Bestimmung der Lichtfarbe muss nicht notwendigerweise mit dem Bildausschnitt des Hauptsensors übereinstimmen. So kann es erwünscht sein, z.B. über eine Weitwinkel- oder Fish-Eye-Optik das Gesichtsfeld zu erweitern, um die Bestimmung der beleuchtenden Lichtfarbe möglichst robust auszuführen.Of the Viewed image section to determine the light color does not have to necessarily coincide with the image section of the main sensor. It may be desirable be, e.g. above a wide-angle or fish-eye optics to expand the field of view, to perform the determination of the illuminating light color as robust as possible.
Bei Einsatz nur einer einfachen Meßzelle (1-Pixel-Sensor) ist es möglich, auf eine scharfe (fokussierende) optische Abbildung zu verzichten und eine Richtcharakteristik mit mechanischen Mitteln (wie z.B. beim Belichtungsmesser ohne Kalotte) zu verwenden.at Use of a simple measuring cell (1-pixel sensor) Is it possible, to refrain from a sharp (focusing) optical image and a directional characteristic by mechanical means (e.g. with the light meter without dome).
Die Aufnahme mehrfacher Bilder desselben Bildausschnitts kann z.B. durch Mehrfachaufnahmen eines Sensors in zeitlich kurzer Abfolge oder z.B. durch Strahlaufteilung in unterschiedliche optische Pfade mit mehreren Sensoren oder z.B. durch versetzte Pixelraster zwischen den Teilbildern auf einer Sensorfläche, insbesondere ähnlich dem Farbfilterarray bei einfachen Farbsensoren geschehen.The Recording multiple images of the same image detail may be e.g. by Multiple shots of a sensor in short time sequence or e.g. by beam splitting into different optical paths with several sensors or e.g. by staggered pixel grid between the sub-images on a sensor surface, in particular similar to the Color filter array done with simple color sensors.
Vorteil der Verwendung eines einzelnen Sensors ist die Konstanz des Bildausschnitts und der spektralen Übertragungscharakteristik. Allerdings können schnell bewegliche Objekte durch die Zeitdifferenz zwischen den Bildern zu den erwähnten Verfälschungen des Messergebnisses führen.The advantage of using a single sensor is the constancy of the image detail and the spectral transmission characteristic. However, due to the time difference between the images, fast moving objects can lead to the mentioned falsifications of the measurement result.
Vorteil der Strahlaufteilung mit mehreren Sensoren ist die gleichzeitige Aufnahme der Differenzbilder, was zu Vorteilen bei schnell beweglichen Objekten führt. Allerdings ist hierbei bevorzugt auf gleiche Bildausschnitte und gleiche spektrale Charakteristik zwischen den Sensorpfaden zu achten. Diese Vorgaben lassen sich in der Regel z.B. durch elektronische Kalibrierfunktionen zwischen den Sensoren einhalten.advantage beam splitting with multiple sensors is simultaneous Recording the difference images, which is advantageous for fast moving objects leads. However, in this case preferably on the same image sections and the same spectral characteristic between the sensor paths. These Guidelines can usually be specified, for example. through electronic calibration functions between the sensors.
Zur Strahlteilung bieten sich beispielsweise optische Strahlteiler (Spiegel oder Würfel) und/oder optische Gitter an. Dabei ist bevorzugt darauf zu achten, dass evtl. Polarisationsänderungen durch die Strahlteilung weitgehend unabhängig von der Wellenlänge des Lichts geschehen. Ein einzelner Sensors mit versetztem Pixelraster für verschiedene Teilbilder kann bevorzugt die angesprochenen Punkte in einem Konzept vereinigen, nämlich die Aufnahme der Teilbilder zu einem Zeitpunkt und gleicher Bildausschnitt zwischen den Teilbildern.to Beam splitting offer, for example, optical beam splitters (mirrors or cubes) and / or optical gratings. It is preferable to pay attention that possibly polarization changes by the beam splitting largely independent of the wavelength of the Light happen. A single sensor with offset pixel grid for different Subpictures may prefer the addressed points in a concept unite, namely the recording of the partial images at a time and the same image detail between the subpictures.
Die Polarisationsfilterung kann durch Polarisationsfilter, dielektrische Grenzflächen oder auch doppelbrechendes Material geschehen. Bei unter dem Brewsterwinkel αB auf eine dielektrische Grenzfläche einfallenden Strahlen wird ausschließlich der senkrecht zur Einfallsebene schwingende Polarisationsanteil reflektiert.The polarization filtering can be done by polarizing filters, dielectric interfaces or birefringent material. At beams incident on a dielectric interface under the Brewster angle α B , only the polarization component oscillating perpendicularly to the plane of incidence is reflected.
Bei optisch anisotropen Materialien geschieht die Lichtausbreitung richtungs- und polarisationsabhängig. So trennt sich ein senkrecht einfallender Strahl bei schief liegender optischer Achse des Kristalls in einen sog. ordentlichen Strahl ohne Ablenkung und einen außerordentlichen Strahl mit Ablenkung auf. Beide Strahlanteile sind senkrecht zueinander polarisiert. Durch unterschiedliche Ablenkung der Strahlanteile entsteht außerdem ein Doppelbild, was einer Erzeugung mehrfacher Bilder (s. vorangegangener Abschnitt) entspricht und demgemäß bevorzugt für die Realisierung der Aufnahme von Bildern mit unterschiedlicher Polarisation ist.at optically anisotropic materials, the light propagation occurs directionally and polarization dependent. Thus, a perpendicularly incident beam separates in obliquely lying optical axis of the crystal into a so-called ordinary ray without distraction and an extraordinary Beam with distraction on. Both beam components are perpendicular to each other polarized. By different deflection of the beam components arises as well a double image, which results in the generation of multiple images (see previous section) Section) and accordingly preferred for the Realization of the recording of images with different polarization is.
Die
Polarisationsfilterung mit verschiedenen Ausrichtungen kann dabei
mechanisch oder elektronisch erfolgen. Mechanisch lassen sich unterschiedliche
Polarisationsrichtungen beispielsweise durch eine mehrfache Ausführung der
Bildaufnahmeeinheit mit Polfilter und Sensor unter verschiedenen
Ausrichtungen realsieren. Dies zeigt z.B. die
Bei der drehbaren Variante kann der Sensor je nach Aufbau mit dem Polfilter verbunden und so gemeinsam gedreht werden.at the rotatable variant, the sensor with the polarizer, depending on the structure connected and so turned together.
Bei Verwendung eines doppelbrechenden Materials genügt ein Sensor, um eine Polarisationsrichtung auszuwerten. Allerdings ist bevorzugt eingangsseitig eine Maske, insbesondere eine Linienmaske zu verwenden, um das entstehende Doppelbild der senkrechten Polarisationsrichtungen räumlich voneinander zu trennen und separaten Pixelregionen des Sensors zuzuordnen.at Using a birefringent material, one sensor suffices for one polarization direction evaluate. However, on the input side, a mask is preferred. in particular to use a line mask to the resulting double image the vertical polarization directions spatially separated from each other and assign separate pixel regions of the sensor.
Durch die Maskierung des doppelbrechenden Materials werden auf den betroffenen Sensorbereichen polarisierte Lichtanteile abgeschattet, die je nach Maskenstruktur wie ein frei zu gestaltendes Polfilterarray (s.u.) senkrechter Polarisationsrichtungen wirken. Im einfachsten Fall einer beispielhaft genannten Linienmaske ergibt sich eine Linienstruktur von parallel und senkrecht angeordneten Polarisationsrichtungen, im Fall einer Maske in der Struktur eines beispielhaft genannten Schachbrettmusters entsprechend ein Schachbrettmuster senkrechter Polarisationsrichtungen.By The masking of the birefringent material will affect the affected Sensor areas shaded polarized lights, depending on Mask structure like a free-form polar filter array (s.u.) vertical polarization directions act. In the simplest case an exemplary line mask results in a line structure of parallel and perpendicular polarization directions, in the case of a mask in the structure of an example mentioned Checkerboard pattern according to a checkerboard pattern vertical Polarization directions.
Bei der Variante mit Polfilterarray können die polarisierten Bildelemente lückenhaft verstreut liegen. Es bietet sich bevorzugt an, eine Polfilterzelle mit einer Agglomeration von RGB-Pixeln des Farbfiltermosaiks zu kombinieren, um die polarisierte RGB-Farbinformation möglichst örtlich zusammenhängend zu gewinnen.at the variant with polarizing filter array, the polarized pixels patchy scattered. It is preferable to use a polarizing filter cell to combine an agglomeration of RGB pixels of the color filter mosaic, around the polarized RGB color information as locally as possible win.
Bei Kombination des Polfilterarrays mit dem Hauptbildsensor kann ergänzend der Helligkeitsverlust des Polfilters durch eine Flatfieldkalibrierung in Verbindung mit einer Interpolation aus der nicht polarisierten Umgebung kompensiert werden.at Combination of the polarizer array with the main image sensor can complement the Loss of brightness of the polarizer by a flat-field calibration in conjunction with an interpolation from the non-polarized Compensated environment.
Für eine elektronische
Ausführung
unterschiedlicher Polarisationsrichtungen kann z.B. ein Flüssigkristalls
mit einem nachgeschalteten Polarisationsfilter kombiniert werden.
Es lässt
sich so die Drehung der Polarisationsrichtung ohne bewegliche Teile
realisieren. Die
Ein Flüssigkristall besitzt je nach Anordnung der Kristallmoleküle doppelbrechendes Verhalten. Durch ein elektrisches Feld (äußere angelegte Spannung) lässt sich die Orientierung der Kristallmoleküle innerhalb der Flüssigkeit ändern und damit die Doppelbrechung graduell steuern. Der Flüssigkristall wirkt als schaltbarer Phasenschieber mit Vorzugsrichtung im Prinzip wie ein λ/4- oder λ/2-Plättchen. Gemäß dieser Funktion kann daher ein Flüssigkristall einen linear polarisierten Lichtanteil geeigneter Ausrichtung z.B. durch eine λ/2-Verzögerung um genau 90° drehen, oder durch eine λ/4-Verzögerung zirkular polarisieren (gleichmäßige Verteilung auf alle Schwingungsrichtungen wie unpolarisiertes Licht) oder ohne Verzögerung unverändert (0°) passieren lassen.A liquid crystal has birefringent behavior depending on the arrangement of the crystal molecules. An electric field (external applied voltage) allows the orientation of the crystal molecules within the liquid to change, thereby gradually controlling the birefringence. The liquid crystal acts as a switchable phase shifter with preferential direction in principle like a λ / 4 or λ / 2 plate. According to this function, therefore, a liquid crystal can rotate a linearly polarized light portion of proper orientation by exactly 90 °, for example, by a λ / 2 delay or circularly polarize by a λ / 4 delay (evenly distributed in all directions of vibration such as unpolarized light) or without delay let it pass unchanged (0 °).
Durch Differenzbildung zwischen einem Bildpaar dieser 3 Fälle lässt sich die Lichtfarbe zwischen 2 zueinander senkrechten Polarisationsrichtungen auswerten.By Difference between a picture pair of these 3 cases can be Evaluate the light color between 2 mutually perpendicular polarization directions.
Da die Phasenschiebung um einen festen Wellenlängenanteil nur für eine bestimmte Wellenlänge exakt funktioniert, wird empfohlen, die Steuerspannung des Flüssigkristalls farbabhängig (z.B. R, G und B) einzustellen. Andernfalls werden die Polarisationsanteile sowohl richtungs- als auch wellenlängenabhängig unterschiedlich übertragen, was zu Meßfehlern in der ermittelten Lichtfarbe führen kann. Ähnliche Fehlmessungen können durch schrägen Lichteinfall hervorgerufen werden. Hier ist bevorzugt eine feste Phasenbeziehung einzuhalten und dementsprechend die Ansteuerung des LCs auf den Neigungswinkel ortsabhängig anzupassen. Eine exakte Phasenstellung kann durch eine geeignete Kalibriervorschrift (Flatfieldkalibrierung für die betrachtete Polarisationsrichtung) farb- und ortsabhängig ermittelt und eingestellt werden.There the phase shift by a fixed wavelength component only for a specific one wavelength works exactly, it is recommended the control voltage of the liquid crystal depending on color (e.g., R, G and B). Otherwise, the polarization components become transmitted differently depending on direction and wavelength, resulting in measurement errors lead in the determined light color can. Similar Incorrect measurements can by oblique incidence of light be caused. Here is preferably a fixed phase relationship to comply and accordingly the activation of the LCs on the Slope angle depending on location adapt. An exact phase position can by a suitable Calibration specification (flat-field calibration for the polarization direction under consideration) depending on color and location be determined and set.
Die
Differenzbildung der unter verschiedenen Polarisationsrichtungen
gefilterten Bilder erfolgt in einer elektronischen Recheneinheit
auf der Basis intensitätslinearer
Farbsignale R, G, B. Aus Genauigkeitsgründen bietet es sich bei mit
unterschiedlichen Sensoren aufgenommenen Teilbildern an, sensorkorrigierte
Farbsignale zu verwenden, bei denen parasitäre Einflüsse wie Dunkelstrom, Empfindlichkeitsrauschen
(Fixed Pattern Noise) und Fehlpixel bereits korrigiert sind. Das
Differenzbild ergibt sich durch farbkanal- und pixelweise Subtraktion
von 2 unterschiedlich polarisierten Teilbildern (R, G, B)1 und (R, G, B)2 gemäß
Das Differenzbild Diff ist allgemein vorzeichenbehaftet. Da es in der weiteren Auswertung der Lichtfarbe um die Farbverhältnisse zwischen den R-, G- und B-Anteilen des Differenzbilds geht, ist dieser Umstand vernachlässigbar, weil bei ausreichendem Signalpegel die Farbwerte eines Pixels im Differenzbild entweder alle gleichzeitig positiv oder alle gleichzeitig negativ sind (Ausnahme: untersteuerte Bereiche mit überlagertem dominanten Signalrauschen). Ohne Beschränkung der Allgemeinheit lässt sich daher auch der Betrag des Differenzbilds nehmen und zur Lichtfarbe auswerten.The Difference image diff is generally signed. As it is in the further evaluation of the light color around the color ratios between the R, G and B shares difference picture, this circumstance is negligible, because at sufficient signal level, the color values of a pixel in the Difference image either all at the same time positive or all at the same time are negative (exception: understeer areas with superimposed dominant signal noise). Without restriction of generality can be Therefore, take the amount of the difference image and the light color evaluate.
In
der
Es ist hier anzumerken, dass die hier gewählte Aufteilung eines Bildes in neun Bildeinheiten lediglich exemplarisch zu verstehen ist und selbstverständlich bei den heute gängigen Bildsensorauflösungen wesentlich mehr Bildeinheiten in einem Bild zum Einsatz kommen können oder ggfs. sogar weniger. Ersteres gilt insbesondere dann, wenn derjenige Bildsensor, der zur Aufnahme eines Fotos eingesetzt werden soll, auch (mit) dazu vorgesehen ist, um die erfindungsgemäße Ermittlung der Farbanteile der wenigstens einen verwendeten Lichtquelle zu ermitteln.It It should be noted here that the division of an image chosen here in nine image units is to be understood merely as an example and Of course in today's common Image sensor resolutions significantly more image units can be used in an image or if necessary even less. The former applies in particular if the image sensor, to be used to take a photo, also (with) is provided to the inventive determination of the color components to determine the at least one light source used.
Ist es hingegen vorgesehen, neben einem Bildsensor, der zur Aufnahme eines Fotos verwendet wird, separate Bildsensoren einzusetzen, die nur dazu dienen, das erfindungsgemäße Verfahren durchzuführen, so kann man mit einer gegebenenfalls deutlich geringeren Auflösung auskommen, sofern gegebenenfalls nur bereichsweise oder globale Differenzinformationen gebildet werden sollen, die zur globalen oder nur bereichsweisen Korrektur der Bildeinheiten eines aufgenommenen Bildes eingesetzt werden sollen.is it provided, however, in addition to an image sensor for recording a photo is used to insert separate image sensors, the serve only to carry out the inventive method, so can one manage with a possibly much lower resolution, if applicable, only partial or global difference information should be formed, which are global or only regional Correction of the image units of a recorded image used should be.
Mit Bezug auf das hier genannte Beispiel soll das Bild 1 demnach ein erstes Bild im Sinne der Erfindung darstellen, bei dem vollständig unpolarisiertes Licht aufgenommen wurde bzw. das Licht eines Motivs, welches ohne Polarisationsbeeinflussung zu dem ersten Bildsensor gelangt ist. Alternativ kann Licht einer ersten lineare Polarisationsrichtung aufgenommen werden.With With reference to the example given here, Figure 1 should therefore be represent first image in the sense of the invention, in which completely unpolarized Light was recorded or the light of a subject, which without Polarization interference has come to the first image sensor. Alternatively, light of a first linear polarization direction be recorded.
Demgegenüber zeigt das Bild 2 eine Aufnahme mit demselben oder einem äquivalenten Bildsensor, bei dem zur Erfassung des Bildes ein Polarisationsfilter eingesetzt wurde, bzw. eine andere Polarisationsrichtung mit dem Polarisator gewählt wurde.In contrast, shows Figure 2 is a shot with the same or an equivalent Image sensor in which a polarization filter is used to capture the image was used, or another polarization direction with the Polarizer selected has been.
Die Größe der hier gelisteten numerischen Bildinformationen in jedem Farbkanal RGB ist dabei bevorzugt (bei einer Aufnahme unpolarisiertes Licht/polarisiertes Licht) durch eine Kalibrierung/Normierung angepasst worden an die numerischen Werte, die im Bild 1 erreicht wurden. Hiermit kann insbesondere ausgeglichen werden, dass es durch Einsatz eines Polarisators bzw. eines Polarisationsfilters zu einem Transmissionsverlust kommt.The Size of here listed numerical image information in each color channel RGB is preferred (in one shot unpolarized light / polarized Light) by a calibration / standardization adapted to the numerical values that have been achieved in Figure 1. Hereby, in particular be compensated that it by using a polarizer or a polarization filter leads to a transmission loss.
Zwischen den Bildern 1 und 2 wird gemäß der Erfindung eine Differenz gebildet, so dass in jeder der neun Bildeinheiten eine Differenz bezüglich jedes Farbkanals R, G und B auftritt. Bei dem hier gewählten Beispiel, welches nicht beschränkend zu verstehen ist, kann festgestellt werden, dass der Farbkanal R für rot im Differenzbild leicht dominiert und in den Farbkanälen G und B, also für grün und blau, eine Gleichverteilung vorliegt.Between Pictures 1 and 2 will be according to the invention formed a difference, so that in each of the nine image units a difference regarding Each color channel R, G and B occurs. In the example chosen here, which is not limiting is to be understood, it can be stated that the color channel R for red slightly dominated in the difference image and in the color channels G and B, so for green and blue, an equal distribution is present.
Es kann somit darauf geschlossen werden, dass bei der zur Beleuchtung verwendeten Lichtquelle ein leichter Rotanteil dominiert, wie er beispielsweise bei thermischen Lichtquellen auftritt oder beispielsweise auch bei Licht, welches durch die späte Abendsonne erzeugt wird.It can therefore be concluded that when the lighting used light source dominated by a slight red component, as he For example, occurs in thermal light sources or for example even with light, which is produced by the late evening sun.
Szenen, die mit dieser Beleuchtung fotografiert bzw. aufgenommen werden, werden somit aufgrund dieser Beleuchtung einen leichten Rotstich aufweisen, so dass unter Zugrundelegung der Erkenntnis über die hier vorliegenden Differenzinformationen ein Weißabgleich durchgeführt werden kann, nämlich beispielsweise dadurch, dass die Bildinformationen, die zu einem Bild erhalten werden, aufgrund der hier vorliegenden Differenzinformationen kalibriert bzw. normiert werden.scenes which are photographed or recorded with this illumination, will therefore have a slight reddish tint due to this lighting, so that on the basis of the knowledge about the difference information available here a white balance carried out can be, namely for example, by the fact that the image information that is a Image are calibrated based on the differential information available here or normalized.
Wird ein Bild mit einem Bildsensor aufgenommen, der dieselbe Auflösung, also in diesem vereinfachten Beispiel neun Bildeinheiten aufweist, so kann es grundsätzlich vorgesehen sein, dass zu jeder Bildeinheit eine individuelle Korrektur stattfindet mit den Differenzinformationen, die zu der betreffenden Bildeinheit vorliegen.Becomes a picture taken with an image sensor, the same resolution, ie in this simplified example has nine image units, so can it basically be provided that for each image unit an individual correction takes place with the difference information related to the relevant Image unit present.
Es kann in einer anderen Ausführung auch vorgesehen sein, dass die Differenzinformationen aus dem Differenzbild gewichtet und dabei beispielsweise bereichsweise oder global zusammengefasst werden zu mehreren Differenzinformationen pro Bereich oder nur zu einer Differenzinformation für das gesamte Bild, so dass beispielsweise bei einer globalen Zusammenfassung nur ein einziges Tripel von Differenzinformationen für die Farbkanäle R, G und B vorliegt, die zur Korrektur aller Bildeinheiten eines aufgenommenen Bildes dienen.It may be in a different execution also be provided that the difference information from the difference image weighted and summarized, for example, regionally or globally to several difference information per area or only to one Difference information for the whole picture, so for example in a global summary only a single triple of difference information for the color channels R, G and B, which is used to correct all image units of a recorded Serve the picture.
Es ist darauf hinzuweisen, dass das hier genannte Beispiel lediglich stark vereinfachend dargestellt ist und weder in der Anzahl der hier verwendeten Bildeinheiten noch in der Größenordnung der dargestellten numerischen Zahlenwerte als beschränkend, sondern lediglich als veranschaulichend zu verstehen ist.It It should be noted that the example given here only is shown simplistic and neither in the number of Image units used here are still of the order of magnitude shown numerical numerical values as limiting, but only as is to be understood illustratively.
Zur Maximierung des Nutzsignalpegels bietet sich an, Bildpaare von senkrecht zueinander stehenden Polarisationsrichtungen voneinander zu subtrahieren. Eine der polarisierten Aufnahmen kann dabei durch eine geeignet normierte unpolarisierte Aufnahme ersetzt werden. Der Nutzsignalpegel halbiert sich dann zwar, die Differenzinformation bleibt allerdings qualitativ erhalten.to Maximizing the useful signal level is useful, image pairs from vertical to subtract each other polarization directions from each other. One of the polarized recordings can by a suitable normalized unpolarized recording to be replaced. The useful signal level then halves, but the difference information remains obtained qualitatively.
Es
gilt:
Damit
folgt:
Die Pegelanpassung der unpolarisierten Aufnahme soll bevorzugt den Transmissionsgrad des Polarisationsfilters ausgleichen. Diese Normierung wird bevorzugt durch eine Kalibrierung so ermittelt, dass unpolarisierte Lichtanteile der Szene durch die Differenzbildung verschwinden. Die Verwendung einer unpolarisierten Aufnahme zur Differenzbildung hat den Vorteil, dass sie für verschiedene Bilderpaare dienen kann, und so mit relativ wenig Bildaufnahmen möglichst viele unterschiedliche Polarisationsrichtungen ausgewertet werden können.The Level adjustment of the unpolarized recording should preferably the transmittance of the polarizing filter. This standardization is preferred determined by a calibration so that unpolarized light components disappear from the scene by subtraction. The usage an unpolarized recording for difference has the advantage that they are for different pairs of pictures can serve, and so with relatively few images as possible many different polarization directions are evaluated can.
Die Auswertung unterschiedlicher Polarisationsrichtungen macht das Verfahren weitgehend unabhängig von der Position beleuchtender Lichtquellen, so dass bei beliebigen Richtungen der Beleuchtung ein ausreichendes Nutzsignal für die Auswertung zur Verfügung steht. In der Regel reichen 2 Bildpaare (z.B. 0°/90° und 45°/135°) dazu aus, das Verfahren ausreichend robust herzustellen.The Evaluation of different polarization directions makes the method largely independent from the position of illuminating light sources, so that at any Directions of illumination sufficient signal for the evaluation to disposal stands. In general, 2 pairs of images (e.g., 0 ° / 90 ° and 45 ° / 135 °) are sufficient to complete the process robust manufacture.
Alternativ wäre im Falle eines drehbaren Polarisators auch ein Regelkreis denkbar, der die Polarisationsrichtung auf einen max. Nutzsignalpegel im Differenzbild regelt. In diesem Fall ist die Auswertung eines einzigen Differenzbilds für die Ermittlung der dominanten Lichtfarbe ausreichend robust.alternative would be in Case of a rotatable polarizer also a control loop conceivable, the polarization direction to a max. Useful signal level in the difference image regulates. In this case, the evaluation of a single difference image for the Determination of the dominant light color sufficiently robust.
Damit durch die Subtraktion der Bilderpaare die unpolarisierten Remissionsanteile verschwinden, ist eine möglichst gute Übereinstimmung der Ortsinformation zwischen den Bildern wichtig. Je nach optischem Design und Fertigungstoleranzen kann es nötig sein, einen evtl. auftretenden Pixelversatz zwischen den Bildern oder auch einen Farbquerfehler innerhalb eines Bildes vor der Subtraktion elektronisch (z.B. durch Verschiebungs- oder Skalieralgorithmen) zu korrigieren.In order to by subtracting the pairs of images the unpolarized remission shares disappear, one is possible Good match the location information between the pictures important. Depending on the optical Design and manufacturing tolerances may be necessary, a possibly occurring Pixel offset between images or even a lateral chromatic aberration within an image before the subtraction electronically (e.g. Shift or scale algorithms).
Eine
elektronische Verarbeitung kann z.B. durch Vereinigung verschiedener
Differenzbilder (Maximierung Signalpegel) oder Bildung der relativen Lichtfarbanteile
wie folgt erfolgen: 
Es kann vorgesehen sein ungültige Bereiche (Übersteuerung eines Kanals, Untersteuerung) zu kennzeichnen oder zu maskieren. Weiterhin kann eine ortsabhängige Wichtung der gültigen Differenzpixelinformation (Lichter/Schattenbereiche, spiegelnde(= glatte)/diffuse(= rauhe) Oberflächen) oder eine Histogrammauswertung (Verteilung der Häufigkeiten) über r und g, zur Findung der dominanten Lichtfarbe (r, g)global erfolgen.It may be provided to mark or mask invalid areas (overdriving a channel, understeer). Furthermore, a location-dependent weighting of the valid differential pixel information (highlights / shadow areas, reflecting (= smooth) / diffuse (= rough) surfaces) or a histogram evaluation (distribution of the frequencies) over r and g, for finding the dominant light color (r, g) can be global respectively.
Für die Realsierung des beschriebenen Weissabgleichverfahrens gibt es prinzipiell 2 bevorzugte Alternativen, die das Verfahren oder die genannten Vorrichtungen nicht beschränken.
- 1. Die Ausführung als separate Einheit (entweder als Zubehörteil zu einer Kamera oder als unabhängiges Sensormodul in das Gehäuse integriert) oder
- 2. die Integration in eine Kamera, wobei wesentliche Kamerafunktionselemente (z.B. Optik oder Sensor) für das Weißabgleichsverfahren mitverwendet werden.
- 1. The execution as a separate unit (either as an accessory to a camera or as an independent sensor module integrated into the housing) or
- 2. the integration into a camera, wherein essential camera function elements (eg optics or sensor) are used for the white balance method.
Den
Aufbau einer beispielhaften Sensoreinheit des beschriebenen Verfahrens
zeigt die
Über Objektiv und Strahlteilerspiegel werden 2 Bilder entworfen, die über jeweils eine Polfilter-Sensor-Kombination gleichzeitig aufgezeichnet werden. Die Polfilter sind in ihrer Orientierung um 90° gegeneinander verdreht. Die Einheit liefert somit 2 zueinander senkrecht polarisierte Bilder, aus denen die Differenz und weiter die Lichtfarbe gewonnen werden kann.About lens and beam splitter mirrors, 2 images are designed over each a polarizer-sensor combination can be recorded simultaneously. The Polfilter are rotated in their orientation by 90 ° to each other. The Unit thus provides 2 mutually perpendicular polarized images, from which the difference and further the light color can be obtained.
Um
die Auswertung robust gegen beliebige Beleuchtungsrichtungen zu
machen, können
bevorzugt noch 2 zusätzliche
Polarisationsrichtungen um 45° versetzt
aufgenommen und ausgewertet werden. Dazu wird ein zusätzliches
Sensormodul gemäß
Deckungsgleiche Bildinhalte sind nur für die Differenzbildung notwendig. Die Parallaxe zwischen den beiden Sensormodulen ist weniger kritisch, weil die Differenzbilder im wesentlichen unabhängig voneinander weiterverarbeitet werden.coincident Image content is only for the difference is necessary. The parallax between the two Sensor modules is less critical because the difference images in the essentially independent be further processed by each other.
Dieselbe
Grundfunktion des Sensormoduls lässt
sich mit einfachem optischen Pfad unter Verwendung eines doppelbrechenden
Materials mit vorgeschalteter Linienmaske gemäß
Das Sensormodul mit Flüssigkristall kommt wie das Modul mit doppelbrechendem Material ohne Strahlteiler und einem einzigen Sensor aus. Mit dem Flüssigkristall-Modul lassen sich zudem die zwei für die Differenzbildung benötigten Bilder nur zeitlich hintereinander aufnehmen, was bei bewegten Objekten nachteilig ist. Auch die einfachen Sensormodule mit Doppelbrechung oder mit Flüssigkristall sollten um 45° verdreht doppelt ausgeführt werden, entweder in separater doppelter Ausfertigung oder in Kombination mit einem Strahlteiler.The Sensor module with liquid crystal comes as the module with birefringent material without beam splitter and a single sensor. With the liquid crystal module can be also the two for the Needed subtraction Take pictures only in temporal succession, which is disadvantageous for moving objects is. Even the simple sensor modules with birefringence or with liquid crystal should be rotated by 45 ° executed twice either in separate duplicate or in combination with a beam splitter.
Bei
Kombination der Flüssigkristallausführung mit
Strahlteilung ergibt sich ein komplexes Sensormodul welches schematisch
in
Vergleichbare
Eigenschaften wie die letztgenannte Variante mit Flüssigkristall
und Strahlteilung bietet eine vom optischen Aufbau und bzgl. Kalibrierung
deutlich einfacher zu realisierende Variante mit Polfilterarray
auf der Sensorfläche.
Dies zeigen die
Ebenso
lässt sich
das Polfilterarray durch eine Kombination von 2 Masken insbesondere
mit einem geeigneten Antialiasing-Filter, realisieren.
Allgemein kann in einer Ausführung vorgesehen sein, ein Polfilterarray dadurch auszubilden, dass dichroitische Kristalle in einen Träger eingebettet werden und durch ein statisches elektrisches Feld bei der Aushärtung die Kristalle in gewünschter Richtung ausgerichtet werden. Bei einem Träger kann es sich z.B. um die Farbfilter eines Sensors handeln.In general, in one embodiment, it may be provided to form a polarizing filter array by embedding dichroic crystals in a support and by a static electric field during curing, the crystals are aligned in the desired direction. A carrier can be, for example, the color filter of a sensor.
Die Meßeinrichtung kann in ein separates Gehäuse vergleichbar einem externen Blitzgerät eingebaut und an den Blitzschuh einer Kamera angeschlossen werden und bildet so ein Zusatzmodul bzw. externe Einheit. Die Kontakte bieten Stromversorgung und Kommunikationsschnittstellen, mit denen die Information der Lichtfarbe an die Kamera weitergegeben werden kann.The measuring device can in a separate housing comparable to an external flash unit and attached to the hot shoe connected to a camera and thus forms an additional module or external unit. The contacts provide power and communication interfaces, with which the information of the light color is passed on to the camera can be.
Alternativ lassen sich die Einheiten auch direkt in das Kameragehäuse integrieren und zur Messung der Lichtfarbe nutzen. Dabei ist durch eine geeignete Positionierung im Gehäuse sicherzustellen, dass die Optik nicht versehentlich verdeckt werden kann und der Bildausschnitt der Sensorik nicht durch das Kameraobjektiv unnötig eingeschränkt wird.alternative The units can also be integrated directly into the camera body and to measure the light color. It is by a suitable Positioning in the housing ensure that the optics can not be accidentally obscured and the image section of the sensor not through the camera lens unnecessary limited becomes.
Innerhalb elektronischer Kameras lassen sich vorhandene Strahlengänge (Hauptstrahlengang, Sucherstrahlengang, Autofokus) durch Strahlteilung erweitern und an das beschriebene Verfahren anpassen. Die Sensormodule im vorangegangenen Abschnitt lassen sich auf diese Situation übertragen, evtl. kann auf die Meßoptik verzichtet werden.Within electronic cameras allow existing beam paths (main beam path, viewfinder beam path, Autofocus) by beam splitting and to the described Adapt procedure. The sensor modules in the previous section can be transferred to this situation, possibly. can on the measuring optics be waived.
Vorteil dieser Vorgehensweise ist die Übereinstimmung des Bildausschnitts zwischen Mess- und Bildsensor, was für einen lokalen Weißabgleich vorteilhaft ist.advantage this procedure is the match of the image section between measuring and image sensor, what a local white balance advantageous is.
Ein weiterer Vorteil ist die Möglichkeit, den Hauptsensor als unpolarisiertes Teilbild zur Differenzbildung zu verwenden. Dadurch verringert sich die Anzahl der notwendigen Messbilder (sinnvoll sind dann 2 Polarisationsrichtung mit einer Verdrehung von 45°).One another advantage is the possibility the main sensor as an unpolarized field for subtraction to use. This reduces the number of necessary Measurement images (meaning 2 polarization direction with one Rotation of 45 °).
Ebenfalls vorteilhaft ist die Messung der Lichtfarbe im Kamerastrahlengang, wodurch die Farbabstimmung zwischen Messeinrichtung und Hauptsensor entfallen kann.Also advantageous is the measurement of the light color in the camera beam path, whereby the color matching between measuring device and main sensor can be omitted.
Bei Integration in den Kamerastrahlengang könnte die vorgestellte Meßeinrichtung neben der Steuerung des Weissabgleichs ebenfalls die Belichtungssteuerunng übernehmen, der Belichtungssensor könnte dann entfallen.at Integration in the camera beam path could be the presented measuring device in addition to controlling the white balance, also take the exposure control, the exposure sensor could then omitted.
Eine
weitere Möglichkeit
ist die Verwendung des Bildsensors als Messeinrichtung wie in
Prinzipiell ließe sich das Verfahren der Doppelbrechung ebenfalls in Verbindung mit dem Hauptsensor realisieren, allerdings würden durch die Linienmaske sowohl Licht- als auch Auflösungsverluste entstehen.in principle could the process of birefringence is also associated with realize the main sensor, but would through the line mask both light and dissolution losses occur.
Als besonders interessante Möglichkeit bietet sich an, auf dem hochaufgelösten Bildsensor ein verteiltes Polfilterarray unterzubringen. Weil sich die Beleuchtungsinformation nur relativ langsam ändert, können die Polfilterbereiche auf der Sensorfläche ruhig lückenhaft verteilt werden, um die Bildinformation möglichst wenig durch die Polarisationsbereiche zu stören.When particularly interesting option offers itself, on the high-resolution image sensor a distributed Accommodate polarizer array. Because the lighting information only changes relatively slowly, the Polar filter areas on the sensor surface are quietly distributed in gaps the image information as possible little disturbing by the polarization areas.
Für eine sichere Funktion ist ausreichend, 2 Polarisationsrichtungen mit 45° Verdrehung aufzubringen. Durch Differenzbildung der polarisierten Farben mit der unpolarisierten Umgebung lassen sich alle Richtungen im 45°-Raster auswerten.For a safe Function is sufficient, 2 polarization directions with 45 ° rotation applied. By subtraction of the polarized colors with The unpolarized environment can be evaluated in all directions in the 45 ° grid.
Der lokale Normierungsfaktor zwischen den polarisierten und unpolarisierten Farbwerten lässt sich durch eine Flatfieldkalibrierung mit polarisiertem Weißbild ermitteln.Of the local normalization factor between the polarized and unpolarized ones Color values can be determine by flat-field calibration with polarized white image.
Eine Schwierigkeit bei allen Varianten der Kameraintegration entsteht bei Verwendung eines Polarisationsfilters vor dem Kameraobjektiv: der Polarisationsgrad reflektierter Anteile, auf dem das neue Messverfahren beruht, geht verloren, und das Nutzsignal verschwindet, so dass das Verfahren ergebnislos ist. Im Amateurbereich (Kompakt- und Sucherkameras) wäre diese Einschränkung vermutlich akzeptabel, weil hier so gut wie nie mit Polarisationsfilter gearbeitet wird.A Difficulty arises in all variants of camera integration when using a polarizing filter in front of the camera lens: the degree of polarization of reflected components on which the new measurement method is lost, and the wanted signal disappears, so that the procedure is inconclusive. In the amateur area (compact and viewfinder cameras) would be this restriction probably acceptable, because here almost never with polarization filter is working.
Bezüglich sämtlicher Ausführungen ist festzustellen, dass die in Verbindung mit einer Ausführung genannten technischen Merkmale nicht nur bei der spezifischen Ausführung eingesetzt werden können, sondern auch bei den jeweils anderen Ausführungen. Sämtliche offenbarten technischen Merkmale dieser Erfindungsbeschreibung sind als erfindungswesentlich einzustufen und beliebig miteinander kombinierbar oder in Alleinstellung einsetzbar.Regarding all versions It should be noted that those mentioned in connection with an execution technical features not only used in the specific execution can be but also in the other versions. All disclosed technical Features of this invention description are essential to the invention be classified and combined with each other or in isolation used.
Claims (29)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102006054306A DE102006054306A1 (en) | 2006-09-27 | 2006-11-17 | Method for determining the color components of light |
| PCT/EP2007/008188 WO2008037392A1 (en) | 2006-09-27 | 2007-09-20 | Method for determining the colour components of light |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102006046075 | 2006-09-27 | ||
| DE102006046075.8 | 2006-09-27 | ||
| DE102006054306A DE102006054306A1 (en) | 2006-09-27 | 2006-11-17 | Method for determining the color components of light |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102006054306A1 true DE102006054306A1 (en) | 2008-04-03 |
Family
ID=38724567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102006054306A Withdrawn DE102006054306A1 (en) | 2006-09-27 | 2006-11-17 | Method for determining the color components of light |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102006054306A1 (en) |
| WO (1) | WO2008037392A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011017582A1 (en) * | 2011-04-27 | 2012-10-31 | Zumtobel Lighting Gmbh | Arrangement for detecting the daylight and system and method for daylight-dependent control |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5479015A (en) * | 1994-08-18 | 1995-12-26 | Grumman Aerospace Corporation | Multi-image detector assembly |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3992571A (en) * | 1973-05-11 | 1976-11-16 | National Research Development Corporation | Differential optical polarization detectors |
| US5975702A (en) * | 1996-03-15 | 1999-11-02 | The Trustees Of The University Of Pennsylvania | Method of using polarization differencing to improve vision |
-
2006
- 2006-11-17 DE DE102006054306A patent/DE102006054306A1/en not_active Withdrawn
-
2007
- 2007-09-20 WO PCT/EP2007/008188 patent/WO2008037392A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5479015A (en) * | 1994-08-18 | 1995-12-26 | Grumman Aerospace Corporation | Multi-image detector assembly |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011017582A1 (en) * | 2011-04-27 | 2012-10-31 | Zumtobel Lighting Gmbh | Arrangement for detecting the daylight and system and method for daylight-dependent control |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008037392A1 (en) | 2008-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2596642B1 (en) | Apparatus and method for image recording | |
| DE69826886T2 (en) | OPTOELECTRONIC CAMERA AND METHOD FOR IMAGING | |
| DE60207496T2 (en) | CAMERA AND METHOD FOR PRESENTING A PICTURE CAPTURED AND ANOTHER PICTURE FIELD OF THE COVERED SCENE | |
| DE69935568T2 (en) | Projection display device and adjustment method therefor | |
| DE102013003778A1 (en) | FAST AUTOFOCUS TECHNOLOGIES FOR DIGITAL CAMERAS | |
| DE112005000537T5 (en) | Multispectral imaging device and adapter lens therefor | |
| DE102012216021B4 (en) | MAKING MULTIPLE PICTURES WITH A LARGE DYNAMIC RANGE FROM A SINGLE SENSOR FIELD | |
| DE102017206442B4 (en) | Device for imaging partial fields of view, multi-aperture imaging device and method for providing the same | |
| DE4329839A1 (en) | Imaging arrangement with two sensors - contains four colour complementary light sensitive elements in each sensor in 2 by 2 matrix. | |
| DE102021116512A1 (en) | SPECTRAL SENSOR SYSTEM WITH OPTICAL FILTER SUB-ARRAYS | |
| DE102010030108B4 (en) | Color sensor | |
| DE102014214750B3 (en) | Image acquisition system with fast-vibrating global shutter CMOS sensor | |
| DE19938211B4 (en) | Exposure control system for a camera and camera | |
| EP1761071A1 (en) | Image capture method and digital camera | |
| DE112006003559B4 (en) | imaging device | |
| DE102006054306A1 (en) | Method for determining the color components of light | |
| DE102021132645A1 (en) | Image sensor arrangement, vehicle camera and method for controlling an image sensor arrangement | |
| WO2020254445A1 (en) | Stereo camera system | |
| DE102020117278B3 (en) | System for imaging a scene, as well as a holographic camera | |
| DE102019133516B4 (en) | Method and device for determining wavelength deviations from recordings of a multi-lens camera system | |
| LU102086B1 (en) | Process for creating an image recording | |
| DE102019201467B4 (en) | Method for operating a camera system and camera system | |
| DE102016104420B3 (en) | Film scanner and method for digitally archiving a motion picture film | |
| DE112021005692T5 (en) | 3D MEASUREMENT DEVICE | |
| WO2022188923A1 (en) | Multichannel optical unit for synchronously recording image representations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
| R012 | Request for examination validly filed | ||
| R082 | Change of representative |
Representative=s name: PATENTANWALTSKANZLEI STAMER, DE Representative=s name: COHAUSZ HANNIG BORKOWSKI WISSGOTT, DE |
|
| R012 | Request for examination validly filed |
Effective date: 20130628 |
|
| R081 | Change of applicant/patentee |
Owner name: FISCHER, GREGOR, PROF. DR.-ING., DE Free format text: FORMER OWNER: FACHHOCHSCHULE KOELN, 50968 KOELN, DE Effective date: 20130719 |
|
| R082 | Change of representative |
Representative=s name: PATENTANWALTSKANZLEI STAMER, DE |
|
| R016 | Response to examination communication | ||
| R082 | Change of representative | ||
| R120 | Application withdrawn or ip right abandoned |