EP4073478A1 - Verfahren und vorrichtung zur bestimmung von wellenlängenabweichungen von aufnahmen eines multilinsen-kamerasystems - Google Patents

Verfahren und vorrichtung zur bestimmung von wellenlängenabweichungen von aufnahmen eines multilinsen-kamerasystems

Info

Publication number
EP4073478A1
EP4073478A1 EP20842551.2A EP20842551A EP4073478A1 EP 4073478 A1 EP4073478 A1 EP 4073478A1 EP 20842551 A EP20842551 A EP 20842551A EP 4073478 A1 EP4073478 A1 EP 4073478A1
Authority
EP
European Patent Office
Prior art keywords
image
image sensor
pixels
images
camera system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20842551.2A
Other languages
English (en)
French (fr)
Inventor
René HEINE
Arnd Raphael BRANDES
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cubert GmbH
Original Assignee
Cubert GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cubert GmbH filed Critical Cubert GmbH
Publication of EP4073478A1 publication Critical patent/EP4073478A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0278—Control or determination of height or angle information for sensors or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Definitions

  • the invention relates to a method and a device for determining and in particular the advantageous use of wavelength deviations, in particular for dispersion calibration, of recordings from a multi-lens camera system.
  • the multi-lens camera system is preferably a camera system for (hyper) spectral recording of images.
  • spectral cameras In many areas of business and science, cameras are used which, in addition to a spatial resolution, have a spectral resolution (spectral cameras) which often goes beyond the visible spectrum (“multispectral cameras”). For example, when measuring the surface of the earth from the air, cameras are often used that not only have normal RGB color resolution, but also deliver a high-resolution spectrum, possibly up to the UV or infrared range. Using these measurements, it is possible, for example, to identify individual planted areas in agricultural areas. This can be used, for example, to determine the state of growth or the health of plants or the distribution of various chemical elements such as chlorophyll or lignin.
  • hyperspectral imaging For these measurements, a spectrally high-resolution imaging technique known as “hyperspectral imaging” has proven itself in the last few decades. This hyperspectral imaging allows, for example, a recognition and differentiation of various chemical elements on the basis of the spatially resolved spectrum.
  • a lens matrix is arranged in front of an image sensor, which images a motif in the form of many different images (one per lens) on the image sensor.
  • Such a camera system is also referred to as a “multi-lens camera system”.
  • a filter element for example a mosaic filter or a linearly variable filter, between the lens matrix and the image sensor, each of the images is recorded in a different spectral range.
  • a large number of images of the motif are obtained in different spectral ranges ("channels").
  • the disadvantage of the prior art is that the recorded images cannot be optimally compared with one another. They still need calibration. Particularly when objects are recorded at different distances from the camera system (e.g. an object in front of a background or two or more objects at different distances), different beam paths when recording through a filter element of the camera system mean that the spectral classification of an object is imprecise.
  • the object of the present invention was to overcome the disadvantages of the prior art and to provide a method for determining the wavelength deviations of a multi-lens camera system, in particular for its calibration and / or improvement of the spectral resolution.
  • a method according to the invention for determining (and advantageously using) wavelength deviations from recordings of a multi-lens camera system, in particular for dispersion calibration and / or improving the spectral resolution comprises the following steps:
  • the spectral sensitivity of a region of the filter element reflects which color (wavelength) which pixel of the image sensor behind the filter element picks up. in the in the ideal case this is light with a single (central) wavelength, in the real case a wavelength distribution with a central wavelength.
  • This spectral sensitivity is also referred to here as a “color field” because it comprises a field (area) in which different colors predominate depending on the filter element.
  • this color field is usually linearly variable (linear varibal filter) or constant and stepped (mosaic filter).
  • An area of the image sensor which is used to record an image should have a clearly defined (linearly varying / step-constant) course of the color field.
  • the color field thus includes information about the central wavelengths of the light which hits the pixels of the predetermined area of the image sensor through a filter element.
  • the color field preferably also includes information about the angular dependency of the central wavelength of the light shining through for the pixels or for groups of pixels. This further improves the accuracy, since the light from objects that are recorded from a closer distance propagates through the filter system at a slightly different angle than light from more distant objects.
  • the color field is determined for that area of the filter element through which the light is used to record an image or several images for a predetermined one
  • the area of the image sensor is falling.
  • the predetermined area is correspondingly large on the image sensor.
  • the color field can be determined by means of a direct measurement.
  • an image of a motif is recorded and / or provided, which has been recorded by the multispectral multi-lens camera system in a spectral range.
  • the color field can also be determined by calculating the behavior of the filter when a wavelength is irradiated with different angles of incidence, taking into account the imaging properties of the optics of the multi-lens camera system assigned to this area of the image sensor.
  • the light passes through the filter to different pixels of the image at different angles of incidence.
  • the light traverses different routes through the filter element to different pixels of the image sensor.
  • this can result in a shift in the filter property. If z is the central wavelength of the filter for light at angle a, a central wavelength z ⁇ Dz can result for light which passes through the filter at angle b.
  • This central wavelength is now determined for at least two pixels, preferably for all pixels for a predetermined region of interest (ROI) of the predetermined area of an image sensor.
  • ROI region of interest
  • a modification function for all pixels can be determined ("support function") assuming a linear course of the central wavelength over the pixels. If the course is not linear, it is preferable to determine central wavelengths for more than two pixels and to determine a modification function from this. A very accurate result can be obtained by looking at the central wavelengths of all pixels in the area.
  • the modification function has the advantage that the central wavelengths do not have to be determined for all pixels, but that these can also be specified by the modification function.
  • the area of the image sensor and / or corresponding images that have been recorded with the image sensor are then modified with the determined central wavelengths.
  • a supplementary data record is generated for the images or for controlling the image recording. Modification and data set generation are mostly synonymous, since in digitized systems a modification can be based on a data set that is read in and used to modify image sensors or data.
  • the modification can be an adaptation, in particular a calibration. However, it can also include the addition of image information to an image, for example the addition of additional spectral information or information on the emission characteristics of an object.
  • This supplementary information can be available directly in image data, for example, or as an additional data record, ie “outside” an image but linked to it. This data record can then be accessed when viewing the image. If the corresponding data is available and a processing unit “knows” where this data can be found, it is equivalent whether additional data is available in an image file or in a separate data set. The same applies to additional data relating to the image sensor.
  • data for modifying the image sensor can also be available in the form of a supplementary data record.
  • the recorded image should represent a uniform motif so that each pixel of the image sees the same focus in terms of focus.
  • a preferred motif is a uniform surface or the light of a Lambert radiator or a light source that strikes a Lambert scatterer. If only one image is recorded, it is advantageous that the light has approximately the wavelength that corresponds to the spectral channel of the image (narrowband emission is preferred); if several images are recorded, the subject should include the wavelengths of all spectral channels. However, it is also possible here for several images to be recorded sequentially, with the motif or the wavelength being able to change accordingly.
  • a recording of (at least) one image of a subject with the multispectral multi-lens camera system in a spectral range is known to the person skilled in the art and is known from the (known) multispectral multi-lens camera system Way made.
  • a multi-lens camera system for (multi / hyper) spectral recording of images comprises a flat image sensor, a location-sensitive spectral filter element and an imaging system.
  • the imaging system comprises a flat lens matrix with a large number of individual lenses which are arranged such that they generate a large number of raster-shaped first images of a motif in a first area on the image sensor at a first recording time.
  • the lenses are e.g. spherical lenses, cylinder lenses, holographic lenses or Fresnel lenses or lens systems (e.g. objectives) made up of several such lenses.
  • Flat image sensors are basically known to the person skilled in the art. These are particularly preferably pixel detectors which allow image points (“pixels”) to be recorded electronically.
  • Preferred pixel detectors are CCD sensors (CCD: “charge-coupled device”) or CMOS sensors (CMOS: “Complementary metal-oxide-semiconductor”; German “complementary metal-oxide-semiconductor”) ).
  • CCD sensors CCD: “charge-coupled device”
  • CMOS sensors complementary metal-oxide-semiconductor
  • German “complementary metal-oxide-semiconductor” German “complementary metal-oxide-semiconductor”
  • Silicon-based sensors are particularly preferred, but also InGaAs sensors and sensors based on lead oxide or graphene, especially for wavelength ranges outside the visible range.
  • a spectral filter element which is designed in such a way that it transmits different spectral components of incident light at different positions on the surface of the filter element and does not transmit other spectral components is referred to here as a "location-sensitive spectral filter element", whereby it is also referred to as a “location-dependent spectral filter element” could be designated. It is used to filter the images generated by the imaging system on the image sensor according to different (small) spectral ranges.
  • the filter element can for example be positioned directly in front of the lens matrix or between the lens matrix and the image sensor. It is also preferred that components of the imaging system are designed as filter elements, in particular the lens matrix. For example, the substrate of the lens matrix can be designed as a filter element.
  • a lens matrix within the meaning of the invention comprises a multiplicity of lenses which are arranged in a grid-like manner to one another, that is to say in a regular arrangement, in particular on a carrier.
  • the lenses are preferably arranged in regular rows and columns or offset from one another.
  • a rectangular or square or a hexagonal arrangement is particularly preferred.
  • the lenses can be, for example, spherical lenses or cylindrical lenses, but aspherical lenses are also preferred in some applications.
  • (multi- / hyper-) spectral recordings always show similar images of the same subject.
  • the filter element records these images with different (light) wavelengths or in different wavelength ranges from the image sensor.
  • the images are available as digital images, the image elements of which are referred to as "pixels". These pixels are located at predetermined locations on the image sensor, so that each image has a coordinate system of pixel positions.
  • the images are often referred to as "channels". Since the recorded images are typically stored in an image memory, they can also be called up from there for the method. The method can of course also work with “old” images that have been recorded and are now simply read in from a memory for the method and thus made available.
  • the central wavelengths or the modification function can be present in an x, y, A space, where x and y are the image coordinates or the corresponding coordinates of the image sensor and A (x, y) the central wavelength assigned to the respective coordinates or the relevant one Modification value.
  • a determination unit designed to determine a color field of a region of a filter element of the multi-lens camera system which is assigned to a predetermined region of an image sensor of the multi-lens camera system.
  • This determination unit can comprise a computing system (or it can be present as a software module in a computing system), which determines this color field from sensor information and / or calculates it from specified information about the filter and possibly also about the motif to be reproduced (e.g. distance).
  • a determination unit designed to determine the central wavelength for at least two pixels of the predetermined area of the image sensor based on the determined color field.
  • This determination unit can be implemented by a computing unit (or it can be present as a software module in a computing system), which can evaluate sensor data from the image sensor and use it to determine the central wavelength.
  • a processing unit designed to modify the settings of the area of the image sensor and / or images that have been recorded with this image sensor (or the area of the image sensor) and / or to generate a supplementary data set for the images or for controlling the image recording, based on the specific central wavelengths.
  • This processing unit can be implemented by a computing unit (or it can be present as a software module in a computing system) that can access the image sensor or its image storage locations or change image data. If this processing unit is only used to modify images or the image sensor, it can also be referred to as a “modification unit”.
  • a multi-lens camera system comprises a device according to the invention and / or is designed to carry out a method according to the invention.
  • a preferred multi-lens camera system can also be configured analogously to the corresponding description of the method and, in particular, individual features of different exemplary embodiments can also be combined with one another.
  • the color field is determined by recording and / or providing an image of a motif by the multispectral multi-lens camera system and / or by calculating the behavior of the filter when irradiated at a wavelength with different angles of incidence, taking into account the imaging properties of the Optics of the multi-lens camera system assigned to this area.
  • the color field is therefore based on a measurement or a calculation, both of which can also be combined.
  • a modification function (“support function”) is determined for the pixels of the predetermined area of the image sensor based on the determined central wavelengths of at least two pixels.
  • This modification function is then used to modify (in particular for adaptation, eg for calibration) the area of the image sensor and / or images that have been recorded with this image sensor (or this area of the image sensor).
  • a modification in particular a calibration, can also take place for areas of an image for which there is no color field.
  • Other images can also be adapted with this modification function, whereby the color field for these images should be similar.
  • a modification can also be made with different light paths (e.g. different distances between a motif or object).
  • the distance between elements of a motif is taken into account, the color field for pixels of the image sensor preferably being determined as a function of the distance between the areas of the motif shown there and the camera system.
  • a parallax determination of recordings also takes place, comprising the steps:
  • the modification (which is an adaptation here) comprises a calibration of the area of the image sensor or of the images that have been recorded with this area.
  • the above-described measures for modification are therefore preferred here for calibrating the image sensor or images used so that the spectral information per pixel is adjusted accordingly. If the color field is not constant, it is now known which spectral information the pixels of the relevant area reflect.
  • the modification function is preferably a calibration function which, for pixels in the area of the image sensor or for images recorded with this area, comprises a calibration value based on the color field with which the relevant pixels are calibrated.
  • the modification comprises an improvement of the spectral information of the recordings of the image sensor, at least two pixels being determined in an image whose central wavelengths are known and which belong to an image area for which an approximately identical spectrum is assumed.
  • the pixels are therefore at different coordinates of an image and therefore have different central wavelengths here because of the dispersion effects described above, errors in the filter or simply because of the use of a linearly varying filter.
  • the pixels all belong to a single object of the motif, whereby the object is assumed to be an area that has approximately the same spectrum (where “approximately” means: in the area of the desired measurement accuracy).
  • all these pixels reproduce spectral information as they should prevail at all coordinates of the pixels (due to the almost identical spectrum).
  • an object is preferably recognized in the image, as has already been described here at other points.
  • the spectral information of the pixels is now combined into total spectral information for at least one of the pixels (preferably for pixel groups or all pixels).
  • the modification also includes an improvement in the spectral information of the recordings of the image sensor.
  • This method uses the same principle as the method described above: Two pixels that have individual (different) central wavelengths and come from an area that has approximately the same spectrum supplement the overall spectral information. If in the previous procedure there were pixels in the same However, if the image is at different locations on an object, pixels at the same location on an object but in different images are considered below. Both methods can preferably be used in order to further refine the spectral information.
  • a multi-lens camera system with a linearly variable filter element is particularly suitable for both methods, in which case the term “different images” can also mean different image regions or different partial images, since the filter element covers one image having a linear course of a central wavelength.
  • the preferred further method includes the following additional steps:
  • the images can, for example, be recorded at different times with a relative movement of the camera system and the motif, or the motif can be shifted in the area of the image sensor. It is important that the images are not identical, but that at least one object of the motif is depicted in the images at different coordinates and / or from different angles. The latter can already cause different central wavelengths at the same image position due to dispersion effects. Of course, several images can be recorded, with each additional image representing an improvement in the spectrum.
  • a change in the viewing angle can also result from tilting the filter element or from a lateral relative displacement of the filter element and lens matrix, since the angle at which the incident light passes through the filter element is important for the viewing angle.
  • the term “filter passage angle” could also be used, with “viewing angle”, however, improving comprehensibility.
  • pixels in the images that correspond to the same areas of the subject.
  • the pixels are therefore in the same places on the subject (but not necessarily on the image). According to the preceding explanations, it is clear that these pixels are typically located at different image coordinates and should be located at the same image coordinates due to different viewing angles and different central wavelengths should have. Of course, some of the pixels can also have identical central wavelengths; this would just not represent any information gain.
  • the viewing angle at which the pixels have been imaged is determined from the central wavelength and the intensities of the pixels are determined as a function of the viewing angle.
  • the radiation characteristics of the object can also be determined from the viewing angles from which an object (or a pixel) is seen in different spectral regions, that is to say in different regions of the image sensor.
  • the intensity of the object (or pixel) is recorded in different channels and plotted against the viewing angle.
  • the application is carried out in the form of a bidirectional reflectance distribution function (BRDF). This viewing angle results from the location on the image sensor, for example. It is particularly preferred if the object (pixel) is viewed from two different viewing angles of the camera.
  • BRDF bidirectional reflectance distribution function
  • the object is usually shown in different spectral channels in the images, in the simplest case it can be assumed that the radiation characteristics are the same for all wavelengths and the (wavelength-dependent) intensity per channel could be normalized with the known spectrum of the object .
  • the object in the same channel can be recorded from two or more viewing angles and the intensity of the spectral channels can be normalized from this.
  • the motif is shifted on the image sensor after the first image has been taken; this can be done, for example, by that a mirror or a lens matrix of the multi-lens camera system is tilted. A whole series of images can also be recorded, in particular by means of such a tilt. As a result of the shift, identical points or areas of the motif are imaged on different pixels of the image sensor.
  • An associated shift in the central wavelength can be used, as described above, to improve the spectral resolution. For example, a first image can be recorded first and then a sequence of several images can be recorded during a shift, in particular in the form of a film, with a lower spatial resolution or with a reduced exposure time in order to improve the spectral resolution of the first image.
  • the above-mentioned lateral relative displacement of the filter element and lens matrix can also take place and / or the filter element can be changed, for example by a filter wheel or the filter can be exchanged.
  • the filter element comprises a mosaic filter.
  • the mosaic of the mosaic filter is preferably arranged in such a way that large wavelength steps are inside, while smaller intervals are outside.
  • a colored mosaic in particular a colored glass mosaic, is applied, in particular vapor-deposited, to one side of a substrate, preferably glass.
  • the filter element (a mosaic filter or another filter) is applied to the front side of a substrate and the lens matrix (e.g. embossed) is applied to the rear side of the substrate.
  • a mosaic filter preferably transmits a different wavelength for each individual lens.
  • the filter element comprises a linearly variable filter with filter lines (“graduated filter”), which is preferably rotated at an angle between 1 ° and 45 ° with regard to the alignment of the filter lines with respect to the lens matrix.
  • the filter element comprises a filter matrix, particularly preferably a mosaic filter.
  • the multi-lens camera system comprises an aperture mask between the lens matrix and the image sensor, with apertures being positioned on the aperture mask corresponding to the lenses of the lens matrix and the aperture mask being positioned so that light from the images of the individual lenses is displayed occurs through apertures of the aperture mask.
  • the aperture mask thus has the same pattern as the lens matrix, with apertures being present there instead of the lenses.
  • modification methods in particular calibration steps, can also be carried out, which also represent an advantage for recordings with a multi-lens camera system independently of the method according to the invention presented above .
  • a preferred calibration method for a multispectral multi-lens camera system is used to identify a region of interest or ROI for short. It consists of the following steps:
  • this image preferably having a uniform brightness distribution or such a high brightness that overexposure of the image sensor occurs.
  • Overexposure has the advantage that in this case regions become visible in a recorded image that receive less light due to shielding effects (e.g. due to aperture edges). These areas should no longer belong to the ROI, as it is not guaranteed that the image information is optimal here (due to the shielding effects).
  • the result is an image in which only the area visible to the ROI is illuminated.
  • Performing a Hough transformation By means of this Hough transformation, the angles of the images can be brought into agreement. Selection of that area from the images which has the greatest similarity according to the autocorrelation and / or cross-correlation. This selection preferably includes a separation of the selected area or a limitation of an image section to this selected area. In this context, a corresponding predetermined definition in the reference image or the reference image and an object segmentation of the recorded image preferably take place.
  • a preferred calibration method for a multispectral multi-lens camera system is used to correct lens errors. It consists of the following steps:
  • a preferred calibration method for a multispectral multi-lens camera system is used to calibrate projection errors. It consists of the following steps:
  • Characterizing points are e.g. corners of the target.
  • a preferred calibration method for a multispectral multi-lens camera system is used to improve its resolution. It consists of the following steps:
  • a plurality of images of low spatial resolution in different spectral ranges and a pan image or a gray-scale image with a higher spatial resolution are preferably recorded.
  • the multi-lens camera system can also be additionally calibrated, in particular with a previously described method for calibrating projection errors.
  • the parallax of objects in the images is determined beforehand and the parallax is compensated.
  • the higher spatial resolution of one image is used to improve the spatial resolution of the image with the higher spectral resolution and / or the higher spectral resolution of the other image is used to improve the spectral resolution of the image with the higher spatial resolution.
  • the spatial resolution is increased based on the information in the image with the higher spatial resolution.
  • the well-known principle of pan-sharpening is preferably used here. This makes use of the fact that, when looking at the motif, a group of pixels of the image with the higher spatial resolution belongs to a pixel of an image of a spectral channel, for example 10x10 pixels from the pan image.
  • a corresponding group of is now preferred from a pixel of a (spectral) image Pixels created (e.g. 10x10 spectral pixels) using the shape of the spectrum from the original spectral pixel but the brightness from the pan image.
  • the spectral resolution of the image can be improved with the higher spatial resolution. If, as stated above, there is a first image with a higher spatial resolution and a lower spectral resolution (however, there must be more than three channels) and a second image with a lower spatial resolution and a higher spectral resolution, this is possible.
  • the spectral resolution of the first image is improved so that (almost) a spectral resolution of the second image is achieved by interpolating the missing spectral channels for the first image from the information in the second image. This is preferably done in that a pixel of the second image is assigned to a coherent pixel group of the first image and the spectral information of the pixel of the second image is assigned to this pixel group.
  • each block of ZxZ pixels of the first image is assigned to a pixel of the second image at the corresponding image position (taking the blocks into account).
  • the result can, however, be improved by object recognition taking place within the first image (or in the pixel groups). This is based on the assumption that the spectra within an object are approximately the same.
  • the object recognition can still be improved with information from the second image, in that parts of objects with different spectra are separated from one another and treated as independent objects. There can then be, for example, different adjoining areas in the first image that are separated from one another by edges.
  • areas of different objects are treated differently by assigning different spectra to them.
  • the spectral information of the second image is used for this one object for one object and the spectral information of the second image for this other object is used for the other object.
  • the same procedure is followed for each additional part of the object. Since in this case the spectral information of the corresponding The corresponding pixels in the second image could be a convolution of different object spectra, the spectra of neighboring pixels in the second image, which contain information on the relevant objects, can be used here.
  • an additional object recognition can take place in the second image, to which the objects of the first image correspond and corresponding spectral information is assigned to these objects from the information in the second image.
  • the color channels are not homogeneous in each case (i.e. the central wavelength for the pixels in a channel (image) follows a course across the image plane), this information can also serve to improve the spectrum.
  • the assumption is again made that the spectrum is homogeneous within an object, at least with regard to two neighboring points within the object.
  • the spectrum of two neighboring pixels will differ slightly when recording a homogeneous motif.
  • One pixel “sees” the motif with the wavelength w, the second with the wavelength w ⁇ ⁇ w. If it is found in an image that the two pixels represent an object (assumed to be homogeneous), this object can be assigned not only the wavelength w, but also the wavelength w ⁇ ⁇ w and the spectrum of the object can be refined in this regard.
  • the location information of a resulting image could be (part -) Pan-Sharpening can be brought to 500x500, and the spectrum using "Spectral Sharpening" to 500, the result would be a spatial resolution of 500x500 pixels with a spectral resolution of 500 channels.
  • the following method can be combined very easily with the one described above, but in its basic form does not necessarily require two images. More precise spectral information can also be determined from a single image.
  • the spectra of at least the directly neighboring pixels are preferably added to each spectrum of a pixel. As already mentioned, these neighboring spectra contain different wavelength information (different support points due to different central wavelengths). Although this simple method increases the resolution of the spectra, it can lead to errors in the transition areas between different objects of a motif.
  • the result can also be improved here by object recognition taking place within the image.
  • object segmentation can again be carried out in which parts of objects with different spectra are separated from one another and treated as independent objects. For example, there can then be different adjoining areas in the image, which are separated from one another by edges.
  • the spectra of pixels within an object in particular the pixels from the center of the object, are now combined with one another. This union can consist of the fact that the spectra of respectively neighboring pixels are combined or also the spectra of all pixels. The first gives an acceptable improvement even with slightly inhomogeneous objects, the second a very high resolution with homogeneous objects. Both alternatives can be combined with each other by dividing an object into concentric areas and combining the spectra of the pixels of these areas.
  • Preferred further calibration methods for a multispectral multi-lens camera system are known methods for calibrating the dark current and / or calibrations for white balance and / or a radiometric calibration and / or a calibration within the scope of Photo Response Non Uniformity ("PRNU") ⁇
  • FIG. 1 shows a multi-lens camera system according to the prior art.
  • FIG. 2 shows a scene of a recording.
  • FIG. 3 shows from above a scene of a recording and a multi-lens camera system with an exemplary embodiment of a device according to the invention.
  • FIG. 4 shows an example of a dispersion effect.
  • FIG. 5 shows an example of the central wavelength and the modification function.
  • FIG. 6 shows an example of spectral enhancement for a recorded image.
  • FIG. 7 shows a further example for spectral improvement for two recorded images.
  • FIG. 8 shows an exemplary block diagram for the method according to the invention.
  • FIG 1 shows schematically a multi-lens camera system 1 for hyperspectral recording of images according to the prior art in a perspective view.
  • the multi-lens camera system 1 comprises a planar image sensor 3 and a planar lens matrix 2 made of uniform individual lenses 2a, which is arranged in such a way that a large number of first images AS arranged in a grid form from a motif M (see, for example, only the small first images AS in FIG 5) generated on the image sensor 3.
  • a motif M see, for example, only the small first images AS in FIG 5
  • an aperture mask 5 is arranged between the image sensor 3 and the lens matrix 2.
  • Each aperture 5a of the aperture mask 5 is assigned to an individual lens 2a and arranged exactly behind it.
  • a filter element 4 is arranged between the aperture mask 5 and the image sensor 3.
  • this filter element 4 can also be arranged in front of the lens matrix (see e.g. FIG. 8).
  • the filter element 4 is a linearly variable filter which is slightly rotated with respect to the image sensor. Each figure thus has its center at a different wavelength range of the filter element.
  • Each first image AS thus supplies different spectral information on the image sensor, and the entirety of the first images AS is used to create an image with spectral information.
  • FIG. 2 shows a scene of a recording of a motif M.
  • This motif includes a house, which here serves as background H and a tree as object O in the foreground.
  • This motif is recorded by a multi-lens camera system 1.
  • FIG. 3 shows the motif M from FIG. 2 from above.
  • the multi-lens camera system 1 here comprises an exemplary embodiment of a device 6 according to the invention. This device comprises a data interface 7, a determination unit 8, a determination unit 9 and a processing unit 10.
  • the data interface 7 is designed to receive the images that have been recorded by the multi-lens camera system 1. For example, it can access the image sensor directly, communicate with a storage unit or with a network.
  • the determination unit 8 is designed to determine a color field F of a region of a filter element 4 of the multi-lens camera system 1, which is assigned to a predetermined region of an image sensor 3 of the multi-lens camera system 1.
  • the determination unit 9 is designed to determine the central wavelength Z for at least two pixels P1, P2 of the predetermined area of the image sensor 3 based on the determined color field F 1.
  • the processing unit 10 is designed to modify the settings of the area of the image sensor 3 and / or images B that have been recorded with this image sensor 3. The modification is carried out based on the determined central wavelengths Z. As an alternative or in addition, the processing unit is designed to generate a supplementary data record for the images or to control the image recording.
  • FIG. 4 shows an example of a dispersion effect.
  • Two light beams (arrows) with an extended spectrum pass through a filter element 6 at different angles and therefore cover a different distance in the filter element 6. This can lead to a shift in the central wavelength Z.
  • the filter element 6 can transmit different wavelengths at different locations, which also leads to different central wavelengths (even if the light beams were parallel).
  • FIG. 5 shows an example for the central wavelength Z (left) and for the modification function, which here is an adaptation function A (right).
  • a narrow spectrum with a central wavelength Z results after it has passed through.
  • FIG. 6 shows an example of spectral enhancement for a recorded image B.
  • the entire crown of the tree which here represents the object O
  • each pixel P1, P2 which represents the crown of the tree
  • the pixels P1, P2 are at different locations, they also have different central wavelengths Z (see e.g. the distribution on the right from FIG. 5). This means that the intensity of the two pixels P1, P2 reproduces information from a respective different part of an overall spectrum.
  • the central wavelength Z of both pixels P1, P2 can therefore be assigned to each pixel P1, P2.
  • FIG. 7 shows a further example for spectral improvement for two recorded images.
  • the principle is very similar to FIG. 8 with the difference that the two pixels are at different coordinates of two different images, but at the same object coordinate of the tree (object O).
  • each pixel P1, P2 represents a value of the same spectrum.
  • the pixels P1, P2 are located in different areas of the image sensor 3, they also have different central wavelengths Z (see e.g. the distribution on the right from FIG. 5). This means that the intensity of the two pixels P1, P2 reproduces information from a respectively different part of an overall spectrum.
  • the central wavelength Z of both pixels P1, P2 can therefore be assigned to each pixel P1, P2.
  • FIG. 8 shows an exemplary block diagram for the method according to the invention for parallax determination of recordings from a multi-lens camera system 1.
  • a color field F is determined for an area of a filter element 4 of the multi-lens camera system 1, which is assigned to a predetermined area of an image sensor 3 of the multi-lens camera system 1.
  • the central wavelength Z is determined for at least two pixels (P1, P2) of the predetermined area of the image sensor 3 based on the determined color field F.
  • step III there is a modification of the area of the image sensor 3 and / or of images B, B1 that have been recorded with this image sensor 3, and / or generation of a supplementary data record for the images or for controlling the image recording, based on the determined central wavelengths Z.
  • step lilac there is a calibration (as an example of a modification) of the area of the image sensor 3 or of the images B that have been recorded with this area (see also FIG. 6 in this regard).
  • step IIIb the spectral information of the recordings of the image sensor 3 is improved, with at least two pixels P1, P2 being determined in a number of images B, B1, whose central wavelengths Z are known and which belong to an image area for which the same spectrum is assumed and the spectral information of the pixels P1, P2 is combined to form a total spectral information for at least one of the pixels P1, P2 (see also FIG. 7 in this regard).
  • Such an improvement in the spectral information can represent a modification of an image or be in the form of a supplementary data set.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems (1) umfassend die Schritte: - Ermittlung eines Farbfeldes (F) für einen Bereich eines Filterelements (4) des Multilinsen-Kamerasystems (1), welcher einem vorbestimmten Bereich eines Bildsensors (3) des Multilinsen-Kamerasystems (1) zugeordnet ist, - Bestimmung der Zentralwellenlänge (Z) für mindestens zwei Pixel (P1, P2) des vorbestimmten Bereichs des Bildsensors (3) basierend auf dem ermittelten Farbfeld (F), - Modifikation des Bereichs des Bildsensors (3) und/oder von Bildern (B, B1), die mit diesem Bildsensor (3) aufgenommen worden sind und/oder Erzeugen eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen (Z). Die Erfindung betrifft zudem eine entsprechende Vorrichtung und ein Multilinsen-Kamerasystem.

Description

Verfahren und Vorrichtung zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung und insbesondere der vorteilhaften Verwendung, von Wellenlängenabweichungen, insbesondere zur Dispersionskalibration, von Aufnahmen eines Multilinsen- Kamerasystems. Das Multilinsen-Kamerasystem ist dabei bevorzugt ein Kamerasystem zur (hyper-)spektralen Aufnahme von Bildern.
In vielen Bereichen der Wirtschaft und Wissenschaft werden Kameras verwendet, die zusätzlich zu einer Ortsauflösung eine spektrale Auflösung besitzen (Spektralkameras), welche oftmals über das sichtbare Spektrum hinausgeht („Multispektralkameras“). Beispielsweise werden bei Vermessungen der Erdoberfläche aus der Luft oftmals Kameras eingesetzt, die nicht nur eine normale RGB-Farbauflösung besitzen, sondern ein hochaufgelöstes Spektrum ggf. bis in den UV- oder Infrarotbereich hinein liefern. Mittels dieser Messungen ist z.B. eine Erkennung einzelner Bepflanzungsbereiche in landwirtschaftlich genutzten Gebieten möglich. Damit kann beispielsweise der Wachstumszustand oder die Gesundheit von Pflanzen oder die Verteilung verschiedener chemischer Elemente wie Chlorophyll oder Lignin bestimmt werden.
Zu diesen Messungen hat sich in den letzten Jahrzehnten eine spektral hochauflösen de Bildnahmetechnik bewährt, die als „Hyperspectral Imaging“ bezeichnet wird. Dieses Hyperspectral Imaging erlaubt beispielsweise eine Erkennung und Unterscheidung verschiedener chemischer Elemente aufgrund des ortsaufgelöst aufgenommenen Spektrums.
Bei einem typischen Aufbau eines (hyper-)spektralen Kamerasystems ist eine Linsenmatrix vor einem Bildsensor angeordnet, welches ein Motiv in Form vieler verschiedener Bilder (eines pro Linse) auf den Bildsensor abbildet. Ein solches Kamerasystem wird auch als „Multilinsen-Kamerasystem“ bezeichnet. Mittels eines Filterelements, z.B. einem Mosaikfilter oder einem linearvariablen Filter, zwischen Linsenmatrix und Bildsensor wird jedes der Bilder in einem anderen Spektralbereich aufgenommen. Man erhält eine Vielzahl von Abbildungen des Motivs in unterschiedlichen Spektralbereichen („Kanälen“). Nachteil des Standes der Technik ist jedoch, dass die aufgenommenen Bilder nicht optimal miteinander vergleichbar sind. Sie bedürfen noch der Kalibration. Insbesondere bei einer Aufnahme von Objekten mit unterschiedlichem Abstand zum Kamerasystem (z.B. eines Objekts vor einem Hintergrund bzw. zwei oder mehr Objekten in unterschiedlicher Distanz) führen unterschiedliche Strahlengänge bei der Aufnahme durch ein Filterelement des Kamerasystems dazu, dass eine spektrale Einordnung eines Objekts ungenau ist.
Aufgabe der vorliegenden Erfindung war es, die Nachteile des Standes der Technik zu überwinden und ein Verfahren zur Bestimmung von Wellenlängenabweichungen eines Multilinsen-Kamerasystems, insbesondere zu dessen Kalibration und/oder Verbesserung der spektralen Auflösung zur Verfügung zu stellen.
Diese Aufgabe wird durch ein Verfahren und eine Vorrichtung gemäß den Ansprüchen gelöst.
Ein erfindungsgemäßes Verfahren zur Bestimmung (und vorteilhaften Verwendung) von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems, insbesondere zur Dispersionskalibration und/oder der Verbesserung der spektralen Auflösung, umfasst die folgenden Schritte:
- Ermittlung einer spektralen Sensitivität („Farbfeld“) für einen Bereich eines Filterelements des Multilinsen-Kamerasystems, welcher einem vorbestimmten Bereich eines Bildsensors des Multilinsen-Kamerasystems zugeordnet ist,
- Bestimmung der Zentralwellenlänge für mindestens zwei Pixel des vorbestimmten Bereichs des Bildsensors basierend auf der ermittelten spektralen Sensitivität (dem ermittelten Farbfeld),
- Modifikation des Bereichs des Bildsensors und/oder von Bildern, die mit diesem Bildsensor (bzw. dem entsprechenden Bereich des Bildsensors) aufgenommen worden sind und/oder Erzeugen eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen.
Die spektrale Sensitivität eines Bereichs des Filterelements gibt wieder, welche Farbe (Wellenlänge) welches Pixel des Bildsensors hinter dem Filterelement aufnimmt. Im idealen Falle ist dies Licht mit einer einzigen (Zentral-)Wellenlänge, im Realfall eine Wellenlängenverteilung mit einer Zentralwellenlänge. Diese spektrale Sensitivität wird hier auch als „Farbfeld“ bezeichnet, da sie ein Feld (Bereich) umfasst, in dem abhängig vom Filterelement unterschiedliche Farben vorherrschen. Bei idealen Filterelementen wird dieses Farbfeld zumeist linear veränderlich (linearvaribaler Filter) oder konstant und stufig (Mosaikfilter) verlaufen. Ein Bereich des Bildsensors, welcher zur Aufnahme einer Bildes dient, sollte einen klar definierten (linear variierenden / stufig-konstanten) Verlauf des Farbfeldes aufweisen. In der Realität kommt es bei vielen Filterelementen jedoch auf die Strecke an, die das Licht bei Propagation durch das Filterelement in diesem zurücklegt. In einem Bereich eines Mosaikfilters mit einem winkelabhängigen Filterverhalten , welcher nur für eine einzige Zentralwellenlänge ausgestaltet ist, wird bei einem geraden Einfall eine andere Zentralwellenlänge gemessen wie bei einem schrägen Einfall. Auch wenn sich diese Unterschiede in der Praxis auf einige nm beschränken, führen sie dennoch zu systematischen Messfehlern und beeinflussen eine Auswertung von Spektralbildern negativ. Außerdem lässt sich dieser Effekt vorteilhaft zur Verbesserung der spektralen Auflösung nutzen, wie im Folgenden beschrieben werden wird.
Wohlgemerkt betrifft die hier erläuterte Betrachtung in erster Linie Effekte, die durch unterschiedliche Lichtwege im Filter hervorgerufen werden. Die Erfindung selber kann aber nicht nur diese Effekte beherrschen, sondern auch Inhomogenitäten im Filterelement oder Wellenlängenabweichungen in Bildern durch linearvariable Filterelemente.
Das Farbfeld umfasst somit Informationen über die Zentralwellenlängen des Lichtes, welches durch ein Filterelement hindurch auf die Pixel des vorgegebenen Bereichs des Bildsensors trifft. Bevorzugt umfasst das Farbfeld noch für die Pixel bzw. für Gruppen von Pixeln Informationen über die Winkelabhängigkeit der Zentralwellenlänge des durchscheinenden Lichtes. Dies verbessert die Genauigkeit weiter, da das Licht von Objekten, die aus einer näheren Distanz aufgenommen werden unter einem etwas anderen Winkel durch das Filtersystem propagiert als Licht von ferneren Objekten.
Die Ermittlung des Farbfeldes erfolgt für denjenigen Bereich des Filterelements, durch den das Licht zur Aufnahme eines Bildes oder mehrerer Bilder für einen vorbestimmten Bereich des Bildsensors fällt. Für den Fall, dass nur ein einziges Bild mit dem Verfahren modifiziert werden soll bzw. ein entsprechender Bereich des Bildsensors, ist es der Bereich zur Aufnahme des betreffenden Bildes, das Verfahren kann aber durchaus auch zur gleichzeitigen Modifikation mehrerer Bilder dienen, wobei der vorbestimmte Bereich auf dem Bildsensors entsprechend groß ist.
Die Ermittlung des Farbfeldes kann durch eine direkte Messung erfolgen. Dazu erfolgt eine Aufnahme und/oder Bereitstellung von einem Bild eines Motivs, welches von dem multispektralen Multilinsen-Kamerasystem in einem Spektralbereich aufgenommen worden ist. Eine genauere Beschreibung einer solchen Aufnahme bzw. Bereitstellung folgt weiter unten.
Alternativ oder zusätzlich kann die Ermittlung des Farbfeldes auch durch eine Berechnung des Verhaltens des Filters bei Einstrahlung einer Wellenlänge mit unterschiedlichen Einfallswinkeln unter Berücksichtigung der Abbildungseigenschaften der diesem Bereich des Bildsensors zugeordneten Optik des Multilinsen- Kamerasystems erfolgen.
Wie oben bereits gesagt wurde, ist zu beachten, dass bei der Aufnahme eines Bildes mit einem Bereich des Bildsensors das Licht zu unterschiedlichen Pixeln des Bildes mit unterschiedlichen Einfallswinkeln durch den Filter verläuft. Dadurch, und ggf. auch durch Inhomogenitäten der Dicke des Filters über den betreffenden Bereich durchläuft das Licht zu unterschiedlichen Pixeln des Bildsensors unterschiedliche Strecken durch das Filterelement. Je nach Art des Filterelements (oder Bereich des Filterelements) kann sich daraus eine Verschiebung der Filtereigenschaft ergeben. Ist z die zentrale Wellenlänge des Filters für Licht unter dem Winkel a, so kann sich für Licht, welches unter dem Winkel b durch den Filter tritt, eine zentrale Wellenlänge z ± Dz ergeben.
Diese Zentralwellenlänge wird nun für mindestens zwei Pixel, bevorzugt für alle Pixel für eine vorbestimmte Interessensregion (engl.: "Region of Interest", ROI) des vorbe stimmten Bereichs eines Bildsensors bestimmt. Hierzu ist jedoch zu beachten, das (mindestens) zwei Pixel bevorzugt in demjenigen Bereich liegen, der zur Aufnahme eines einzigen Bildes bestimmt ist. Dient der Bereich des Bildsensors der Aufnahme mehrerer Bilder, so sollte dieser Schritt für mindestens zwei Pixel für jedes Bild erfolgen.
Betrachtet man pro "Bild" die Zentralwellenlängen von zwei Pixeln, so lässt sich bei der Annahme eines linearen Verlaufs der Zentralwellenlänge über die Pixel eine Modifikationsfunktion für alle Pixel ermitteln („Stützfunktion“). Sollte der Verlauf nicht linear sein, ist es bevorzugt für mehr als zwei Pixel Zentralwellenlängen zu bestimmen und daraus eine Modifikationsfunktion zu ermitteln. Ein sehr genaues Ergebnis erhält man, wenn man die Zentralwellenlängen aller Pixel des Bereichs betrachtet. Die Modifikationsfunktion hat den Vorteil, dass nicht für alle Pixel die Zentralwellenlängen ermittelt werden müssen, sondern diese auch durch die Modifikationsfunktion vorgegeben werden können.
Mit den bestimmten Zentralwellenlängen wird nun der Bereich des Bildsensors und/oder entsprechende Bilder, die mit dem Bildsensor aufgenommen worden sind, modifiziert. Alternativ oder zusätzlich wird ein ergänzender Datensatz zu den Bildern oder zur Steuerung der Bildaufnahme erzeugt. Modifikation und Datensatzerzeugung sind dabei zumeist gleichbedeutend, da in digitalisierten Systemen eine Modifikation auf einem Datensatz beruhen kann, der eingelesen und zur Modifikation von Bildsensoren oder Daten verwendet wird.
Die Modifikation kann eine Adaption sein, insbesondere eine Kalibration. Sie kann aber auch eine Hinzufügung von Bildinformationen zu einem Bild umfassen, z.B. die Hinzufügung von ergänzenden Spektralinformationen oder Informationen zur Abstrahlcharakteristik eines Objekts. Diese ergänzenden Informationen können z.B. in Bilddaten direkt vorliegen oder als ein zusätzlicher Datensatz, also „außerhalb“ eines Bildes aber mit diesem Verbunden. Bei Betrachtung des Bildes kann dann auf diesen Datensatz zurückgegriffen werden. Sofern die entsprechenden Daten vorhanden sind und eine Recheneinheit „weiß“, wo diese Daten zu finden sind, ist es gleichwertig, ob ergänzende Daten in einer Bilddatei oder in einem separaten Datensatz vorliegen. Ähnliches gilt für ergänzende Daten zu dem Bildsensor. Es ist für eine Modifikation eines Bildsensors im Grunde unerheblich, ob eine Kalibrierung direkt bei der Aufnahme erfolgt oder die aufgenommenen Rohdaten (oder ggf die rekonstruierten Daten) kalibriert werden. Somit können auch Daten zur Modifikation des Bildsensors in Form eines ergänzenden Datensatzes vorliegen.
Für eine Kalibration sollte das aufgenommene Bild ein uniformes Motiv darstellen, damit jedes Pixel des Bildes schwerpunktsmäßig dasselbe sieht. Ein bevorzugtes Motiv ist eine uniforme Fläche oder das Licht eines Lambert-Strahlers bzw. einer Lichtquelle, die auf einem Lambert-Streuer trifft. Wird nur ein Bild aufgenommen, ist es von Vorteil, dass das Licht ungefähr diejenige Wellenlänge aufweist, die dem Spektralkanal des Bildes entspricht (wobei eine schmalbandige Abstrahlung bevorzugt ist), werden mehrere Bilder aufgenommen, sollte das Motiv die Wellenlängen aller Spektralkanäle umfassen. Es ist hier jedoch auch möglich, dass mehrere Bilder sequentiell aufgenommen werden, wobei das Motiv bzw. die Wellenlänge entsprechend wechseln kann.
Eine Aufnahme von (mindestens) einem Bild eines Motivs mit dem multispektralen Multilinsen-Kamerasystem in einem Spektralbereich (also in Form einer Messung in einem Spektralkanal des Multilinsen-Kamerasystems) ist dem Fachmann bekannt und wird von dem (bekannten) multispektralen Multilinsen-Kamerasystem in bekannter Weise angefertigt. Ein Multilinsen-Kamerasystem zur (multi- / hyper-) spektralen Aufnahme von Bildern umfasst einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein Abbildungssystem. Das Abbildungssystem umfasst dabei eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen. Die Linsen sind z.B. sphärische Linsen, Zylinderlinsen, holographische Linsen oder Fresnellinsen oder Linsensysteme (z.B. Objektive) aus mehreren solcher Linsen.
Flächige Bildsensoren sind dem Fachmann im Grunde bekannt. Es handelt sich hierbei besonders bevorzugt um Pixeldetektoren, welche eine elektronische Aufnahme von Bildpunkten („Pixeln“) erlauben. Bevorzugte Pixeldetektoren sind CCD-Sensoren (CCD: „charge-coupled device“; dt. „ladungsgekoppeltes Bauteil“) oder CMOS- Sensoren (CMOS: „Complementary metal-oxide-semiconductor“; dt. „sich ergänzender Metall-Oxid-Halbleiter“). Besonders bevorzugt sind auf Silizium basierende Sensoren, aber auch InGaAs-Sensoren sowie auf Bleioxid oder Graphen basierte Sensoren, insbesondere für Wellenlängenbereiche außerhalb des sichtbaren Bereichs.
Ein spektrales Filterelement, welches so gestaltet ist, dass es an unterschiedlichen Positionen der Fläche des Filterelements unterschiedliche Spektralanteile von auf treffendem Licht transmittiert und andere Spektralanteile nicht transmittiert, wird hier als „ortssensitives spektrales Filterelement“ bezeichnet, wobei es auch als „ortsabhängiges spektrales Filterelement“ bezeichnet werden könnte. Es dient dazu, die durch das Abbildungssystem erzeugten Abbildungen auf dem Bildsensor nach unterschiedlichen (kleinen) Spektralbereichen zu filtern.
Für die Anordnung des Filterelements gibt es mehrere Möglichkeiten. Das Filterele ment kann beispielsweise direkt vor der Linsenmatrix positioniert sein oder zwischen Linsenmatrix und Bildsensor. Es ist auch bevorzugt, dass Komponenten des Abbildungssystems als Filterelement ausgestaltet sind, insbesondere die Linsenmatrix. Beispielsweise kann das Substrat der Linsenmatrix als Filterelement ausgestaltet sein.
Eine Linsenmatrix im Sinne der Erfindung umfasst eine Vielzahl von Linsen die raster förmig zueinander, also in einer regelmäßigen Anordnung, angeordnet sind, insbeson dere auf einem Träger. Die Linsen sind bevorzugt in regelmäßigen Zeilen und Spalten oder versetzt zueinander angeordnet. Besonders bevorzugt ist eine rechteckige bzw. quadratische oder eine hexagonale Anordnung. Die Linsen können beispielsweise sphärische Linsen oder zylindrische Linsen sein, aber auch asphärische Linsen sind in einigen Anwendungsfällen bevorzugt.
In der Regel zeigen bei (multi- / hyper-) spektralen Aufnahmen stets ähnliche Bilder desselben Motivs. Durch das Filterelement werden diese Bilder mit jeweils unterschiedlichen (Licht)Wellenlängen bzw. in unterschiedlichen Wellenlängenbereichen vom Bildsensor aufgenommen.
Die Bilder liegen als digitale Bilder vor, deren Bildelemente als „Pixel“ bezeichnet werden. Diese Pixel liegen an vorbestimmten Stellen des Bildsensors, so dass jedes Bild ein Koordinatensystem von Pixelpositionen besitzt. Im Rahmen von multispektralen Aufnahmen werden die Bilder häufig auch als „Kanäle“ bezeichnet. Da die aufgenommenen Bilder typischerweise in einem Bildspeicher abgespeichert werden, können diese auch für das Verfahren von dort abgerufen werden. Das Verfahren kann selbstverständlich auch mit „alten“ Bildern arbeiten, die aufgenommen worden sind und nun einfach aus einem Speicher für das Verfahren eingelesen und dadurch bereitgestellt werden.
Die Zentralwellenlängen bzw. die Modifikationsfunktion kann in einem x,y,A-Raum vorliegen, wobei x und y die Bildkoordinaten sind, bzw. die entsprechenden Koordinaten des Bildsensors und A(x,y) die den jeweiligen Koordinaten zugeordnete Zentralwellenlänge bzw. der betreffende Modifikationswert.
Eine erfindungsgemäße Vorrichtung zur Bestimmung von Wellenlängenabweichungen, insbesondere zur Dispersionskalibration und/oder der Verbesserung der spektralen Auflösung, von Aufnahmen eines Multilinsen-Kamerasystems umfasst die folgenden Komponenten:
- Eine Ermittlungseinheit ausgelegt zur Ermittlung eines Farbfeldes eines Bereichs eines Filterelements des Multilinsen-Kamerasystems, welcher einem vorbestimmten Bereich eines Bildsensors des Multilinsen-Kamerasystems zugeordnet ist. Diese Ermittlungseinheit kann ein Rechensystem umfassen (oder als Softwaremodul in einem Rechensystem vorliegen), welches dieses Farbfeld aus Sensorinformationen ermittelt und/oder aus vorgegebenen Informationen zum Filter und ggf. auch vom abzubildenden Motiv (z.B. Abstand) errechnet.
- Eine Bestimmungseinheit ausgelegt zur Bestimmung der Zentralwellenlänge für mindestens zwei Pixel des vorbestimmten Bereichs des Bildsensors basierend auf dem ermittelten Farbfeld. Diese Bestimmungseinheit kann durch eine Recheneinheit reali siert werden (oder als Softwaremodul in einem Rechensystem vorliegen), die Sensor daten des Bildsensors auswerten und daraus die Zentralwellenlänge bestimmen kann.
- Eine Verarbeitungseinheit ausgelegt zur Modifikation der Einstellungen des Bereichs des Bildsensors und/oder von Bildern, die mit diesem Bildsensor (bzw. dem Bereich des Bildsensors) aufgenommen worden sind und/oder zur Erzeugung eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen. Diese Verarbeitungseinheit kann durch eine Recheneinheit realisiert werden (oder als Softwaremodul in einem Rechensystem vorliegen), die auf den Bildsensor oder dessen Bildspeicherplätze zugreifen oder Bilddaten verändern kann. Wenn diese Verarbeitungseinheit nur zur Modifikation von Bildern oder des Bildsensors dient, kann sie auch als „Modifikationseinheit“ bezeichnet werden.
Ein erfindungsgemäßes Multilinsen-Kamerasystem umfasst eine erfindungsgemäße Vorrichtung und/oder ist zur Durchführung eines erfindungsgemäßen Verfahrens ausgelegt.
Im Folgenden werden bevorzugte Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass ein bevorzugtes Multilinsen-Kamerasystem auch analog zu der entsprechenden Beschreibung des Verfahrens ausgestaltet sein kann und insbesondere auch einzelne Merkmale verschiedener Ausführungsbeispiele miteinander kombiniert werden können.
Bei einem bevorzugten Verfahren erfolgt die Ermittlung des Farbfeldes durch eine Auf nahme und/oder Bereitstellung von einem Bild eines Motivs durch das multispektrale Multilinsen-Kamerasystem und/oder durch eine Berechnung des Verhaltens des Filters bei Einstrahlung einer Wellenlänge mit unterschiedlichen Einfallswinkeln unter Berücksichtigung der Abbildungseigenschaften der diesem Bereich zugeordneten Optik des Multilinsen-Kamerasystems. Dem Farbfeld liegt also eine Messung zugrunde oder eine Berechnung, wobei beides auch kombiniert werden kann.
Bei einem bevorzugten Verfahren wird im Rahmen der Bestimmung der Zentralwellen länge eine Modifikationsfunktion („Stützfunktion“) für die Pixel des vorbestimmten Bereichs des Bildsensors basierend auf den ermittelten Zentralwellenlängen von mindesten zwei Pixeln ermittelt. Zur Modifikation (insbesondere zur Adaption, z.B. zur Kalibration) des Bereichs des Bildsensors und/oder von Bildern, die mit diesem Bildsensor (bzw. diesem Bereich des Bildsensors) aufgenommen worden sind, wird dann diese Modifikationsfunktion verwendet. Auf diese Weise kann auch eine Modifikation, insbesondere eine Kalibration, für Bereiche eines Bildes erfolgen, für die kein Farbfeld vorliegt. Es können auch weitere Bilder mit dieser Modifikationsfunktion adaptiert werden, wobei das Farbfeld für diese Bilder ähnlich sein sollte.
Bei einem bevorzugten Verfahren werden bei der Ermittlung des Farbfeldes diesem Informationen über die Winkelabhängigkeit für die Zentralwellenlänge des durchschei nenden Lichtes hinzugefügt. Damit kann eine Modifikation auch bei unterschiedlichen Lichtwegen (z.B. unterschiedliche Abständen eines Motivs bzw. Objekts) erfolgen. Bei der Modifikation wird dabei der Abstand von Elementen eines Motivs berücksichtigt, wobei bevorzugt das Farbfeld für Pixel des Bildsensors in Abhängigkeit von dem Abstand der dort abgebildeten Bereiche des Motivs zum Kamerasystem ermittelt wird.
Bei einem bevorzugten Verfahren erfolgt zusätzlich eine Parallaxenbestimmung von Aufnahmen, umfassend die Schritte:
- Aufnahme und/oder Bereitstellung von mindestens zwei Bildern eines Objekts aufgenommen von dem multispektralen Multilinsen-Kamerasystem in unterschiedlichen Spektralbereichen,
- Erkennung des Objekts in den aufgenommenen Bildern mittels digitaler Objekterkennung und Erstellung eines virtuellen Objekts aus der erkannten Abbildung des Objekts,
- Ermittlung von Koordinaten des virtuellen Objekts in den Bildern in Form von absoluten Bildkoordinaten und/oder relativer Bildkoordinaten zu anderen Elementen in den Bildern,
- Bestimmung der Parallaxe des Objekts aus den ermittelten Koordinaten und der bekannten Position der Aufnahmeorte der Bilder auf einem Bildsensor des Multilinsen- Kamerasystems
- bevorzugt: Bestimmung des Abstandes des Objektes vom Multilinsen-Kamerasystem und/oder von einem weiteren Objekt im Bild basierend auf der bestimmten Parallaxe und Verwendung dieses Abstandes zur Ermittlung des Farbfeldes und/oder der Zentralwellenlänge.
Gemäß einem bevorzugten Verfahren umfasst die Modifikation (die hier eine Adaption ist) eine Kalibration des Bereichs des Bildsensors oder der Bilder, die mit diesem Be reich aufgenommen worden sind. Die vorbeschriebenen Maßnahmen zur Modifikation werden hier also bevorzugt zur Kalibration des Bildsensors oder von Bildern eingesetzt, so dass die spektrale Information je Pixel entsprechend angepasst wird. Ist das Farbfeld nicht konstant, so ist nun bekannt, welche Spektralinformation die Pixel des betreffenden Bereichs widerspiegeln. Bevorzugt ist dabei die Modifikationsfunktion eine Kalibrationsfunktion, die für Pixel des Bereichs des Bildsensors oder von mit diesem Bereich aufgenommenen Bildern einen Kalibrationswert basierend auf dem Farbfeld umfasst, mit dem die betreffenden Pixel kalibriert werden.
Gemäß einem bevorzugten Verfahren umfasst die Modifikation eine Verbesserung der spektralen Information der Aufnahmen des Bildsensors, wobei in einem Bild mindes tens zwei Pixel ermittelt werden, deren Zentralwellenlängen bekannt sind und die zu einem Bildbereich gehören, für den ein annähernd gleiches Spektrum angenommen wird. Die Pixel liegen also an unterschiedlichen Koordinaten eines Bildes und weisen daher aufgrund der vorangehend geschilderten Dispersionseffekte, Fehler des Filters oder einfach wegen der Verwendung eines linear-variierenden Filters hier unterschied liche Zentralwellenlängen auf. Im Folgenden wird angenommen, dass die Pixel alle zu einem einzigen Objekt des Motivs gehören, wobei als Objekt ein Bereich angenommen wird, der annähernd dasselbe Spektrum hat (wobei „annähernd“ bedeutet: im Bereich der gewünschten Messgenauigkeit). In diesem Fall geben all diese Pixel Spektralinfor mationen wieder wie sie an allen Koordinaten der Pixel vorherrschen sollten (aufgrund des annähernd gleichen Spektrums). Hierzu erfolgt in dem Bild bevorzugt eine Objekt erkennung wie sie hier bereits an anderen Stellen beschrieben wird. Die spektralen In formationen der Pixel werden nun zu einer spektralen Gesamtinformation für mindes tens eines der Pixel (bevorzugt für Pixelgruppen oder alle Pixel) zusammengefasst.
Selbstverständlich kann dieses (und das folgende) Verfahren für unterschiedliche Spektralkanäle (Spektralbilder) durchgeführt werden, was zu einer Verbesserung der spektralen Auflösung führt.
Gemäß einem weiteren bevorzugten Verfahren umfasst die Modifikation ebenfalls eine Verbesserung der spektralen Information der Aufnahmen des Bildsensors. Dieses Verfahren bedient sich des gleichen Prinzips wie das vorangehend beschriebene Verfahren: Zwei Pixel die individuelle (unterschiedliche) Zentralwellenlängen haben und aus einem Bereich stammen, der annähernd dasselbe Spektrum hat, ergänzen die spektrale Gesamtinformation. Waren es im vorangehenden Verfahren Pixel in demsel- ben Bild aber an unterschiedlichen Stellen eines Objekts, so werden im Folgenden Pixel an derselben Stelle eines Objekts aber in unterschiedlichen Bilder betrachtet. Bevorzugt können beide Verfahren angewendet werden, um die Spektralinformation weiter zu verfeinern. Besonders gut eignet sich für beide Verfahren ein Multilinsen- Kamerasystem mit einem linear-variablen Filterelement, wobei in diesem Fall mit dem Begriff „unterschiedliche Bilder“ auch unterschiedliche Bildregionen oder unterschied liche Teil-Bilder gemeint sein können, da das Filterelement über ein Bild hinweg einen linearen Verlauf einer Zentralwellenlänge aufweist.
Das bevorzugte weitere Verfahren umfasst die folgenden zusätzlichen Schritte:
- Aufnahme von mindestens zwei Bildern mit demselben Bereich des Bildsensors vom selben Motiv aus anderen Blickwinkeln oder mit einem verschobenen Motiv. Die Bilder können z.B. zu unterschiedlichen Zeiten bei einer Relativbewegung von Kamerasystem und Motiv aufgenommen werden oder das Motiv in dem Bereich des Bildsensors ver schoben werden. Wichtig ist, dass die Bilder nicht identisch sind, sondern zumindest ein Objekt des Motivs in den Bildern an unterschiedlichen Koordinaten abgebildet wird und/oder aus unterschiedlichen Blickwinkeln. Letzteres kann bereits aufgrund von Dis persionseffekten auch an derselben Bildposition unterschiedliche Zentralwellenlängen hervorrufen. Selbstverständlich können mehrere Bilder aufgenommen werden, wobei jedes zusätzliche Bild eine Verbesserung des Spektrums darstellt. Eine Änderung des Blickwinkels kann sich auch durch eine Verkippung des Filterelements ergeben oder durch eine laterale Relativ-Verschiebung von Filterelement und Linsenmatrix, da es bei dem Blickwinkel auf denjenigen Wnkel ankommt, mit dem eintreffendes Licht durch das Filterelement tritt. An Stelle des Begriffs „Blickwinkel“ könnte also auch der Begriff „Filterdurchtrittswinkel“ verwendet werden, wobei „Blickwinkel“ jedoch die Verständlichkeit verbessert.
- Ermittlung von Pixeln der Bilder, die gleichen Bereichen des Motivs entsprechen. Die Pixel liegen also an denselben Stellen des Motivs (aber nicht unbedingt des Bildes). Nach den vorhergehenden Ausführungen ist klar, dass diese Pixel typischerweise an unterschiedlichen Bildkoordinaten liegen und sollten sie an denselben Bildkoordinaten liegen aufgrund unterschiedlicher Blickwinkel unterschiedliche Zentralwellenlängen haben sollten. Selbst verständlich können einige der Pixel auch identische Zentralwellenlängen haben, dies würde nur keinen Informationsgewinn darstellen.
- Ermittlung der Zentralwellenlänge der jeweiligen Pixel. Normalerweise erhält man eine Gruppe von Pixeln mit jeweils unterschiedlichen Zentralwellenlängen.
- Zusammenfassung der spektralen Informationen der Pixel zu einer spektralen Ge samtinformation für mindestens eines der Pixel (bevorzugt für alle Pixel). Die betref fenden Pixel enthalten also nun die spektralen Informationen der jeweils anderen Pixel.
Alternativ oder zusätzlich erfolgt eine Ermittlung des Blickwinkels, unter dem die Pixel abgebildet worden sind aus der Zentralwellenlänge und Bestimmung der Intensitäten der Pixel in Abhängigkeit von dem Blickwinkel.
Aus den Blickwinkeln, unter denen ein Objekt (oder ein Pixel) in unterschiedlichen Spektralbereichen gesehen wird, also an unterschiedlichen Bereichen des Bildsensors kann auch die Abstrahlcharakteristik des Objekts (oder Pixels) ermittelt werden. Dabei wird die Intensität des Objekts (oder Pixels) in unterschiedlichen Kanälen aufgenom men und gegen den Bickwinkel aufgetragen. Insbesondere wird die Auftragung in Form einer bidirektionalen Reflektionsverteilungsfunktion vorgenommen (engl.: Bidirectional reflectance distribution fuction, BRDF). Dieser Blickwinkel ergibt sich dabei z.B. aus dem Ort auf dem Bildsensor. Besonders bevorzugt ist es, wenn das Objekt (Pixel) aus zwei unterschiedlichen Blickwinkeln der Kamera betrachtet wird.
Zwar wird das Objekt in den Bildern in der Regel in unterschiedlichen Spektralkanälen dargestellt, jedoch kann im einfachsten Fall angenommen werden, dass die Abstrahl charakteristik für alle Wellenlängen gleich ist und die (wellenlängenabhängige) Intensi tät je Kanal könnte mit dem bekannten Spektrum des Objekts normiert werden. Alternativ kann natürlich das Objekt im gleichen Kanal aus zwei oder mehr Blickwinkeln aufgenommen werden und eine Normierung der Intensität der Spektralkanäle daraus erfolgen.
Es ist insbesondere bevorzugt, dass das Motiv nach der Aufnahme des ersten Bildes auf dem Bildsensor verschoben wird, dies kann beispielsweise dadurch geschehen, dass ein Spiegel oder eine Linsenmatrix des Multilinsen-Kamerasystems verkippt wird. Es kann auch eine ganze Serie von Bilder aufgenommen werden, insbesondere mittels einer solchen Verkippung. Durch die Verschiebung werden identische Punkte oder Bereiche des Motive auf unterschiedlichen Pixeln des Bildsensors abgebildet eine damit einhergehende Verschiebung der Zentralwellenlänge kann wie vorangehend beschrieben zur Verbesserung der spektralen Auflösung verwendet werden. Beispiels weise kann zuerst ein erstes Bild aufgenommen werden und dann eine Sequenz aus mehreren Bildern während einer Verschiebung aufgenommen werden, insbesondere in Form eines Films, mit einer geringeren räumlichen Auflösung oder mit einer verminder ten Belichtungszeit, um die spektrale Auflösung des ersten Bildes zu verbessern. Alternativ oder zusätzlich kann aber auch eine oben erwähnte laterale Relativverschiebung von Filterelement und Linsenmatrix erfolgen und/oder ein Wechsel des Filterelements, z.B. durch ein Filterrad oder einen Austausch des Filters.
Gemäß einer bevorzugten Ausführungsform umfasst das Filterelement einen Mosaik- Filter. Bevorzugt ist das Mosaik des Mosaik-Filters so angeordnet, dass große Wellenlängenschritte innen sind, während kleinere Intervalle außen sind. Bei einer bevorzugten Form des Mosaik-Filters ist ein Farbmosaik, insbesondere ein Farbglasmosaik, auf einer Seite eines Substrats, bevorzugt Glas, aufgebracht, insbesondere aufgedampft. Gemäß einer vorteilhaften Ausführungsform ist auf der Vorderseite eines Substrats das Filterelement (ein Mosaik-Filter oder ein anderer Filter) aufgebracht und auf der Rückseite des Substrats die Linsenmatrix (z.B. aufgeprägt). Bevorzugt transmittiert ein Mosaik-Filter für jede Einzellinse eine andere Wellenlänge.
Gemäß einer bevorzugten Ausführungsform umfasst das Filterelement einen linearvari ablen Filter mit Filterlinien („Verlaufsfilter“), welcher bevorzugt im Hinblick auf die Aus richtung der Filterlinien bezüglich der Linsenmatrix in einem Winkel zwischen 1° und 45° verdreht ist. Alternativ oder zusätzlich umfasst das Filterelement eine Filtermatrix, besonders bevorzugt einen Mosaik-Filter.
Gemäß einer bevorzugten Ausführungsform umfasst das Multilinsen-Kamerasystem eine Aperturmaske zwischen Linsenmatrix und Bildsensor, wobei Aperturen auf der Aperturmaske entsprechend den Linsen der Linsenmatrix positioniert sind und die Aperturmaske so positioniert ist, dass Licht der Abbildungen der einzelnen Linsen durch Aperturen der Aperturmaske tritt. Die Aperturmaske weist also das gleiche Muster wie die Linsenmatrix auf, wobei statt der Linsen dort Aperturen vorliegen.
Zur Bestimmung von Wellenlängenabweichungen, insbesondere zur Verbesserung der Ergebnisse bei der Dispersionskalibration oder der Verbesserung der spektralen Auflö sung, können noch Modifikationsverfahren, insbesondere Kalibrationsschritte, erfolgen, die auch unabhängig von dem oben vorgestellten erfindungsgemäßen Verfahren einen Vorteil für Aufnahmen mit einem ein Multilinsen-Kamerasystem darstellen. Hier ergibt sich das Problem, dass ein nicht optimal kalibriertes Multilinsen-Kamerasystem nicht optimale Aufnahme liefert. Eine Modifikation mit jedem einzelnen der nachfolgenden alternativen Möglichkeiten, alleine oder in Kombination miteinander, verbessert die Aufnahme eines Multilinsen-Kamerasystems.
Ein bevorzugtes Kalibrationsverfahren für ein multispektrales Multilinsen-Kamera system dient der Identifikation einer interessierenden Region (engl: Region of Interest oder kurz: ROI). Es umfasst die folgenden Schritte:
- Aufnahme eines Bildes mit dem multispektralen Multilinsen-Kamerasystem, wobei dieses Bild bevorzugt eine uniforme Helligkeitsverteilung aufweist bzw. eine so große Helligkeit aufweist, dass eine Überbelichtung des Bildsensors auftritt. Eine Überbelich tung hat den Vorteil, dass in diesem Falle Regionen in einem aufgenommenen Bild Sichtbarwerden, die durch Abschirmungseffekte (z.B. durch Aperturränder) weniger Licht erhalten. Diese Bereiche sollten nicht mehr zur ROI dazugehören, da nicht sicher gestellt ist, dass die Bildinformationen hier optimal sind (durch die Abschirmungs effekte). Es ergibt sich ein Bild, bei dem jeweils nur der für die ROI sichtbare Bereich beleuchtet ist.
- Kreuzkorrelation des Bildes mit einem Vergleichsbild, insbesondere mit einem Referenzbild (z.B. einem Idealsensorbild).
- Optional: Durchführung einer Hough-Transformation. Mittels dieser Hough- Transformation können die Winkel der Bilder in Übereinstimmung gebracht werden. - Auswahl desjenigen Bereichs aus den Bildern, der gemäß der Autokorrelation und/oder Kreuzkorrelation die höchste Ähnlichkeit aufweist. Diese Auswahl umfasst bevorzugt eine Vereinzelung des ausgewählten Bereichs oder eine Begrenzung eines Bildausschnitts auf diesen ausgewählten Bereich. Bevorzugt erfolgt in diesem Rahmen eine entsprechende vorbestimmte Definition im Referenzbild oder des Referenzbildes und eine Objektsegmentierung des aufgenommenen Bildes.
Ein bevorzugtes Kalibrationsverfahren für ein multispektrales Multilinsen-Kamera- system dient der Korrektur von Linsenfehlern. Es umfasst die folgenden Schritte:
- Aufnahme eines Bildes eines vorbekannten Optik-Targets abgebildet durch eine zu überprüfende Linse des Multilinsen-Kamerasystems. Es ist dabei bevorzugt, dass eine Aufnahme jedes Kanals des Multilinsen-Kamerasystems erfolgt, damit das gesamte System auf Linsenfehler untersucht werden kann.
- Berechnung der optischen Linsenfehler basierend auf diesen Aufnahmen und den bekannten Maßen des Optik-Targets, bevorzugt mit einem Levenberg-Marquard- Algorithmus mittels der bestimmten Linsenparameter.
Ein bevorzugtes Kalibrationsverfahren für ein multispektrales Multilinsen-Kamerasys- tem dient der Kalibrierung von Projektionsfehlern. Es umfasst die folgenden Schritte:
- Bereitstellung eines Bildes (Aufnahme oder Auslesen aus einem Datenspeicher) eines vorbekannten Optik-Targets mit dem multispektralen Multilinsen-Kamerasystem.
- Erkennung des Targets im Bild und bevorzugt Ermittlung von mindestens drei Koordinaten von charakterisierenden Punkten des Targets. Charakterisierende Punkte sind z.B. Ecken des Targets.
- Anwenden einer inversen Homographie. Dies ist eine eine Kollineation des 2- dimensionalen reellen projektiven Raumes auf sich, also eine Bildprojektion im Raum, die von einem Algorithmus mit einem (digitalen) Bild durchgeführt werden kann. Dabei wird eine Anpassung des Targets an ein Target vorgenommen, wie es unter einem bestimmten Abstand ohne Projektionsfehler abgebildet werden würde. Eine solche ideale Abbildung ist bekannt, da die Eigenschaften der Abbildungsoptik bekannt sind und das Target bekannt ist. Bevorzugt werden dabei nur Koordinaten von charakterisie renden Referenzpunkten verwendet und Koordinaten der entsprechenden charakteri sierenden Punkte des im Bild erkannten Targets auf die Referenzpunkte registriert. Dieses bevorzugte Verfahren erlaubt durch die Verwendung der Homogrpahie eine Korrektur der Translation (Verschiebung), Rotation, Scherung und Skalierung.
Ein bevorzugtes Kalibrationsverfahren für ein multispektrales Multilinsen-Kamera- system dient der Verbesserung dessen Auflösung. Es umfasst die folgenden Schritte:
- Aufnahme von mindestens zwei Bildern, wobei verglichen mit dem jeweils anderen Bild ein Bild eine höhere Ortsauflösung hat und das andere Bild eine höhere spektrale Auflösung hat. Es wird dabei bevorzugt eine Vielzahl von Bildern niedriger Ortsauflösung in unterschiedlichen Spektralbereichen und ein Pan-Bild bzw. ein Graustufenbild mit einer höheren Ortsauflösung aufgenommen.
Optional kann das Multilinsen-Kamerasystem noch zusätzlich kalibriert werden, insbesondere mit einem vorangehend beschriebenen Verfahren zur Kalibrierung von Projektionsfehlern. Besonders bevorzugt erfolgt vorher eine Bestimmung der Parallaxe von Objekten in den Bildern und eine Kompensation der Parallaxe.
- Extrapolation eines räumlich oder spektral hochauflösdenden Bildes aus den mindes tens zwei Bildern. Dabei wird die höhere Ortsauflösung des einen Bildes dazu verwen det die Ortsauflösung des Bildes mit der höheren spektralen Auflösung zu verbessern und/oder die höhere spektralen Auflösung des anderen Bildes wird dazu verwendet die spektralen Auflösung des Bildes mit der höheren Ortsauflösung zu verbessern.
Insbesondere wird in der bevorzugten Vielzahl von Einzelkanälen (Spektralbildern) die Ortsauflösung basierend auf den Informationen des Bildes mit der höheren Ortsauflö sung vergrößert. Dabei wird bevorzugt das bekannte Prinzip des Pan-Sharpening angewandt. In diesem Rahmen wird ausgenutzt, dass, wenn man das Motiv betrachtet, zu einem Pixel eines Bildes eines Spektralkanals eine Gruppe von Pixeln des Bildes mit der höheren Ortsauflösung gehört, z.B. 10x10 Pixel aus dem Pan-Bild. Es wird nun bevorzugt aus einem Pixel eines (Spektral-) Bildes eine entsprechende Gruppe von Pixeln erzeugt (z.B. 10x10 spektrale Pixel), indem die Form des Spektrums aus dem ursprünglichen Spektralpixel verwenden wird, die Helligkeit jedoch vom Pan-Bild.
Alternativ oder ergänzend kann die spektrale Auflösung des Bildes mit der höheren Ortsauflösung verbessert werden. Existiert wie oben gesagt ein erstes Bild mit einer höheren Ortsauflösung und einer geringeren spektralen Auflösung (es müssen jedoch mehr als drei Kanäle vorhanden sein) und ein zweites Bild mit einer geringeren Ortsauflösung und einer höheren spektralen Auflösung, ist dies möglich. Die spektrale Auflösung des ersten Bildes wird verbessert, so dass (nahezu) eine spektrale Auf lösung des zweiten Bildes erreicht wird, indem man die fehlenden spektralen Kanäle für das erste Bild aus den Informationen des zweiten Bildes interpoliert. Dies erfolgt bevorzugt dadurch dass ein Pixel des zweiten Bildes einer zusammenhängenden Pixelgruppe des ersten Bildes zugeordnet wird und dieser Pixelgruppe die spektrale Informationen des Pixels des zweiten Bildes zugeordnet wird. Dies kann z.B. so erfolgen, dass bei einer Z-mal größeren räumlichen Auflösung des ersten Bildes jeder Block aus ZxZ Pixeln des ersten Bildes (Pixelgruppe) einem Pixel des zweiten Bildes an der entsprechenden (die Blöcke berücksichtigenden) Bildposition zugeordnet wird.
Das Ergebnis kann jedoch noch verbessert werden, indem eine Objekterkennung innerhalb des ersten Bildes (bzw. in den Pixelgruppen) erfolgt. Dabei wird die Annahme zugrundegelegt, dass die Spektren innerhalb eines Objekts annähernd gleich sind. Die Objekterkennung kann noch mit Informationen des zweiten Bildes verbessert werden, in dem Teile von Objekten mit unterschiedlichen Spektren voneinander separiert und als eigenständige Objekte behandelt werden. Es können danach z.B. unterschiedliche aneinander grenzende Bereiche im ersten Bild vorliegen, die durch Kanten voneinan der getrennt sind. Nun werden innerhalb einer Pixelgruppe im ersten Bild Bereiche unterschiedlicher Objekte unterschiedlich behandelt, indem diesen unterschiedliche Spektren zugewiesen werden. Bei homogenen Pixelgruppen ist es einfach: diesen wird die spektrale Information des entsprechenden Pixels des zweiten Bildes zugewiesen (s. vorangehendes Verfahren). Befinden sich in einer Pixelgruppe Teile unterschiedli cher Objekte, so werden für das eine Objekt die spektralen Informationen des zweiten Bildes für dieses eine Objekt verwendet und für das andere Objekt die spektralen Infor mationen des zweiten Bildes für dieses andere Objekt. Für jedes weitere Objektteil wird entsprechend verfahren. Da in diesem Falle die spektralen Informationen des entspre- chenden Pixels im zweiten Bild eine Faltung unterschiedlicher Objekt-Spektren sein könnten, können hier die Spektren benachbarter Pixel im zweiten Bild hinzugezogen werden, die Informationen zu den betreffenden Objekten enthalten. Alternativ oder ergänzend kann eine zusätzliche Objekterkennung im zweiten Bild erfolgen, welchen den Objekten des ersten Bildes entsprechen und diesen Objekten aus den Informa tionen des zweiten Bildes entsprechende Spektralinformationen zugewiesen werden.
Wenn die Farbkanäle jeweils nicht homogen sind (also die Zentralwellenlänge für die Pixel in einem Kanal (Bild) über die Bildebene hinweg jeweils einem Verlauf folgt), können diese Informationen zusätzlich zu einer Verbesserung des Spektrums dienen. Hierzu wird wieder von der Annahme ausgegangen, dass innerhalb eines Objektes das Spektrum homogen ist, zumindest bezüglich zweier benachbarter Punkte innerhalb des Objekts. Bei nicht-homogenen Farbkanälen wird das Spektrum zweier benachbarter Pixel bei Aufnahme eines homogenen Motivs leicht differieren. Das eine Pixel „sieht“ das Motiv mit der Wellenlänge w. das zweite mit der Wellenlänge w±Äw. Stellt man nun in einem Bild fest, dass die beiden Pixel ein (als homogen angenommenes) Objekt darstellen, so kann diesem Objekt nicht nur die Wellenlänge w, sondern auch die Wellenlänge w±Äw zugeordnet werden und das Spektrum des Objekts diesbezüglich verfeinert werden.
In einem beispielhaften Fall, in dem das eine Bild eine Ortsauflösung von 50x50 Pixeln und eine spektrale Auflösung von 500 Kanälen hat und das andere Bild eine Ortsauflösung von 500x500 Pixeln und eine spektrale Auflösung von 10 Kanälen, so könnte die Ortsinformation eines resultierenden Bildes mittels (Teil-)Pan-Sharpening auf 500x500 gebracht werden, und das Spektrum mittels "Spektralsharpening" auf 500, das Ergebnis wäre eine Ortsauflösung von 500x500 Pixeln bei einer spektralen Auflösung von 500 Kanälen.
Das folgende Verfahren kann sehr einfach mit dem vorangehend beschriebenen kombiniert werden, benötigt jedoch in seiner grundsätzlichen Form nicht zwingend zwei Bilder. Auch aus einem einzelnen Bild kann eine genauere spektrale Information ermittelt werden. Bevorzugt werden zu jedem Spektrum eines Pixels die Spektren zumindest der direkt benachbarten Pixel hinzugefügt. Diese benachbarten Spektren beinhalten, wie gesagt, andere Wellenlängeninformationen (andere Stützstellen wegen anderer Zentralwellenlängen). Dieses einfache Verfahren erhöht zwar die Auflösung der Spektren, kann jedoch in den Übergangsbereichen zwischen unterschiedlichen Objekten eines Motivs zu Fehlern führen.
Das Ergebnis kann jedoch auch hier noch verbessert werden, indem eine Objekterkennung innerhalb des Bildes erfolgt. Dabei wird wieder die Annahme zugrundegelegt, dass die Spektren innerhalb eines Objekts annähernd homogen sind. Sollten die Spektren innerhalb eines Objekts stark differieren, kann auch wieder eine Objektsegmentierung durchgeführt werden in dem Teile von Objekten mit unterschiedlichen Spektren voneinander separiert und als eigenständige Objekte behandelt werden. Es können danach z.B. unterschiedliche aneinander grenzende Bereiche im Bild vorliegen, die durch Kanten voneinander getrennt sind. Nun werden die Spektren von Pixeln innerhalb eines Objekts, insbesondere den Pixeln aus dem Zentrum des Objekts miteinander vereinigt. Diese Vereinigung kann darin bestehen, dass die Spektren jeweils benachbarter Pixel vereinigt werden oder auch die Spektren aller Pixel. Ersteres ergibt selbst bei leicht inhomogenen Objekten eine annehmbare Verbesserung, das zweite bei homogenen Objekten eine sehr große Auflösung. Beide Alternativen können miteinander kombiniert werden, in dem ein Objekt in konzentrische Bereiche unterteilt wird und die Spektren der Pixel dieser Bereiche kombiniert werden.
Bevorzugte weitere Kalibrationsverfahren für ein multispektrales Multilinsen- Kamerasystem sind bekannte Verfahren zur Kalibration des Dunkelstroms und/oder Kalibrationen zum Weißabgleich und/oder eine radiometrische Kalibrierung und/oder eine Kalibration im Rahmen der Photo Response Non Uniformity („PRNU“)·
Beispiele für bevorzugte Ausführungsformen der erfindungsgemäßen Vorrichtung sind in den Abbildungen dargestellt.
Figur 1 zeigt ein Multilinsen-Kamerasystem gemäß dem Stand der Technik.
Figur 2 zeigt eine Szene einer Aufnahme. Figur 3 zeigt von oben eine Szene einer Aufnahme und ein Multilinsen-Kamerasystem mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung.
Figur 4 zeigt ein Beispiel für einen Dispersionseffekt.
Figur 5 zeigt ein Beispiel zur Zentralwellenlänge und zur Modifikationsfunktion.
Figur 6 zeigt ein Beispiel zur Spektralverbesserung für ein aufgenommenes Bild.
Figur 7 zeigt ein weiteres Beispiel zur Spektralverbesserung für zwei aufgenommene Bilder.
Figur 8 zeigt ein beispielhaftes Blockdiagramm für das erfindungsgemäße Verfahren.
Figur 1 zeigt schematisch ein Multilinsen-Kamerasystem 1 zur hyperspektralen Aufnahme von Bildern gemäß dem Stand der Technik in einer perspektivischen Darstellung. Das Multilinsen-Kamerasystem 1 umfasst einen flächigen Bildsensor 3, und eine flächige Linsenmatrix 2 aus gleichförmigen Einzellinsen 2a, welche so angeordnet ist, dass sie von einem Motiv M eine Vielzahl von rasterförmig angeordneten ersten Abbildungen AS (s. z.B. ausschließlich die kleinen ersten Abbildungen AS in Figur 5) auf dem Bildsensor 3 erzeugt. Der Übersicht halber ist nur eine der Einzellinsen 2a mit einem Referenzzeichen versehen.
Zur Verbesserung der Qualität der ersten Abbildungen AS ist eine Aperturmaske 5 zwischen Bildsensor 3 und Linsenmatrix 2 angeordnet. Jede Apertur 5a der Apertur maske 5, ist einer Einzellinse 2a zugeordnet und genau hinter dieser angeordnet. Zum Erhalt der spektralen Informationen ist ein Filterelement 4 zwischen Aperturmaske 5 und Bildsensor 3 angeordnet. Dieses Filterelement 4 kann in anderen Ausführungen auch vor der Linsenmatrix angeordnet sein (s. z.B. Figur 8). In dem hier dargestellten Fall handelt es sich bei dem Filterelement 4 um einen linearvariablen Filter, der gegen über dem Bildsensor etwas verdreht ist. Jede Abbildung hat damit ihren Mittelpunkt bei einem anderen Längenwellenbereich des Filterelements. Somit liefert jede erste Abbil dung AS auf dem Bildsensor eine andere spektrale Information und die Gesamtheit der ersten Abbildungen AS dient zur Erstellung eines Bildes mit spektralen Informationen.
Figur 2 zeigt eine Szene einer Aufnahme eines Motivs M . Dieses Motiv umfasst ein Haus, welches hier als Hintergrund H dient und einen Baum als Objekt O im Vordergrund. Dieses Motiv wird durch ein Multilinsen-Kamerasystem 1 aufgenommen. Figur 3 zeigt das Motiv M aus Figur 2 von oben. Das Multilinsen-Kamerasystem 1 umfasst hier ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 6. Diese Vorrichtung umfasst eine Datenschnittstelle 7, eine Ermittlungseinheit 8, eine Bestimmungseinheit 9 und eine Verarbeitungseinheit 10.
Die Datenschnittstelle 7 ist zum Empfang von den Bildern ausgelegt, die von dem Multilinsen-Kamerasystem 1 aufgenommen worden sind. Sie kann beispielsweise auf den Bildsensor direkt zugreifen, auf eine Speichereinheit oder mit einem Netzwerk kommunizieren.
Die Ermittlungseinheit 8 ist zur Ermittlung eines Farbfeldes F eines Bereichs eines Filterelements 4 des Multilinsen-Kamerasystems 1, welcher einem vorbestimmten Bereich eines Bildsensors 3 des Multilinsen-Kamerasystems 1 zugeordnet ist ausgelegt.
Die Bestimmungseinheit 9 ist zur Bestimmung der Zentralwellenlänge Z für mindestens zwei Pixel P1, P2 des vorbestimmten Bereichs des Bildsensors 3 basierend auf dem ermittelten Farbfeld F, ausgelegt.
Die Verarbeitungseinheit 10 ist zum Modifizieren der Einstellungen des Bereichs des Bildsensors 3 ausgelegt und/oder von Bildern B, die mit diesem Bildsensor 3 aufgenommen worden sind. Die Modifikation wird basierend auf den bestimmten Zentralwellenlängen Z durchgeführt. Alternativ oder zusätzlich ist die Verarbeitungseinheit zur Erzeugung eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme ausgelegt.
Figur 4 zeigt ein Beispiel für einen Dispersionseffekt. Zwei Lichtstrahlen (Pfeile) mit einem ausgedehnten Spektrum treten im unterschiedlichen Winkel durch ein Filterelement 6 hindurch und legen daher im Filterelement 6 eine unterschiedliche Strecke zurück. Dies kann zu einer Verschiebung der Zentralwellenlänge Z führen. Zudem kann das Filterelement 6 an unterschiedlichen Orten unterschiedliche Wellenlängen durchlassen, was ebenfalls zu unterschiedlichen Zentralwellenlängen führt (selbst wenn die Lichtstrahlen parallel wären). Figur 5 zeigt ein Beispiel zur Zentralwellenlänge Z (links) und zur Modifikationsfunktion, die hier eine Adaptionsfunktion A (rechts) ist. Für einen Lichtstrahl mit einem breiten Spektrum, der durch ein Filterelement 6 tritt (s. z.B. Figur 4) ergibt sich nach dem Durchtritt ein schmales Spektrum mit einer Zentralwellenlänge Z. Trägt man für ein Pixelfeld mit den Koordinaten x und y alle Zentralwellenlängen Z oder von diesen Zentralwellenlängen Z abgeleitete Kalibrationswerte in ein Schaubild ein, welches die Koordinaten x und y mit einer Wellenlänge l vereinigt (z.B. die Zentralwellenlänge Z), dann erhält man beispielsweise eine Verteilung, wie rechts dargestellt. Dies wäre eine beispielhafte Darstellung der Werte einer Adaptionsfunktion A als Beispiel für eine Modifikationsfunktion.
Figur 6 zeigt ein Beispiel zur Spektralverbesserung für ein aufgenommenes Bild B. In diesem Beispiel wird angenommen, dass die gesamte Krone des Baumes, der hier das Objekt O darstellt, dasselbe Spektrum hat, d.h. jedes Pixel P1, P2, welches die Krone des Baumes wiedergibt, sollte einen Wert desselben Spektrums wiedergeben. Da die Pixel P1, P2 jedoch an unterschiedlichen Orten liegen, haben sie auch unterschiedli che Zentralwellenlängen Z (s. z.B: die rechte Verteilung aus Figur 5). Dies bedeutet, dass die Intensität der beiden Pixel P1, P2 eine Information eines jeweils unterschiedli chen Teils eines Gesamtspektrums wiedergibt. Jedem Pixel P1, P2 kann also die Zentralwellenlänge Z beider Pixel P1, P2 zugeordnet werden.
Figur 7 zeigt ein weiteres Beispiel zur Spektralverbesserung für zwei aufgenommene Bilder. Das Prinzip ist sehr ähnlich zu Figur 8 mit dem Unterschied, dass die beiden Pixel an unterschiedlichen Koordinaten zweier unterschiedlicher Bilder liegen, aber an derselben Objektkoordinate des Baumes (Objekt O). Auch hier gibt jedes Pixel P1, P2, einen Wert desselben Spektrums wieder. Da die Pixel P1 , P2 jedoch an unterschiedli chen Bereichen des Bildsensors 3 liegen, haben sie auch unterschiedliche Zentral wellenlängen Z (s. z.B: die rechte Verteilung aus Figur 5). Dies bedeutet, dass die Intensität der beiden Pixel P1, P2 eine Information eines jeweils unterschiedlichen Teils eines Gesamtspektrums wiedergibt. Jedem Pixel P1, P2 kann also die Zentralwellenlänge Z beider Pixel P1, P2 zugeordnet werden.
Figur 8 zeigt ein beispielhaftes Blockdiagramm für das erfindungsgemäße Verfahren zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems 1. In Schritt I erfolgt eine Ermittlung eines Farbfeldes F für einen Bereich eines Filterelements 4 des Multilinsen-Kamerasystems 1, welcher einem vorbestimmten Bereich eines Bildsensors 3 des Multilinsen-Kamerasystems 1 zugeordnet ist.
In Schritt II erfolgt eine Bestimmung der Zentralwellenlänge Z für mindestens zwei Pixel (P1, P2) des vorbestimmten Bereichs des Bildsensors 3 basierend auf dem ermittelten Farbfeld F.
In Schritt III erfolgt eine Modifikation des Bereichs des Bildsensors 3 und/oder von Bildern B, B1, die mit diesem Bildsensor 3 aufgenommen worden sind, und/oder Erzeugen eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen Z.
Bevorzugte Modifikationen sind in Schritt 3 noch genauer aufgeschlüsselt.
In Schritt lila erfolgt eine Kalibration (als Beispiel für eine Modifikation) des Bereichs des Bildsensors 3 oder der Bilder B, die mit diesem Bereich aufgenommen worden sind (s. hierzu auch Figur 6).
In Schritt lllb erfolgt eine Verbesserung der spektralen Information der Aufnahmen des Bildsensors 3, wobei in einer Anzahl von Bildern B, B1 mindestens zwei Pixel P1, P2 ermittelt werden, deren Zentralwellenlängen Z bekannt sind und die zu einem Bildbereich gehören, für den ein gleiches Spektrum angenommen wird und wobei die spektralen Informationen der Pixel P1, P2 zu einer spektralen Gesamtinformation für mindestens eines der Pixel P1, P2 zusammengefasst wird (s. hierzu auch Figur 7). Solch eine Verbesserung der spektralen Information kann eine Modifikation eines Bildes darstellen oder in Form eines ergänzenden Datensatzes vorliegen.
Abschließend wird angemerkt, dass die Verwendung der unbestimmten Artikel, wie z.B. „ein“ oder „eine“, nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. So kann „ein“ auch als „mindestens ein“ gelesen werden. Begriffe wie „Einheit“ oder „Vorrichtung“ schließen nicht aus, dass die betreffenden Elemente aus mehreren zusammenwirkenden Komponenten bestehen können, die nicht unbedingt in einem gemeinsamen Gehäuse untergebracht sind, auch wenn der Fall eines umfassenden Gehäuses bevorzugt ist. Im Bereich der Optik kann insbeson dere das Element der Linse aus einer einzelnen Linse oder einem System von Linsen oder einem Objektiv bestehen ohne dass dies einer genauen Differenzierung bedarf.
Bezugszeichenliste
1 Multilinsen-Kamerasystem
2 Linsenmatrix
2a Einzellinse
3 Bildsensor
4 Filterelement
5 Aperturmaske
5a Apertur
6 Vorrichtung
7 Datenschnittstelle
8 Ermittlungseinheit
9 Bestimmungseinheit
10 Verarbeitungseinheit
A Adaptionsfunktion
B Bild
B1 Bild
F Farbfeld
H Hintergrund
M Motiv
O Objekt
Z Zentralwellenlänge

Claims

Ansprüche
1. Verfahren zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems (1) umfassend die Schritte:
- Ermittlung eines Farbfeldes (F) für einen Bereich eines Filterelements (4) des Multilinsen-Kamerasystems (1), weicher einem vorbestimmten Bereich eines Bildsensors (3) des Multilinsen-Kamerasystems (1) zugeordnet ist,
- Bestimmung der Zentralwellenlänge (Z) für mindestens zwei Pixel (P1, P2) des vorbestimmten Bereichs des Bildsensors (3) basierend auf dem ermittelten Farbfeld (F),
- Modifikation des Bereichs des Bildsensors (3) und/oder von Bildern (B, B1), die mit diesem Bildsensor (3) aufgenommen worden sind, und/oder Erzeugen eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen (Z).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ermittlung des Farbfeldes (F) durch eine Aufnahme und/oder Bereitstellung von einem Bild (B, B1) eines Motivs (M) durch das multispektrale Multilinsen-Kamerasystem (1) erfolgt und/oder durch eine Berechnung des Verhaltens des Filterelements (4) bei Einstrahlung einer Wellenlänge mit unterschiedlichen Einfallswinkeln unter Berücksichtigung der Abbildungseigenschaften der diesem Bereich zugeordneten Optik (2) des Multilinsen-Kamerasystems (1) erfolgt.
3. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass im Rahmen der Bestimmung der Zentralwellenlänge (Z) eine Modifikationsfunk tion (A) für die Pixel (P1, P2) des vorbestimmten Bereichs des Bildsensors (3) basierend auf den ermittelten Zentralwellenlängen (Z) von mindesten zwei Pixeln (P1, P2) ermittelt wird, und dass zur Modifikation des Bereichs des Bildsensors (3) und/oder von Bildern (B, B1) diese Modifikationsfunktion (A) verwendet wird.
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung des Farbfeldes (F) diesem Informationen über die Winkelabhängigkeit für die Zentralwellenlänge (Z) des durchscheinenden Lichtes hinzugefügt werden und dass bei der Modifikation der Abstand von Elementen eines Motivs (M) berücksichtigt wird, wobei bevorzugt das Farbfeld (F) für Pixel (P1, P2) des Bildsensors (3) in Abhängigkeit von dem Abstand der dort abgebildeten Bereiche des Motivs (M) zum Multilinsen-Kamerasystem (1) ermittelt wird.
5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich eine Parallaxenbestimmung von Aufnahmen erfolgt, umfassend die Schritte:
- Aufnahme und/oder Bereitstellung von mindestens zwei Bildern (B, B1) eines Objekts (O) aufgenommen von dem multispektralen Multilinsen-Kamerasystem (1) in unterschiedlichen Spektralbereichen,
- Erkennung des Objekts (O) in den aufgenommenen Bildern (B, B1) mittels digitaler Objekterkennung und Erstellung eines virtuellen Objekts (O) aus der erkannten Abbildung des Objekts (O),
- Ermittlung von Koordinaten des virtuellen Objekts (O) in den Bildern (B, B1) in Form von absoluten Bildkoordinaten und/oder relativer Bildkoordinaten zu anderen Elementen in den Bildern (B, B1),
- Bestimmung der Parallaxe des Objekts (O) aus den ermittelten Koordinaten und der bekannten Position der Aufnahmeorte der Bilder (B, B1) auf einem Bildsensor (3) des Multilinsen-Kamerasystems (1)
- bevorzugt: Bestimmung des Abstandes des Objektes (O) vom Multilinsen- Kamerasystem (1) und/oder von einem weiteren Objekt (O) im Bild (B, B1) basierend auf der bestimmten Parallaxe und Verwendung dieses Abstandes zur Ermittlung des Farbfeldes (F) und/oder der Zentralwellenlänge (Z).
6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Modifikation eine Kalibration des Bereichs des Bildsensors (3) oder von mit dem Bildsensor (3) aufgenommenen Bildern (B, B1) umfasst, wobei bevorzugt die Modifikationsfunktion (A) eine Kalibrationsfunktion ist, die für Pixel (P1, P2) des Bereichs des Bildsensors (3) oder von mit diesem Bereich aufgenommenen Bildern (B, B1) einen Kalibrationswert basierend auf dem Farbfeld (F) umfasst, mit dem die betreffenden Pixel (P1, P2) kalibriert werden und/oder wobei, bevorzugt zur Kalibration, eine Ermittlung der Abstrahlcharakteristik eines Objekts und/oder eines Punktes des Motivs erfolgt, in dem in unterschiedlichen Bildern, die vom Bildsensor aufgenommen worden sind, die Einfallswinkel der Licht- strahlen des Objekts oder Punktes des Motivs bestimmt werden und daraus der Verlauf der Intensität der entsprechenden Bildpunkte über die Einfallswinkel ermittelt wird.
7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Modifikation und/oder der erzeugte Datensatz eine Verbesserung der spektralen Information der Aufnahmen des Bildsensors (3) umfasst, wobei in einem Bild (B, B1) mindestens zwei Pixel (P1, P2) ermittelt werden, deren Zentralwellenlängen (Z) bekannt sind und die zu einem Bildbereich gehören, für den ein gleiches Spektrum angenommen wird und wobei die spektralen Informationen der Pixel (P1, P2) zu einer spektralen Gesamtinformation für mindestens eines der Pixel (P1, P2) zusammengefasst wird.
8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Verbesserung der spektralen Information der Aufnahmen des Bildsensors (3) die folgenden Schritte durchgeführt werden:
- Aufnahme von mindestens zwei Bildern (B, B1) mit demselben Bereich des Bildsensors (3) vom selben Motiv (M) aus anderen Blickwinkeln oder mit einem verschobenen Motiv,
- Ermittlung von Pixeln (P1, P2) der Bilder (B, B1), die gleichen Bereichen des Motivs (M) entsprechen,
- Ermittlung der Zentralwellenlänge (Z) der jeweiligen Pixel (P1, P2), a) Zusammenfassung der spektralen Informationen der Pixel (P1, P2) zu einer spektralen Gesamtinformation für mindestens eines der Pixel (P1, P2), und/oder b) Ermittlung des Blickwinkels, unter dem die Pixel abgebildet worden sind aus der Zentralwellenlänge und Bestimmung der Intensitäten der Pixel in Abhängigkeit von dem Blickwinkel.
9. Vorrichtung (6) zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems (1) umfassend:
- eine Ermittlungseinheit (8) ausgelegt zur Ermittlung eines Farbfeldes (F) eines Bereichs eines Filterelements (4) des Multilinsen-Kamerasystems (1), welcher einem vorbestimmten Bereich eines Bildsensors (3) des Multilinsen-Kamerasystems (1) zugeordnet ist, - eine Bestimmungseinheit (9) ausgelegt zur Bestimmung der Zentralwellenlänge (Z) für mindestens zwei Pixel (P1 , P2) des vorbestimmten Bereichs des Bildsensors (3) basierend auf dem ermittelten Farbfeld (F),
- eine Verarbeitungseinheit (10) ausgelegt zur Modifikation der Einstellungen des Bereichs des Bildsensors (3) und/oder von Bildern (B, B1), die mit diesem Bildsensor (3) aufgenommen worden sind und/oder zur Erzeugung eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen (Z).
10. Multilinsen-Kamerasystem (1) umfassend eine Vorrichtung nach Anspruch 9 und/oder ausgelegt zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 8.
EP20842551.2A 2019-12-09 2020-12-07 Verfahren und vorrichtung zur bestimmung von wellenlängenabweichungen von aufnahmen eines multilinsen-kamerasystems Pending EP4073478A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019133516.7A DE102019133516B4 (de) 2019-12-09 2019-12-09 Verfahren und Vorrichtung zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems
PCT/DE2020/101034 WO2021115532A1 (de) 2019-12-09 2020-12-07 Verfahren und vorrichtung zur bestimmung von wellenlängenabweichungen von aufnahmen eines multilinsen-kamerasystems

Publications (1)

Publication Number Publication Date
EP4073478A1 true EP4073478A1 (de) 2022-10-19

Family

ID=74187063

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20842551.2A Pending EP4073478A1 (de) 2019-12-09 2020-12-07 Verfahren und vorrichtung zur bestimmung von wellenlängenabweichungen von aufnahmen eines multilinsen-kamerasystems

Country Status (4)

Country Link
EP (1) EP4073478A1 (de)
CN (1) CN114930136B (de)
DE (1) DE102019133516B4 (de)
WO (1) WO2021115532A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0402576D0 (sv) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
US8665440B1 (en) * 2011-02-10 2014-03-04 Physical Optics Corporation Pseudo-apposition eye spectral imaging system
GB2488519A (en) * 2011-02-16 2012-09-05 St Microelectronics Res & Dev Multi-channel image sensor incorporating lenslet array and overlapping fields of view.
IN2014CN03038A (de) 2011-11-04 2015-07-03 Imec
US9395516B2 (en) 2012-05-28 2016-07-19 Nikon Corporation Imaging device
CA2987404C (en) * 2015-05-29 2024-09-10 Rebellion Photonics, Inc. HYDROGEN SULFIDE IMAGING SYSTEM

Also Published As

Publication number Publication date
CN114930136B (zh) 2025-11-11
DE102019133516A1 (de) 2021-06-10
DE102019133516B4 (de) 2021-07-15
CN114930136A (zh) 2022-08-19
WO2021115532A1 (de) 2021-06-17

Similar Documents

Publication Publication Date Title
EP3557523B1 (de) Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers
DE69207176T2 (de) Optischer Sensor
DE102012106584B4 (de) Verfahren und Vorrichtung zur Bildrekonstruktion
DE112008003342T5 (de) Aufzeichnung von 3D-Bildern einer Szene
DE112009000516T5 (de) Intraorales Abbildungssystem und Verfahren, das auf der konoskopischen Holographie beruht
DE112009004707T5 (de) Räumlich variierende Spektralantwort-Kalibrierungsdaten
DE102014113256A1 (de) Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme mit Reflexunterdrückung
DE102019008472B4 (de) Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
WO2007134567A1 (de) Verfahren zum erzeugen von bildinformationen
DE102019133515B3 (de) Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems
DE102012102580A1 (de) Verfahren zum Messen eines Objektes sowie Intraoral-Scanner
WO2022188923A1 (de) Mehrkanaloptik zur synchronen aufnahme von abbildungen
DE102019133516B4 (de) Verfahren und Vorrichtung zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems
DE102016008884B4 (de) Spektroskopievorrichtung und -verfahren
EP3049757B1 (de) Fahrwerksvermessung bei umgebungslicht
WO2012130209A2 (de) Vorrichtung und verfahren zur erfassung und analyse von laserstrahlung
WO2013079727A1 (de) Messverfahren und vorrichtung zur durchführung des messverfahrens
DE10301094B4 (de) Vorrichtung zur Messung des Abstandes von Entfernungspunkten zu einer Kamera
EP1929353A1 (de) Verfahren zur erzeugung von darstellungsbildern aus erfassten aufnahmebildern und mittel zur durchführung des verfahrens
EP4176237A1 (de) Verfahren zum abschätzen des einflusses von speckle auf eine qualität einer radiometrischen kalibration eines bildgebenden spektrometers
EP4131920B1 (de) Vorrichtung und verfahren zum erzeugen photometrischer stereobilder und eines farbbildes
DE102020206768B4 (de) Bilderfassungsvorrichtung und Verfahren zum Bestimmen einer plenoptischen Funktion
DE102024127947A1 (de) Bildgebendes Verfahren sowie Vorrichtung zum Messen von sonnenlichtinduzierter Chlorophyll-Fluoreszenzstrahlung
DE102019101324B4 (de) Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
DE10356729A1 (de) Farbsensor

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220608

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231215

17Q First examination report despatched

Effective date: 20240808