EP3911928A1 - Multilinsen-kamerasystem und verfahren zur hyperspektralen aufnahme von bildern - Google Patents

Multilinsen-kamerasystem und verfahren zur hyperspektralen aufnahme von bildern

Info

Publication number
EP3911928A1
EP3911928A1 EP20703376.2A EP20703376A EP3911928A1 EP 3911928 A1 EP3911928 A1 EP 3911928A1 EP 20703376 A EP20703376 A EP 20703376A EP 3911928 A1 EP3911928 A1 EP 3911928A1
Authority
EP
European Patent Office
Prior art keywords
images
lens
image
image sensor
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20703376.2A
Other languages
English (en)
French (fr)
Inventor
René HEINE
Arnd Raphael BRANDES
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cubert GmbH
Original Assignee
Cubert GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cubert GmbH filed Critical Cubert GmbH
Publication of EP3911928A1 publication Critical patent/EP3911928A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237—Adjustable, e.g. focussing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Definitions

  • the invention relates to a multi-lens camera system and a method for
  • hyperspectral recording of images and in particular also for the processing or processing of these images.
  • cameras are used which, in addition to a spatial resolution, have a spectral resolution that often goes beyond the visible spectrum.
  • spectral resolution For example, when measuring the earth's surface from the air, cameras are often used that not only have a normal RGB color resolution, but also deliver a high-resolution spectrum, possibly into the UV or infrared range.
  • Detection of individual planting areas in agricultural areas possible. This can be used, for example, to determine the state of growth or the health of plants or the distribution of various chemical elements such as chlorophyll or lignin.
  • hyperspectral imaging allows, for example, recognition and differentiation of different chemical elements based on the spatially resolved spectrum.
  • the original setup of a hyperspectral imaging system uses a so-called "pushbroom" scanning setup, in which one dimension is used for a spatial determination and the other dimension for a spectral determination on a two-dimensional image sensor.
  • pushbroom scanning setup
  • one dimension is used for a spatial determination
  • the other dimension for a spectral determination on a two-dimensional image sensor.
  • the object of the present invention was to overcome the disadvantages of the prior art and to provide a multi-lens camera system which achieves both a high spectral resolution and a high spatial resolution of a subject.
  • the multi-lens camera system according to the invention for hyperspectral recording of images comprises a flat image sensor, a location-sensitive spectral filter element and an imaging system.
  • the imaging system comprises a flat lens matrix with a large number of individual lenses, which are arranged in such a way that at a first point in time they generate a large number of first images of a motif arranged in a grid in a first area on the image sensor. Furthermore, the imaging system additionally comprises a further lens which is arranged in the plane of the lens matrix or offset from the plane of the lens matrix (preferably in front of the lens matrix) and is designed for this purpose in a second region of the image sensor and / or at a second time of exposure generate a second image of the motif on the image sensor.
  • the lenses are e.g. spherical lenses, cylindrical lenses, holographic lenses or Fresnel lenses or lens systems (e.g. lenses) made of several such lenses. In the following, only “lenses" are spoken for a better understanding, without restricting the general public.
  • the further lens has a focal line and / or a different focal length compared to the large number of individual lenses and is positioned such that its second image differs from the first images in at least one surface dimension of the lens Image sensor with respect to the size and / or with respect to the image information of the motif present in front of the filter element.
  • Flat image sensors are basically known to the person skilled in the art. These are particularly preferably pixel detectors which allow electronic recording of pixels (“pixels”). Preferred pixel detectors are CCD sensors (CCD: “charge-coupled device”) or CMOS sensors (CMOS: “Complementary metal-oxide-semiconductor”; German: “complementary metal-oxide semiconductor”) ). Sensors based on silicon, but also InGaAs sensors and sensors based on lead oxide or graphene are particularly preferred, in particular for wavelength ranges outside the visible range.
  • a spectral filter element which is designed in such a way that it transmits different spectral components of incident light at different positions on the surface of the filter element and does not transmit other spectral components, is referred to here as a "location-sensitive spectral filter element", whereby it is also referred to as
  • “Location-dependent spectral filter element” could be called. It is used to filter the images generated by the imaging system on the image sensor according to different (small) spectral ranges.
  • the filter element can, for example, be positioned directly in front of the lens matrix or between the lens matrix and the image sensor. It is also preferred that components of the
  • Imaging system are designed as a filter element, in particular the lens matrix.
  • the substrate of the lens matrix can be designed as a filter element.
  • a lens matrix in the sense of the invention comprises a plurality of lenses which are arranged in a grid-like manner with respect to one another, that is to say in a regular arrangement, in particular on a carrier.
  • the lenses are preferably arranged in regular rows and columns or offset from one another.
  • a rectangular or square or a hexagonal arrangement is particularly preferred.
  • the lenses can be, for example, spherical lenses or cylindrical lenses, but aspherical lenses are also preferred in some applications.
  • a preferred lens matrix is described in more detail below.
  • the lens matrix is arranged in relation to the image sensor in such a way that it generates a large number of images arranged in a grid pattern on the image sensor. Since there are two types of different images within the scope of the invention, the images of the individual lenses are referred to as “first images”. In a special subspecies of conventional spectral cameras (see also FIG. 1), only these first images (and no different second images) exist.
  • An "object” or a scenery is referred to as a "motif", i.e. a basically arbitrary area of the room that is captured by the multi-lens camera system.
  • the motif may e.g. a (geographical) floor area is also about individual objects, e.g. Products in a production line.
  • the first images of hyperspectral images always show the same area of the motif (or the entire motif).
  • the filter element who the first images with different (light) wavelengths or in different wavelength ranges recorded by the image sensor. It is noted here that, with regard to the required difference in the image information of the motif, this spectral difference generated by the filter is not meant, since the image information of the motif present in front of the filter element is meant, i.e. the type of representation of the images as they are would be done without a filter element.
  • the multi-lens camera system includes an additional lens in addition to the lens matrix. It is explicitly pointed out here that the expression “one” (as is clearly stated in general at the end of the description) should be read as “at least one”, and thus can mean “one” but also "two or more”. This further lens can thus be a single further lens, but also two or more lenses of the same or a different shape.
  • the further lens is arranged in the plane of the lens matrix, in particular on the lens matrix, or offset from the plane of the lens matrix.
  • the further lens is preferably arranged in front of the lens matrix, that is to say in such a way that the lens matrix lies between the further lens and the image sensor.
  • the specification of the positioning is to be understood such that all further lenses can lie in the plane of the lens matrix, in particular on the lens matrix (or on another common plane) or can also be arranged at different distances from the lens matrix.
  • the further lens can thus be arranged on a further lens matrix or a further one
  • Form lens matrix This would be a 1x1 matrix for a single additional lens and an Ax B matrix for several other lenses.
  • the second image differs from the first images and is generated by the second lens (or several second images are generated by a number of further lenses), specifically in a second area of the image sensor and / or at a second time of exposure. If there are a number of further lenses, there are generally also a number of second images, since each additional lens preferably produces a second image. Regarding the second recording time, this case is synonymous with the feature that the additional lens is adjustable or belongs to a changeable optic. In this preferred case, by adjusting the lens or by changing the optics, the further image is changed in size or with respect to other parameters relating to the image information, and another image is automatically present at a different time of exposure, even if the motif does not change.
  • the further lens has a focal line (in this case it is a cylindrical lens). Alternatively or additionally, it has a different focal length compared to the large number of individual lenses.
  • the further lens (or all further lenses) is positioned in such a way that its second image differs from the first images in at least one area dimension of the image sensor with regard to the size and / or with respect to the image information of the motif in front of the filter element. As already mentioned above, this means images as they would be on the image sensor without a filter element.
  • the second figure differs from the first figures.
  • This difference is preferably relative to the two surface dimensions of the Image sensor in front (i.e. both its x and y coordinate), but basically only has to be in one surface dimension (i.e. either in the x or y direction of the sensitive surface of the image sensor).
  • the difference relates to the size of the images, where it is meant that the second image occupies a smaller or a larger area on the image sensor than the first images (it is preferred here that the second image is larger than the first image and thus a higher one
  • the difference can also relate to the image information of the motif present in front of the filter element. So the image information that has not yet been filtered by the filter element. This means that apart from the effect of the filter element, the image information in the second image has different image information than the first images (e.g. the
  • the image information relates particularly preferably to the image resolution.
  • the further lens is a single lens with a longer focal length. This lens produces an image of the object on the sensor, which images the same image section as each of the individual lenses, but on e.g. four times the sensor area. A higher resolution can be achieved with the further lens
  • Location information of the same motif can be generated.
  • the image information relates particularly preferably to the representation through a cylindrical lens. Based on the focal line, the image depicts the motif in one area dimension of the image sensor; spectral information could then be measured in the other area dimension (by means of the filter element).
  • Cylindrical lens e.g. of the spherical single lens.
  • Single lenses are cylindrical lenses, the additional lens would e.g. a larger / smaller cylindrical lens or generally a non-cylindrical lens, e.g. a spherical lens.
  • the additional lens would e.g. a larger / smaller cylindrical lens or generally a non-cylindrical lens, e.g. a spherical lens.
  • Lens matrix possible, but their shape is different.
  • zoom optics can also be provided, by means of which the lens matrix or parts of the lens matrix can be enlarged or reduced, the lens matrix here also being able to be built up homogeneously from individual lenses. Combinations of the above cases are also possible.
  • the first images have a resolution of 500 x 500 pixels on the image sensor and a second image have a resolution of 1000 x 1000 (with a spherical further lens with a larger focal length).
  • a second image can also have a resolution of 500 x 1 (or even 8000 x 1) if the other lens is a cylindrical lens.
  • further pixels of the image sensor are used to obtain spectral information (with the filter element) from the entire area illuminated by the cylindrical lens.
  • a cylindrical lens as an additional lens with the same size and the same focal length as the first lenses could also produce an image in the size of 500 x 500 pixels on the image sensor (total illuminated area), but in contrast to the first images only a spatial resolution of 500 x 1 and therefore differs from the first images with regard to the image information of the motif.
  • the first and second figures could also be grouped together (especially if there are two or more different second figures).
  • the motif should remain unchanged for better understanding.
  • the camera can be moved relative to the subject. It is important here, however, that this movement is not necessary to obtain the two groups of images, since the imaging optics are designed in such a way that different types of images are generated.
  • a second group of the images comprising the above-mentioned second images has a higher spatial resolution than a first group of the images comprising the first images.
  • the filter element due to the large number of first images, the first group of images offers a higher spectral resolution than the second group of images.
  • a second image at least if it has a comparatively higher spatial resolution than the first images, can also be referred to as a "spatial grid image" for better understanding.
  • the second images have the purpose of representing the motif or an area of the motif very precisely (high resolution). If a cylindrical lens is used as a further lens, the second image has a lower spatial resolution in one dimension of the area of the image sensor (due to the focal line). However, you get a very high spectral resolution, at least higher than that of the first images. It is particularly preferred that the second image differs from the first images in that it has a higher spatial resolution of areas of the motif, or a higher spectral resolution (here after the filter element), at least in one area dimension of the image sensor.
  • each sensor pixel can basically provide individual spectral information with a corresponding filter element.
  • a high spatial resolution for aerial photo measurements e.g. an image in the range between 3 and 6 megapixels
  • the second group of images can comprise a plurality of location raster images, but the goal according to the invention can already be achieved with a single (high-resolution) location raster image.
  • Several spatial grid images have the advantage that they can be recorded in different parts of the spectrum and the second group of images thus already offers a certain spectral resolution.
  • the first images can also be referred to as “spectral images” for better understanding.
  • the number of spectral images typically contributes to the high spectral resolution of the first images.
  • the first pictures have the purpose of displaying the motif or a region of the motif with a very good quality of the spectrum that can be recorded by the image detector. As mentioned above, the good spectral resolution is obtained at the expense of the spatial resolution.
  • Multi-lens camera system comprises the following steps:
  • the multi-lens camera system is therefore aimed at a subject.
  • a second image differs from the first images at least in a surface dimension of the image sensor with regard to the size and / or with respect to the image information of the motif present in front of the filter element.
  • the method according to the invention comprises the steps:
  • the advantage of the present invention is that a motif with such a multi-lens camera system can be imaged both with a high image resolution and can be recorded with a high spectral resolution. Both groups of images are available together for evaluation.
  • the invention thus achieves a high spectral resolution with a hyperspectral (“full frame Snapshot ”) multi-lens camera system while also achieving a high spatial resolution. For example, an optimal spectral measurement of
  • the lens matrix comprises a multiplicity of individual lenses and, in addition, a further lens which, compared to the individual lenses, has a different diameter and / or a different focal length and / or a different substrate thickness and / or a different distance from the image sensor.
  • the lens matrix is designed in such a way that it generates images of different sizes on the image sensor. This has the advantage that the motif is recorded with a different number of image sensors with respect to two images with the different lenses, which means that the motif is recorded with different resolutions.
  • the density of the pixels of the image sensor is essentially homogeneous over its area.
  • the larger images i.e. those with the higher spatial resolution, can be assigned to the second images (local grid images).
  • the smaller images i.e. those with the lower spatial resolution, can be assigned to the first images (spectral images).
  • the pictures can be summarized in other groups of pictures, e.g. if there are three or more systematically different image sizes on the image sensor. However, two different illustrations are sufficient for the invention.
  • the lens matrix comprises two different lens sizes, with only a single large lens and a large number of small lenses being able to be present. It is important that the number of spectral images is (much) larger than the number the location grid images, in particular by an integral multiple.
  • the number of spectral images is preferably more than 5 times, particularly preferably more than 10 times, the spatial raster images.
  • the spectral images are recorded at different wavelengths, for example by means of a filter, as will be described in more detail below.
  • a spatial raster image can be recorded at a single wavelength, but preference is given to recording in a wavelength interval, preferably an interval which comprises the wavelengths of a plurality of spectral images.
  • a panchromatic spatial raster image is also preferred, in particular if only a single spatial raster image is present on the image sensor.
  • the lens system has a spherical or cylindrical lens as a further lens, which is larger than the other individual lenses of the lens matrix and which has a different focal length than these individual lenses, there is usually automatically the case that the second image generated by this additional lens differs from the first images in at least one surface dimension of the image sensor with regard to size.
  • Multi-lens camera system for hyperspectral recording of images comprising a flat image sensor, a location-sensitive spectral filter element and one
  • Imaging system wherein the imaging system comprises a flat lens matrix with a large number of individual lenses, which are arranged in such a way that (at a first point in time) they generate a large number of first images of a motif arranged in a grid in a first area on the image sensor, and additionally a further one Includes lens, which is arranged in the plane of the lens matrix, in particular on the lens matrix, and is designed to generate a second image of the motif on the image sensor in a second region of the image sensor.
  • the further lens takes the place of an integer multiple of the individual lenses.
  • the large- Ren lenses by a (in particular integer) factor of 2 or more than the other lenses of the lens matrix, at least in one dimension of the lens matrix.
  • a cylindrical lens does not necessarily contribute to a higher spatial resolution compared to spherical lenses, although it may well be the case in a surface dimension of the image sensor.
  • the first images of the spherical lenses of the lens matrix have a resolution of e.g. 300x300 pixels on the image sensor, these first images are only imaged with 1 spectral filter per lens.
  • the cylindrical lens can e.g. have a (spatial) resolution of 300x1 pixels (one area dimension of the image sensor), but with many (e.g. 6000) spectral channels (in the other area dimension of the image sensor).
  • the cylindrical lens does not have to have an exact circular path as the outer surface.
  • the lens surface could well represent the extrusion of another curve e.g. an ellipse.
  • the cylindrical lens can advantageously be used for better interpolation of the spectrum of the individual lenses, but it can also display a different image section, e.g. to record the ambient light. This can e.g. the change in ambient light in the spectrum can be corrected.
  • the optical imaging system comprises an optic, preferably a zoom optic, between the lens matrix and the image sensor, which is designed to display images of at least part of the lenses of the lens matrix in different sizes at different exposure times and / or differently sized areas of the motif in the form different images.
  • a zoom lens is preferably designed to zoom all images (thus acts for the images of all lenses of the lens matrix) or is preferably designed to zoom a part of the images (thus acts for images of part of the lenses of the lens matrix).
  • the lenses of the zoom optics therefore belong to the other lenses.
  • the recordings recorded larger taken at a different point in time than first images recorded smaller
  • those images that can be zoomed with the zoom optics are preferably considered as second images.
  • the zoom optics are preferably designed such that they track the angle of the filter.
  • “gaps” occur in the measured spectrum, which may not be evenly distributed.
  • a tracking has an advantageous effect here, which preferably comprises a lateral movement parallel to the filter plane and / or a rotation about the surface normal of the filter plane or about the optical axis of the camera. Basically, however, lateral movements in other directions and / or rotations of the filter element about other axes for tracking are also possible.
  • the filter would e.g. rotated around the optical axis (or within the plane in which the filter lies), the disadvantage of the "gaps" is compensated.
  • the angle of rotation of the filter element is automatically tracked via a mechanical or electronic compensation unit (e.g. a mechanical connection to the zoom optics).
  • the tracking thus includes, in particular, an embodiment in which the angle of the filter element to its surface normal (or to the optical axis of the multi-lens camera system) is not fixed, but is designed to be adjustable and particularly preferably depends on or in dependence on the setting of the optical imaging system the setting of the optical imaging system is adjustable.
  • the multi-lens camera system contains the optics described above between the lens matrix and the image sensor, there is usually automatically the case that this has a different focal length than the individual lenses of the
  • Multi-lens camera system for hyperspectral recording of images comprising a flat image sensor, a location-sensitive spectral filter element and one
  • Imaging system wherein the imaging system comprises a flat lens matrix with a plurality of individual lenses, which are arranged in such a way that they have a plurality of first arranged in a grid pattern at a first recording time
  • Image sensor (as additional lenses),
  • the filter element comprises a mosaic filter, which offers advantages particularly when used together with a zoom lens.
  • the mosaic of the mosaic filter is preferably arranged such that large ones
  • a preferred form of the mosaic filter is a color mosaic, in particular a
  • the filter element a mosaic filter or another filter
  • the filter element is applied to the front of a substrate and the lens matrix (e.g. embossed) on the back of the substrate.
  • a mosaic filter preferably transmits a different wavelength for each individual lens.
  • the filter element it is preferred (in particular in the case of a design as a mosaic filter) that it is designed to be transparent in the imaging region of a further lens on the image sensor, and preferably there is a transparent element in the
  • Filter element is present.
  • this imaging system is designed to display images of at least part of the lenses of the lens matrix in different sizes at different exposure times.
  • This embodiment can be implemented in particular with the aforementioned zoom optics.
  • the entire subject is recorded at a first point in time.
  • a large number of images of the motif are obtained with the lens grid with a comparatively low spatial resolution but with a high spectral resolution (due to the high number of spectral images).
  • a second recording time (which can be before or after the first recording time)
  • a larger, higher-resolution image of the subject (second picture) taken.
  • the imaging optics are so designed that the individual images on the image sensor are larger at the second point in time than at the first point in time (preferably the entire motif is shown in each image).
  • the images of some lenses of the lens matrix are no longer registered by the image sensor. This results in spatial grid images (the images with higher spatial resolution) and spectral images (the images with lower spatial resolution).
  • the imaging system is designed to display differently sized areas of the motif in different images.
  • the imaging optics are such that individual lenses of the lens matrix are assigned individual zoom optics, the different zoom optics being designed in such a way that zooming into different areas of the motif is carried out.
  • four lenses of a uniform lens matrix can be provided with imaging optics in such a way that the image of one lens shows the lower right quarter of the motif enlarged in its respective image on the image sensor, the second lens the upper right quarter, and the two other lenses in each case the lower left and upper quarters. From the quarters (four spatial grid images), the overall motif then results in a higher spatial resolution, while the remaining images of the lens matrix on the image sensor are assigned as spectral images of the first images.
  • the optical imaging system preferably the lens matrix, comprises a cylindrical lens as a further lens, for example in its top line.
  • the multi-lens camera system is preferably designed such that that part of the image sensor on which the image of the cylindrical lens is generated can be read independently of the rest of the image sensor.
  • the sensor readout can thus be limited to the imaging of the cylindrical lens, which has the advantage that the readout rate is increased, since in this case the remaining part of the image sensor is no longer read out.
  • the multi-lens camera system can easily be used as a line scanner with a high readout rate, eg for the detection of products in a production line.
  • the multi-lens camera system comprises a cylindrical lens as a further lens
  • this has a focal line and that its second image differs from the first images in at least one
  • Multi-lens camera system for hyperspectral recording of images comprising a flat image sensor, a location-sensitive spectral filter element and an imaging system, the imaging system comprising a flat lens matrix with a large number of individual lenses, which are arranged such that they have a plurality of at a first time of recording generate grid-like arranged first images of a motif in a first area on the image sensor, and additionally comprises a cylindrical lens as a further lens, which is arranged in the plane of the lens matrix, in particular on the lens matrix, in front of the lens matrix or between lens matrix and image sensor and is designed for this purpose to generate a second image of the motif on the image sensor in a second area of the image sensor.
  • the multi-lens camera system comprises a processing unit which is designed to overlay and / or to register and / or to overlay the first images with a second image
  • the processing unit to link the corresponding image areas of the first images with one another in terms of data technology, the processing unit
  • spectral data from pixels of the second image is in particular designed to supplement spectral data from pixels of the second image with spectral data based on the first images and / or to supplement pixels of the first images with spatial data of the second image.
  • the filter element comprises a linearly variable filter with filter lines (“gradient filter”), which is preferably rotated at an angle between 1 ° and 45 ° with regard to the direction of the filter lines with respect to the lens matrix.
  • the filter element comprises a filter matrix, particularly preferably a mosaic filter.
  • the mosaic filter is particularly advantageous for the zoom optics. Common to all filters is that at least because of every first image (i.e. generally every image of the multitude of
  • the multi-lens camera system comprises an aperture mask between the lens matrix and the image sensor, apertures on the aperture mask being positioned corresponding to the lenses of the lens matrix and the aperture mask being positioned such that light of the images of the individual lenses passes through apertures of the aperture mask.
  • the aperture mask therefore has the same pattern as the lens matrix, with apertures being present there instead of the lenses.
  • An optical imaging system e.g. a zoom lens is preferably positioned between the aperture mask and the image sensor. The aperture mask improves the images because it filters out stray light.
  • a panchromatic image is recorded as part of a second image (ie at least one spatial grid image).
  • several panchomatic images of different areas of the subject and / or with different spectral resolution are preferably taken at different positions of the image sensor (in particular simultaneously) and / or at different measuring times.
  • a panchromatic image recording with (hyperspectral) data of the first recordings is preferably superimposed. This has the advantage that it creates a new basis for the assignment of this data.
  • the data of a second image are overlaid with the data of the first images (the spectral images) for evaluating the data and / or registered and / or related to one another (see the above explanations for Processing unit or eg "pan-sharpening").
  • the second picture can also come from a cylindrical lens.
  • the data from a second image are preferred to the following ones
  • a length measurement can be carried out.
  • the recorded data are preferably processed as follows.
  • the calculation is preferably carried out on a computing unit directly in the aircraft (e.g. an aircraft, a drone or a satellite) or subsequently on a computing unit on the ground (“ground PC").
  • This includes: a) A comparison of first recordings with a second recording, the second recording being in particular a high-resolution single-channel image.
  • Calculation can e.g. as described above.
  • Optical image correction spatial and spectral. This is preferably done with the help of ambient light sensors, e.g. a photodiode or a spectrometer.
  • the spectral information can be index-based on object properties such as the chemical one using a connected computing unit
  • composition of the object can be concluded or a distinction can be made between different substances and objects using classification methods.
  • classification in addition to the spectral image information, the classification in particular can
  • Structural information from the high-resolution sensor image can also be taken into account.
  • a map e.g. a geolocalized measurement map
  • a map e.g. a geolocalized measurement map
  • the use of positioning data e.g. GPS data or data from an acceleration sensor
  • results e.g. calculated crop protection parameters can then be stored on the computer unit in the aircraft or on the ground PC or immediately to an executing unit, e.g. an agricultural machine can be sent to carry out geolocated work steps (e.g. crop protection or fertilization) based on the knowledge of the spectral measurement that has just been collected.
  • an executing unit e.g. an agricultural machine can be sent to carry out geolocated work steps (e.g. crop protection or fertilization) based on the knowledge of the spectral measurement that has just been collected.
  • Figure 1 shows schematically a multi-lens camera system according to the prior art.
  • Figure 2 shows schematically a multi-lens camera system according to a preferred embodiment of the invention.
  • Figure 3 shows an example of an arrangement of images.
  • FIG. 4 schematically shows a multi-lens camera system according to a further preferred embodiment of the invention.
  • FIG. 5 shows an example of a further arrangement of images.
  • Figure 6 shows an example of a preferred lens matrix.
  • Figure 7 shows another example of a preferred lens matrix.
  • FIG. 8 schematically shows a further multi-lens camera system according to a preferred embodiment of the invention.
  • FIG. 1 schematically shows a multi-lens camera system 1 for the hyperspectral recording of images according to the prior art in a perspective view.
  • the multi-lens camera system 1 comprises a flat image sensor 3, and a flat lens matrix 2 made of uniform individual lenses 2a, which is arranged in such a way that it has a large number of grid-shaped motifs M.
  • Images AS in Figure 5 generated on the image sensor 3. For the sake of clarity, only one of the individual lenses 2a is provided with a reference symbol.
  • an aperture mask 5 is arranged between the image sensor 3 and the lens matrix 2.
  • Each aperture 5a of the aperture mask 5 is assigned to an individual lens 2a and arranged exactly behind it.
  • a filter element 4 is arranged between the aperture mask 5 and the image sensor 3.
  • this filter element 4 can also be arranged in front of the lens matrix (see e.g. FIG. 8).
  • the filter element 4 is a linearly variable filter, which is slightly rotated relative to the image sensor. Each image thus has its center at a different wavelength range of the filter element.
  • Each first image AS on the image sensor thus provides different spectral information and the entirety of the first images AS serves to create an image with spectral information.
  • Figure 2 shows schematically a multi-lens camera system 1 according to a preferred embodiment of the invention in a perspective view. It is constructed similarly to the multi-lens camera system from FIG. 1 with the important difference that the lens matrix 2 has a larger further lens 2b with a different focal length. Accordingly, the aperture mask 5 also has a larger aperture 5a at this point.
  • This larger additional lens 2b enables the multi-lens camera system 1 to position the motif M with the positioning of the multi-lens camera system 1 unchanged (see FIG. 1) to represent a second image AO (namely the one that is imaged by the larger further lens 2b) with a higher spatial resolution than that of the first images AS (the smaller individual lenses 2a) on the image sensor 3. Since the larger further lens 2b has a larger focal length here, it is arranged somewhat further away from the image sensor 3. For the illustrations AO, AS, reference is made to FIG. 3.
  • FIG. 3 shows an example of an arrangement of first images AS and second images AO as it could be present on a multi-lens camera system 1 according to FIG. 2 on its image sensor 3.
  • a single second image AO spatial raster image
  • the remaining images belong to the second group of first images AS.
  • the motif M can be seen on the left, which is imaged by the multi-lens camera system 1, the process of imaging being symbolized by an arrow.
  • the second image AO and the first images AS show the same motif M in different areas of the image sensor, but the spatial raster image (second image AO) has four times the spatial resolution compared to the spectral images (first images AS) .
  • FIG. 4 schematically shows a multi-lens camera system 1 according to a further preferred embodiment with an optical imaging optics 6 between the lens matrix 2 in a side view.
  • the multi-lens camera system is shown in this example without an aperture mask 5.
  • the image sensor 3 has an upstream filter element 4.
  • the optical imaging optics 6 can be, for example, a zoom optics, which can lead to a representation according to FIG. 5.
  • This multi-lens camera system 1 is designed such that, with the positioning of the multi-lens camera system 1 unchanged relative to the subject M, several second images AO (or even a single second image AO) with a higher spatial resolution than the first images AS (see FIG. 5) record at different recording times.
  • FIG. 5 shows an example of an arrangement of images AO, AS as they are present with a multi-lens camera system 1 according to FIG. 4 on its image sensor 3 could.
  • the recordings of the motif M at different recording times are shown on the left and right below the motif M, the process of the illustration here again being symbolized by arrows.
  • the imaging optics 6 are set in such a way that the entire motif M is recorded, but not all images of the imaging optics “fit” onto the image sensor (dashed border).
  • the individual images here have a comparatively large spatial resolution, since a comparatively large number of pixels of the image sensor are covered by an image. These images can be viewed as second images AO.
  • the imaging optics 6 are set so that all
  • Images of the lens matrix “fit” onto the image sensor are smaller than the images in the illustration on the left and also have a lower spatial resolution. These images can be seen as the first images AS.
  • FIG. 6 shows an example of a preferred lens matrix 2.
  • this comprises a cylindrical lens as a further lens 2b.
  • a multi-lens camera system 1 can also be used as a line scanner.
  • FIG. 7 shows a further example of a preferred lens matrix 2.
  • this comprises a single cylindrical lens as a further lens 2b, the pitch of which corresponds to that of the spherical individual lenses 2a.
  • FIG. 8 schematically shows a multi-lens camera system 1 according to a preferred embodiment of the invention in a perspective view. It is constructed similarly to the multi-lens camera system from FIG. 2, but with some special features, which can also be present individually in a multi-lens camera system.
  • the filter element 4 is arranged in front of the two lens matrices 2.
  • the filter element 4 is a mosaic filter, which transmits a different wavelength for each individual lens (indicated by the transparent boxes in the filter element 4).
  • the filter element 4 In front of the further lens 2b there is preferably a transparent element in the filter element 4, which is indicated there by the larger transparent box.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein Abbildungssystem, wobei das Abbildungssystem - eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und - zusätzlich eine weitere Linse umfasst, die In der Ebene der Linsenmatrix oder abgesetzt von der Ebene der Linsenmatrix angeordnet ist und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors und/oder zu einem zweiten Aufnahmezeitpunkt eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen, wobei die weitere Linse eine Brennlinie und/oder verglichen mit der Vielzahl von Einzellinsen eine andere Brennweite aufweist, und so positioniert ist, dass sich ihre zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet. Die Erfindung betrifft zudem ein entsprechendes Verfahren zur hyperspektralen Aufnahme von Bildern.

Description

Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
Die Erfindung betrifft ein Multilinsen-Kamerasystem und ein Verfahren zur
hyperspektralen Aufnahme von Bildern und insbesondere auch zur Bearbeitung bzw. Verarbeitung dieser Bilder.
In vielen Bereichen der Wirtschaft und Wissenschaft werden Kameras verwendet, die zusätzlich zu einer Ortsauflösung eine spektrale Auflösung besitzen, welche oftmals über das sichtbare Spektrum hinausgeht. Beispielsweise werden bei Vermessungen der Erdoberfläche aus der Luft oftmals Kameras eingesetzt, die nicht nur eine normale RGB-Farbauflösung besitzen, sondern ein hochaufgelöstes Spektrum ggf. bis in den UV- oder Infrarotbereich hinein liefern. Mittels dieser Messungen ist z.B. eine
Erkennung einzelner Bepflanzungsbereiche in landwirtschaftlich genutzten Gebieten möglich. Damit kann beispielsweise der Wachstumszustand oder die Gesundheit von Pflanzen oder die Verteilung verschiedener chemischer Elemente wie Chlorophyll oder Lignin bestimmt werden.
Zu diesen Messungen hat sich in den letzten Jahrzehnten eine spektral hochauflösen de Bildnahmetechnik bewährt, die als„Hyperspectral Imaging“ bezeichnet wird. Dieses Hyperspectral Imaging erlaubt beispielsweise eine Erkennung und Unterscheidung verschiedener chemischer Elemente aufgrund des ortsaufgelöst aufgenommenen Spektrums.
Der ursprüngliche Aufbau eines hyperspektralen Bildgebungssystems verwendet einen sogenannten„Pushbroom“-Abtastaufbau, bei dem auf einem zweidimensionalen Bild sensor eine Dimension für eine räumliche Bestimmung und die andere Dimension für eine Spektralbestimmung verwendet wird. Neue Ansätze in der hyperspektralen Bild- gebung und die Entwicklung von höher aufgelösten Sensoren und Computerhardware haben sogenannte Snapshot-Full-Frame-Hyperspektralsysteme ermöglicht.
Ein sehr kompaktes System für die hyperspektrale Bildgebung wird z.B. in der Veröffentlichung "Ultra-compact micro-optical System for multispectral imaging" von M. Hubold et al. bechrieben (Proc. SPIE 10545, MOEMS and Miniaturized Systems XVII, 105450V; 22. Februar 2018). Nachteil des Standes der Technik ist jedoch immer noch, dass eine hohe zweidimen sionale Bildauflösung stets auf Kosten einer hohen spektralen Auflösung geht und umgekehrt.
Aufgabe der vorliegenden Erfindung war es, die Nachteile des Standes der Technik zu überwinden und ein Multilinsen-Kamerasystem zur Verfügung zu stellen, welches sowohl eine hohe spektrale Auflösung als auch eine hohe Ortsauflösung eines Motivs erreicht.
Diese Aufgabe wird durch eine Vorrichtung und ein Verfahren gemäß den Ansprüchen gelöst.
Das erfindungsgemäße Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfasst einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein Abbildungssystem.
Das Abbildungssystem umfasst dabei eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen. Des Weiteren umfasst das Abbildungs system zusätzlich eine weitere Linse, die in der Ebene der Linsenmatrix oder abgesetzt von der Ebene der Linsenmatrix angeordnet ist (bevorzugt vor der Linsenmatrix) und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors und/oder zu einem zweiten Aufnahmezeitpunkt eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen. Die Linsen sind z.B. sphärische Linsen, Zylinderlinsen, holographische Linsen oder Fresnellinsen oder Linsensysteme (z.B. Objektive) aus mehreren solcher Linsen. Im Weiteren wird zum besseren Verständnis nur von„Linsen“ gesprochen, ohne die Allgemeinheit einzuschränken.
Dabei weist die weitere Linse eine Brennlinie und/oder verglichen mit der Vielzahl von Einzellinsen eine andere Brennweite auf und ist so positioniert, dass sich ihre zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet.
Flächige Bildsensoren sind dem Fachmann im Grunde bekannt. Es handelt sich hierbei besonders bevorzugt um Pixeldetektoren, welche eine elektronische Aufnahme von Bildpunkten („Pixeln“) erlauben. Bevorzugte Pixeldetektoren sind CCD-Sensoren (CCD:„charge-coupled device“; dt.„ladungsgekoppeltes Bauteil“) oder CMOS- Sensoren (CMOS:„Complementary metal-oxide-semiconductor“; dt.„sich ergänzender Metall-Oxid-Halbleiter“). Besonders bevorzugt sind auf Silizium basierende Sensoren, aber auch InGaAs-Sensoren sowie auf Bleioxid oder Graphen basierte Sensoren, insbesondere für Wellenlängenbereiche außerhalb des sichtbaren Bereichs.
Ein spektrales Filterelement, welches so gestaltet ist, dass es an unterschiedlichen Positionen der Fläche des Filterelements unterschiedliche Spektralanteile von auf treffendem Licht transmittiert und andere Spektralanteile nicht transmittiert, wird hier als„ortssensitives spektrales Filterelement“ bezeichnet, wobei es auch als
„ortsabhängiges spektrales Filterelement“ bezeichnet werden könnte. Es dient dazu, die durch das Abbildungssystem erzeugten Abbildungen auf dem Bildsensor nach unterschiedlichen (kleinen) Spektralbereichen zu filtern.
Für die Anordnung des Filterelements gibt es mehrere Möglichkeiten. Das Filterele ment kann beispielsweise direkt vor der Linsenmatrix positioniert sein oder zwischen Linsenmatrix und Bildsensor. Es ist auch bevorzugt, dass Komponenten des
Abbildungssystems als Filterelement ausgestaltet sind, insbesondere die Linsenmatrix. Beispielsweise kann das Substrat der Linsenmatrix als Filterelement ausgestaltet sein.
Eine Linsenmatrix im Sinne der Erfindung umfasst eine Vielzahl von Linsen die raster förmig zueinander, also in einer regelmäßigen Anordnung, angeordnet sind, insbeson dere auf einem Träger. Die Linsen sind bevorzugt in regelmäßigen Zeilen und Spalten oder versetzt zueinander angeordnet. Besonders bevorzugt ist eine rechteckige bzw. quadratische oder eine hexagonale Anordnung. Die Linsen können beispielsweise sphärische Linsen oder zylindrische Linsen sein, aber auch asphärische Linsen sind in einigen Anwendungsfällen bevorzugt. Weiter unten wird eine bevorzugte Linsenmatrix genauer beschrieben. Erfindungsgemäß ist die Linsenmatrix so zu dem Bildsensor angeordnet, dass sie von einem Motiv eine Vielzahl von rasterförmig angeordneten Abbildungen auf dem Bild sensor erzeugt. Da im Rahmen der Erfindung zwei Arten unterschiedlicher Abbildungen vorliegen, werden die Abbildungen der Einzellinsen als„erste Abbildungen“ bezeichnet. In einer besonderen Unterart herkömmlicher Spektralkameras (s. dazu auch Figur 1) liegen ausschließlich diese ersten Abbildungen (und keine davon unterschiedlichen zweiten Abbildungen) vor.
Als„Motiv“ wird ein Objekt bzw. eine Szenerie bezeichnet, also ein im Grunde belie biger Bereich des Raumes der von dem Multilinsen-Kamerasystem aufgenommen wird. Es kann sich bei dem Motiv z.B. um eine (geographische) Bodenfläche handeln aber auch um einzelne Objekte, z.B. Produkte in einer Produktionslinie.
In der Regel zeigen bei hyperspektralen Aufnahmen die ersten Abbildungen stets den gleichen Bereich des Motivs (bzw. das gesamte Motiv). Durch das Filterelement wer den diese ersten Abbildungen mit jeweils unterschiedlichen (Licht) Wellenlängen bzw. in unterschiedlichen Wellenlängenbereichen vom Bildsensor aufgenommen. Es wird hier angemerkt, dass im Hinblick auf den geforderten Unterschied der Bildinformation des Motivs gerade nicht dieser durch den Filter erzeugte spektrale Unterschied gemeint ist, da die vor dem Filterelement vorliegende Bildinformation des Motivs gemeint ist, also die Art der Darstellung der Abbildungen, wie sie ohne Filterelement erfolgen würde.
Das Multilinsen-Kamerasystem umfasst zusätzlich zu der Linsenmatrix eine weitere Linse. Hier wird explizit darauf hingewiesen, dass der Ausdruck„eine“ (wie am Ende der Beschreibung noch einmal deutlich generell gesagt wird) als„mindestens eine“ zu lesen ist, und damit„eine einzige“ aber auch„zwei oder mehr“ bedeuten kann. Diese weitere Linse kann also eine einzige weitere Linse sein, aber auch zwei oder mehr Linsen derselben oder einer anderen Form.
Die weitere Linse ist in der Ebene der Linsenmatrix, insbesondere auf der Linsenma trix, oder abgesetzt von der Ebene der Linsenmatrix angeordnet. Bevorzugt ist die weitere Linse vor der Linsenmatrix angeordnet, also so, dass die Linsenmatrix zwischen der weiteren Linse und dem Bildsensor liegt. Im Falle, dass zwei oder mehr weitere Linsen vorliegen, ist die Angabe der Positionierung so zu verstehen, dass alle weiteren Linsen in der Ebene der Linsenmatrix, insbesondere auf der Linsenmatrix (oder auf einer anderen gemeinsamen Ebene) liegen können oder aber auch in unterschiedlichen Abständen zu der Linsenmatrix angeordnet sein können. Es kann durchaus zwei oder mehr Linsenmatrices geben, z.B. eine Linsenmatrix mit
Einzellinsen und eine Linsenmatrix mit weiteren Linsen. Die weitere Linse kann also durchaus auf einer weiteren Linsenmatrix angeordnet sein oder eine weitere
Linsenmatrix bilden. Bei einer einzigen weiteren Linse wäre dies eine 1x1-Matrix, bei mehreren weiteren Linsen eine Ax B-Matrix.
Die zweite Abbildung unterscheiden sich von den ersten Abbildungen und wird durch die zweite Linse erzeugt (bzw. werden mehrere zweite Abbildungen durch eine Anzahl weiterer Linsen erzeugt) und zwar in einem zweiten Bereich des Bildsensors und/oder zu einem zweiten Aufnahmezeitpunkt. Liegen mehrere weitere Linsen vor, so liegen in der Regel auch mehrere zweite Abbildungen vor, da bevorzugt jede weitere Linse eine zweite Abbildung erzeugt. Betreffend den zweiten Aufnahmezeitpunkt ist dieser Fall gleichbedeutend zu dem Merkmal ist, dass die weitere Linse verstellbar ist oder zu einer veränderbaren Optik gehört. In diesem bevorzugten Fall wird durch Verstellung der Linse bzw. durch Veränderung der Optik die weitere Abbildung in ihrer Größe oder bezüglich anderer Parameter die Bildinformation betreffend geändert und es liegt automatisch zu einem anderen Aufnahmezeitpunkt eine andere Abbildung vor, selbst wenn sich das Motiv nicht verändert.
Die weitere Linse weist eine Brennlinie auf (ist also in diesem Fall eine Zylinderlinse). Alternativ oder zusätzlich weist sie verglichen mit der Vielzahl von Einzellinsen eine andere Brennweite auf. Zudem ist die weitere Linse (bzw. sind alle weiteren Linsen) so positioniert, dass sich ihre zweite Abbildung von der ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet. Wie oben bereits gesagt, sind also Abbildungen gemeint, wie sie ohne Filterelement auf dem Bildsensor vorliegen würden.
Dies bedeutet, dass sich die die zweite Abbildung von den ersten Abbildungen unter scheidet. Dieser Unterschied liegt bevorzugt relativ zu beiden Flächendimension des Bildsensors vor (also sowohl dessen x- und y-Koordinate), muss aber grundsätzlich nur in einer Flächendimension vorliegen, (also entweder in x- oder in y-Richtung der sensi tiven Fläche des Bildsensors). Der Unterschied betrifft dabei die Größe der Bilder, wo mit gemeint ist, dass die zweite Abbildung eine kleinere oder eine größere Fläche auf dem Bildsensor einnimmt als die ersten Abbildungen (bevorzugt ist dabei der Fall, dass die zweite Abbildung größer ist als die ersten Abbildung und somit eine höhere
Ortsauflösung erzeugt). Alternativ oder zusätzlich kann der Unterschied aber auch die vor dem Filterelement vorliegende Bildinformation des Motivs betreffen. Also diejenige Bildinformation, die noch nicht vom Filterelement gefiltert worden ist. Damit ist gemeint, dass abgesehen von der Wirkung des Filterelements die Bildinformation die zweite Abbildung eine andere Bildinformation hat als die ersten Abbildungen (z.B. die
Abbildung einer Zylinderlinse als zweite Abbildung und die Abbildungen von
sphärischen Linsen als erste Abbildungen). Der Einfluss des Filterelements fällt also nicht ins Gewicht (es werden hier Bildinformationen so betrachtet, als wenn das Filterelement nicht da wäre).
Die Bildinformation bezieht sich besonders bevorzugt auf die Bildauflösung. Beispiels weise kann der Fall vorliegen, dass die weitere Linse eine einzelne Linse mit längerer Brennweite ist . Diese Linse erzeugt eine Abbildung des Objekts auf dem Sensor, welche denselben Bildausschnitt wie jede der Einzellinsen abbildet, aber auf z.B. der vierfachen Sensorfläche. So kann mit der weiteren Linse eine höheraufgelöste
Ortsinformation desselben Motivs erzeugt werden.
Je nach Anwendungsfall bezieht sich die Bildinformation besonders bevorzugt auf die Darstellung durch eine Zylinderlinse. Diese bildet das Motiv aufgrund der Brennlinie in einer Flächendimension des Bildsensors ab, in der anderen Flächendimension könnten dann (mittels des Filterelements) spektrale Informationen gemessen werden.
Unabhängig von dem Filterelement unterscheidet sich jedoch das Bild einer
Zylinderlinse z.B. von dem sphärischer Einzellinsen. In dem Fall, in dem die
Einzellinsen Zylinderlinsen sind, müsste die weitere Linse z.B. eine größere/kleinere Zylinderlinse oder generell eine nicht-Zylinderlinse sein, z.B. eine sphärische Linse. Auch ist eine Ausführungsform mit ausschließlich gleichgroßen Linsen in der
Linsenmatrix möglich, deren Form jedoch unterschiedliche ist. Zudem kann auch eine Zoomoptik vorliegen, mittels der die Linsenmatrix oder Teile der Linsenmatrix vergrößert oder verkleinert werden kann, wobei die Linsenmatrix hier auch homogen aus Einzellinsen aufgebaut sein kann. Es sind auch Kombinationen der oben genannten Fälle möglich.
Im Folgenden werden einige Fälle noch einmal anhand von Beispielen dargestellt. Beispielsweise haben die ersten Abbildungen eine Auflösung von 500 x 500 Pixel auf dem Bildsensor und eine zweite Abbildung eine Auflösung von 1000 x 1000 (bei einer sphärischen weiteren Linse mit größerer Brennweite). Eine zweite Abbildung kann aber auch eine Auflösung von 500 x 1 (oder gar 8000 x 1) haben, wenn die weitere Linse eine Zylinderlinse ist. In diesem Fall werden aber weitere Bildpunkte des Bildsensors benutzt, um (mit dem Filterelement) aus dem gesamten durch die Zylinderlinse ausgeleuchteten Bereich spektrale Informationen zu gewinnen. Eine Zylinderlinse als weitere Linse mit derselben Größe und derselben Brennweite wie die ersten Linsen könnte zwar auch eine Abbildung in der Größe 500 x 500 Pixel auf dem Bildsensor erzeugen (gesamt ausgeleuchteter Bereich), die jedoch im Unterschied zu den ersten Abbildungen nur eine Ortsauflösung von 500 x 1 hat und sich daher bezüglich der Bildinformation des Motivs von den ersten Abbildungen unterscheidet.
Die ersten und zweiten Abbildungen könnten auch als Gruppen zusammengefasst werden (insbesondere wenn zwei oder mehr sich unterscheidende zweite Abbildungen vorliegen). In dem oben ebenfalls umfassten Fall, dass zeitlich aufeinanderfolgende Aufnahmen betrachtet werden, sollte zum besseren Verständnis das Motiv unverändert geblieben sein. Selbstverständlich kann in der Praxis, z.B. bei der Aufnahme von Luftbildern, die Kamera relativ zum Motiv bewegt werden. Wichtig ist hier jedoch, dass diese Bewegung zur Erlangung der beiden Gruppen von Abbildungen nicht notwendig ist, da die Abbildungsoptik an sich so gestaltet ist, dass unterschiedliche Arten von Abbildungen erzeugt werden. Eine zweite Gruppe der Abbildungen umfassend die oben genannten zweiten Abbildungen hat gemäß einer bevorzugten Ausführungsform eine höhere Ortsauflösung als eine erste Gruppe der Abbildungen umfassend die ersten Abbildungen. Mit dem Filterelement bietet aufgrund der Vielzahl der ersten Abbildungen die erste Gruppe der Abbildungen eine höhere spektrale Auflösung als die zweite Gruppe der Abbildungen. Eine zweite Abbildung kann, zumindest wenn sie eine vergleichsweise höhere Ortsauf lösung als die ersten Abbildungen hat, zum besseren Verständnis auch als„Ortsraster bild“ bezeichnet werden. Die zweiten Abbildungen haben gemäß einer bevorzugten Ausführungsform den Zweck, das Motiv oder einen Bereich des Motivs sehr genau (hochaufgelöst) darzustellen. Im Falle der Verwendung einer Zylinderlinse als weitere Linse hat die zweite Abbildung in einer Dimension der Fläche des Bildsensors eine geringere Ortsauflösung (aufgrund der Brennlinie). Jedoch erhält man dafür eine sehr hohe spektrale Auflösung, zumindest höher als die der ersten Abbildungen. Es ist besonders bevorzugt, dass sich die zweite Abbildung von den ersten Abbildungen dadurch unterscheidet, dass sie zumindest in einer Flächendimension des Bildsensors eine höhere Ortsauflösung von Bereichen des Motivs hat oder eine höhere spektrale Auflösung (hier nach dem Filterelement betrachtet). Die höhere spektrale Auflösung kann z.B. mittels einer Zylinderlinse und dem Filterelement erreicht werden, In einer Flächendimension des Bildsensors (orthogonal zur Abbildungsachse) kann im Grunde bei einem entsprechenden Filterelement jeder Sensorpixel eine individuelle spektrale Information liefern.
Beispielsweise ist es bei Luftbildmessungen von Vorteil eine hohe Ortsauflösung zu haben, z.B. eine Abbildung im Bereich zwischen 3 und 6 Megapixeln, damit eine genaue Positionierung benachbarter Aufnahmen mittels (gut aufgelöster) Landmarken vorgenommen werden kann. Die zweite Gruppe von Abbildungen kann mehrere Ortsrasterbilder umfassen, das erfindungsgemäße Ziel kann aber bereits mit einem einzigen (hochaufgelösten) Ortsrasterbild erreicht werden. Mehrere Ortsrasterbilder haben den Vorteil, dass sie in verschiedenen Teilen des Spektrums aufgenommen werden können und die zweite Gruppe von Abbildungen somit bereits eine gewisse spektrale Auflösung bietet.
Zumindest in dem Falle, in denen die zweite Abbildung (in beiden Flächendimensionen des Bildsensors) eine höhere Ortsauflösung bietet, können die ersten Abbildungen zum besseren Verständnis auch als„Spektralbilder“ bezeichnet werden. Im Unterschied zu einer zweiten Abbildungen, bei der die hohe Ortsauflösung bereits mit einem einzigen Ortsrasterbild erreicht werden kann, trägt hier typischerweise die Anzahl der Spektral bilder (jedes mittels des Filterelements bei einer anderen Wellenlänge aufgenommen) zu der hohen spektralen Auflösung der ersten Abbildungen bei. Die ersten Abbildungen haben den Zweck, das Motiv oder einen Bereich des Motivs mit einer sehr guten Qualität des vom Bilddetektor aufnehmbaren Spektrums darzustellen. Wie oben gesagt, erlangt man die gute spektrale Auflösung auf Kosten der Ortsauflösung.
Ein erfindungsgemäßes Verfahren zur Aufnahme von Daten mit einem
erfindungsgemäßen Multilinsen-Kamerasystem umfasst die folgenden Schritte:
- Bereitstellen eines Motivs. Das Multilinsen-Kamerasystem wird also auf ein Motiv gerichtet.
- Aufnahme des Motivs mittels des Multilinsen-Kamerasystems. In diesem Rahmen wird eine Vielzahl von rasterförmig angeordneten Abbildungen auf dem Bildsensor erzeugt, wobei in unterschiedlichen Bereichen des Bildsensors und/oder zu unterschiedlichen Aufnahmezeiten eine Vielzahl erster Abbildungen und eine Anzahl zweiter Abbildungen von Bereichen desselben Motivs aufgenommen wird. Dabei unterscheidet sich eine zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs.
Insbesondere umfasst das erfindungsgemäße Verfahren die Schritte:
- Erzeugen einer Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor mittels einer flächigen Linsenmatrix mit einer Vielzahl von Einzellinsen zu einem ersten Aufnahmezeitpunkt.
- Erzeugen einer zweite Abbildung des Motivs in einem zweiten Bereich des Bild sensors und/oder zu einem zweiten Aufnahmezeitpunkt mittels einer weiteren Linse, die in der Ebene der Linsenmatrix oder abgesetzt von der Ebene der Linsenmatrix angeordnet ist.
Vorteil der vorliegenden Erfindung ist, dass ein Motiv mit einem solchen Multilinsen- Kamerasystem sowohl mit einer hohen Bildauflösung abgebildet werden kann als auch mit einer hohen spektralen Auflösung aufgenommen werden kann. Es liegen beide Gruppen von Abbildungen zur Auswertung gemeinsam vor. Die Erfindung erreicht somit eine hohe spektrale Auflösung mit einem hyperspektralen („Full Frame Snapshot“) Multilinsen-Kamerasystem während ebenfalls eine hohe Ortsauflösung erreicht wird. Beispielsweise sind eine optimale spektrale Vermessung von
Bodenflächen aus der Luft sowie eine Steuerung industrieller Prozesse und Anlagen nur möglich, wenn gleichzeitig eine hohe räumliche Auflösung bei gleichzeitig hoher spektraler Auflösung erreicht wird. Dieses Erfindung erfüllt dabei beide Anforderungen.
Im Folgenden werden bevorzugte Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass ein bevorzugtes Multilinsen-Kamerasystem auch analog zu der entsprechenden Beschreibung des Verfahrens ausgestaltet sein kann und insbesondere auch einzelne Merkmale verschiedener Ausführungsbeispiele
miteinander kombiniert werden können.
Gemäß einer bevorzugten Ausführungsform umfasst die Linsenmatrix eine Vielzahl von Einzellinsen und zusätzlich eine weitere Linse, welche verglichen mit den Einzellinsen einen unterschiedlichen Durchmesser und/oder eine unterschiedliche Brennweite und/ oder eine unterschiedliche Substratdicke und/oder einen unterschiedlichen Abstand zum Bildsensor hat. Die Linsenmatrix ist dabei so ausgestaltet, dass sie Abbildungen unterschiedlicher Größe auf dem Bildsensor erzeugt. Dies hat den Vorteil, dass das Motiv im Hinblick auf zwei Abbildungen mit den unterschiedlichen Linsen jeweils von einer unterschiedlichen Anzahl von Bildsensoren aufgenommen wird, was zur Folge hat, dass das Motiv mit unterschiedlichen Auflösungen aufgenommen wird. Selbstver ständlich wird hier davon ausgegangen, dass die Dichte der Bildpunkte des Bildsen sors über seine Fläche im Wesentlichen homogen ist. Die größeren Abbildungen, also diejenigen mit der höheren Ortsauflösung kann den zweiten Abbildungen (Ortsraster bilder) zugeordnet werden. Die kleineren Abbildungen, also diejenigen mit der geringeren Ortsauflösung kann den ersten Abbildungen (Spektralbilder) zugeordnet werden. Die Abbildungen können durchaus noch in weiteren Gruppen von Abbildungen zusammengefasst werden, z.B. wenn auf dem Bildsensor drei oder mehr systematisch unterschiedliche Bildgrößen vorliegen. Für die Erfindung genügen aber bereits zwei unterschiedliche Abbildungen.
Beispielsweise umfasst die Linsenmatrix zwei unterschiedliche Linsengrößen, wobei auch nur eine einzige große Linse und eine Vielzahl von kleinen Linsen vorliegen kann. Wichtig ist hierbei, dass die Anzahl der Spektralbilder (viel) größer ist, als die Anzahl der Ortsrasterbilder, insbesondere um ein ganzzahliges Vielfaches. Bevorzugt beträgt die Anzahl der Spektralbilder mehr als das 5-fache, besonders bevorzugt mehr als das 10-fache der Ortsrasterbilder. Die Spektralbilder werden bei unterschiedliche Wellen längen aufgenommen, z.B. mittels eines Filters, wie er weiter unten genauer beschrie ben wird. Ein Ortsrasterbild kann bei einer einzigen Wellenlänge aufgenommen werden, bevorzugt ist jedoch eine Aufnahme in einem Wellenlängenintervall, bevorzugt einem Intervall, welches die Wellenlängen mehrerer Spektralbilder umfasst. Es ist auch ein panchromatisches Ortsrasterbild bevorzugt, insbesondere wenn nur ein einziges Ortsrasterbild auf dem Bildsensor vorliegt.
In dem bevorzugten Fall, in dem das Linsensystem als weitere Linse eine sphärische oder zylindrische Linse aufweist, die größer ist als die übrigen Einzellinsen der Linsenmatrix und die eine andere Brennweite als diese Einzellinsen aufweist, liegt in der Regel automatisch der Fall vor, dass sich die durch diese weitere Linse erzeugte zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe unterscheidet. Diese bevorzugte Ausführungs form der Erfindung könnte also zusammenfassend wie folgt dargestellt werden:
Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein
Abbildungssystem, wobei das Abbildungssystem eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie (zu einem ersten Aufnahmezeitpunkt) eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und zusätzlich eine weitere Linse umfasst, die in der Ebene der Linsenmatrix, insbesondere auf der Linsenmatrix, angeordnet ist und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen.
Es ist bevorzugt, dass die weitere Linse bezogen auf das Raster der Linsenmatrix den Platz von einem ganzzahligen Vielfachen der Einzellinsen einnimmt. Auf der Linsenma trix (bzw. in der in der Ebene der Linsenmatrix) liegt also bevorzugt eine Anzahl von sphärischen und/oder zylindrischen Linsen vor (weitere Linsen), die größer sind als ei ne Gruppe anderer Linsen der Linsenmatrix (Einzellinsen). Bevorzugt sind die große- ren Linsen um einen (insbesondere ganzzahligen) Faktor von 2 oder mehr größer als die anderen Linsen der Linsenmatrix, zumindest in einer Dimension der Linsenmatrix.
Es sollte dazu beachtet werden, dass eine Zylinderlinse verglichen mit sphärischen Linsen nicht zwingend zu einer höheren Ortsauflösung beiträgt, obwohl es in einer Flächendimension des Bildsensors durchaus der Fall sein kann. Während die ersten Abbildungen der sphärischen Linsen der Linsenmatrix beispielsweise eine Auflösung von z.b: 300x300 Pixeln auf dem Bildsensor haben, werden diese ersten Abbildungen nur mit 1 Spektralfilter pro Linse abgebildet. Die Zylinderlinse kann dagegen z.B. eine (Orts-) Auflösung von 300x1 Pixel haben (eine Flächendimension des Bildsensors), aber mit vielen (z.B. 6000) spektralen Kanälen (in der anderen Flächendimension des Bildsensors). Es kann selbstverständlich mehr als eine Zylinderlinse geben.
Selbstverständlich muss die Zylinderlinse keine exakte Kreisbahn als Mantelfläche haben. Die Linsenoberfläche könnte durchaus die Extrusion einer anderen Kurve dar stellen z.B. einer Ellipse. Die Zylinderlinse kann vorteilhaft Zur besseren Interpolation des Spektrums der Einzellinsen genutzt werden, sie kann aber auch einen anderen Bildausschnitt abbilden, z.B. um das Umgebungslicht aufzunehmen. Hierdurch kann z.B. die Änderung des Umgebungslichts im Spektrum korrigiert werden.
Gemäß einer bevorzugten Ausführungsform umfasst das optische Abbildungssystem eine Optik, bevorzugt eine Zoomoptik, zwischen Linsenmatrix und Bildsensor welche dazu ausgestaltet ist, Abbildungen zumindest eines Teils der Linsen der Linsenmatrix zu unterschiedlichen Aufnahmezeiten in einer unterschiedlichen Größe darzustellen und/oder unterschiedlich große Bereiche des Motivs in Form unterschiedlicher Abbil dungen darzustellen. Dabei ist eine Zoomoptik je nach Anwendungsfall bevorzugt zum Zoom aller Abbildungen ausgelegt (wirkt also für die Abbildungen aller Linsen der Linsenmatrix) oder bevorzugt zum Zoom eines Teils der Abbildungen ausgelegt (wirkt also für die Abbildungen eines Teils der Linsen der Linsenmatrix). Die Linsen der Zoomoptik gehören also zu den weiteren Linsen. Bei der ersten Alternative werden bevorzugt die größer aufgenommenen Aufnahmen (zu einem anderen Zeitpunkt aufgenommen als kleiner aufgenommenen erste Abbildungen) als zweite Abbildungen betrachtet. Bei der zweiten Alternative werden bevorzugt diejenigen Aufnahmen, die mit der Zoomoptik gezoomt werden können, als zweite Abbildungen betrachtet. Diese Ausführungsform ermöglicht unterschiedliche Aufnahmemodi der ersten und zweiten Abbildungen (der Ortsrasterbilder und der Spektralbilder).
Die Zoomoptik ist bevorzugt so ausgestaltet, dass sie den Winkel des Filters nachführt. Je nach Art der Zoomoptik bzw. der Art des Zoomens könnte der Fall auftreten, dass „Lücken“ im gemessenen Spektrum entstehen, die ggf. nicht gleichmäßig verteilt sind. Hier wirkt sich eine Nachführung vorteilhaft aus, die bevorzugt eine laterale Bewegung parallel zur Filterebene und/oder eine Drehung um die Flächennormale der Filterebene bzw. um die optische Achse der Kamera umfasst. Im Grunde sind aber auch laterale Bewegungen in andere Richtungen und/oder Drehungen des Filterelements um andere Achsen zur Nachführung möglich. Wrd der Filter in dem oben geschilderten Beispielfall z.B. um die optische Achse (bzw. innerhalb der Ebene in der der Filter liegt) gedreht, wird der Nachteil der„Lücken“ kompensiert. In dem Fall, in dem eine feste Beziehung zwischen Vergrößerungsmaßstab der Zoomoptik und dem Wnkel des Filters vorliegt, ist es bevorzugt, dass der Drehwinkel des Filterelements über eine mechanische oder elektronische Kompensationseinheit (z.B, eine mechanische Verbindung zur Zoom optik) automatisch nachgeführt wird. Die Nachführung umfasst also insbesondere eine Ausführungsform, bei der der Winkel des Filterelements zu seiner Flächennormalen (bzw. zur optischen Achse des Multilinsen-Kamerasystems) nicht fest ist, sondern einstellbar gestaltet ist und besonders bevorzugt von der Einstellung des optischen Abbildungssystems abhängt bzw. in Abhängigkeit der Einstellung des optischen Abbildungssystems regelbar ist.
In dem Fall, in dem das Multilinsen-Kamerasystem die vorangehend beschriebene Optik zwischen Linsenmatrix und Bildsensor enthält, liegt in der Regel automatisch der Fall vor, dass diese eine andere Brennweite aufweist als die Einzellinsen der
Linsenmatrix und dass sich zweite Abbildungen von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheiden, da diese zu unterschiedlichen Aufnahmezeitpunkten vergrößert oder verkleinert werden können. Diese bevorzugte Ausführungsform der Erfindung könnte also
zusammenfassend wie folgt dargestellt werden: Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein
Abbildungssystem, wobei das Abbildungssystem eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten
Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und zusätzlich eine Optik, bevorzugt eine Zoomoptik, zwischen Linsenmatrix und
Bildsensor (als weitere Linsen) umfasst,
Gemäß einer bevorzugten Ausführungsform umfasst das Filterelement einen Mosaik- Filter, welcher insbesondere in Verwendung zusammen mit einer Zoomoptik Vorteile bietet. Bevorzugt ist das Mosaik des Mosaik-Filters so angeordnet, dass große
Wellenlängenschritte innen sind, währen kleinere Intervalle außen sind. Bei einer bevorzugten Form des Mosaik-Filters ist ein Farbmosaik, insbesondere ein
Farbglasmosaik, auf einer Seite eines Substrats, bevorzugt Glas, aufgebracht, insbesondere aufgedampft. Gemäß einer vorteilhaften Ausführungsform ist auf der Vorderseite eines Substrats das Filterelement (ein Mosaik-Filter oder ein anderer Filter) aufgebracht und auf der Rückseite des Substrats die Linsenmatrix (z.B. aufgeprägt). Bevorzugt transmittiert ein Mosaik-Filter für jede Einzellinse eine andere Wellenlänge.
Bei dem Filterelement ist bevorzugt (insbesondere bei einer Ausführung als Mosaik- Filter), dass es in dem Abbildungsbereich einer weiteren Linse auf dem Bildsensor durchsichtig gestaltet ist, und bevorzugt dort ein durchsichtiges Element im
Filterelement vorliegt.
Gemäß einer bevorzugten Alternative oder Ergänzung ist dieses Abbildungssystem dazu ausgestaltet, Abbildungen zumindest eines Teils der Linsen der Linsenmatrix zu unterschiedlichen Aufnahmezeiten in einer unterschiedlichen Größe darzustellen.
Diese Ausführungsform kann insbesondere mit der vorgenannten Zoomoptik realisiert werden. Zu einem ersten Aufnahmezeitpunkt wird das gesamte Motiv aufgenommen. Man erhält mittels des Linsenrasters eine Vielzahl von Abbildungen des Motivs mit einer vergleichsweise geringen Ortsauflösung aber dafür mit einer hohen spektralen Auflösung (aufgrund der hohen Anzahl der Spektralbilder). Zu einem zweiten Aufnah mezeitpunkt (der vor oder nach dem ersten Aufnahmezeitpunkt liegen kann), wird ein größeres, höheraufgelöstes Bild des Motivs (zweite Abbildung) aufgenommen. Die Abbildungsoptik ist also so beschaffen, dass die einzelnen Abbildungen auf dem Bild sensor beim zweiten Aufnahmezeitpunkt größer sind als beim ersten Aufnahmezeit punkt (wobei bevorzugt das gesamte Motiv in jeder Abbildung abgebildet wird). Hierbei werden natürlich die Abbildungen einiger Linsen der Linsenmatrix nicht mehr vom Bildsensor registriert. Man erhält somit Ortsrasterbilder (die Aufnahmen mit höherer Ortsauflösung) und Spektralbilder (die Aufnahmen mit niedrigerer Ortsauflösung).
Alternativ oder ergänzend ist das Abbildungssystem dazu ausgestaltet, unterschiedlich große Bereiche des Motivs in unterschiedlichen Abbildungen darzustellen. Dies wird bevorzugt dadurch erreicht, dass die Abbildungsoptik so beschaffen ist, dass einzelnen Linsen der Linsenmatrix eine individuelle Zoomoptik zugeordnet wird, wobei die unterschiedlichen Zoomoptiken so ausgestaltet sind, dass jeweils in unterschiedliche Bereiche des Motivs gezoomt wird. Beispielsweise können vier Linsen einer uniformen Linsenmatrix so mit einer Abbildungsoptik versehen sein, dass die Abbildung der einen Linse das rechte untere Viertel des Motivs vergrößert in ihrer jeweiligen Abbildung auf dem Bildsensor anzeigt, die zweite Linse das rechte obere Viertel, und die beiden anderen Linsen jeweils das linke untere und obere Viertel. Aus den Vierteln (vier Orts rasterbilder) ergibt sich insgesamt dann das gesamte Motiv in einer höheren Ortsauf lösung während die übrigen Abbildungen der Linsenmatrix auf dem Bildsensor als Spektralbilder der ersten Abbildungen zugeordnet werden.
Gemäß einer bevorzugten Ausführungsform umfasst das optische Abbildungssystem, bevorzugt die Linsenmatrix, als weitere Linse eine Zylinderlinse, z.B. in deren obersten Zeile. Das Multilinsen-Kamerasystem ist dabei bevorzugt so ausgestaltet, dass derjenige Teil des Bildsensors, auf dem die Abbildung der Zylinderlinse erzeugt wird, unabhängig vom übrigen Teil des Bildsensors ausgelesen werden kann. Damit kann der Sensor-Readout auf die Abbildung der Zylinderlinse beschränkt werden, was den Vorteil hat, dass die Ausleserate erhöht wird, da der übrige Teil des Bildsensors in diesem Fall nicht mehr ausgelesen wird. Damit kann das Multilinsen-Kamerasystem auf einfache Weise als Linienscanner mit einer hohen Ausleserate eingesetzt werden, z.B. zur Erkennung von Produkten in einer Produktionslinie. In dem Fall, in dem das Multilinsen-Kamerasystem eine Zylinderlinse als weitere Linse umfasst, liegt automatisch der Fall vor, dass diese eine Brennlinie aufweist, und dass sich ihre zweite Abbildung von den ersten Abbildungen zumindest in einer
Flächendimension des Bildsensors bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet. Diese bevorzugte Ausführungsform der Erfindung könnte also zusammenfassend wie folgt dargestellt werden:
Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein Abbil dungssystem, wobei das Abbildungssystem eine flächige Linsenmatrix mit einer Viel zahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und zusätzlich eine Zylinderlinse als weitere Linse umfasst, die in der Ebene der Linsenmatrix, insbesondere auf der Linsenmatrix, vor der Linsenmatrix oder zwischen Linsenmatrix und Bildsensor angeordnet ist und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen.
Gemäß einer bevorzugten Ausführungsform umfasst das Multilinsen-Kamerasystem eine Verarbeitungseinheit, welche dazu ausgestaltet ist, die ersten Abbildungen mit einer zweiten Abbildung zu überlagern und/oder zu registrieren und/oder
entsprechende Bildbereiche der ersten Abbildungen mit einer zweiten Abbildung miteinander datentechnisch zu verknüpfen, wobei die Verarbeitungseinheit
insbesondere dazu ausgestaltet ist, spektrale Daten von Bildpunkten der zweiten Abbildung durch spektrale Daten basierend auf den ersten Abbildungen zu ergänzen und/oder Bildpunkten der ersten Abbildungen durch räumliche Daten der zweiten Abbildung zu ergänzen.
Gemäß einer bevorzugten Ausführungsform umfasst das Filterelement einen linearvari ablen Filter mit Filterlinien („Verlaufsfilter“), welcher bevorzugt im Hinblick auf die Aus richtung der Filterlinien bezüglich der Linsenmatrix in einem Winkel zwischen 1 ° und 45° verdreht ist. Alternativ oder zusätzlich umfasst das Filterelement eine Filtermatrix, besonders bevorzugt einen Mosaik-Filter. We oben bereits gesagt ist der Mosaik-Filter insbesondere für die Zoomoptik von Vorteil. Allen Filtern ist gemein, dass zumindest je- weils jeder ersten Abbildung (also der in der Regel jedem Bild der Vielzahl von
Einzellinsen) eine unterschiedliche Filtercharakteristik, in der Regel ein jeweils anderer Spektralbereich, zugeordnet wird.
Gemäß einer bevorzugten Ausführungsform umfasst das Multilinsen-Kamerasystem eine Aperturmaske zwischen Linsenmatrix und Bildsensor, wobei Aperturen auf der Aperturmaske entsprechend den Linsen der Linsenmatrix positioniert sind und die Aperturmaske so positioniert ist, dass Licht der Abbildungen der einzelnen Linsen durch Aperturen der Aperturmaske tritt. Die Aperturmaske weist also das gleiche Muster wie die Linsenmatrix auf, wobei statt der Linsen dort Aperturen vorliegen. Ein optischer Abbildungssystem, z.B. eine Zoomoptik, ist bevorzugt zwischen Apertur maske und Bildsensor positioniert. Die Aperturmaske verbessert die Abbildungen, da sie Streulicht herausfiltert.
Gemäß einer bevorzugten Ausführungsform des Verfahrens wird im Rahmen einer zweiten Abbildung (also mindestens einem Ortsrasterbild) eine panchromatische Bildaufnahme aufgenommen. Dabei werden bevorzugt an unterschiedlichen Positionen des Bildsensors (insbesondere gleichzeitig) und/oder zu unterschiedlichen Messzeiten mehrere panchomatische Aufnahmen unterschiedlicher Bereiche des Motivs und/oder mit unterschiedlicher spektraler Auflösung angefertigt. Bevorzugt wird eine panchroma tische Bildaufnahme mit (hyperspektralen) Daten der ersten Aufnahmen überlagert. Dies hat den Vorteil dass damit eine neue Basis der Zuordnung dieser Daten geschaffen wird.
Gemäß einer bevorzugten Ausführungsform des Verfahrens werden die Daten einer zweiten Abbildung (mindestens einem Ortsrasterbild) mit den Daten der ersten Abbil dungen (den Spektralbildern) zur Auswertung der Daten überlagert und/oder registiert und/oder miteinander in Beziehung gesetzt (s. obige Ausführungen zur Verarbeitungs einheit oder z.B.„Pan-sharpening“). Die zweite Abbildung kann durchaus auch von einer Zylinderlinse stammen.
Dabei werden die Daten einer zweiten Abbildung bevorzugt zu den folgenden
Operationen als einzelne Operationen oder als kombinierte Operationen verwendet. - Extrapolation der spektralen Daten der ersten Abbildungen an verschiedenen räum lichen Positionen (unter Verwendung von höher auflösenden zweiten Abbildungen). Damit erhält man eine bessere räumliche Einordnung der spektralen Daten.
- Ermittlung räumlich präzisierter Bezugspunkte. Dies ist vorteilhaft zur Erstellung von Geokoordinaten für hyperspektrale Karten.
- Durchführung von Dimensionsmessungen an dem Motiv. Beispielsweise kann eine Längenmessung durchgeführt werden.
- Ermittlung einer räumlichen Zuordnung mit höherer räumlicher Auflösung als die räumliche Zuordnung der spektralen Daten der ersten Abbildungen. Damit wird die räumliche Zuordnung der spektralen Daten verbessert.
Die aufgenommenen Daten werden bevorzugt wie folgt verarbeitet. Dabei findet die Berechnung im Falle von Luftbildern bevorzugt auf einer Recheneinheit direkt im Fluggerät (z.B. einem Flugzeug, einer Drohne oder einem Satelliten) statt oder nachträglich auf einer Recheneinheit am Boden („Boden-PC“). Dies beinhaltet: a) Eine Verrechnung von ersten Aufnahmen mit einer zweiten Aufnahme, wobei die zweite Aufnahme insbesondere ein hochauflösendes Einzelkanalbild ist. Die
Berechnung kann z.B. wie vorangehend beschrieben erfolgen. b) Eine optische Bildkorrektur (räumlich und spektral). Diese erfolgt bevorzugt unter Zuhilfenahme von Umgebungslichtsensoren, z.B. einer Photodiode oder einem Spektrometer. c) Eine Ermittlung von Objekteigenschaften und/oder eine Unterscheidung von Objekten
Insbesondere aus den spektralen Informationen kann mittels einer angeschlossenen Recheneinheit Indexbasiert auf Objekteigenschaften wie die chemische
Zusammensetzung des Objekts geschlossen werden oder mit Klassifikationsverfahren zwischen verschiedenen Substanzen und Objekten unterschieden werden. Bei der Klassifikation kann neben der spektralen Bildinformation insbesondere die
Strukturinformation aus dem hochaufgelösten Sensorbild mitberücksichtigt werden. d) Eine Überlagerung von Bildsequenzen,
- zur Erstellung einer Karte, z.B. einer geolokalisierten Messkarte, bevorzugt unter Zuhilfenahme der hochaufgelösten Bildinformation zur automatischen Erzeugung von eindeutigen Passpunkten zwischen überlappenden Bildern verschiedener Orte, welche eine automatisches Stitching der hochaufgelösten Bilddaten ermöglicht und so auch die Verödung der niedriger aufgelösten spektralen Information erlaubt. Hierbei kann die Verwendung von Positionierungsdaten (z.B. GPS-Daten oder Daten eines Beschleunigungssensors) hilfreich sein und die Genauigkeit des Stitchings erhöhen, was der Einordnung der Aufnahmen in eine (geografische) Karte an mit der Realität übereinstimmenden Positionen dient, und/oder
- zur Berechnung eines hochauflösenden Bildes, welches insbesondere bei einem Zeilenscanner-Aufbau mit einer Zylinderlinse als eine weitere Linse vorteilhaft ist.
Die Resultate z.B. berechnete Pflanzenschutzparameter, können dann auf der Rechnereinheit im Fluggerät oder dem Boden PC abgespeichert werden oder umgehend an eine ausführende Einheit, z.B. eine Landmaschine gesendet werden um geolokalisierte Arbeitsschritte (z.b.: Pflanzenschutz oder Düngung) auf Basis der soeben erhobenen Erkenntnisse der spektralen Messung durchzuführen.
Beispiele für bevorzugte Ausführungsformen der erfindungsgemäßen Vorrichtung sind in den Abbildungen dargestellt.
Figur 1 zeigt schematisch ein Multilinsen-Kamerasystem gemäß dem Stand der Technik.
Figur 2 zeigt schematisch ein Multilinsen-Kamerasystem gemäß einer bevorzugten Ausführungsform der Erfindung.
Figur 3 zeigt ein Beispiel für eine Anordnung von Abbildungen.
Figur 4 zeigt schematisch ein Multilinsen-Kamerasystem gemäß einer weiteren bevorzugten Ausführungsform der Erfindung.
Figur 5 zeigt ein Beispiel für eine weitere Anordnung von Abbildungen.
Figur 6 zeigt ein Beispiel für eine bevorzugte Linsenmatrix. Figur 7 zeigt ein weiteres Beispiel für eine bevorzugte Linsenmatrix.
Figur 8 zeigt schematisch ein weiteres Multilinsen-Kamerasystem gemäß einer bevorzugten Ausführungsform der Erfindung.
Figur 1 zeigt schematisch ein Multilinsen-Kamerasystem 1 zur hyperspektralen Aufnahme von Bildern gemäß dem Stand der Technik in einer perspektivischen Darstellung. Das Multilinsen-Kamerasystem 1 umfasst einen flächigen Bildsensor 3, und eine flächige Linsenmatrix 2 aus gleichförmigen Einzellinsen 2a, welche so angeordnet ist, dass sie von einem Motiv M eine Vielzahl von rasterförmig
angeordneten ersten Abbildungen AS (s. z.B. ausschließlich die kleinen ersten
Abbildungen AS in Figur 5) auf dem Bildsensor 3 erzeugt. Der Übersicht halber ist nur eine der Einzellinsen 2a mit einem Referenzzeichen versehen.
Zur Verbesserung der Qualität der ersten Abbildungen AS ist eine Aperturmaske 5 zwischen Bildsensor 3 und Linsenmatrix 2 angeordnet. Jede Apertur 5a der Apertur maske 5, ist einer Einzellinse 2a zugeordnet und genau hinter dieser angeordnet. Zum Erhalt der spektralen Informationen ist ein Filterelement 4 zwischen Aperturmaske 5 und Bildsensor 3 angeordnet. Dieses Filterelement 4 kann in anderen Ausführungen auch vor der Linsenmatrix angeordnet sein (s. z.B. Figur 8). In dem hier dargestellten Fall handelt es sich bei dem Filterelement 4 um einen linearvariablen Filter, der gegen über dem Bildsensor etwas verdreht ist. Jede Abbildung hat damit ihren Mittelpunkt bei einem anderen Längenwellenbereich des Filterelements. Somit liefert jede erste Abbil dung AS auf dem Bildsensor eine andere spektrale Information und die Gesamtheit der ersten Abbildungen AS dient zur Erstellung eines Bildes mit spektralen Informationen.
Figur 2 zeigt schematisch ein Multilinsen-Kamerasystem 1 gemäß einer bevorzugten Ausführungsform der Erfindung in einer perspektivischen Darstellung. Es ist ähnlich dem Multilinsen-Kamerasystem aus Figur 1 aufgebaut mit dem wichtigen Unterschied, dass die Linsenmatrix 2 eine größere weitere Linse 2b mit einer anderen Brennweite aufweist. Entsprechend hat die Aperturmaske 5 an dieser Stelle auch eine größere Apertur 5a.
Durch diese größere weitere Linse 2b ist das Multilinsen-Kamerasystem 1 dazu in der Lage, bei unveränderter Positionierung des Multilinsen-Kamerasystems 1 zum Motiv M (s. Figur 1) eine zweite Abbildung AO (nämlich diejenige, die durch die größere weitere Linse 2b abgebildet wird) mit einer höheren Ortsauflösung als die der ersten Abbil dungen AS (der kleineren Einzellinsen 2a) auf dem Bildsensor 3 darzustellen. Da die größere weitere Linse 2b hier eine größere Brennweite hat, ist sie etwas weiter entfernt vom Bildsensor 3 angeordnet. Zu den Abbildungen AO, AS wird auf Figur 3 verwiesen.
Figur 3 zeigt ein Beispiel für eine Anordnung von ersten Abbildungen AS und zweiten Abbildungen AO wie sie mit einem Multilinsen-Kamerasystem 1 nach Figur 2 auf dessen Bildsensor 3 vorliegen könnte. Links oben ist eine einzige zweite Abbildung AO (Ortsrasterbild) dargestellt, wie sie von der großen weiteren Linse 2b des Multilinsen- Kamerasystems 1 nach Figur 2 auf dem Bildsensor 3 abgebildet wird. Die übrigen Bilder (Spektralbilder) gehören zur zweiten Gruppe von ersten Abbildungen AS. Links ist das Motiv M zu sehen, welches durch das Multilinsen-Kamerasystem 1 abgebildet wird, wobei der Vorgang der Abbildung mit einem Pfeil symbolisiert wird.
Da der Bildsensor 3 eine homogene Pixelverteilung hat, zeigen die zweite Abbildung AO und die ersten Abbildungen AS zwar dasselbe Motiv M in unterschiedlichen Bereichen des Bildsensors, jedoch hat das Ortsrasterbild (zweite Abbildung AO) die vierfache Ortsauflösung verglichen mit den Spektralbildern (erste Abbildungen AS).
Figur 4 zeigt schematisch ein Multilinsen-Kamerasystem 1 gemäß einer weiteren bevorzugten Ausführungsform mit einer optischen Abbildungsoptik 6 zwischen der Linsenmatrix 2 in Seitenansicht. Das Multilinsen-Kamerasystem ist in diesem Beispiel ohne eine Aperturmaske 5 dargestellt. Der Bildsensor 3 hat wie die vorangehenden Beispiele ein vorgelagertes Filterelement 4. Die optische Abbildungsoptik 6 kann bei spielsweise eine Zoomoptik sein, was zu einer Darstellung gemäß Figur 5 führen kann. Dieses Multilinsen-Kamerasystem 1 ist dazu ausgestaltet, dass bei unveränderter Posi tionierung des Multilinsen-Kamerasystems 1 zum Motiv M mehrere zweite Abbildungen AO (oder auch eine einzige zweite Abbildung AO) mit einer höheren Ortsauflösung als die ersten Abbildungen AS (s. Figur 5) zu unterschiedlichen Aufnahmezeiten aufzunehmen.
Figur 5 zeigt ein Beispiel für eine Anordnung von Abbildungen AO, AS wie sie mit einem Multilinsen-Kamerasystem 1 nach Figur 4 auf dessen Bildsensor 3 vorliegen könnte. Die Aufnahmen des Motivs M zu unterschiedlichen Aufnahmezeiten sind links und rechts unter dem Motiv M dargestellt, wobei der Vorgang der Abbildung hier wieder mit Pfeilen symbolisiert wird.
Bei der linken Aufnahme ist die Abbildungsoptik 6 so eingestellt, dass zwar das gesamte Motiv M aufgenommen wird, aber nicht alle Bilder der Abbildungsoptik auf den Bildsensor„passen“ (gestrichelter Rand). Hier haben die einzelnen Abbildungen eine vergleichsweise große Ortsauflösung, da vergleichsweise viele Pixel des Bildsensors von einem Bild überdeckt werden. Diese Aufnahmen können als zweite Abbildungen AO angesehen werden.
Bei der rechten Aufnahme ist die Abbildungsoptik 6 so eingestellt, dass alle
Abbildungen der Linsenmatrix auf den Bildsensor„passen“. Demzufolge sind sie kleiner als die Aufnahmen in der linken Darstellung und haben auch eine geringere Ortsuflösung. Diese Aufnahmen können als erste Abbildungen AS angesehen werden.
Figur 6 zeigt ein Beispiel für eine bevorzugte Linsenmatrix 2. Dieses umfasst neben den Einzellinsen 2a in der ersten Zeile eine Zylinderlinse als weitere Linse 2b. Mit einer solchen Linse kann ein Multilinsen-Kamerasystem 1 auch als Linienscanner verwendet werden.
Figur 7 zeigt ein weiteres Beispiel für eine bevorzugte Linsenmatrix 2. Dieses umfasst in der ersten Zeile eine einzige Zylinderlinse als weitere Linse 2b, deren Rastermaß dem der sphärischen Einzellinsen 2a entspricht.
Figur 8 zeigt schematisch ein Multilinsen-Kamerasystem 1 gemäß einer bevorzugten Ausführungsform der Erfindung in einer perspektivischen Darstellung. Es ist ähnlich dem Multilinsen-Kamerasystem aus Figur 2 aufgebaut, jedoch mit einigen Besonder heiten, die durchaus auch einzeln jede für sich in einem Multilinsen-Kamerasystem vorliegen können.
Zum einen gibt es zwei Linsenmatrizen 2, eine flächige Linsenmatrix 2 aus gleichförmi gen Einzellinsen 2a und eine Linsenmatrix 2 mit einer größeren weiteren Linse 2b, welches etwas weiter vom Bildsensor 3 entfernt ist. Zum zweiten ist das Filterelement 4 vor den beiden Linsenmatrizen 2 angeordnet.
Zum dritten ist das Filterelement 4 ein Mosaikfilter, welcher für jede Einzellinse eine andere Wellenlänge transmittiert (durch die durchsichtigen Kästen im Filterelement 4 angedeutet). Vor der weiteren Linse 2b befindet sich bevorzugt ein durchsichtiges Element im Filterelement 4, was dort durch den größeren durchsichtigen Kasten angedeutet ist.
Abschließend wird angemerkt, dass die Verwendung der unbestimmten Artikel, wie z.B. „ein“ oder„eine“, nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. So kann„ein“ auch als„mindestens ein“ gelesen werden. Begriffe wie„Einheit“ oder„Vorrichtung“ schließen nicht aus, dass die betreffenden Elemente aus mehreren zusammenwirkenden Komponenten bestehen können, die nicht unbedingt in einem gemeinsamen Gehäuse untergebracht sind, auch wenn der Fall eines umfassenden Gehäuses bevorzugt ist. Im Bereich der Optik kann insbeson dere das Element der Linse aus einer einzelnen Linse oder einem System von Linsen oder einem Objektiv bestehen ohne dass dies einer genauen Differenzierung bedarf.
Bezeugszeichenliste
1 Multilinsen-Kamerasystem
2 Linsenmatrix
2a Einzellinse
2b Weitere Linse
3 Bildsensor
4 Filterelement
5 Aperturmaske
5a Apertur
6 Abbildungsoptik
AS Erste Abbildung
AO Zweite Abbildung
M Motiv

Claims

Ansprüche
1. Multilinsen-Kamerasystem zur hyperspektralen Aufnahme von Bildern umfassend einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein
Abbildungssystem, wobei das Abbildungssystem
- eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen umfasst, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen, und
- zusätzlich eine weitere Linse umfasst, die In der Ebene der Linsenmatrix oder abge setzt von der Ebene der Linsenmatrix angeordnet ist und dazu ausgestaltet ist, in einem zweiten Bereich des Bildsensors und/oder zu einem zweiten Aufnahme zeitpunkt eine zweite Abbildung des Motivs auf dem Bildsensor zu erzeugen, wobei die weitere Linse eine Brennlinie und/oder verglichen mit der Vielzahl von Einzellinsen eine andere Brennweite aufweist, und und so positioniert ist, dass sich ihre zweite Abbildung von den ersten Abbildungen zumindest in einer
Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet.
2. Multilinsen-Kamerasystem nach Anspruch 1 , dadurch gekennzeichnet, dass die Linsenmatrix eine Vielzahl von Einzellinsen umfasst und zusätzlich eine weitere Linse umfasst, welche verglichen mit den Einzellinsen einen unterschiedlichen Durchmesser und/oder eine unterschiedliche Brennweite und/oder eine unterschiedliche Substrat dicke und/oder einen unterschiedlichen Abstand zum Bildsensor hat, wobei die Linsen matrix so ausgestaltet ist, dass sie Abbildungen unterschiedlicher Größe auf dem Bildsensor erzeugt, wobei bevorzugt die weitere Linse bezogen auf das Raster der Linsenmatrix den Platz von einem ganzzahligen Vielfachen der Einzellinsen einnimmt.
3. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das optische Abbildungssystem eine Optik zwischen Linsen matrix und Bildsensor umfasst, welche dazu ausgestaltet ist, Abbildungen zumindest eines Teils der Linsen der Linsenmatrix zu unterschiedlichen Aufnahmezeiten in einer unterschiedlichen Größe darzustellen und/oder unterschiedlich große Bereiche des Motivs in Form unterschiedlicher Abbildungen darzustellen, wobei das optische Abbildungssystem bevorzugt eine Zoomoptik umfasst und wobei das Filterelement bevorzugt einen Mosaik-Filter umfasst.
4. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das optische Abbildungssystem, bevorzugt die Linsenmatrix, als weitere Linse eine Zylinderlinse umfasst, wobei das Multilinsen-Kamerasystem so ausgestaltet ist, dass derjenige Teil des Bildsensors, auf dem die Abbildung der Zylinderlinse erzeugt wird, unabhängig vom übrigen Teil des Bildsensors ausgelesen werden kann.
5. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es eine Verarbeitungseinheit umfasst, welche dazu ausgestaltet ist, die ersten Abbildungen mit einer zweiten Abbildung zu überlagern und/oder zu registrieren und/oder entsprechende Bildbereiche der ersten Abbildungen mit einer zweiten Abbildung miteinander datentechnisch zu verknüpfen, wobei die Verarbei tungseinheit insbesondere dazu ausgestaltet ist, spektrale Daten von Bildpunkten der zweiten Abbildung durch spektrale Daten basierend auf den ersten Abbildungen zu ergänzen und/oder Bildpunkten der ersten Abbildungen durch räumliche Daten der zweiten Abbildung zu ergänzen.
6. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das spektrale Filterelement einen linearvariablen Filter mit Filterlinien umfasst, welcher im Hinblick auf die Ausrichtung der Filterlinien bezüglich der Linsenmatrix in einem Winkel zwischen 1° und 45° verdreht ist, und/oder einen Mosaik-Filter umfasst, wobei das Mosaik des Mosaik-Filters so angeordnet ist, dass große Wellenlängenschritte innen sind, währen kleinere Intervalle außen sind.
7. Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es eine Aperturmaske zwischen Linsenmatrix und Bildsensor umfasst, wobei Aperturen auf der Aperturmaske entsprechend der Linsen der Linsen matrix positioniert sind und die Aperturmaske so positioniert ist, dass Licht der Abbil dungen der einzelnen Linsen durch Aperturen der Aperturmaske tritt, wobei bevorzugt ein optischer Abbildungssystem zwischen Aperturmaske und Bildsensor positioniert ist.
8. Verfahren zur Aufnahme von Daten mit einem Multilinsen-Kamerasystem nach einem der vorangehenden Ansprüche, gekennzeichnet durch die Schritte:
- Bereitstellen eines Motivs,
- Aufnahme des Motivs mittels des Multilinsen-Kamerasystems, wobei eine Vielzahl von rasterförmig angeordneten Abbildungen auf dem Bildsensor erzeugt wird und wobei in unterschiedlichen Bereichen des Bildsensors und/oder zu
unterschiedlichen Aufnahmezeiten eine Vielzahl erster Abbildungen und eine Anzahl zweiter Abbildungen von Bereichen desselben Motivs aufgenommen wird, wobei sich eine zweite Abbildung von den ersten Abbildungen zumindest in einer Flächendimension des Bildsensors bezüglich der Größe und/oder bezüglich der vor dem Filterelement vorliegenden Bildinformation des Motivs unterscheidet.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass im Rahmen einer zweiten Abbildung eine panchromatische Bildaufnahme aufgenommen wird, wobei bevorzugt an unterschiedlichen Positionen des Bildsensors und/oder zu unterschied lichen Messzeiten mehrere panchomatische Aufnahmen unterschiedlicher Bereiche des Motivs und/oder mit unterschiedlicher spektralen Auflösung angefertigt werden, und bevorzugt eine panchromatische Bildaufnahme mit Daten der ersten Aufnahmen überlagert wird.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Daten einer zweiten Abbildung mit den Daten der ersten Abbildungen zur Auswertung der Daten überlagert, registriert und/oder miteinander in Beziehung gesetzt werden, wobei bevorzugt die Daten der zweiten Abbildung dazu verwendet werden,
- um die spektralen Daten der ersten Abbildungen an verschiedenen räumlichen
Positionen zu extrapolieren, und/oder
- um räumlich präzisierte Bezugspunkte zu erhalten und/oder
- um Dimensionsmessungen an dem Motiv durchzuführen und/oder
- um eine räumliche Zuordnung mit höherer räumlicher Auflösung als die räumliche Zuordnung der spektralen Daten der ersten Abbildungen zu erhalten,
wobei die aufgenommenen Daten bevorzugt wie folgt verarbeitet werden:
a) Verrechnung von ersten Aufnahmen mit einer zweiten Aufnahme,
b) optische Bildkorrektur, c) Eine Ermittlung von Objekteigenschaften und/oder eine Unterscheidung von Objekten,
d) Eine Überlagerung von Bildsequenzen, zur Erstellung einer Karte, und/oder zur Berechnung eines hochauflösenden Bildes.
EP20703376.2A 2019-01-18 2020-01-13 Multilinsen-kamerasystem und verfahren zur hyperspektralen aufnahme von bildern Pending EP3911928A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019101324.0A DE102019101324B4 (de) 2019-01-18 2019-01-18 Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
PCT/DE2020/100018 WO2020147890A1 (de) 2019-01-18 2020-01-13 Multilinsen-kamerasystem und verfahren zur hyperspektralen aufnahme von bildern

Publications (1)

Publication Number Publication Date
EP3911928A1 true EP3911928A1 (de) 2021-11-24

Family

ID=69467281

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20703376.2A Pending EP3911928A1 (de) 2019-01-18 2020-01-13 Multilinsen-kamerasystem und verfahren zur hyperspektralen aufnahme von bildern

Country Status (3)

Country Link
EP (1) EP3911928A1 (de)
DE (1) DE102019101324B4 (de)
WO (1) WO2020147890A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8174694B2 (en) * 2001-12-21 2012-05-08 Bodkin Design And Engineering Llc Hyperspectral imaging systems
US9030528B2 (en) * 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
IN2014CN03038A (de) * 2011-11-04 2015-07-03 Imec
US9395516B2 (en) * 2012-05-28 2016-07-19 Nikon Corporation Imaging device
CN205265783U (zh) * 2012-12-21 2016-05-25 菲力尔系统公司 成像系统
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging

Also Published As

Publication number Publication date
DE102019101324B4 (de) 2021-06-10
WO2020147890A1 (de) 2020-07-23
DE102019101324A1 (de) 2020-07-23

Similar Documents

Publication Publication Date Title
DE102012106584B4 (de) Verfahren und Vorrichtung zur Bildrekonstruktion
DE102019008472B4 (de) Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
EP2596642B1 (de) Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes
EP3557523A1 (de) Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers
WO2018134129A1 (de) Mikroskop und verfahren zum mikroskopieren einer probe
DE202009003286U1 (de) Vorrichtung zum Aufnehmen eines Bilds eines Gegenstands
WO2014086511A1 (de) Inspektionsvorrichtung
DE102006055758A1 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102021127795A1 (de) Metrologiesystem mit projiziertem muster für prozesse vom points-from-focus-typ
EP3147700B1 (de) Verfahren und vorrichtung zur vergrösserung des sichtfelds einer kamera sowie damit ausgestattete kamera
WO2020136037A2 (de) Verfahren und verarbeitungseinrichtung zum verarbeiten von messdaten eines bildsensors
WO2021115531A1 (de) Verfahren und vorrichtung zur parallaxenbestimmung von aufnahmen eines multilinsen-kamerasystems
DE102019101324B4 (de) Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
WO2022188923A1 (de) Mehrkanaloptik zur synchronen aufnahme von abbildungen
EP2907105A2 (de) Verfahren zur bildaufbereitung und verfahren zur bahnverfolgung von raketen
DE102016008884A1 (de) Spektroskopievorrichtung und -verfahren
EP4217785B1 (de) Abbildungssystem, insbesondere für eine kamera
DE102019133516B4 (de) Verfahren und Vorrichtung zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems
DE102014105222A1 (de) Kamera mit integriertem Spektrometer
AT523547B1 (de) Anordnung zur Erstellung eines Modells einer Szene
DE102021203812B4 (de) Optische Messvorrichtung und Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells
DE102016125372A1 (de) Verfahren zum Bestimmen der Position und/oder Orientierung durch gleichzeitige Aufnahme von Objektrauminformation aus erheblich unterschiedlichen Wellenlängenbereichen in einem Bild, digitales Kamerasystem und mobile elektronische Einrichtung
DE19500507C2 (de) Kamera mit Objektiv- und Bildträgereinstellvorrichtung und Scharfstellverfahren
DE102017118437A1 (de) Empfängereinheit für eine Laserabtastvorrichtung, Laserabtastvorrichtung, Fahrzeug und Verfahren zum Erfassen von Licht
DE102008046965A1 (de) Bilderfassungseinheit zur Fusion von mit Sensoren unterschiedlicher Wellenlängenempfindlichkeit erzeugten Bildern

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210727

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240415