EP2436190A1 - Bilderfassungsverfahren zur erfassung mehrerer bilder mittels eines automotiven kamerasystems und zugehörige bilderfassungsvorrichtung des kamerasystems - Google Patents

Bilderfassungsverfahren zur erfassung mehrerer bilder mittels eines automotiven kamerasystems und zugehörige bilderfassungsvorrichtung des kamerasystems

Info

Publication number
EP2436190A1
EP2436190A1 EP10719943A EP10719943A EP2436190A1 EP 2436190 A1 EP2436190 A1 EP 2436190A1 EP 10719943 A EP10719943 A EP 10719943A EP 10719943 A EP10719943 A EP 10719943A EP 2436190 A1 EP2436190 A1 EP 2436190A1
Authority
EP
European Patent Office
Prior art keywords
polarization
images
image
filter
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP10719943A
Other languages
English (en)
French (fr)
Inventor
Michael Hissmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2436190A1 publication Critical patent/EP2436190A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/0049—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means for non integrated articles
    • B60R2011/005—Connection with the vehicle part
    • B60R2011/0056—Connection with the vehicle part using suction cups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras

Definitions

  • Image acquisition method for acquiring multiple images by means of an automotive camera system and associated image capture device of the camera system
  • the invention is based on camera systems for vehicles.
  • Camera systems for vehicles capture image data that is used for a variety of applications, including distance warning, traffic sign recognition and visual support of the driver, for example by means of a head-up display.
  • EP 0 490 029 A2 describes scanning the environment with a laser and using the reflected laser light for imaging.
  • a polarization filter is used to separate the light emitted by the laser from the light from oncoming vehicles. The active one
  • Scanning therefore relies on emitting laser light, which has the inherent property of polarization, and "encoding” it through polarization,
  • the polarizing filter is used to "encode” this emitted light upon receiving light signals from non-laser light distinguish and separate.
  • an active laser scanning means a significant outlay for the optics and the light emitter used, and on the other hand an elaborate downstream signal processing, since the laser only produces individual points of light over time and these have to be combined to form an image. Furthermore, with active laser scanning, the problem arises due to the high intensity To cause eye damage or the problem of short range when using low intensity lasers.
  • the invention enables the suppression of interference without the use of an active lighting system.
  • the invention may be provided by means of simple optical structures and with inexpensive components.
  • known camera systems can be converted by simple modifications to implement the invention.
  • the invention makes it possible in a simple manner to represent the degree of polarization of the imaged environment. This representation provides additional information about the nature of the environment and can in particular be combined with the image data acquired directly by the cameras, thereby obtaining a representation of the environment with a higher information content.
  • the concept underlying the invention is to extract the polarization information when capturing images that represent a common object, by taking both images under different polarization-related recording conditions and from the difference in brightness information that is present When comparing the images of different recording conditions results in the polarization direction and / or on the degree of polarization of the object or sections or pixels of the object to close.
  • the recording of images with different polarization-related recording conditions is provided by taking pictures through polarizing filters of different polarization angles, or by taking at least one image through at least one polarizing filter and capturing an image without filtering through a polarizing filter. If several images are taken through polarizing filters, they have a different polarization direction.
  • the polarization-related recording conditions are thus likewise considered to be the taking of images through polarization filters of different polarization directions, as well as the taking of an image through one (or more) polarization filters and at least one image without polarization filtering.
  • Different recording conditions therefore result from different polarization angles as well as from taking a picture through a polarizing filter and without a polarizing filter.
  • the recording conditions therefore differ in the respective polarization angle which is used in the respective recording of the individual images, or by a recording through a polarizing filter with respect to a recording without a polarizing filter.
  • the images are not necessarily identical, but all images to be compared relate to at least one common object or at least one common object section.
  • the invention uses passively two or more mappings of a common object to measure them one at a time and with different angles of polarization (generally also include a picture with and a picture without a filter). Polarization-related information is obtained by comparison of images taken with different polarization-related acquisition conditions, ie with different polarization angles or images of the same object with and without polarization filter. Since the method according to the invention and the device according to the invention itself are not directly based on emitting light, simple and inexpensive passive systems can be used. In particular, can be dispensed with an active lighting.
  • the passive illumination as used in the invention, in particular the illumination is called by external light sources, the neither have to emit polarized light nor generate incident light from a particular direction, but merely serve to illuminate the environment. Therefore, the usual headlight of a motor vehicle is sufficient, so that no additional light sources need only be provided for the camera system.
  • an image acquisition method in which at least two images are acquired under different polarization-related recording conditions with a camera system.
  • the images represent a common object.
  • the images are oriented essentially in the same direction and the respective captured images comprise at least one image section (in which the object is located), which represents the same object.
  • the representation of the same object may be different for both images, for example both images may capture the same object (i.e., the same image portion) from different perspectives, the images may be shifted from each other, or a combination thereof.
  • other distortions of the images may be provided which are used for the
  • Images are different, so that there is only the requirement that the images each have a section that corresponds to the same object or the same object section, the images and in particular the section on which the object or the object section is shown, be distorted differently can, for example, by different perspectives, by displacement or by other distortions.
  • the invention therefore, at least two images are captured, filtered with different polarization angles, or one group of images is filtered and another group is not filtered, and combined in both variants, after filtering to form a common representation. This combination allows polarization information to be taken from the images.
  • the intensity i. H. the brightness
  • the intensity are taken and compared with the brightness value of the corresponding point of another image, wherein the other image was filtered at a different polarization angle or was not filtered.
  • Brightness expected to be twice as large as the corresponding pixels the associated filtered images Since the environment is usually illuminated with unpolarized light, a high degree of polarization, that is to say a large difference in the intensity of the pixels of different images with images filtered at different angles and with a large deviation from the expected double intensity in the case of filtered and not filtered recording of the same
  • the combination therefore consists in particular of a difference formation of brightness values of picture elements or image areas which belong to different images, were filtered with different polarization directions, but belong to the same object or the same object point.
  • the combination also consists, in particular, in determining deviations from the assumed half intensity from a difference of brightness values of pixels or image areas belonging to different images acquired with and without polarization filter but belonging to the same object or the same object point ,
  • the combination comprises comparing pixels of different images that relate to the same object point or the same object section or the same object section.
  • the environment detected by the cameras is generally referred to, which, due to its application in the field of motor vehicles, may in particular comprise objects such as road characteristics, vehicles, stationary objects and traffic signs.
  • objects such as road characteristics, vehicles, stationary objects and traffic signs.
  • the road surface reflecting objects of the road surface (puddles and the like), reflections of oncoming headlights and
  • Similar things are also called objects.
  • objects that are detected from different perspective angles but with at least partially overlapping field of view are referred to as a common object. This is particularly important in stereo imaging, where the environment is viewed with spaced-apart cameras pointing to a common area are aligned and thus able to capture depth information to reproduce later, for example, with a color display in the displayed image.
  • the multiple images are therefore captured by means of an automotive camera system and (at least one of them) filtered, the multiple images being a common
  • Object i.e., an at least partially overlapping imaging area
  • the images of the common object are filtered upon detection with at least one polarizing filter.
  • the polarizing filter between a camera and the object is stationary (with respect to the camera) arranged, and at least one other camera of the system has none
  • Polarization filter on.
  • a camera is equipped with a movable, for example, rotatable polarizing filter with recesses, wherein the motion either the recesses or polarization filtering sections of the filter are placed in front of the camera, and thus depending on the (variable) position of the polarization filter either filtered or unfiltered images be recorded.
  • a movable, for example, rotatable polarizing filter with recesses wherein the motion either the recesses or polarization filtering sections of the filter are placed in front of the camera, and thus depending on the (variable) position of the polarization filter either filtered or unfiltered images be recorded.
  • the same mechanisms as used for the continuous polarizing filter described below can be used.
  • the at least one polarization filter has different polarization angles for the plurality of images, so that they can be compared later, for example.
  • the multiple images are combined into a common representation after filtering.
  • the combination comprises not only the difference formation, but in general the comparison of the images or their brightness values, as a result of which polarization information develops.
  • the at least one polarizing filter comprises a rotating polarizing filter so that the images are filtered upon detection by the rotating polarizing filter.
  • the polarizing filter rotates about an axis of rotation that is perpendicular to the plane in which the polarizing filter extends. The pictures are taken one after the other, for example from one and the same camera.
  • the movement of the motor vehicle produces a difference between successive recorded images. Since the polarization filter has rotated by an angle in the period between time points at which the images are taken, successive images with different polarization angles (or, in another embodiment, with and without polarization filter) are detected.
  • the multiple images therefore differ in the times of their respective recording and, for example, in a forward movement shifted to each other (and additionally distorted differently according to the recording optics).
  • the images are captured from at least two different perspectives.
  • the detection is therefore carried out with two laterally offset cameras, which are aligned in the same direction, so that they image a portion that is detected by both cameras.
  • a common object which lies in the overlapping image section is thus detected by both cameras with different perspectives and with polarization filters of different polarization direction, or by both cameras with different perspectives, wherein only one of the cameras has a polarization filter.
  • the images according to this embodiment differ particularly in perspective, i. H. in the detection direction used in mapping a common object.
  • Such a stereoscopic camera system comprises two cameras, which are used according to the invention for capturing images with different perspectives.
  • the images are captured by the two cameras by aligning the cameras arranged in different positions (for example laterally offset from one another), the cameras having an overlapping image section.
  • the overlapping image section serves to image the common object.
  • the common object thus lies at least partially in the overlapping image section in order to be able to acquire different images in different perspectives at different polarization angles of the same object or the same object section.
  • Each camera captures an image filtered by a polarizing filter.
  • the filtering is performed by polarizing filters, preferably one filter per camera (if it is to be equipped with a filter), wherein polarization filters of different cameras have different polarization angles (or at least one
  • the image acquisition method comprises determining the respective polarization direction and / or the degree of polarization in each case for a multiplicity of image points or image regions of the images.
  • the polarization direction and / or the degree of polarization is thus carried out for individual pixels, groups of pixels, in particular groups of mutually adjacent pixels or for image areas. For example, pixels of similar intensity can be grouped if they are adjacent to each other and have a minimum intensity difference to the surrounding pixels. For example, image areas can be defined that correspond to a reflected spotlight and that reproduce a bright spot.
  • the polarization direction can be determined by the ratio of the intensities of pixels (or groups of pixels or image areas or their mean values) of different polarization direction and of the same object segment.
  • the polarization direction d. H.
  • the main direction of the polarization ellipse can be easily calculated by the quotient of the detected intensities, the difference angle between the two polarization directions and the corresponding trigonometric relationships. For example, at a differential angle of 90 °, the polarization direction ⁇ is given by the equation:
  • / 1 and h are the respective intensities of the pixels of different images (ie, and also different polarization angles).
  • the degree of polarization P results in the same way by combining the respective intensities, ie by the
  • Amount of the quotient of the difference of the intensities to the sum of the intensities denoting as intensities the different intensities of the images which relate to the same object point or the same object section but are filtered with polarization angles different by 90 °.
  • the intensity of the originally incident light can also be determined by the sum of the intensities of the filtered pixels.
  • the combination comprises either: reducing the intensity of the unfiltered image electronically when comparing the intensity, electronically with the image capture, electronically with an image preprocessing (before the comparison), or by darkening by means of a 3 dB non-polarizing filter (ie by means of an obscuration filter, which reduces the intensity by half regardless of the polarity), to compare the thus darkened image with the polarization filtered image, or doubling the intensity of the polarization filtered image to make the comparison of the intensities.
  • a dimming device such as the dimming filter
  • the camera (s) without polarization filter can (or may) be provided with a sensitivity that is equal to half the sensitivity of the camera with polarization filter.
  • filtering is understood to mean only filtering by means of a polarizing filter, which is why filtering by means of the unpolarizing obscuring filter is termed "darkening". Therefore, the term “do not filter” means a shot without a polarizing filter, but this does not preclude darkening to half the intensity.
  • the polarization direction provides information about the position in which the specular object is located. For example, in horizontal
  • Mirror planes such as those provided by water puddles, result in light reflections that are substantially polarized vertically and whose horizontal component is comparatively small. Therefore, the polarization angles can also be related to the tilt of the camera to the horizon, thus typically masking out or recognizing vertically polarizing objects from the common image.
  • the polarization angle of at least one polarization filter is related to the absolute position of the polarization filter or the
  • the polarization angle of various polarization filters are each related to the environment, ie the horizon of the environment, or to the position of the motor vehicle or to the direction of gravity.
  • individual pixels corresponding to the same object portion may be related in intensity to determine polarization direction and / or degree of polarization.
  • a group or a range of pixels can be compared in their intensity, wherein the intensity of the image group results, for example, by averaging or by other statistical combinations.
  • the grouping of a plurality of pixels, the intensity of which is combined for later evaluation, can be achieved by comparing intensities of pixels, for example by differentiating adjacent pixels of similar intensity from pixels with significantly different intensities by means of a threshold value.
  • a grouping of pixels can be performed by detecting a predetermined shape.
  • certain shapes to be recognized are predetermined, for example typical shapes of reflection stripes or the contour of typical reflection patterns in order to be able to detect a potentially reflective object.
  • the degree of polarization or the direction of polarization
  • the degree of polarization can then be deduced from the pixels of the recognized shape on the optical properties, in particular disturbing reflections nen first be recognized in their form and can be identified due to a high degree of polarization as interference , Since the shape alone is not necessarily unique to the type of object, i. H.
  • pixels, image areas or a single pixel are suppressed, having (or having) a degree of polarization (or) is (or are) by a minimum difference above a predetermined threshold or above an average value of The degree of polarization lies (or inclines), which results from a (common) image section.
  • the threshold value can thus be fixed or can be adapted to the captured images.
  • Pressing these pixels which are thus assigned to interferers, can be performed by darkening the pixels, replacing the pixels, cutting out the pixels or marking the pixels or their contour to provide the driver either a suppressed image or the driver an image in which the disturbers detected by their degree of polarization are identified.
  • an image acquisition device of an automotive camera system is provided with at least one camera and one polarization filter device.
  • the polarizing filter device provides a polarization angle or different polarization angles, i. H. either different polarization angles in chronological order, filtered and unfiltered images in chronological order, or at the same time in alignment different polarization filters by a plurality of polarizing filters or simultaneously filtered and unfiltered images with multiple cameras, which are not all equipped with a polarizing filter.
  • a camera is preferably provided which is aligned with a polarization filter which provides the polarization angle. The camera is in its image capture and thus in its sensitive area aligned to the environment to capture multiple images that represent a common object.
  • the cameras provide an at least partially common image section.
  • the cameras are aligned to a common point. If the multiple images are created one after the other, a camera may be provided that faces forward, allowing the same camera to take various pictures of themselves
  • polarization filter is provided in front of each camera, be it one or more cameras, or in front of each, but in front of at least one camera.
  • polarization filter device is thus arranged between the common object and the at least one camera.
  • a polarizing filter is provided, which is arranged between the camera and the object.
  • the image capture device further comprises a combination device connected to the camera or to the plurality of cameras.
  • Combination device is set up, different pictures (ie different in time or in their perspective, different images), which represent a common object and thus have an at least overlapping image area to align with each other and to superimpose.
  • the different images are superimposed to match the displayed common object or the common image section. If pictures are shifted against each other, then this becomes
  • Displacement is compensated by the combination device, for example by the combination device is arranged to capture certain features of the images and to assign the features of different images to the same object or the same object location.
  • the combination device When using a stereo camera system, the images taken at different projection angles are combined by the combination device arranged therefor. As a result, the combination device provides an image data or video data output at which a common representation of the compensated images is output.
  • the polarizing filter device When using a rotating polarizing filter, the polarizing filter device comprises a rotating device connected to the polarizing filter of each camera (or camera) equipped with a polarizing filter.
  • the rotary device is connected to the polarization filter, for example via a shaft, whereby the rotary device transmits rotational movements via a corresponding mechanical connection to the polarization filter.
  • the connection between the rotary device and the polarizing filter is such that the rotary device drives the polarizing filter (s) for rotation about an axis of rotation perpendicular to the plane in which the polarizing filter extends or the polarizing filters extend.
  • the image acquisition device (consisting of one or more cameras) acquires several images with a time-varying polarization angle or one after the other and alternately or periodically alternately images with and images without polarization filtering.
  • the temporal change is predetermined by the rotation device.
  • the image capture device comprises at least two cameras.
  • the image capture device hereby includes a stereo camera system.
  • the at least two cameras are arranged at a distance from one another.
  • the two cameras are designed for a common point. directed or aligned in the same direction, so that the cameras have a common, overlapping image area.
  • the image capture device comprises a polarization filter, which is arranged between the assigned camera and the common point or object to be imaged by the camera.
  • the polarizing filters of different cameras have different polarization angles. Further, only one of the cameras may be equipped with a polarizing filter, or at least one but not all cameras may be equipped with a polarizing filter.
  • the image capture device comprises a
  • Attachment that is set up to fix the camera.
  • the fixture further provides an alignment for the camera (when located in the fixture) that the at least one camera captures at least one image through a windshield of a motor vehicle.
  • the attachment is thus set up, on the one hand to be attached to the camera and, on the other hand, within one
  • Motor vehicle for example, on the windshield to be attached and to orient the camera out to the windshield out.
  • the attachment provides this orientation to the camera when the attachment is located directly or indirectly on the windshield.
  • An immediate arrangement can be provided, for example, by a suction cup or a snap connection, wherein an indirect fastening is provided by a direct attachment to a roof or to a dashboard of a motor vehicle, wherein the windshield is fixed to the roof or dashboard in a known manner.
  • Figure 1 a is a plan view of an image capture device according to the invention for
  • Figure 1 b position of the polarizing filter of the device shown in Figure 1 a along the section A-A '; and
  • Figure 2 is a polarizing filter orientation for a rotating polarizing filter.
  • FIG. 1 shows a device according to the invention with two cameras.
  • the cameras 10 a, 10 b are aligned in the same direction and both capture the
  • the cameras 10 a, 10 b have an overlapping image section 30 in which the object 20 is located.
  • the object 20 can be detected jointly and simultaneously by the cameras 10 a and 10 b.
  • the overlapping area 30 is at a certain distance from the cameras and starts after a certain distance to a windshield 40.
  • the cameras 10 a, 10 b are arranged on an inner side of the windshield 40, wherein the object 20 and also the overlapping area 30 are arranged outside the windshield.
  • the cameras 10 a, 10 b form a stereo camera system.
  • the image capture device comprises the cameras 10 a, 10 b and associated polarizing filters 50 a, 50 b, wherein exactly one polarizing filter is assigned to each camera.
  • the polarizing filter 50 a is associated with the camera 10 a and the polarizing filter 50 b is associated with the camera 10 b, so that the image captured by the camera 10 a is associated with a beam path that passes completely through the polarizing filter 50 a and in the same way the of camera 10 b detected light passes completely through the polarizing filter 50 b.
  • a camera is provided with and without a polarizing filter, wherein the camera without polarization filter may also include a darkening filter to reduce the brightness to 50%.
  • Such an embodiment is identical to the illustrated embodiment, except for the omission of one of the polarizing filters, wherein an obscuring filter replaces one of the polarizing filters in place and alignment.
  • the cameras 10 a, b each have an image output, which is connected to a combination device 60.
  • the combination device 60 brings the images captured by the cameras 10 a, b into harmony with one another despite their different perspectives.
  • the combiner thus performs stereo mapping and further calculates an intensity signal for each pixel (or frame) of each camera 10 a, b. Further, the combining device 60 outputs an image signal corresponding to the combination of the images captured by the cameras 10 a, 10 b.
  • a polarization calculator 70 Connected to the combiner 60 is a polarization calculator 70 which detects the degree of polarization, the angle of polarization, or both.
  • the polarization calculation device 70 is connected via a (double) connection with the combination device 60 in order to determine and compare the pixels, ie intensity values, of the images captured by the cameras 10 a and 10 b.
  • the comparison comprises, for example, the quotient formation of the intensities for polarization degree detection and the difference formation or the
  • the polarization calculator 70 calculates the intensity data, i. H. If the image data of both cameras 10 a, b are required, the connection between polarization calculation device 70 and combination device 60 is shown in FIG. 1 a as a double connection. In this case, the combination device 60 is set up to shift or distort at least one of the two images in order to compensate for the different perspectives (or displacements) of the images of the cameras 10 a, b. After the combining device 60 reconciles the images by this combination, the images are compared by the polarization calculator 70 for detecting the degree of polarization and / or the polarization angle.
  • Combiner 60 and polarization calculator 70 are preferably provided as software modules running on a programmable data processing system.
  • the devices 60 and 70 may be provided as software or as software pieces stored in a memory, which in turn is connected to a CPU or a video chip which, by running the software or software sections, performs the associated method steps such as combining, Comparing, shifting, compensating the perspectives, calculating the polarization angle and / or the degree of polarization for each pixel or for an image portion and implementing the output of the polarization data in the form of an image signal.
  • the device shown in FIG. 1 a can furthermore be combined with a shape recognition which combines image pixels of an image section which lie within a predetermined and recognized form.
  • This shape detection device may also be provided as software which searches an image according to predetermined shapes and marks them.
  • the polarization directions 152a, b and the polarization filter 150a, b are shown symbolically in FIG. 1b, the polarization filters 150a, b corresponding to the polarization filters 50a, b of FIG. 1, and FIG. 1b to the section AA in finance gur 1 a corresponds. It can be seen that the polarization filters 150 a, b in Figure 1 b have the same design, but have a mutually inclined polarization angle 152 a, b. Due to the difference in the polarization angles 152 a, 152 b, the polarization information (ie the polarization angle or the degree of polarization) can be detected.
  • FIG. 1b The polarization directions 152a, b and the polarization filter 150a, b are shown symbolically in FIG. 1b, the polarization filters 150a, b corresponding to the polarization filters 50a, b of FIG. 1, and FIG. 1b to the section AA in finance gur 1 a corresponds.
  • 1b further shows the cameras 110a, 110b in a schematic representation, which, viewed from above on the drawing plane, lie behind the polarization filters 150a, b.
  • the direction pointing upwards from the plane of the drawing corresponds to the direction leading to the object 20, ie through the windshield 40.
  • FIG. 2 serves to explain a further embodiment of the invention.
  • FIG. 2 shows a polarization filter 250 which has the polarization direction 252a in a first position.
  • the polarization filter 250 is rotated along the direction of rotation 260 (for example by a rotation device, not shown, for example an electric motor) so that a polarization direction 252 b results from the polarization direction 252 a at a later time differs by which the polarizing filter 250 was rotated in the direction of rotation 260 in the meantime. If a first image is recorded in the position indicated by 252 a and a second image is recorded with the position designated as 252 b, then two images are obtained that were acquired with different polarization angles.
  • the entire system undergoes a translation 270 by the movement of the vehicle in which the automotive camera system according to the invention is located. That is, not only the polarization angle 252 a rotates to the polarization angle 252 b, but also the image area 280 a, which is associated with the polarization direction 252 a, associated with the polarization angle 252 b.
  • the offset between the image areas 280 a, b is compensated according to the invention in order to superimpose the respective images according to a jointly detected object and to align them with each other.
  • the detection of a first image, with a first polarization direction 252 a, which corresponds to the image area 280 a, and the detection of a second image (or other images), which is characterized with the image area 280 b, and that of a filtering according to the polarization direction 252nd b is subjected.
  • the common overlapping image area corresponds to the field between the upper edge of the area 280b and the lower edge of the image area or image capture area 280a.
  • the displacement between both image areas is due to the movement of the vehicle 270.
  • the displacement shown in FIG. 2 is merely symbolic; in actual recordings, further trapezoidal distortions arise along the alignment lines of the camera alignment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Bilderfassungsverfahren, umfassend: Erfassen mehrerer Bilder mittels eines automotiven Kamerasystems und Filtern der Bilder. Die mehreren BiIder stellen ein gemeinsames Objekt dar. Die Bilder des gemeinsamen Objekts werden bei der Erfassung mit mindestens einem Polarisationsfilter gefiltert, der für die mehreren Bilder unterschiedliche Polarisationswinkel aufweist, oder der nur einige jedoch nicht alle Kameras filtert. Die mehreren Bilder werden nach dem Filtern zu einer gemeinsamen Darstellung kombiniert. Die Erfindung betrifft ferner eine zugehörige Bilderfassungsvorrichtung eines automotiven Kamerasystems mit mindestens einer Kamera und einer Polarisationsfiltervorrichtung, die verschiedene Polarisationswinkel vorsieht, oder die nur einige jedoch nicht alle Kameras filtert. Die mindestens eine Kamera ist ausgerichtet, mehrere Bilder zu erfassen, die ein gemeinsames Objekt darstellen, wobei die Polarisationsfiltervorrichtung zwischen dem gemeinsamen Objekt und der mindestens einen Kamera angeordnet ist. Die Polarisationsfiltervorrichtung sieht für jede Kamera oder für zumindest eine jedoch nicht für alle Kameras einen Polarisationsfilter vor, der zwischen Objekt und Kamera angeordnet ist. Die Bilderfassungsvorrichtung umfasst ferner eine Kombinationsvorrichtung, die eingerichtet ist, verschiedene Bilder, die ein gemeinsames Objekt darstellen, zur Übereinstimmung des von den verschiedenen Bilder dargestellten gemeinsamen Objekts übereinander zu legen, um die mehreren Bilder zu einer gemeinsamen Darstellung zu kombinieren.

Description

Beschreibung
Titel
Bilderfassungsverfahren zur Erfassung mehrerer Bilder mittels eines automotiven Kamerasystems und zugehörige Bilderfassungsvorrichtung des Kamerasystems
Stand der Technik
Die Erfindung geht aus von Kamerasystemen für Fahrzeuge.
Kamerasysteme für Fahrzeuge erfassen Bilddaten, die für eine Vielzahl von Anwendungen verwendet werden, unter anderem für Abstandswarner, zur Verkehrszeichenerkennung sowie zur visuellen Unterstützung des Fahrers, beispielsweise mittels eines Head-up-Displays.
Es ist bekannt, derartige Systeme zu verwenden, um Aufnahmen von der Umgebung im Blickwinkel des Fahrers zu machen. Bei Nachtfahrten wirken entgegenkommende Scheinwerfer und Spiegelungen besonders störend. In EP 0 490 029 A2 wird beschrieben, die Umgebung mit einem Laser abzutasten und das reflektierte Laserlicht zur Bildgebung zu verwenden. Zur Trennung des vom Laser emittierten Lichts von dem Licht entgegenkommender Fahrzeuge wird ein Polarisationsfilter verwendet. Die aktive
Abtastung beruht daher darauf, Laserlicht, das die inhärente Eigenschaft der Polarisation aufweist, abzustrahlen und durch die Polarisation das Licht zu „codieren". Der Polarisationsfilter wird verwendet, um dieses „codierte" emittierte Licht beim Empfangen von Lichtsignalen gegenüber nicht vom Laser stammendem Licht zu unterscheiden und abzutrennen.
Zum einen bedeutet eine aktive Laserabtastung einen signifikanten Aufwand für die verwendete Optik und den verwendeten Lichtsender, und zum anderen eine aufwändige nachgeschaltete Signalverarbeitung, da der Laser über die Zeit nur einzelne Licht- punkte erzeugt und diese zu einem Bild zusammengefügt werden müssen. Ferner besteht bei aktiver Laserabtastung das Problem, durch die hohe Intensität gegebenenfalls Augenschäden hervorzurufen oder das Problem einer geringen Reichweite, wenn Laser mit geringer Intensität verwendet werden.
Es ist daher eine Aufgabe der Erfindung, ein Bilderfassungsverfahren und eine Bilderfassungsvorrichtung für automotive Kamerasysteme vorzusehen, die es ermöglichen, Störsignale auf einfache Weise zu unterdrücken und keine komplexen oder kostenintensiven Bauteile erfordern.
Offenbarung der Erfindung
Die Erfindung ermöglicht die Unterdrückung von Störungen ohne die Verwendung eines aktiven Beleuchtungssystems. Die Erfindung kann mittels einfacher optischer Strukturen und mit preisgünstigen Komponenten vorgesehen werden. Darüber hinaus können bekannte Kamerasysteme durch einfache Modifikationen umgerüstet werden, um die Erfindung zu implementieren. Neben der deutlich einfacheren Implementierung ist es mit der Erfindung möglich, aus den erfassten Bilddaten zusätzliche Bildinformationen zu erhalten, die über die übliche Helligkeitsinformation bekannter Videosysteme hinausgeht. Die Erfindung ermöglicht in einfacher Weise die Darstellung der Polarisati- onsgradverteilung der abgebildeten Umgebung. Diese Darstellung sieht zusätzliche Informationen der Beschaffenheit der Umgebung vor und lässt sich insbesondere mit den unmittelbar von den Kameras erfassten Bilddaten kombinieren, um dadurch eine Darstellung der Umgebung mit höherem Informationsgehalt zu erhalten. Insbesondere bei Nachtfahrten lässt sich durch die Darstellung der Verteilung des Polarisationsgrads bzw. durch die polarisationsbezogene Erfassung der Bilder auf Eigenschaften der abgebildeten Objekte schließen, wobei insbesondere Reflektionen oder Spiegelungen von Scheinwerferlicht durch beispielsweise nassen Fahrbahnbelag an Hand dieser Polarisation erkannt werden können. Zum einen lässt dies auf die Eigenschaften des Objekts selbst schließen bzw. das Objekt erkennen und zum anderen kann der entspre- chende Bildbereich manipuliert werden, beispielsweise durch Ausblenden oder Abdunkeln erkannter und unerwünschter Reflektionen.
Das der Erfindung zu Grunde liegende Konzept ist es, bei der Erfassung von Bildern, die ein gemeinsames Objekt darstellen, die Polarisationsinformation zu extrahieren, in- dem beide Bilder unter unterschiedlichen polarisationsbezogenen Aufnahmebedingungen aufgenommen werden und aus der Differenz von Helligkeitsinformationen, die sich bei dem Vergleich der Bilder unterschiedlicher Aufnahmebedingungen ergibt, auf die Polarisationsrichtung und/oder auf den Polarisationsgrad des Objekts bzw. Abschnitte oder Bildpunkte des Objekts, zu schließen. Die Aufnahme von Bildern mit unterschiedlichen polarisationsbezogenen Aufnahmebedingungen wird vorgesehen durch Auf- nehmen von Bildern durch Polarisationsfilter unterschiedlicher Polarisationswinkel hindurch, oder durch Aufnehmen zumindest eines Bildes durch mindestens ein Polarisationsfilter hindurch und Aufnehmen eines Bildes ohne Filtern durch ein Polarisationsfilter. Werden mehrere Bilder durch Polarisationsfilter hindurch aufgenommen, so haben diese eine unterschiedliche Polarisationsrichtung. Als polarisationsbezogene Aufnah- mebedingungen wird somit gleichermaßen das Aufnehmen von Bildern durch Polarisationsfilter unterschiedlicher Polarisationsrichtung hindurch angesehen, sowie das Aufnehmen eines Bildes durch einen (oder mehrere) Polarisationsfilter hindurch, und zumindest eines Bildes ohne Polarisationsfilterung. Unterschiedliche Aufnahmebedingungen ergeben sich daher durch unterschiedliche Polarisationswinkel sowie durch Aufnehmen eines Bildes durch einen Polarisationsfilter und ohne ein Polarisationsfilter.
Die Aufnahmebedingungen unterscheiden sich daher in dem jeweiligen Polarisationswinkel, der bei der jeweiligen Aufnahme der einzelnen Bilder verwendet wird, oder durch eine Aufnahme durch ein Polarisationsfilter hindurch gegenüber einer Aufnahme ohne Polarisationsfilter. Die Bilder sind nicht notwendigerweise identisch, jedoch betreffen alle miteinander zu vergleichenden Bilder zumindest ein gemeinsames Objekt oder zumindest einen gemeinsamen Objektabschnitt.
Anstatt, wie im Stand der Technik vorgeschlagen, die Umgebung aktiv zu beleuchten und das reflektierte Licht aufzunehmen, verwendet die Erfindung in passiver Weise zwei oder mehrere Abbildungen eines gemeinsamen Objekts, um diese einzeln gleichermaßen und mit verschiedenen Polarisationswinkeln bzw. allgemein mit unterschiedlichen Aufnahmebedingungen (die auch eine Aufnahme mit und eine Aufnahme ohne Filter umfassen) zu filtern. Polarisationsbezogene Information wird durch Vergleich von Aufnahmen gewonnen, die mit unterschiedlichen polarisationsbezogenen Aufnahmebedingungen gemacht wurden, d.h. mit unterschiedlichen Polarisationswinkeln oder Aufnahmen des gleichen Objekts mit und ohne Polarisationsfilter. Da das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung selbst nicht unmittelbar darauf beruht, Licht auszusenden, können einfache und preiswerte passive Systeme verwendet werden. Insbesondere kann auf eine aktive Beleuchtung verzichtet werden. In diesem Zusammenhang wird als passive Beleuchtung, wie sie die Erfindung verwendet, insbesondere die Beleuchtung durch externe Lichtquellen bezeichnet, die weder polarisiertes Licht abgeben müssen, noch aus einer bestimmten Richtung einfallendes Licht erzeugen müssen, sondern lediglich der Beleuchtung der Umgebung dienen. Daher reicht das übliche Scheinwerferlicht eines Kraftfahrzeugs aus, so dass keine zusätzlichen Lichtquellen nur für das Kamerasystem vorgesehen werden müssen.
Gemäß der Erfindung wird ein Bilderfassungsverfahren vorgesehen, bei dem mindestens zwei Bilder unter verschiedenen polarisationsbezogenen Aufnahmebedingungen mit einem Kamerasystem erfasst werden. Die Bilder stellen ein gemeinsames Objekt dar. Die Bilder sind im Wesentlichen in die gleiche Richtung ausgerichtet und die jewei- ligen erfassten Bilder umfassen zumindest einen Bildabschnitt (in dem sich das Objekt befindet), der das selbe Objekt darstellt. Die Darstellung des selben Objekts kann für beide Bilder unterschiedlich sein, beispielsweise können beide Bilder das selbe Objekt (d. h. den selben Bildabschnitt) aus verschiedenen Perspektiven erfassen, die Bilder können zueinander verschoben sein, oder eine Kombination hiervon. Neben der Ver- Schiebung können auch andere Verzerrungen der Bilder vorgesehen sein, die für die
Bilder unterschiedlich sind, so dass lediglich die Voraussetzung besteht, dass die Bilder jeweils einen Abschnitt aufweisen, der dem selben Objekt oder dem selben Objektabschnitt entspricht, wobei die Bilder und insbesondere der Abschnitt, auf dem das Objekt oder der Objektabschnitt dargestellt ist, unterschiedlich verzerrt sein können, beispielsweise durch verschiedene Perspektiven, durch Verschiebung oder durch andere Verzerrungen. Erfindungsgemäß werden daher mindestens zwei Bilder erfasst, mit unterschiedlichem Polarisationswinkel gefiltert, oder eine Gruppe der Bilder wird gefiltert und eine andere Gruppe wird nicht gefiltert, und, bei beiden Varianten, nach dem Filtern zu einer gemeinsamen Darstellung kombiniert. Durch diese Kombination lässt sich Polarisationsinformation aus den Bildern entnehmen.
Beispielsweise kann für einen Bildpunkt eines mit Polarisationsfilter gefilterten Bildes die Intensität, d. h. die Helligkeit, entnommen werden und mit dem Helligkeitswert des entsprechenden Punktes eines weiteren Bildes verglichen werden, wobei das weitere Bild mit einem anderen Polarisationswinkel gefiltert wurde oder nicht gefiltert wurde.
Werden Bilder unterschiedlicher Polarisationsrichtungen verglichen, ergibt sich bei nicht polarisierten Bildpunkten kein Unterschied, wohingegen polarisierte Bildpunkte durch die verschiedenen Polarisationswinkel auf dem einen Bild eine andere Intensität erhalten als auf dem anderen Bild. Werden gefilterte Bilder mit ungefilterten Bildern verglichen, ist bei nicht polarisierten Bildpunkten ungefilterter Bilder eine Intensität bzw.
Helligkeit zu erwarten, die doppelt so groß ist wie bei den entsprechenden Bildpunkten der zugehörigen gefilterten Bilder. Da die Umgebung üblicherweise mit unpolarisiertem Licht beleuchtet wird, lässt sich aus einem hohen Polarisationsgrad, d. h. aus einem großen Unterschied der Intensität der Bildpunkte verschiedener Bilder bei mit unterschiedlichen Winkeln gefilterten Bilder und bei einer großen Abweichung von der er- warteten doppelten Intensität bei gefilterter und nicht gefilterter Aufnahme des gleichen
Umgebungsabschnitts darauf schließen, dass das Umgebungslicht eine Polarisation erfahren hat. Insbesondere bei Reflektionen mit flachem Winkel treten derartige Reflek- tionen auf. Dadurch lässt sich ein Bildpunkt bzw. ein Bildbereich erkennen, der einer Reflektion entspricht, und diese kann insbesondere herausgefiltert, ausgeblendet oder abgedunkelt werden, da insbesondere bei Nachtfahrten Bildbereiche mit Reflektionen störend wirken. Die Kombination besteht daher insbesondere aus einer Differenzbildung von Helligkeitswerten von Bildpunkten oder Bildbereichen, die verschiedenen Bildern angehören, mit unterschiedlichen Polarisationsrichtungen gefiltert wurden, jedoch dem gleichen Objekt bzw. dem gleichen Objektpunkt angehören. Die Kombination be- steht ferner insbesondere darin, Abweichungen von der anzunehmenden halben Intensität aus einer Differenzbildung von Helligkeitswerten von Bildpunkten oder Bildbereichen zu ermitteln, die verschiedenen Bildern angehören, welche mit und ohne Polarisationsfilter erfasst wurden, jedoch dem gleichen Objekt bzw. dem gleichen Objektpunkt angehören.
Es sind grundsätzlich auch andere Arten von Kombinationen möglich, wobei jedoch die Kombination umfasst, dass Bildpunkte verschiedener Bilder verglichen werden, die den gleichen Objektpunkt bzw. das gleiche Objekt oder den gleichen Objektabschnitt betreffen.
Als Objekt wird im Allgemeinen die von den Kameras erfasste Umgebung bezeichnet, die auf Grund der Anwendung im Kraftfahrzeugbereich insbesondere Objekte wie Fahrbahnmerkmale, Fahrzeuge, feststehende Objekte und Verkehrszeichen umfassen kann. Insbesondere der Fahrbahnuntergrund, spiegelnde Objekte des Fahrbahnunter- grundes (Pfützen und Ähnliches), Reflektionen entgegenkommender Scheinwerfer und
Ähnliches werden ebenso als Objekte bezeichnet. Als gemeinsames Objekt werden insbesondere Objekte bezeichnet, die aus unterschiedlichen perspektivischen Winkeln, jedoch mit zumindest teilweise überlappendem Gesichtsfeld erfasst werden. Dies spielt insbesondere bei der Stereobilderfassung eine Rolle, bei der die Umgebung mit von- einander beabstandeten Kameras betrachtet wird, die auf einen gemeinsamen Bereich ausgerichtet sind und somit in der Lage sind, Tiefeninformation zu erfassen, um diese später beispielsweise mit einem Farbdisplay in dem dargestellten Bild wiederzugeben.
Die mehreren Bilder werden daher mittels einen automotiven Kamerasystems erfasst und (hiervon zumindest eines) gefiltert, wobei die mehreren Bilder ein gemeinsames
Objekt (d. h. einen zumindest teilweise überlappenden Abbildungsbereich) betreffen, und die Bilder des gemeinsamen Objekts werden bei der Erfassung mit mindestens einem Polarisationsfilter gefiltert. Gemäß einer bevorzugten Ausführungsform ist der Polarisationsfilter zwischen einer Kamera und dem Objekt feststehend (bezogen auf die Kamera) angeordnet, und mindestens eine weitere Kamera des Systems weist keinen
Polarisationsfilter auf. Alternativ ist eine Kamera mit einem beweglichen, beispielsweise drehbaren Polarisationsfilter mit Ausnehmungen ausgestattet, wobei durch die Bewegung entweder die Ausnehmungen oder polarisationsfilternde Abschnitte des Filters vor die Kamera platziert werden, und so je nach (veränderlicher) Stellung des Polarisa- tionsfilters entweder gefilterte oder ungefilterte Bilder erfasst werden. Zur Bewegung des Polarisationsfilters, der Ausnehmungen aufweist, können die gleichen Mechanismen verwendet werden, wie sie für den folgend beschriebenen durchgehenden Polarisationsfilter verwendet werden.
Gemäß einer weiteren Ausführungsform hat der mindestens eine Polarisationsfilter für die mehreren Bilder unterschiedliche Polarisationswinkel, so dass diese beispielsweise später verglichen werden können. Die mehreren Bilder werden nach dem Filtern zu einer gemeinsamen Darstellung kombiniert. Die Kombination umfasst insbesondere nicht nur die Differenzbildung, sondern im Allgemeinen den Vergleich der Bilder bzw. deren Helligkeitswerte, wodurch sich Polarisationsinformation entwickelt. Gemäß einer bevorzugten Ausführungsform umfasst der mindestens eine Polarisationsfilter einen drehenden Polarisationsfilter, so dass die Bilder bei der Erfassung durch den sich drehenden Polarisationsfilter gefiltert werden. Der Polarisationsfilter dreht sich um eine Rotationsachse, die senkrecht zu der Ebene ist, in der sich der Polarisationsfilter erstreckt. Die Bilder werden hierbei nacheinander aufgenommen, beispielsweise von ein und derselben Kamera. Da die Kamera einem automotiven Kamerasystem angehört, ergibt sich durch Bewegung des Kraftfahrzeugs ein Unterschied zwischen nacheinander aufgenommenen Bildern. Da sich in der Zeitdauer, zwischen Zeitpunkten, in denen die Bilder aufgenommen werden, der Polarisationsfilter um einen Winkel gedreht hat, wer- den aufeinander folgende Bilder mit verschiedenen Polarisationswinkeln (oder, in einer anderen Ausführungsform, mit und ohne Polarisationsfilter) erfasst. Die mehreren BiI- der unterscheiden sich daher in den Zeitpunkten ihrer jeweiligen Aufnahme und sind beispielsweise bei einer Vorwärtsbewegung zueinander verschoben (und zusätzlich gemäß der Aufnahmeoptik unterschiedlich verzerrt).
Gemäß einer alternativen Ausführungsform (die gegebenenfalls mit der oben beschriebenen Ausführungsform kombiniert werden kann) werden die Bilder von mindestens zwei unterschiedlichen Perspektiven aus erfasst. Die Erfassung wird daher mit zwei seitlich zueinander versetzten Kameras durchgeführt, die in die gleiche Richtung ausgerichtet sind, so dass diese einen Abschnitt abbilden, der von beiden Kameras erfasst wird. Ein gemeinsames Objekt, das in dem überlappenden Bildabschnitt liegt, wird somit von beiden Kameras mit unterschiedlichen Perspektiven und mit Polarisationsfiltern unterschiedlicher Polarisationsrichtung, bzw. von beiden Kameras mit unterschiedlichen Perspektiven, wobei nur eine der Kameras einen Polarisationsfilter aufweist, erfasst. Im Allgemeinen unterscheiden sich die Bilder gemäß dieser Ausführungsform daher insbesondere in der Perspektive, d. h. in der Erfassungsrichtung, die bei der Abbildung eines gemeinsamen Objekts verwendet wird.
Ein derartiges stereoskopisches Kamerasystem umfasst zwei Kameras, die erfindungsgemäß zur Erfassung von Bildern mit unterschiedlichen Perspektiven verwendet werden. Die Bilder werden mit den zwei Kameras durch Ausrichten der in verschiedenen Positionen (beispielsweise seitlich zueinander versetzt) angeordneten Kameras erfasst, wobei die Kameras einen überlappenden Bildabschnitt aufweisen. Der überlappende Bildabschnitt dient der Abbildung des gemeinsamen Objekts. Das gemeinsame Objekt liegt somit zumindest teilweise in dem überlappenden Bildabschnitt, um ver- schiedene Bilder in verschiedenen Perspektiven bei verschiedenen Polarisationswinkeln des gleichen Objekts oder des gleichen Objektabschnitts erfassen zu können. Jede Kamera erfasst ein Bild, das durch einen Polarisationsfilter gefiltert ist. Die Filterung wird von Polarisationsfiltern, vorzugsweise einem Filter pro Kamera (falls diese mit einem Filter ausgestattet werden soll), durchgeführt, wobei Polarisationsfilter verschie- dener Kameras unterschiedliche Polarisationswinkel aufweisen (oder mindestens eine
Kamera keinen Polfilter aufweist, während zumindest eine Weitere einen Polarisationsfilter ausweist). Der jeweilige Polarisationswinkel, d. h. der jeweilige Polarisationsfilter relativ zu den Kameras, steht hierbei fest. Die Abbildungsebene innerhalb der Kamera ist somit zu dem Polarisationsfilter, durch den die Kamera das Bild erfasst (falls die Kamera mit einem Polarisationsfilter ausgestattet ist), feststehend. Gemäß einer weiteren Ausführungsform der Erfindung umfasst das Bilderfassungsverfahren das Bestimmen der jeweiligen Polarisationsrichtung und/oder des Polarisationsgrads jeweils für eine Vielzahl von Bildpunkten oder Bildbereichen der Bilder. Die Polarisationsrichtung und/oder der Polarisationsgrad wird somit für einzelne Bildpunkte, Gruppen von Bildpunkten, insbesondere Gruppen von zueinander benachbarten Bildpunkten oder für Bildbereiche durchgeführt. Beispielsweise lassen sich Bildpunkte ähnlicher Intensität gruppieren, wenn sie zueinander benachbart sind und zu den umgebenden Bildpunkten einen Mindestintensitätsunterschied aufweisen. So können beispielsweise Bildbereiche definiert werden, die einem reflektierten Scheinwerferlicht entsprechen und die einen hellen Fleck wiedergeben.
Die Polarisationsrichtung kann durch das Verhältnis der Intensitäten von Bildpunkten (oder von Gruppen von Bildpunkten oder Bildbereichen bzw. deren Mittelwerten) verschiedener Polarisationsrichtung und des gleichen Objektabschnitts bestimmt werden. Die Polarisationsrichtung, d. h. die Hauptrichtung der Polarisationsellipse lässt sich auf einfache Weise durch den Quotienten der erfassten Intensitäten, dem Differenzwinkel zwischen den beiden Polarisationsrichtungen und den entsprechenden trigonometrischen Beziehungen errechnen. Beispielsweise bei einem Differenzwinkel von 90° ergibt sich die Polarisationsrichtung α durch die Gleichung:
wobei /1 und h die jeweiligen Intensitäten der Bildpunkte unterschiedlicher Bilder (d. h. und auch unterschiedlicher Polarisationswinkel) sind. Der Polarisationsgrad P ergibt sich in gleicher Weise durch Kombination der jeweiligen Intensitäten, d. h. durch den
Betrag des Quotienten aus der Differenz der Intensitäten zu der Summe der Intensitäten, wobei als Intensitäten die verschiedenen Intensitäten der Bilder bezeichnet werden, die den gleichen Objektpunkt bzw. den gleichen Objektabschnitt betreffen, jedoch mit um 90° verschiedenen Polarisationswinkeln gefiltert sind. Ebenso kann auch die In- tensität des ursprünglich einfallenden Lichts durch die Summe der Intensitäten der gefilterten Bildpunkte ermittelt werden. Wird bei der Kombination ein durch ein Polarisationsfilter erfasstes Bild mit einem ungefilterten Bild verglichen, so wird die doppelte Intensität des gefilterten Bildes mit der einfachen Intensität des nicht gefilterten Bildes verglichen, um auf Polarisationseffekte hinweisende Abweichungen zu erkennen. Die Kombination umfasst entweder: Verringern des Intensität des ungefilterten Bildes elekt- ronisch beim Vergleich der Intensität, elektronisch bei der Bilderfassung, elektronisch bei einer Bildvorverarbeitung (vor dem Vergleich), oder durch Verdunklung mittels eines nicht polarisierenden 3 dB Filters (d.h. mittels eines Verdunklungsfilters, der die Intensität unabhängig von der Polarität um die Hälfte verringert), um das so verdunkelte Bild mit dem polarisationsgefilterten Bild zu vergleichen, oder es wird die Intensität des polarisationsgefilterten Bildes verdoppelt, um den Vergleich der Intensitäten durchzuführen. Anstatt einer Verdunklungsvorrichtung (wie der Verdunklungsfilter) kann (oder können) die Kamera(s) ohne Polarisationsfilter mit einer Empfindlichkeit vorgesehen werden, die der Hälfte der Empfindlichkeit der Kamera mit Polarisationsfilter entspricht. Im Kontext der Erfindung wird als „filtern" nur das Filtern mittels eines Polarisationsfilters verstanden, weshalb das Filtern mittels des unpolarisierenden Verdunklungsfilters als „verdunkeln" bezeichnet wird. Daher steht der Begriff „nicht filtern" für eine Aufnahme ohne Polarisationsfilter, wobei dies jedoch das Verdunkeln auf die Hälfte der Intensität nicht ausschließt.
Wie bereits bemerkt, werden starke Polarisationsgrade insbesondere durch Reflektio- nen an ebenen Flächen erzeugt, auf die unpolarisiertes Licht in spitzem Winkel auftrifft. Typische Anwendungen sind somit die Erkennung und Entfernung von Spiegelungen der Fahrbahnoberfläche. Weiterhin gibt die Polarisationsrichtung Auskunft darüber, in welcher Lage sich das spiegelnde Objekt befindet. Beispielsweise bei waagerechten
Spiegelebenen, wie sie beispielsweise Wasserpfützen vorsehen, ergeben sich Lichtreflektionen, die im Wesentlichen senkrecht polarisiert sind und deren waagerechte Komponente vergleichsweise gering ist. Daher können die Polarisationswinkel auch auf die Neigung der Kamera zum Horizont bezogen werden, um somit in typischer Weise vertikal polarisierende Objekte aus dem gemeinsamen Bild auszublenden oder in dem Bild zu erkennen.
Um die an die Umgebung gekoppelte absolute Polarisationsrichtung, d. h. vertikal oder horizontal, erkennen zu können, wird der Polarisationswinkel mindestens eines Polari- sationsfilters in Bezug gesetzt zu der absoluten Lage des Polarisationsfilters bzw. der
Kamera zu der Umgebung, beispielsweise durch Erfassung des Winkels zwischen Horizont und Polarisationswinkel oder Richtung der Gravitation (vertikal) zum Polarisationswinkel. Da der Unterschied zwischen dem Polarisationswinkel, der zur Umgebung in Bezug gesetzt wurde, und der Polarisationswinkel eines weiteren Polarisationsfilters bekannt ist, kann auf die absolute Lage des weiteren Polarisationswinkels durch Addition des Differenzwinkels zur Absolutorientierung geschlossen werden. Ferner können auch die Polarisationswinkel verschiedener Polarisationsfilter jeweils in Bezug gesetzt werden zu der Umgebung, d. h. zum Horizont der Umgebung, oder zur Lage des Kraftfahrzeugs oder zur Gravitationsrichtung.
Wie bereits bemerkt, können einzelne Bildpunkte, die dem gleichen Objektabschnitt bzw. derselben Objektstelle entsprechen, hinsichtlich ihrer Intensität in Beziehung gesetzt werden, um Polarisationsrichtung und/oder Polarisationsgrad zu bestimmen. Ferner können eine Gruppe oder ein Bereich von Bildpunkten in ihrer Intensität verglichen werden, wobei sich die Intensität der Bildgruppe beispielsweise durch Mittelung oder durch andere statistische Kombinationen ergibt. Die Gruppierung von mehreren Bildpunkten, deren Intensität zur späteren Auswertung kombiniert wird, kann durch Vergleichen von Intensitäten von Bildpunkten erreicht werden, beispielsweise indem zueinander benachbarte Bildpunkte ähnlicher Intensität von Bildpunkten mit deutlich verschiedener Intensität mittels eines Schwellwerts unterschieden werden.
In gleicher Weise kann eine Gruppierung von Bildpunkten mittels Erfassung einer vorgegebenen Form durchgeführt werden. Hierbei sind bestimmte zu erkennende Formen vorgegeben, beispielsweise typische Formen von Reflektionsstreifen oder die Kontur von typischen Reflektionsmustern, um dadurch ein potenziell reflektierendes Objekt er- fassen zu können. Durch die darauf folgende Erfassung des Polarisationsgrads (oder der Polarisationsrichtung) kann dann von den Bildpunkten der erkannten Form auf die optischen Eigenschaften geschlossen werden, wobei insbesondere störende Reflektio- nen zunächst in ihrer Form erkannt werden und auf Grund eines hohen Polarisationsgrads als Störungen identifiziert werden können. Da die Form alleine nicht unbedingt eindeutig für die Art des Objekts, d. h. Störer oder Nichtstörer ist, kann somit durch die erfindungsgemäße Untersuchung des Polarisationsgrads der erfassten Form Sicherheit darüber gewonnen werden, dass es sich um eine Störung handelt und nicht um einen Nichtstörer, der lediglich die ungefähre Form eines Störers aufweist und somit von der Formerkennung fälschlicherweise zu einer Gruppe von Störern zugeordnet wurde.
Gemäß einer weiteren Ausführungsform werden daher Bildpunkte, Bildbereiche oder ein einzelner Bildpunkt unterdrückt, der einen Polarisationsgrad aufweist (bzw. aufweisen), der (bzw. die) um eine Mindestdifferenz über einem vorgegebenen Schwellwert liegt (bzw. liegen) oder der über einem Mittelwert des Polarisationsgrads liegt (bzw. Ne- gen), der sich aus einem (gemeinsamen) Bildabschnitt ergibt. Der Schwellwert kann somit fest vorgegeben sein oder kann an die erfassten Bilder adaptiert sein. Das Un- - li ¬
terdrücken dieser Bildpunkte, die somit zu Störern zugeordnet werden, kann ausgeführt werden durch Verdunkeln der Bildpunkte, Ersetzen der Bildpunkte, Ausschneiden der Bildpunkte oder Kennzeichnen der Bildpunkte bzw. deren Kontur, um dem Fahrer entweder ein entstörtes Bild zu liefern oder dem Fahrer ein Bild zu liefern, in dem die durch ihren Polarisationsgrad erfassten Störer gekennzeichnet sind.
Zur Ausführung der Erfindung und des erfindungsgemäßen Bilderfassungsverfahrens wird erfindungsgemäß eine Bilderfassungsvorrichtung eines automotiven Kamerasystems vorgesehen mit mindestens einer Kamera und einer Polarisationsfiltervorrichtung. Die Polarisationsfiltervorrichtung sieht einen Polarisationswinkel oder verschiedene Polarisationswinkel vor, d. h. entweder verschiedene Polarisationswinkel in zeitlicher Abfolge, gefilterte und ungefilterte Bilder in zeitlicher Abfolge, oder gleichzeitig in Ihrer Ausrichtung verschiedene Polarisationsfilter durch eine Mehrzahl von Polarisationsfiltern oder gleichzeitig gefilterte und ungefilterte Bilder mit mehreren Kameras, die je- doch nicht alle mit einem Polarisationsfilter ausgestattet sind. Pro Polarisationswinkel ist vorzugsweise eine Kamera vorgesehen, die zu einem Polarisationsfilter ausgerichtet ist, der den Polarisationswinkel vorsieht. Die Kamera ist in ihrer Bilderfassung und somit in ihrem empfindlichen Bereich zur Umgebung ausgerichtet, um mehrere Bilder zu erfassen, die ein gemeinsames Objekt darstellen.
Bei einer Mehrzahl von Kameras wird dies erreicht, indem die Kameras einen zumindest teilweise gemeinsamen Bildabschnitt vorsehen. Bevorzugt sind die Kameras auf einen gemeinsamen Punkt ausgerichtet. Wenn die mehreren Bilder nacheinander erstellt werden, kann eine Kamera vorgesehen sein, die nach vorne ausgerichtet ist, wo- durch sich mit der gleichen Kamera verschiedene Bilder erstellen lassen, die sich auf
Grund der Bewegung des Kamerasystems relativ zur Umgebung unterscheiden. Vor jeder Kamera, sei es eine oder mehrere Kameras, ist somit genau ein Polarisationsfilter vorgesehen oder vor nicht jeder, jedoch vor mindestens einer Kamera, ist genau ein Polarisationsfilter vorgesehen, wobei bei der Verwendung von mehreren Polarisations- filtern diese zu der Polarisationsfiltervorrichtung gruppiert sind. Die Polarisationsfiltervorrichtung ist somit zwischen dem gemeinsamen Objekt und der mindestens einen Kamera angeordnet. Für jede Kamera (oder für mindestens eine Kamera, jedoch nicht für alle Kameras) ist ein Polarisationsfilter vorgesehen, der zwischen Kamera und Objekt angeordnet ist. Die Bilderfassungsvorrichtung umfasst ferner eine Kombinations- Vorrichtung, die mit der Kamera oder mit der Mehrzahl von Kameras verbunden ist. Die
Kombinationsvorrichtung ist eingerichtet, verschiedene Bilder (d. h. zeitlich verschieden oder in ihrer Perspektive unterschiedliche Bilder), die ein gemeinsames Objekt darstellen und somit einen zumindest überlappenden Bildbereich aufweisen, zueinander auszurichten und übereinander zu legen. Die verschiedenen Bilder werden zu deren Übereinstimmung des dargestellten gemeinsamen Objekts bzw. des gemeinsamen Bildab- Schnitts übereinander gelegt. Sind Bilder gegeneinander verschoben, so wird diese
Verschiebung durch die Kombinationsvorrichtung kompensiert, beispielsweise indem die Kombinationsvorrichtung eingerichtet ist, um bestimmte Merkmale der Bilder zu erfassen und die Merkmale verschiedener Bilder zu dem gleichen Objekt oder der gleichen Objektstelle zu zuordnen.
Bei der Verwendung eines Stereo-Kamerasystems werden die Bilder, die in verschiedenen Projektionswinkeln aufgenommen sind, durch die dafür eingerichtete Kombinationsvorrichtung kombiniert. Dadurch sieht die Kombinationsvorrichtung einen Bilddatenoder Videodatenausgang vor, an dem eine gemeinsame Darstellung der kompensier- ten Bilder ausgegeben wird.
Bei der Verwendung eines rotierenden Polarisationsfilters umfasst die Polarisationsfiltervorrichtung eine Rotationsvorrichtung, die mit dem Polarisationsfilter jeder mit Polarisationsfilter ausgestatteten Kamera (oder der einen Kamera) verbunden ist. Die Rota- tionsvorrichtung ist mit dem Polarisationsfilter beispielsweise über eine Welle verbunden, wodurch die Rotationsvorrichtung Rotationsbewegungen über eine entsprechende mechanische Verbindung an den Polarisationsfilter überträgt. Die Verbindung zwischen Rotationsvorrichtung und Polarisationsfilter ist derart, dass die Rotationsvorrichtung den oder die Polarisationsfilter zur Rotation um eine Rotationsachse antreibt, die senk- recht zu der Ebene ist, in der sich der Polarisationsfilter erstreckt oder sich die Polarisationsfilter erstrecken. Durch die mechanische Verbindung und durch den Antrieb der Rotationsvorrichtung erfasst die Bilderfassungsvorrichtung (bestehend aus einer oder aus mehreren Kameras) mehrere Bilder mit sich zeitlich änderndem Polarisationswinkel oder nacheinander und alternierend oder periodisch abwechselnd Bilder mit und Bilder ohne Polarisationsfilterung. Die zeitliche Veränderung ist durch die Rotationsvorrichtung vorgegeben.
Gemäß einer weiteren Ausführungsform umfasst die Bilderfassungsvorrichtung mindestens zwei Kameras. Insbesondere umfasst die Bilderfassungsvorrichtung hiermit ein Stereo-Kamerasystem. Die mindestens zwei Kameras sind zueinander beabstandet angeordnet. Ferner sind die zwei Kameras auf einen gemeinsamen Punkt ausge- richtet oder in die gleiche Richtung ausgerichtet, so dass die Kameras einen gemeinsamen, sich überlappenden Bildbereich aufweisen. Für jede der mindestens zwei Kameras umfasst die Bilderfassungsvorrichtung einen Polarisationsfilter, der zwischen zugeordneter Kamera und gemeinsamem Punkt bzw. von der Kamera abzubildendem Objekt angeordnet ist. Die Polarisationsfilter verschiedener Kameras weisen unterschiedliche Polarisationswinkel auf. Ferner kann nur eine der Kameras mit einem Polarisationsfilter ausgestattet sein, oder es kann mindestens eine jedoch nicht alle Kameras mit einem Polarisationsfilter ausgestattet sein.
Gemäß einer weiteren Ausführungsform umfasst die Bilderfassungsvorrichtung eine
Befestigung, die zur Befestigung der Kamera eingerichtet ist. Die Befestigung sieht ferner eine Ausrichtung für die Kamera vor (wenn diese in der Befestigung angeordnet ist), dass die mindestens eine Kamera mindestens ein Bild durch eine Windschutzscheibe eines Kraftfahrzeug hindurch erfasst. Die Befestigung ist somit eingerichtet, zum einen an der Kamera befestigt zu sein und zum anderen, um innerhalb eines
Kraftfahrzeugs, beispielsweise an der Windschutzscheibe, befestigt zu sein und um die Kamera nach außen zur Windschutzscheibe hin zu orientieren. Die Befestigung sieht diese Orientierung für die Kamera vor, wenn die Befestigung mittelbar oder unmittelbar an der Windschutzscheibe angeordnet ist. Eine unmittelbare Anordnung kann bei- spielsweise durch einen Saugnapf oder eine Schnappverbindung vorgesehen werden, wobei eine mittelbare Befestigung vorgesehen wird durch eine unmittelbare Befestigung an einem Dach oder an einem Armaturenbrett eines Kraftfahrzeugs, wobei die Windschutzscheibe an Dach oder Armaturenbrett in bekannter Weise befestigt ist.
Kurze Beschreibung der Zeichnungen
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
Es zeigen
Figur 1 a eine Draufsicht einer erfindungsgemäßen Bilderfassungsvorrichtung zur
Ausführung des Verfahrens;
Figur 1 b Stellung der Polfilter der in Figur 1 a dargestellten Vorrichtung entlang des Schnitts A-A'; und die Figur 2 eine Polfilterausrichtung bei einem sich drehenden Polarisationsfilter. Ausführungsformen der Erfindung
In der Figur 1 ist eine erfindungsgemäße Vorrichtung mit zwei Kameras dargestellt. Die Kameras 10 a, 10 b sind in die gleiche Richtung ausgerichtet und erfassen beide das
Objekt 20. Somit weisen die Kameras 10 a, 10 b einen sich überlappenden Bildabschnitt 30 auf, in dem sich das Objekt 20 befindet. Das Objekt 20 kann gemeinsam und gleichzeitig von den Kameras 10 a und 10 b erfasst werden. Der sich überlappende Bereich 30 befindet sich in gewisser Distanz zu den Kameras und beginnt nach einem gewissen Abstand zu einer Windschutzscheibe 40. Die Kameras 10 a, 10 b sind auf einer Innenseite der Windschutzscheibe 40 angeordnet, wobei das Objekt 20 und auch der überlappende Bereich 30 außerhalb der Windschutzscheibe angeordnet sind. Die Kameras 10 a, 10 b bilden ein Stereo-Kamerasystem. Die Bilderfassungsvorrichtung umfasst die Kameras 10 a, 10 b sowie zugehörige Polfilter 50 a, 50 b, wobei genau ein Polarisationsfilter jeder Kamera zugeordnet ist. Der Polarisationsfilter 50 a ist der Kamera 10 a zugeordnet und der Polarisationsfilter 50 b ist der Kamera 10 b zugeordnet, so dass das von Kamera 10 a erfasste Bild mit einem Strahlengang verknüpft ist, der vollständig durch den Polarisationsfilter 50 a verläuft und in gleicher Weise das von Kamera 10 b erfasste Licht vollständig durch den Polarisationsfilter 50 b läuft. In einer nicht dargestellten Ausführungsform ist eine Kamera mit und eine ohne Polarisationsfilter vorgesehen, wobei die Kamera ohne Polarisationsfilter zudem ein Verdunklungsfilter zur Reduktion der Helligkeit auf 50 % umfassen kann. Eine derartige Ausführungsform ist identisch zu der dargestellten Ausführungsform, bis auf das Weglassen eines der Polarisationsfilter, wobei ein Verdunklungsfilter einen der Polarisationsfilter in Ort und Ausrichtung ersetzt.
Die Kameras 10 a, b weisen jeweils einen Bildausgang auf, der mit einer Kombinationsvorrichtung 60 verbunden ist. Die Kombinationsvorrichtung 60 bringt die von den Kameras 10 a, b erfassten Bilder trotz ihrer unterschiedlichen Perspektiven in Einklang zueinander. Die Kombinationsvorrichtung führt somit eine Stereozuordnung durch und berechnet ferner ein Intensitätssignal für jeden Bildpunkt (oder jeden Bildbereich) jeder Kamera 10 a, b. Ferner gibt die Kombinationsvorrichtung 60 ein Bildsignal aus, das der Kombination der von den Kameras 10 a, 10 b erfassten Bilder entspricht. An die Kombinationsvorrichtung 60 ist eine Polarisationsberechnungsvorrichtung 70 angeschlos- sen, die den Polarisationsgrad, den Polarisationswinkel oder beides erfasst. Hierzu ist die Polarisationsberechnungsvorrichtung 70 über eine (doppelte) Verbindung mit der Kombinationsvorrichtung 60 verbunden, um die Bildpunkte, d. h. Intensitätswerte, der von den Kameras 10 a und 10 b erfassten Bilder zu ermitteln und zu vergleichen. Wie bereits bemerkt, umfasst der Vergleich beispielsweise die Quotientenbildung der Intensitäten zur Polarisationsgraderfassung und die Differenzbildung bzw. die
Summierung der Intensitäten, um aus dem Quotienten zwischen Differenz und Summe den Polarisationswinkel des zugehörigen Bildpunkts zu errechnen. Da die Polarisati- onsberechnungsvorrichtung 70 die Intensitätsdaten, d. h. die Bilddaten beider Kameras 10 a, b benötigt, ist in Figur 1 a die Verbindung zwischen Polarisationsberech- nungsvorrichtung 70 und Kombinationsvorrichtung 60 als doppelte Verbindung dargestellt. Hierbei ist die Kombinationsvorrichtung 60 eingerichtet, mindestens eines der beiden Bilder zu verschieben oder zu verzerren, um die unterschiedlichen Perspektiven (oder Verschiebungen) der Bilder der Kameras 10 a, b zu kompensieren. Nachdem die Kombinationsvorrichtung 60 die Bilder durch diese Kombination in Einklang gebracht hat, werden die Bilder von der Polarisationsberechnungsvorrichtung 70 zur Erfassung des Polarisationsgrads und/oder des Polarisationswinkels verglichen. Die Kombinationsvorrichtung 60 und die Polarisationsberechnungsvorrichtung 70 sind vorzugsweise als Softwaremodule vorgesehen, die auf einem programmierbaren Datenverarbeitungssystem ablaufen. So können die Vorrichtungen 60 und 70 als eine Software oder als Softwarestücke vorgesehen sein, die in einem Speicher abgelegt sind, welcher wiederum mit einer CPU oder einem Videochip verbunden ist, der durch Ablaufen lassen der Software bzw. der Softwareabschnitte die zugehörigen Verfahrensschritte wie Kombinieren, Vergleichen, Verschieben, Kompensieren der Perspektiven, Errechnen des Polarisationswinkels und/oder des Polarisationsgrads für jeden Bildpunkt oder für einen Bildabschnitt und das Ausgeben der Polarisationsdaten in Form eines Bildsignals implementiert.
Die in Figur 1 a dargestellte Vorrichtung kann ferner mit einer Formerkennung kombiniert sein, die Bildpixel eines Bildabschnitts kombiniert, welche innerhalb einer vorge- gebenen und erkannten Form liegen. Diese Formerfassungsvorrichtung kann ebenso als Software vorgesehen sein, die ein Bild nach vorgegebenen Formen absucht und diese kennzeichnet.
In der Figur 1 b sind die Polarisationsrichtungen 152 a, b und der Polarisationsfil- ter 150 a, b symbolhaft dargestellt, wobei die Polarisationsfilter 150 a, b den Polarisationsfiltern 50 a, b der Figur 1 entsprechen, und die Figur 1 b dem Schnitt A-A' in Fi- gur 1 a entspricht. Es ist zu erkennen, dass die Polarisationsfilter 150 a, b in Figur 1 b gleichartig ausgebildet sind, jedoch einen zueinander geneigten Polarisationswinkel 152 a, b aufweisen. Durch den Unterschied der Polarisationswinkel 152 a, 152 b lässt sich die Polarisationsinformation (d. h. der Polarisationswinkel oder der Polarisa- tionsgrad) erfassen. Die Figur 1 b zeigt ferner die Kameras 110 a, 110 b in schemati- scher Darstellung, die, von oben auf die Zeichenebene gesehen, hinter den Polarisationsfiltern 150 a, b liegen. Die von der Zeichenebene nach oben weisende Richtung entspricht der zum Objekt 20 führenden Richtung, d. h. durch die Windschutzscheibe 40 hindurch.
Die Figur 2 dient der Erläuterung einer weiteren Ausführungsform der Erfindung. In der Figur 2 ist ein Polarisationsfilter 250 dargestellt, der in einer ersten Stellung die Polarisationsrichtung 252 a aufweist. Gemäß dieser Ausführung wird der Polarisationsfilter 250 entlang der Drehrichtung 260 gedreht (beispielsweise durch eine nicht darge- stellte Rotationsvorrichtung, beispielsweise einen Elektromotor), so dass sich zu einem späteren Zeitpunkt eine Polarisationsrichtung 252 b ergibt, die sich von der Polarisationsrichtung 252 a um den Winkel unterscheidet, um den der Polarisationsfilter 250 in Drehrichtung 260 in der Zwischenzeit gedreht wurde. Wird ein erstes Bild in der mit 252 a bezeichneten Stellung erfasst und ein zweites Bild mit der als 252 b bezeichne- ten Stellung, dann ergeben sich zwei Bilder, die mit verschiedenen Polarisationswinkeln erfasst wurden.
Neben der Drehung des Polarisationsfilters 250 erfährt das gesamte System eine Translation 270 durch die Bewegung des Fahrzeugs, in dem das automotive Kamera- System gemäß der Erfindung angeordnet ist. Das heißt, dass sich nicht nur der Polarisationswinkel 252 a auf den Polarisationswinkel 252 b dreht, sondern auch der Bildbereich 280 a, der der Polarisationsrichtung 252 a zugeordnet ist, dem Polarisationswinkel 252 b zugeordnet ist. Der Versatz zwischen den Bildbereichen 280 a, b wird erfindungsgemäß kompensiert, um die jeweiligen Bilder gemäß einem gemeinsam erfass- ten Objekt übereinander zu legen und gegeneinander auszurichten. Somit erlaubt die
Erfindung die Erfassung eines ersten Bildes, mit einer ersten Polarisationsrichtung 252 a, das dem Bildbereich 280 a entspricht, und die Erfassung eines zweiten Bildes (oder auch weiterer Bilder), das mit dem Bildbereich 280 b gekennzeichnet ist, und das einer Filterung gemäß Polarisationsrichtung 252 b unterworfen ist. Der gemeinsa- me überlappende Bildbereich entspricht dem Feld zwischen der Oberkante des Bereichs 280 b und der Unterkante des Bildbereichs bzw. Bilderfassungsbereichs 280 a. Die Verschiebung zwischen beiden Bildbereichen ist durch die Bewegung des Fahrzeugs 270 bedingt. Die in Figur 2 dargestellte Verschiebung ist lediglich symbolisch, bei tatsächlichen Aufnahmen ergeben sich weitere trapezoide Verzerrungen entlang der Fluchtlinien der Kameraausrichtung.

Claims

Ansprüche
1 . Bilderfassungsverfahren, mit den Schritten: Erfassen mehrerer Bilder mittels eines automotiven Kamerasystems (10a,b) unter unterschiedlichen polarisations- bezogenen Aufnahmebedingungen, wobei die mehreren Bilder ein gemeinsames Objekt darstellen, die Bilder des gemeinsamen Objekts unter unterschiedlichen polarisationsbezogenen Aufnahmebedingungen aufgenommen werden, wobei das Aufnehmen mit unterschiedlichen polarisationsbezogenen Aufnahmebedingungen vorgesehen wird durch Filtern mit mindestens einem Polarisationsfilter (40a, b), der für die mehreren Bilder unterschiedliche Polarisationswinkel (152a,b; 252a, b) aufweist, oder durch Aufnehmen zumindest eines Bildes durch den mindestens einen Polarisationsfilter hindurch, und durch Aufnehmen mindestens eines Bildes ohne Filtern durch einen Polarisationsfilter, und die mehreren Bilder nach dem Filtern zu einer gemeinsamen Darstellung kombiniert werden.
2. Bilderfassungsverfahren nach Anspruch 1 , wobei mindestens eines der mehreren
Bilder mit einem sich um eine Rotationsachse drehenden Polarisationsfilter (40a, b) gefiltert werden, und die Rotationsachse senkrecht zu einer Ebene ist, in der sich der Polarisationsfilter (40a, b) erstreckt.
3. Bilderfassungsverfahren nach Anspruch 1 oder 2, wobei die Bilder von mindestens zwei unterschiedlichen Perspektiven aus erfasst werden und die Bilder für unterschiedliche Perspektiven mit unterschiedlichen polarisationsbezogenen Aufnahmebedingungen aufgenommen werden durch Filtern bei der Erfassung bei unterschiedliche Perspektiven mit unterschiedlichen Polarisationswinkeln (152a,b) oder durch Erfassung bei unterschiedlichen Perspektiven mit und ohne
Polarisationsfilter.
4. Bilderfassungsverfahren nach Anspruch 3, wobei die Bilder mit einem stereoskopischen Kamerasystem (10a,b) erfasst werden, wobei das zur Erfassung ver- wendete Kamerasystem zwei Kameras (10a,b) mit unterschiedlichen Perspektiven umfasst, und die Bilder mit den zwei Kameras (10a,b) durch Ausrichten der an verschiedenen Positionen angeordneten Kameras mit einem überlappenden Bildabschnitt erfasst werden, wobei jede Kamera ein Bild gefiltert durch einen Polarisationsfilter (40a, b) erfasst und die zur Erfassung verwendeten Polarisationsfilter (40a, b) Bilder mit unterschiedlichen, relativ zu den Kameras feststehenden Polarisationswinkeln (152a,b) filtern oder die zur Erfassung verwendeten Polarisationsfilter (40a, b) mindestens ein Bild jedoch nicht alle Bilder filtern.
5. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, das ferner den Schritt umfasst: Bestimmen der jeweiligen Polarisationsrichtung und/oder des Polarisationsgrads jeweils für eine Vielzahl von Bildpunkten oder Bildbereichen der Bilder, aus dem Verhältnis von Intensitäten von Bildpunkten oder Bildbereichen verschiedener Bilder, die miteinander korrespondieren.
6. Bilderfassungsverfahren nach Anspruch 4 oder 5, das ferner den Schritt umfasst: Unterdrücken von Bildpunkten oder Bildbereichen mit einem Polarisationsgrad, der um eine Mindestdifferenz über einem vorgegebenen Schwellwert oder über einem Mittelwert des Polarisationsgrads zumindest eines Abschnitts eines gemeinsamen Bildteils von Bildern, die unter unterschiedlichen polarisationsbezo- genen Aufnahmebedingungen aufgenommen wurden.
7. Bilderfassungsvorrichtung eines automotiven Kamerasystems mit mindestens einer Kamera (10a,b) und einer Polarisationsfiltervorrichtung (40a, b), die polarisa- tionsbezogene Aufnahmebedingungen vorsieht, wobei die mindestens eine Kamera ausgerichtet ist, mehrere Bilder zu erfassen, die ein gemeinsames Objekt (20) darstellen, wobei die Polarisationsfiltervorrichtung zwischen dem gemeinsamen Objekt (20) und der mindestens einen Kamera angeordnet ist, die Polarisationsfiltervorrichtung für jede oder für zumindest eine jedoch nicht für alle Kameras einen Polarisationsfilter vorsieht, der zwischen Objekt (20) und Kamera (10a,b) angeordnet ist, und die Bilderfassungsvorrichtung ferner eine Kombinati- onsvorrichtung (60) umfasst, die eingerichtet ist, verschiedene Bilder, die ein gemeinsames Objekt (20) darstellen, zur Übereinstimmung des von den verschiedenen Bilder dargestellten gemeinsamen Objekts (20) übereinander zu legen, um die mehreren Bilder zu einer gemeinsamen Darstellung zu kombinieren, wobei die Polarisationsfiltervorrichtung (40a, b) die polarisationsbezogenen Aufnahme- bedingungen entweder durch unterschiedliche Polarisationswinkel der Polarisati- onsfilter vorsieht oder die Polarisationsfiltervorrichtung die Filterung mittels der (des) Polarisationsfilter(s) nicht für alle Bilder oder Kameras vorsieht.
8. Bilderfassungsvorrichtung nach Anspruch 7, wobei die Polarisationsfiltervorrich- tung (40a, b) eine Rotationsvorrichtung umfasst, die mit dem Polarisationsfilter
(40a, b) jeder Kamera verbunden ist, wobei die Rotationsvorrichtung mit dem Polarisationsfilter derart verbunden ist, dass die Rotationsvorrichtung des Polarisationsfilters (40a, b) zur Rotation um eine Rotationsachse antreibt, die senkrecht zur Ebene ist, in der sich der Polarisationsfilter erstreckt oder in der sich die PoIa- risationsfilter erstrecken, wodurch die Bilderfassungsvorrichtung mehrere Bilder mit sich zeitlich änderndem Polarisationswinkel erfasst, und wobei der Polarisationsfilter entweder durchgängig ist, um die Kamera unabhängig vom Rotationswinkel des Polarisationsfilters durchgehend zu filtern, oder der Polarisationsfilter Ausnehmungen umfasst, um die Kamera abhängig vom Rotationswinkel dieses Polarisationsfilters zu filtern oder nicht zu filtern.
9. Bilderfassungsvorrichtung nach Anspruch 7 oder 8, die mindestens zwei Kameras (10a,b) umfasst, die zueinander beabstandet angeordnet sind und auf einen gemeinsamen Punkt ausgerichtet sind, wobei für jede oder mindestens eine der mindestens zwei Kameras die Bilderfassungsvorrichtung einen Polarisationsfilter
(40a, b) umfasst, der zwischen zugeordneter Kamera und gemeinsamem Punkt angeordnet ist, und die Polarisationsfilter (40a, b) unterschiedlicher Kameras (10a,b) verschiedene Polarisationswinkel (152a,b) aufweisen oder zumindest eine der Kameras einen Polarisationsfilter aufweist, während zumindest eine dazu verschiedene Kamera der Kameras keinen Polarisationsfilter aufweist.
10. Bilderfassungsvorrichtung nach einem der Ansprüche 7 - 9, wobei die Bilderfassungsvorrichtung eine Befestigung umfasst und die mindestens eine Kamera (10a,b) derart ausgerichtet ist, dass die mindestens eine Kamera (10a,b) mindes- tens ein Bild durch eine Windschutzscheibe eines Kraftfahrzeugs hindurch erfasst, wenn die Befestigung mittelbar oder unmittelbar an der Windschutzscheibe angeordnet ist.
EP10719943A 2009-05-26 2010-05-14 Bilderfassungsverfahren zur erfassung mehrerer bilder mittels eines automotiven kamerasystems und zugehörige bilderfassungsvorrichtung des kamerasystems Withdrawn EP2436190A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009026463A DE102009026463A1 (de) 2009-05-26 2009-05-26 Bilderfassungsverfahren zur Erfassung mehrerer Bilder mittels eines automotiven Kamerasystems und zugehörige Bilderfassungsvorrichtung des Kamerasystems
PCT/EP2010/056647 WO2010136344A1 (de) 2009-05-26 2010-05-14 Bilderfassungsverfahren zur erfassung mehrerer bilder mittels eines automotiven kamerasystems und zugehörige bilderfassungsvorrichtung des kamerasystems

Publications (1)

Publication Number Publication Date
EP2436190A1 true EP2436190A1 (de) 2012-04-04

Family

ID=42831612

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10719943A Withdrawn EP2436190A1 (de) 2009-05-26 2010-05-14 Bilderfassungsverfahren zur erfassung mehrerer bilder mittels eines automotiven kamerasystems und zugehörige bilderfassungsvorrichtung des kamerasystems

Country Status (4)

Country Link
EP (1) EP2436190A1 (de)
CN (1) CN102450023B (de)
DE (1) DE102009026463A1 (de)
WO (1) WO2010136344A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112185126A (zh) * 2020-09-27 2021-01-05 杭州海康威视数字技术股份有限公司 一种偏振角度的确定方法、装置及设备

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011051583A1 (de) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Bildaufnahmevorrichtung für ein Fahrzeug
KR101327032B1 (ko) 2012-06-12 2013-11-20 현대자동차주식회사 카메라 영상의 반사광 제거 장치 및 방법
EP2946336B1 (de) 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereounterstützung mit rollladen
JP6388105B2 (ja) 2013-02-22 2018-09-12 パナソニックＩｐマネジメント株式会社 カメラ装置およびカメラ装置の制御方法
US20150077560A1 (en) * 2013-03-22 2015-03-19 GM Global Technology Operations LLC Front curb viewing system based upon dual cameras
DE102014017229A1 (de) 2014-11-20 2016-05-25 Daimler Ag Kamerasystem für einen Kraftwagen und Kraftwagen mit einem Kamerasystem
DE102014224762B4 (de) * 2014-12-03 2016-10-27 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Informationsgewinnung über ein Objekt in einem nicht einsehbaren, vorausliegenden Umfeldbereich eines Kraftfahrzeugs
DE102015202376A1 (de) * 2015-02-11 2016-08-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
DE102015209442A1 (de) * 2015-05-22 2016-11-24 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung eines Straßenzustands und entsprechende Vorrichtung
WO2017056821A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報取得装置と情報取得方法
CN105530419B (zh) * 2016-02-05 2019-12-31 京东方科技集团股份有限公司 图像采集系统、图像采集处理系统和图像采集处理方法
DE102016006326A1 (de) * 2016-05-24 2017-11-30 Audi Ag Linear polarisierte Lichtabstrahlung durch einen Fahrzeugscheinwerfer zum Einsatz in einem kamerabasierten Fahrerassistenzsystem
DE102016007875A1 (de) 2016-06-28 2016-12-08 Daimler Ag Verfahren zum Steuern einer Fernlichtvorrichtung in einem Kraftwagen sowie Vorrichtung
DE102016215115A1 (de) * 2016-08-12 2018-02-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
DE102016218390B3 (de) * 2016-09-23 2018-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Messanordnung und Verfahren zum Messen von mechanischen Spannungen
CN106454040A (zh) * 2016-10-21 2017-02-22 东风商用车有限公司 一种夜间防眩光车载摄像头及其控制方法
DE102017221381A1 (de) * 2017-11-29 2019-05-29 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
CN111886492B (zh) * 2018-01-17 2023-06-02 动力专家有限公司 用于翡翠的颜色分级工艺及系统
EP3696722A1 (de) * 2019-02-14 2020-08-19 Continental Automotive GmbH Verfahren zur entfernung von streulicht aus einem fahrzeugfenster in einer kameraanordnung, kameraanordnung zur verwendung des verfahrens und computerprogramme
US11367292B2 (en) 2020-02-24 2022-06-21 Ford Global Technologies, Llc Road marking detection
CN113472985B (zh) * 2021-06-28 2023-03-24 平湖莱顿光学仪器制造有限公司 一种基于微分干涉显微镜采集图像的视频处理方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1990674A1 (de) * 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Am Kopf montierte Anzeigevorrichtung

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3992571A (en) * 1973-05-11 1976-11-16 National Research Development Corporation Differential optical polarization detectors
US3904293A (en) * 1973-12-06 1975-09-09 Sherman Gee Optical method for surface texture measurement
EP0490029B1 (de) 1990-12-11 1995-12-06 Daimler-Benz Aktiengesellschaft Anordnung zur Verbesserung der Sicht, insbesondere in Fahrzeugen
US5543917A (en) * 1994-10-26 1996-08-06 Lockheed Martin Corporation Object detector
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1990674A1 (de) * 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Am Kopf montierte Anzeigevorrichtung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112185126A (zh) * 2020-09-27 2021-01-05 杭州海康威视数字技术股份有限公司 一种偏振角度的确定方法、装置及设备

Also Published As

Publication number Publication date
WO2010136344A1 (de) 2010-12-02
CN102450023B (zh) 2015-05-20
DE102009026463A1 (de) 2010-12-09
CN102450023A (zh) 2012-05-09

Similar Documents

Publication Publication Date Title
EP2436190A1 (de) Bilderfassungsverfahren zur erfassung mehrerer bilder mittels eines automotiven kamerasystems und zugehörige bilderfassungsvorrichtung des kamerasystems
EP2657077B1 (de) Verfahren und Scheinwerferanlage zum Ausgleich von Ausrichtfehlern eines Scheinwerfers
EP2835973B1 (de) 3D-Kamera und Verfahren zur Erfassung von dreidimensionalen Bilddaten
EP1797534B1 (de) Verfahren für die erfassung einer optischen struktur
EP2715446B1 (de) Kamerasystem für ein fahrzeug
EP2416139A1 (de) Verfahren zur Kalibrierung eines wenigstens einen Scheinwerfer eines Kraftfahrzeuges ansteuernden Fahrzeugsystems
DE10244148A1 (de) Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
DE102013002111A1 (de) Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
DE19860676A1 (de) Visualisierungseinrichtung für die von wenigstens einem Scheinwerfer eines Fahrzeugs bewirkte Beleuchtung vor dem Fahrzeug
DE102017222708A1 (de) 3D-Umfelderfassung mittels Projektor und Kameramodulen
DE69825525T2 (de) Vorrichtung zur Erstellung eines Bildes sowie Verfahren und Vorrichtung zur Entfernungsmessung
DE102020007613A1 (de) Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung
DE102008016766B4 (de) Sicherheitskamera und Verfahren zur Detektion von Objekten
EP2350977B1 (de) Verfahren zur bildfusion von zumindest zwei bildern zu einem panoramabild
DE102007025147A1 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
EP3696537B1 (de) Vorrichtung und verfahren zur schadenserkennung an einem fahrenden fahrzeug
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102015223500B4 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
DE102005014525A1 (de) Vorrichtung zur Bestimmung von Raumkoordinaten von Objektoberflächen
DE102010036852B4 (de) Stereokamera
DE102020109997A1 (de) System und Verfahren, um zuverlässige gestitchte Bilder zu machen
DE102011017707A1 (de) Verfahren und Vorrichtung zur Erkennung von einem Objekt in einer Umgebung einer Kamera
DE102008059551B4 (de) Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
DE102012111199A1 (de) Optische Vorrichtung mit multifokaler Bilderfassung
DE102015208442A1 (de) Verfahren und Vorrichtung zum Ermitteln zumindest eines Objektabbildes in einer Umgebung um einen änderunssensitiven optischen Bildsensor

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20111227

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20150812

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20151223