EP1875442B1 - Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs - Google Patents

Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs Download PDF

Info

Publication number
EP1875442B1
EP1875442B1 EP06724598A EP06724598A EP1875442B1 EP 1875442 B1 EP1875442 B1 EP 1875442B1 EP 06724598 A EP06724598 A EP 06724598A EP 06724598 A EP06724598 A EP 06724598A EP 1875442 B1 EP1875442 B1 EP 1875442B1
Authority
EP
European Patent Office
Prior art keywords
scene
boundary object
motor vehicle
reference surface
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP06724598A
Other languages
English (en)
French (fr)
Other versions
EP1875442A1 (de
Inventor
Alexander Augst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to EP06724598A priority Critical patent/EP1875442B1/de
Publication of EP1875442A1 publication Critical patent/EP1875442A1/de
Application granted granted Critical
Publication of EP1875442B1 publication Critical patent/EP1875442B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Definitions

  • the present invention relates to a method for the graphic representation of the environment of a motor vehicle, in which a scene image, which represents a three-dimensional environment scene of the environment of the motor vehicle and which is output two-dimensionally or three-dimensionally to the driver of the motor vehicle, graphic elements are superimposed, which in support of the driver with regard to the interpretation of the spatial information contained in the scene image.
  • the output of such a scene image to the driver is typically done by a graphical display device.
  • the representation can be two-dimensional by conventional image display means, for. As a conventional monitor, or three-dimensional by suitable for three-dimensional representation image display means. As suitable for three-dimensional representation image display means come z. As lenticular or holographic imaging agents in question.
  • the scene image represents in many cases a spatial, so three-dimensional environment scene.
  • the motor vehicle itself or a part of the motor vehicle or a symbol for the same may be part of the illustrated environment scene.
  • the scene image is typically captured by at least one image capture device, e.g. As a camera, in particular a rear-view camera, the motor vehicle won.
  • the scene image can be generated computer-aided. If necessary, a distorted real image can be displayed as equalized for a clearer representation.
  • Object of the present invention is to provide a method of the type mentioned, which allows a representation of the surrounding scene, which best supports the driver in interpreting the surrounding scene.
  • the graphic elements superimposed on the scene image are at least partially executed and arranged in the scene image such that they embody at least one virtual boundary object with three-dimensional spatial form in the surrounding scene, which has at least one reference surface, which delimits a free space accessible by the motor vehicle from a collision-free accessible obstacle space.
  • the at least one reference surface of the at least one virtual boundary object is at least partially defined as a linear, piecewise linear or nonlinear interpolation between a limited set of support points or support lines, each known from a reference point, from a measurement of the distance to obstacles in the surroundings of the motor vehicle , a reference line or a reference surface of the motor vehicle.
  • the invention is based on the idea that the interpretation of an enriched by graphic elements representation of a three-dimensional environment scene the driver particularly easy when the graphics elements can be intuitively, in particular without rethinking, included in the surrounding scene. This is the case, in particular, if the representation of the surrounding scene is partially or exclusively enriched with graphic elements which are perceived by the driver as spatial objects arranged in the surrounding scene.
  • the graphic elements superimposed on the scene image according to the invention are therefore executed in such a way and arranged in the scene image that they embody virtual objects which are arranged in the three-dimensional environment scene and have a three-dimensional spatial form there.
  • the overall presentation thus corresponds to the experiences of the driver and can be interpreted by him with little interpretation.
  • Graphic elements for example auxiliary or warning lines, which are superimposed on a scene image of a three-dimensional environment scene according to the prior art, have no or at least no clearly recognizable spatial form in the surrounding scene.
  • the driver can thus at best interpret these graphic elements as markings or, in the worst case, must rethink between the three-dimensional ambient scene and a virtual layer superimposed on the ambient scene.
  • Unfavorable is likewise when the driver integrates the graphic elements into the surrounding scene mentally, but the embodiment of the graphic elements in the surrounding scene has no or at least no clearly recognizable spatial form which corresponds to the experiences of the driver. In all these cases, the interpretation of the prior art superimposed graphic elements requires an unnecessarily high interpretation performance of the driver.
  • the scene image output to the driver is processed in such a way that in the driver's perception the three-dimensional ambient scene is enriched by objects having a three-dimensional spatial form in the surrounding scene, a reliable interpretation of the spatial conditions in the surrounding scene by the driver is relative low interpretation performance possible.
  • the prerequisite for this is a representation of the virtual objects that is perceivable by the driver as spatially coherent as well as consistent with the surrounding scene.
  • Such a representation can be carried out without difficulty with today known and available methods and devices for the generation and graphic output of three-dimensional scenes.
  • the support of the driver by the graphical integration of one or more virtual objects in the surrounding scene according to the invention is that a collision freely accessible by the motor vehicle free space is delimited by a not collision-free accessible obstacle space.
  • the graphic elements superimposed on the scene image in the surrounding scene embody at least one virtual boundary object with a three-dimensional spatial form which has at least one reference surface which delimits a free space that can be reached without collision by the motor vehicle from an obstacle space that can not be reached without collision.
  • the graphic elements may embody a single or a plurality of such boundary objects. All or only selected graphic elements can contribute to the embodiment. If graphic elements do not contribute to the embodiment of a boundary object, they can be superimposed on the scene image for other purposes.
  • the three-dimensional spatial form of the at least one boundary object is determined according to the invention so that the driver is ideally intuitive, but no later than appropriate guidance, a reference surface is recognizable, which is crucial for the demarcation between space and obstacle space.
  • a reference surface may, for example, be a part of the surface of a delimiting object. However, it may also be a surface, which may not be represented graphically in the scene image itself, which results from the three-dimensional three-dimensional shape of the at least one boundary object, eg. B. a symmetry surface.
  • the reference surface may be complete or in pieces consisting of a single or multiple planar surfaces and / or a single or multiple hypersurfaces curved in space.
  • the graphic elements are executed and arranged in the scene image such that the demarcation between the free space and the obstacle space is substantially continuous horizontally through the at least one reference surface.
  • the horizontal addition refers to the three-dimensional environment scene. Through a continuous horizontal boundary in the surrounding scene arises for the driver no ambiguity about how free space and obstacle space in any gaps between several reference surfaces or in recesses of a reference surface are to be distinguished. Rather, an otherwise continuous demarcation makes it possible to design the representation so that any intermediate spaces between reference surfaces or recesses in reference surfaces are to be understood as a particularly wide extension of the free space or obstacle space.
  • a representation designed in this way is technically easy to implement and can be interpreted very simply by the driver, in particular in connection with the representation of boundary objects with a three-dimensional spatial form provided according to the invention.
  • a substantially continuous horizontal boundary for the driver facilitates the interpretation of the spatial form of the at least one virtual boundary object and thus the removal of the information represented by such a boundary object.
  • the definition and representation of the at least one boundary object can be restricted to this part.
  • the horizontal continuity of the at least one boundary object thus also affects only this part of the surrounding scene.
  • the height of a displayed boundary object or a height profile of the same in the surrounding scene is preferably selected to be substantially constant, but may alternatively be designed to be variable, for example to clarify the properties of obstacles, such as the height or compliance of obstacles.
  • the height of a displayed boundary object is selected to be so small that only a relatively small part of the surrounding scene, especially the obstruction space is obscured, but high enough to clarify the delimiting character of the boundary object.
  • the graphic elements which embody the at least one virtual boundary object are preferably at least partially at least partially transparent.
  • the at least one virtual boundary object is in this case also at least partially fully transparent or partially transparent and enables the recognition of components of the environmental scene, which are arranged from the observation point behind the boundary object.
  • the transparency of the graphic elements is adjusted as a function of the brightness and / or the contrast of the surrounding scene or its components.
  • all or selected contours or contour regions of the respective boundary object are preferably designed with a lower transparency than the area and volume contents of the object.
  • the contours can even be performed completely opaque.
  • a better recognizability of the contours and thus a better interpretability of the spatial form of the at least one boundary object can alternatively or additionally also be achieved by a color variation between outlines and adjacent area and volume contents.
  • the representation according to the invention of a boundary object with a three-dimensional spatial form implies a perspective distortion of the object, which manifests itself in the scene image, for example, in a line running parallel to one another in the surrounding scene from the observation point.
  • the at least one boundary object is preferably displayed in perspective scaled. This means that the shape and size of the representation of the object in the scene image is selected depending on the distance between the virtual boundary point and the observation point.
  • a possible perspective scaling and / or distortion of the at least one boundary object is proportional to the scaling and / or distortion of the real components of the surrounding scene.
  • this can be realized, for example, by a three-dimensional modeling of the at least one boundary object on the scale of the surrounding scene and a graphic representation whose parameters, in particular observation position and opening angle, correspond to those of the scene image.
  • Such a proportional scaling and / or distortion results in a presentation that is perceivable by the driver as realistic and thus easily interpretable.
  • a possible perspective scaling and / or distortion of the at least one boundary object can also be performed disproportionately or at a lower rate.
  • disproportionate scaling can increase the driver's sense of approach or distance between the object and the observation point.
  • the three-dimensional spatial form of the at least one boundary object is preferably selected such that the driver has the clearest possible demarcation between the free space and the obstacle space.
  • the graphic elements superimposed on the scene image are therefore preferably executed and arranged in the scene image in such a way that the at least one virtual boundary object has a surface which is oriented essentially perpendicular to the free space and arranged in the surrounding scene.
  • a surface is recognized by the driver as a reference surface for delimiting between free space and obstacle space.
  • such a surface is usually completely visible from an observation point in an arrangement of the observation point in the free space.
  • Another advantage of the substantially vertical design of such a surface is that it creates the driver the impression of inaccessibility of the obstacle space and thus promotes its interpretation of the surrounding scene.
  • a deliberate variation of the inclination or a slope course of the reference surface represented by a boundary object, in particular of a surface pointing essentially to the free space is conceivable.
  • properties of obstacles for example the compliance of obstacles or a danger emanating from obstacles, can be conveyed to the driver.
  • a vertical reference surface can be formed in front of a stone wall, while a shrubbery is represented by a slightly rising ramp. If necessary, such a representation requires a scene interpretation not explained in detail here.
  • the graphic elements are preferably executed and arranged in the scene image such that the at least one virtual boundary object has a small spatial extent in the direction orthogonal to the reference surface.
  • such a variant of the invention also requires a small occlusion of the components of the obstacle space by the graphic elements in the scene image.
  • the reference surface of the boundary object is preferably set spatially substantially on the driving plane adjacent above the driving plane and graphically displayed.
  • the driving plane is understood to mean the plane, which is generally substantially flat, on which the motor vehicle is moved.
  • the driving plane is defined by the road surface.
  • the abutment of the reference surface to the driving plane is, in most contemplated embodiments of the invention, equivalent to resting of the at least one boundary object on the drive level.
  • the awareness of a vertical reference is very helpful for a simple spatial interpretation of the spatial arrangement of displayed virtual objects. If the driver can assume that a displayed virtual object rests on a certain level, in this case the driving plane, a visualization of other optical clues, such as the representation of shadows, which would otherwise be required for clearly defining the spatial arrangement, can be omitted.
  • the direct adjacency of the reference surface to the driving plane it is theoretically possible to choose any distance of the reference surface from the driving plane that is presumed to be known by the driver, but which is presumed to be known by the driver.
  • the reference surface of the at least one boundary object is set and displayed graphically only at the driving plane adjacent above the driving plane and only if the spatial shape of the boundary object, its spatial arrangement in the surrounding scene, in particular its horizontal distance from Observation point, as well as the observation point and the opening angle of the scene image have a complete or at least sufficient for the detection of the reference surface representation of the boundary object in the scene image result. This is not the case, for example, if a boundary object with a small height in the surrounding scene is at least partially so close to the motor vehicle that at least a part of the boundary object is not visible in the scene image from an elevated observation point.
  • the vertical position of the boundary object in the surrounding scene is changed in accordance with the above-mentioned particularly preferred embodiment of the present invention so that the boundary object becomes completely or at least sufficiently visible for detection of the reference surface.
  • the vertical arrangement of the boundary object in the environment scene is thus selected depending on the horizontal distance of the same from the observation point.
  • a change in the spatial form of the boundary object, in particular its height, and / or an adaptation of the observation point and / or opening angle is also conceivable.
  • a surface of the at least one virtual boundary object arranged substantially vertically in the environmental scene, a small spatial extent thereof in the orthogonal direction to the reference surface and an adjacent reference plane to the driving plane results in a substantially fence-like shape of the at least one boundary object.
  • Such a design is particularly advantageous because the symbolic meaning of a fence in the sense of a limitation is usually known to each driver from his experience and thus intuitively understandable.
  • the spatial form of a two-dimensional or three-dimensional graphically displayed fence is very easy to interpret for most drivers, even with a very complex horizontal shape.
  • the height of a fence shown or a height profile along the fence is preferably substantially constant in such a representation, but may alternatively, as already mentioned earlier, be made variable. Also, a targeted variation of the inclination or a slope course of a fence-shaped boundary object and thus a deliberate deviation from the vertical arrangement of the reference surface in the surrounding scene can, as also mentioned earlier, serve a clearer and / or more easily interpretable information to the driver and thus be advantageous.
  • a graphical texture can be applied to the surface of a graphically-displayed bounding object. Even such a texture can be carried out partially transparent.
  • the color and / or color distribution of the graphic elements embodying the at least one virtual boundary object is dependent on the distance of the portion represented by the respective graphic element or a part thereof of the at least one virtual boundary object is selected from a reference point, a reference line or a reference surface of the motor vehicle.
  • the typical signal colors red, yellow and green or mixed tones of the same are preferably used.
  • the at least one virtual boundary object in particular its surface, can be composed of areas and / or area sections of uniform color or have a continuous color gradient. If the at least one virtual boundary object has a piece-wise surface composed of flat surface parts, the surface parts are preferably each colored in a uniform color. This allows a particularly simple image calculation and graphical representation.
  • the color of a surface part can be defined as a mixed color of the colors of adjacent surface parts. For example, a surface part lying between a very close red surface part and a more distant yellow surface part can be dyed orange in the mixed color. Almost as easily realized is a coloring of a surface part by the partial coloring in the colors of adjacent surface parts.
  • a surface part lying between a very close red surface part and a more distant yellow surface part can be colored partially in red and partly in yellow. If the surface part to be inked lies between a very close red surface part and a very far away green surface part, a yellow color section can be inserted between a red and a green color section. As a further alternative, a continuous color transition between the colors of adjacent surface parts is conceivable.
  • the spatial form of the at least one virtual boundary object, in particular the reference surface resulting from this spatial form, can in principle be arbitrarily defined in space. Since the motor vehicle is moved substantially along the driving plane, in particular the spatial course of the reference surface along the driving plane is decisive for an effective demarcation between free space and obstacle space. According to an already mentioned preferred embodiment of the present invention, the delimitation by the at least one reference surface is horizontally substantially continuous. In the following, it is assumed for the sake of simplicity of a single continuous reference surface, which represented graphically by a fence-shaped boundary object. However, the invention is not limited to this special case.
  • the at least one reference surface of the at least one virtual boundary object is therefore at least partially defined as a linear, piecewise linear or nonlinear interpolation between a limited set of vertices or support lines each known distance from a reference point, a reference line or a reference surface of the motor vehicle.
  • support points and / or support lines are obtained, the manner of obtaining the same and the fact whether the support points and / or support lines in each case to a reference point of the motor vehicle, such as the mounting location of a sensor, a reference line, such as the vehicle contour, or a reference surface , for example, the actual surface of the motor vehicle, is dependent on the underlying distance measuring method and a subsequent model based on the measurement, evaluation of the measurement signals.
  • the reference surface obtained from the support points and / or support lines may, but does not necessarily include, the support points and / or support lines themselves.
  • Conceivable is the separate or selectively combined use of various known techniques and devices for environment detection for motor vehicles, eg. Radar, ultrasound-based, camera-based and / or photoperiod-time based. Particularly economical is the use of resources already provided for other purposes on the motor vehicle. Preference is given to the separate or combined use of existing on many vehicles ultrasound-based distance sensors and a required according to various embodiments of the present invention for image capture of the surrounding scene camera, in particular reversing camera.
  • Each distance measuring method used for distance measurement is preferably designed or adapted so that the respective sensor characteristics are taken into account. This consideration can be either in the acquisition of several Deflect points and / or lines from a single measurement or in the way of interpolation.
  • a detected reflection point may theoretically lie anywhere on a typically substantially club-shaped hypersurface. This can be taken into account, for example, by including a plurality of points of the hypersurface in the interpolation method and / or by means of an interpolation curve or surface whose shape depends at least in sections on the shape of the hypersurface.
  • a camera-based distance measurement can take place, for example, in a manner known per se with the aid of a grid network exposure integrated in the camera system.
  • an obstacle map of the surrounding scene can be created on the basis of the implemented environment recognition according to an advantageous development of the invention.
  • the results of the surroundings detection are preferably first of all used in a manner known per se for, if appropriate, model-based, object recognition and localization.
  • the obtained obstacle card is used to define the at least one boundary object or the reference surface.
  • the availability of an obstacle card hereby opens up various further embodiments of a method according to the invention, which are in some cases associated with considerable simplifications and / or a gain in accuracy.
  • detected obstacles can each be individually delimited or grouped by at least one virtual boundary object, which can be obtained directly from the obstacle map.
  • a geometric model of a detected obstacle may directly serve as a boundary object or part of a boundary object.
  • the distance measurement values, interpolation points and / or support lines, obstacle maps and / or reference surfaces obtained by a method according to the invention are preferably used for further purposes of driver assistance.
  • the sizes obtained either from the devices which perform the method according to the invention, to other devices of the motor vehicle or are transmitted outside of the motor vehicle or the quantities obtained are passed on to processing processes in which the same devices of the motor vehicle are involved, which also perform the inventive method.
  • both the use of raw data and of final or intermediate results of a method according to the invention is conceivable.
  • the use can again take place as raw data material and / or at any higher processing level.
  • data which is calculated in the context of a method according to the invention can also be used or used as the basis for an automatic shunting and parking assistant in addition to the graphical representation according to the invention for the driver.
  • a preferred development of the invention provides a method and / or a device which enable the driver to observe, based on a graphical representation according to the invention, how his motor vehicle automatically controls the maneuvering and parking assistants maneuvered.
  • the driver is also given the opportunity to engage in the maneuver of shunting and parking assistants.
  • both support lines or support points as well as the reference surface or sections thereof in calculation and display in case of doubt in the direction of the free space are moved.
  • a further advantage of a method according to the invention which has not yet been explicitly stated in the previous embodiments is that in poor visibility conditions or darkness the augmentation of the scene image by graphic elements considerably improves its usability or makes it usable only in the first place.
  • the at least one virtual boundary object unlike the real components of the surrounding scene, remains recognizable even in poor visibility or darkness.
  • this applies to a greater extent since in the case of poor or omitted recognizability of the real components of the surrounding scene, only the three-dimensional spatial form according to the invention of the at least one boundary object allows a spatial interpretation of the augmented scene image.
  • the mere addition of auxiliary lines known from the prior art does not permit any association between the displayed image and the spatial conditions of the surrounding scene in poor visibility or darkness for most drivers.
  • the above considerations regarding poor visibility or darkness apply to the same extent in case of failure of detection or representation of the real scene image.
  • the representation according to the invention of the at least one boundary object is also independent, d. H. without subordinate real image of the surrounding scene, interpretable for the driver. The same applies to a delayed presentation of the real image. The driver can then orient himself on the basis of the temporally anticipatory at least one boundary object.
  • Various embodiments of a method according to the invention are based on, as a rule, three-dimensional, geometric modeling of obstacles contained in an obstacle card and / or of the at least one boundary object. This may result in a further advantage of the invention.
  • vehicle movement from an old to a new vehicle position can be calculated from such a geometric model new valid for the new vehicle position graphics elements. If an obstacle card is used, under certain circumstances a completely new boundary object valid for the new vehicle position is calculated and visualized.
  • a completely new boundary object valid for the new vehicle position is calculated and visualized.
  • a plausibility check can be carried out between a representation calculated by such a prediction and a representation calculated on the basis of new distance measurements.
  • the predicted representation is available faster than a representation calculated on the basis of new distance measurements.
  • the calculation and presentation of the graphic elements could then take place, for example, only at regular or irregular intervals on the basis of new distance measurements and, in the meantime, on the basis of model-based prediction.
  • At least one dedicated computing unit can be provided in the motor vehicle.
  • the calculations can advantageously be carried out partially or completely by one or more computing units already provided for other purposes in the motor vehicle.
  • the distance measurement and / or image acquisition and / or image output which is required for the application of a method according to the invention, by dedicated devices and / or already provided for other purposes in the vehicle and suitable for this purpose means.
  • the driver is given the opportunity to influence an inventive method by operator inputs.
  • the control elements to be provided for this purpose can be implemented in the form of controls implemented in hardware and / or in the form of graphic elements in the augmented scene image.
  • the image display means used in a method according to the invention must be suitable for corresponding inputs, e.g. B. be designed as a touch screen.
  • a two-dimensional scene image of the three-dimensional ambient scene of the rear space of the motor vehicle is detected by a reversing camera in a motor vehicle to assist the driver, in particular in reverse drives and parking operations.
  • the captured scene image is processed by a computing unit and output by a arranged in the vehicle monitor in a prepared form to the driver.
  • the preparation of the scene image consists in overlaying the captured camera image with graphic elements which together embody a single or a plurality of virtual boundary objects which are arranged in the surrounding scene.
  • the boundary objects border on the foreground of the image without collision free space accessible by the motor vehicle from the obstacle space located in the background, which can not be reached without collision.
  • Fig. 1, Fig. 2 and Fig. 3 show snapshots of the edited scene image output to the driver.
  • a tree trunk is an obstacle in the obstacle space located in the background.
  • Fig. 2 There are two parked vehicles in the obstacle room.
  • Fig. 3 There are two parked vehicles and a tree trunk in the obstacle room.
  • This in Fig. 1 represented virtual boundary object 1
  • the in Fig. 2 represented virtual boundary objects 2 and 3
  • Each virtual boundary object 4 shown has a substantially fence-like shape and a constant height (here 25 cm) in the three-dimensional environment scene.
  • An essential component of the information conveyed to the driver by the depicted scene images is the spatial course, in particular the horizontal course, the surface referred to below as the reference surface, which is graphically represented by the at least one boundary object and the free space for the driver recognizable from the obstacle space separated.
  • the graphical representation of the reference surface is the surface of the boundary object.
  • the determination of the reference surface takes place on the basis of data obtained by environment detection of the motor vehicle. In the present example, these are data from the rear of the vehicle integrated ultrasonic sensors.
  • the distance of a multiplicity of spatial points in the surrounding scene from one reference point on the motor vehicle, in the present example in each case the location of attachment of the respective ultrasonic sensor, is determined. These points would be at very high horizontal resolution on the surface of obstacles. If the measurement resolution is less high, the respective sensor characteristic has to be considered in the sense of a worst case analysis.
  • a reflection point detected by an ultrasound single measurement may theoretically be located anywhere on a typically substantially club-shaped hypersurface. At least two opposing near-vehicle points on this hypersurface are then defined as spatial points in each measurement.
  • the defined spatial points are usually in the open space in front of an obstacle, possibly slightly laterally in front of this.
  • a vertical line in the surrounding scene is then determined by the respective spatial point.
  • the in Fig. 1 For example, an ultrasonic measurement is used, in which by at least one ultrasonic sensor in Fig. 1 visible tree was detected. Corresponding to the horizontal lobe-shaped characteristic of the sensors used, two spatial points were determined on the left and right lobe edges on the basis of this measurement.
  • the two support lines defined thereby correspond to Fig. 1 the dividing line between the surface 11 and the surface part 12 and the dividing line between the surface 11 and the surface part 13. Both dividing lines are both in the scene Fig. 1 as well as in the surrounding scene vertically.
  • the distance of the support lines defined as described vertically in the surrounding scene from this mounting location is also known.
  • the support lines merely represent the extension of the spatial points to the vertical dimension of the surrounding scene.
  • the reference surface is defined as a piecewise linear interpolation between the obtained support lines.
  • the interpolation relates in particular to the horizontal course of the reference surface in the surrounding scene.
  • the vertical course of the reference surface is sufficiently defined in the present example by the shape of a vertical fence of constant height.
  • the height of the previously defined support lines is set equal to the height of the fence (here 25 cm).
  • the lower end of the support lines is selected as the point in the driving plane. The support lines and the reference surface are thus arranged adjacent to the driving plane above the latter in the environmental scene.
  • the calculated reference surface may have several parts, or, in another approach, multiple reference surfaces.
  • the evaluation of the ultrasound measurements and the determination of the reference surface described above are performed by a computing unit arranged in the vehicle.
  • This arithmetic unit is also suitable for graphically rendering three-dimensional objects as well as for capturing image data of a camera and for outputting image data to a monitor.
  • a three-dimensional boundary object is produced in the arithmetic unit, which has a surface perpendicular to the surrounding scene and pointing to the free space, which has the shape of the reference surface.
  • a fence-shaped boundary object is generated.
  • a perspective two-dimensional graphic representation of the boundary object is generated, whose parameters, in particular observation position and opening angle, correspond to those of the reversing camera.
  • a captured by the rear view camera real image of the surrounding scene is transmitted.
  • the graphical representation of the boundary object is superimposed by the arithmetic unit to the real image captured by the reversing camera and displayed by the monitor.
  • boundary objects are interpreted by the driver as part of the surrounding scene.
  • the boundary objects are intuitively recognizable by the driver as limitations. Due to the small thickness of the fence, its free-space facing surface is substantially spatially identical with its surface facing the obstacle space. This surface is intuitively recognizable to the driver as a reference surface of the demarcation between free space and obstacle space.
  • the perspective distorted and scaled representation of the fence resulting from the method described above assists the driver in the spatial interpretation of the surrounding scene. Furthermore, the driver is supported by a symbolic coloring of the fence described below in the spatial interpretation of the surrounding scene.
  • the surfaces of the boundary objects shown are assigned for this purpose in the graphical rendering proportionally or completely certain colors. The assignment of the colors takes place as a function of the distance of the adjacent support lines from the motor vehicle.
  • the area is subdivided into surface parts of different colors.
  • the surface parts are defined exactly so that the color change takes place at the transition of the ink zones.
  • the surface 11 and the two surface parts 12 and 13 are colored yellow.
  • the surface parts 14 and 15 are colored to mark a further distance from the vehicle, here more than 2 m, green.
  • the boundary object would continue to be displayed in unchanged spatial form, position and position in the surrounding scene, assuming an unchanged arrangement of the obstacles. However, his shape, position and position in the scene would change, for example, the boundary object would be enlarged perspective by the approach.
  • the surface 11 and the two surface parts 12 and 13 would be dyed red, the surface parts 14 and 15 yellow.
  • the surfaces and surface parts are not displayed as opaque surfaces of the respective color, but partially transparent.
  • Fig. 4 shows an example of a superimposition of a two-dimensional scene image of a three-dimensional environment scene with graphic elements according to a second preferred embodiment of the present invention.
  • Fig. 4 refers to the same environment scene as Fig. 3
  • the illustration according to the second preferred embodiment according to Fig. 3 differs from the first preferred embodiment according to Fig. 4 above all, that the boundary object 5, unlike the boundary object 4, is not transparent and has a greater spatial extent in the orthogonal direction to the reference surface.
  • Fig. 4 Also in the presentation according to Fig. 4 is the vertically standing in the surrounding scene and pointing to the free space surface of the boundary object 5 for the driver intuitively recognizable as a reference surface of the demarcation between space and obstacle space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Bei einem Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs, bei welchem einem Szenenbild, welches eine dreidimensionale Umgebungsszene der Umgebung des Kraftfahrzeugs darstellt und welches zweidimensional oder dreidimensional an den Fahrer des Kraftfahrzeugs ausgegeben wird, Grafikelemente überlagert werden, welche zur Unterstützung des Fahrers hinsichtlich der Interpretation der im Szenenbild enthaltenen räumlichen Information dienen, werden die Grafikelemente zumindest teilweise so ausgeführt und im Szenenbild angeordnet, dass sie in der Umgebungsszene zumindest ein virtuelles Begrenzungsobjekt mit dreidimensionaler Raumform verkörpern, welches zumindest eine Bezugsfläche aufweist, die einen kollisionsfrei durch das Kraftfahrzeug erreichbaren Freiraum von einem nicht kollisionsfrei erreichbaren Hindernisraum abgrenzt.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs, bei welchem einem Szenenbild, welches eine dreidimensionale Umgebungsszene der Umgebung des Kraftfahrzeugs darstellt und welches zweidimensional oder dreidimensional an den Fahrer des Kraftfahrzeugs ausgegeben wird, Grafikelemente überlagert werden, welche zur Unterstützung des Fahrers hinsichtlich der Interpretation der im Szenenbild enthaltenen räumlichen Information dienen.
  • Zur Unterstützung des Fahrers eines Kraftfahrzeugs hinsichtlich der Einschätzung der räumlichen Verhältnisse rund um das Kraftfahrzeug ist es bekannt, die Umgebung des Kraftfahrzeugs in einem Szenenbild darzustellen und dieses an den Fahrer auszugeben.
  • Die Ausgabe eines solchen Szenenbilds an den Fahrer erfolgt typischerweise durch eine grafische Anzeigeeinrichtung. Die Darstellung kann dabei zweidimensional durch herkömmliche Bilddarstellungsmittel, z. B. einen herkömmlichen Monitor, oder dreidimensional durch zur dreidimensionalen Darstellung geeignete Bilddarstellungsmittel erfolgen. Als zur dreidimensionalen Darstellung geeignete Bilddarstellungsmittel kommen z. B. lentikulare oder holografische Bilddarstellungsmittel in Frage. Das Szenenbild stellt in vielen Fällen eine räumliche, also dreidimensionale Umgebungsszene dar. Das Kraftfahrzeug selbst oder ein Teil des Kraftfahrzeugs oder ein Symbol für dasselbe kann Teil der dargestellten Umgebungsszene sein.
  • Das Szenenbild wird typischerweise durch zumindest eine Bilderfassungsvorrichtung, z. B. eine Kamera, insbesondere eine Rückfahrkamera, des Kraftfahrzeugs gewonnen. Alternativ kann das Szenenbild rechnergestützt generiert werden. Ein verzerrt erfasstes Realbild kann gegebenenfalls zur übersichtlicheren Darstellung entzerrt dargestellt werden.
  • Es ist ferner bekannt, ein an den Fahrer ausgegebenes Szenenbild durch Grafikelemente zu überlagern, welche zur Unterstützung des Fahrers hinsichtlich der Interpretation der im Szenenbild enthaltenen räumlichen Information dienen.
  • Beispielsweise ist es aus der US 2002 / 0175999 A1 bekannt, einem erfassten Kamerabild bei dessen Darstellung Grafikelemente, insbesondere Warnlinien, zu überlagern, um den Fahrer bei der Interpretation des dargestellten Bildes zu unterstützen. Die Interpretation solcher Wamlinien und die Ableitung eines entsprechend der dargestellten Situation veränderten Bedienverhaltens ist jedoch, gerade für nicht mit solchen Bilddarstellungsmethoden vertraute Fahrer, äußerst schwierig.
  • Aus der EP 1 469 422 A1 ist es bekannt, eine anhand des aktuellen Lenkwinkels prädizierte zukünftige Position das Kraftfahrzeugs grafisch in einem an den Fahrer ausgegebenen Szenenbild darzustellen. Hierbei besteht ebenfalls der Nachteil, dass die Interpretation für nicht mit solchen Bilddarstellungsmethoden vertraute Fahrer schwierig ist. Zudem ist eine solche Darstellung sehr stark auf eine Beurteilung und ggf. Anpassung des Bedienverhaltens des Fahrers, beispielsweise eine Veränderung des Lenkwinkels, zugeschnitten. Viele Fahrer wünschen jedoch keine ihr Bedienverhalten betreffenden Vorschläge oder eine Beurteilung ihres aktuellen Bedienverhaltens, weshalb eine solche Darstellungsform von vielen Fahrern als unnötig oder gar störend empfunden wird.
  • Aus der US 2003/210228 A1 ist ein Verfahren der eingangs genannten Gattung bekannt, bei welchem Grafikobjekte in ein Szenenbild eingefügt werden, die als so genannte "representations" bezeichnet werden. Diese "representations" können verwendet werden, um einem Benutzer einen sicheren Weg vorbei an potenziell gefährlichen Umgebungsphänomenen anzuzeigen. Beispielsweise kann ein einem Brückenpfeiler entsprechendes Objekt in "Wireframe"-Darstellung dem Bild überlagert werden, um eine kollisionsfreie Navigation zu gewährleisten.
  • Aufgabe der vorliegenden Erfindung ist es, ein Verfahren der eingangs genannten Gattung zu schaffen, welches eine Darstellungsform der Umgebungsszene ermöglicht, die den Fahrer bestmöglich bei der Interpretation der Umgebungsszene unterstützt.
  • Gelöst wird diese Aufgabe erfindungsgemäß durch ein Verfahren der eingangs genannten Gattung, bei welchem die dem Szenenbild überlagerten Grafikelemente zumindest teilweise so ausgeführt und im Szenenbild angeordnet werden, dass sie in der Umgebungsszene zumindest ein virtuelles Begrenzungsobjekt mit dreidimensionaler Raumform verkörpern, welches zumindest eine Bezugsfläche aufweist, die einen kollisionsfrei durch das Kraftfahrzeug erreichbaren Freiraum von einem nicht kollisionsfrei erreichbaren Hindernisraum abgrenzt. Die zumindest eine Bezugsfläche des zumindest einen virtuellen Begrenzungsobjekts wird dabei zumindest teilweise festgelegt als lineare, stückweise lineare oder nichtlineare Interpolation zwischen einer beschränkten Menge von aus einer Messung des Abstands zu Hindernissen in der Umgebung des Kraftfahrzeugs resultierenden Stützpunkten oder Stützlinien mit jeweils bekanntem Abstand von einem Bezugspunkt, einer Bezugslinie oder einer Bezugsfläche des Kraftfahrzeugs. Der Erfindung liegt der Gedanke zugrunde, dass die Interpretation einer durch Grafikelemente angereicherten Darstellung einer dreidimensionalen Umgebungsszene dem Fahrer dann besonders leicht fällt, wenn die Grafikelemente intuitiv, insbesondere ohne ein Umdenken, in die Umgebungsszene miteinbezogen werden können. Dies ist insbesondere dann der Fall, wenn die Darstellung der Umgebungsszene teilweise oder ausschließlich mit Grafikelementen angereichert wird, welche vom Fahrer als in der Umgebungsszene angeordnete räumliche Objekte wahrgenommen werden. Die dem Szenenbild erfindungsgemäß überlagerten Grafikelemente werden daher derart ausgeführt und im Szenenbild angeordnet, dass sie virtuelle Objekte verkörpern, die in der dreidimensionalen Umgebungsszene angeordnet sind und dort eine dreidimensionale Raumform besitzen. Die Gesamtdarstellung entspricht somit den Erfahrungen des Fahrers und ist mit geringer Interpretationsleistung durch diesen interpretierbar.
  • Grafikelemente, beispielsweise Hilfs- oder Warnlinien, welche einem Szenenbild einer dreidimensionalen Umgebungsszene gemäß dem Stand der Technik überlagert werden, besitzen keine oder zumindest keine klar erkennbare Raumform in der Umgebungsszene. Der Fahrer kann diese Grafikelemente somit bestenfalls als Markierungen interpretieren bzw. muss im ungünstigsten Fall zwischen der dreidimensionalen Umgebungsszene und einer virtuellen, der Umgebungsszene überlagerten Ebene umdenken. Ungünstig ist ebenfalls, wenn der Fahrer die Grafikelementen zwar gedanklich in die Umgebungsszene integriert, die Verkörperung der Grafikelemente in der Umgebungsszene jedoch keine oder zumindest keine klar erkennbare Raumform besitzt, welche den Erfahrungen des Fahrers entspricht. In allen genannten Fällen erfordert die Interpretation der gemäß dem Stand der Technik überlagerten Grafikelemente eine unnötig hohe Interpretationsleistung des Fahrers.
  • Wird das an den Fahrer ausgegebene Szenenbild dagegen erfindungsgemäß so aufbereitet, dass in der Wahrnehmung des Fahrers die dreidimensionale Umgebungsszene durch Objekte angereichert wird, welche eine dreidimensionale Raumform in der Umgebungsszene besitzen, ist eine zuverlässige Interpretation der räumlichen Verhältnisse in der Umgebungsszene durch den Fahrer mit verhältnismäßig geringer Interpretationsleistung möglich.
  • Voraussetzung hierfür ist eine vom Fahrer als sowohl in sich räumlich stimmig als auch mit der Umgebungsszene konsistent wahrnehmbare Darstellung der virtuellen Objekte. Eine solche Darstellung ist mit heute an sich bekannten und verfügbaren Verfahren und Vorrichtungen zur Generierung und grafischen Ausgabe dreidimensionaler Szenen problemlos durchführbar.
  • Die Unterstützung des Fahrers durch die grafische Integration eines oder mehrerer virtueller Objekte in die Umgebungsszene besteht erfindungsgemäß darin, dass ein kollisionsfrei durch das Kraftfahrzeug erreichbarer Freiraum von einem nicht kollisionsfrei erreichbaren Hindernisraum abgegrenzt wird. Erfindungsgemäß verkörpern die dem Szenenbild überlagerten Grafikelemente in der Umgebungsszene zumindest ein virtuelles Begrenzungsobjekt mit dreidimensionaler Raumform, welches zumindest eine Bezugsfläche aufweist, die einen kollisionsfrei durch das Kraftfahrzeug erreichbaren Freiraum von einem nicht kollisionsfrei erreichbaren Hindernisraum abgrenzt.
  • Die Grafikelemente können je nach Ausführungsform und/oder dargestellter Umgebungsszene ein einziges oder mehrere solcher Begrenzungsobjekte verkörpern. Zu der Verkörperung können alle oder nur ausgewählte Grafikelemente beitragen. Sofern Grafikelemente nicht zur Verkörperung eines Begrenzungsobjekts beitragen, können diese dem Szenenbild für andere Zwecke überlagert werden.
  • Um den Fahrer bestmöglich zu unterstützen, wird die dreidimensionale Raumform des zumindest einen Begrenzungsobjekts erfindungsgemäß so festgelegt, dass für den Fahrer idealerweise intuitiv, spätestens aber nach entsprechender Anleitung, eine Bezugsfläche erkennbar ist, die für die Abgrenzung zwischen Freiraum und Hindernisraum ausschlaggebend ist. Bei einer solchen Bezugsfläche kann es sich beispielsweise um einen Teil der Oberfläche eines Begrenzungsobjekts handeln. Ebenso kann es sich aber um eine, gegebenenfalls grafisch selbst nicht im Szenenbild dargestellte, Fläche handeln, welche sich aus der dreidimensionalen Raumform des zumindest einen Begrenzungsobjekts ergibt, z. B. eine Symmetriefläche. Die Bezugsfläche kann komplett oder stückweise aus einer einzigen oder mehreren ebenen Flächen und/oder einer einzigen oder mehreren im Raum gekrümmten Hyperflächen bestehen.
  • Vorzugsweise werden die Grafikelemente so ausgeführt und im Szenenbild angeordnet, dass die Abgrenzung zwischen Freiraum und Hindernisraum durch die zumindest eine Bezugsfläche horizontal im Wesentlichen durchgängig ist. Der Zusatz horizontal bezieht sich dabei auf die dreidimensionale Umgebungsszene. Durch eine durchgängige horizontale Abgrenzung in der Umgebungsszene entsteht für den Fahrer keine Unklarheit darüber, wie Freiraum und Hindernisraum in etwaigen Zwischenräumen zwischen mehreren Bezugsflächen oder in Aussparungen einer Bezugsfläche abzugrenzen sind. Vielmehr ermöglicht eine ansonsten durchgängige Abgrenzung die Möglichkeit, die Darstellung so zu gestalten, dass eventuell vorhandene Zwischenräume zwischen Bezugsflächen oder Aussparungen in Bezugsflächen als besonders weite Ausdehnung des Freiraums oder des Hindernisraums zu verstehen sind. Eine derart gestaltete Darstellung ist technisch einfach realisierbar und insbesondere in Verbindung mit der erfindungsgemäß vorgesehenen Darstellung von Begrenzungsobjekten mit dreidimensionaler Raumform sehr einfach durch den Fahrer interpretierbar.
  • Zudem erleichtert eine im Wesentlichen durchgängige horizontale Abgrenzung für den Fahrer die Interpretation der Raumform des zumindest einen virtuellen Begrenzungsobjekts und somit die Entnahme der durch ein solches Begrenzungsobjekt dargestellten Information.
  • Da nur der im Szenenbild abgebildete Teil der Umgebungsszene für den Fahrer einsehbar ist, kann die Definition und Darstellung des zumindest einen Begrenzungsobjekts auf diesen Teil beschränkt werden. Die horizontale Durchgängigkeit des zumindest einen Begrenzungsobjekts betrifft somit ebenfalls nur diesen Teil der Umgebungsszene.
  • Die Höhe eines dargestellten Begrenzungsobjekts bzw. ein Höhenprofil desselben in der Umgebungsszene wird vorzugsweise im Wesentlichen konstant gewählt, kann alternativ aber, etwa zur Verdeutlichung der Eigenschaften von Hindernissen, etwa der Höhe oder Nachgiebigkeit von Hindernissen, variabel ausgeführt sein. Vorzugsweise wird die Höhe eines dargestellten Begrenzungsobjekts so gering gewählt, dass durch dieses nur ein verhältnismäßig kleiner Teil der Umgebungsszene, insbesondere des Hindernisraums verdeckt wird, jedoch hoch genug, um den abgrenzenden Charakter des Begrenzungsobjekts zu verdeutlichen.
  • Um insbesondere im Hindernisraum angeordnete Bestandteile der Umgebungsszene nicht zu verdecken und den Fahrer in seiner Interpretation der Szene nicht zu beeinträchtigen, werden die Grafikelemente, welche das zumindest eine virtuelle Begrenzungsobjekt verkörpern, vorzugsweise zumindest teilweise zumindest teiltransparent ausgeführt. Das zumindest eine virtuelle Begrenzungsobjekt ist in diesem Fall ebenfalls zumindest teilweise voll- oder teiltransparent und ermöglicht die Erkennung von Bestandteilen der Umgebungsszene, welche vom Beobachtungspunkt aus hinter dem Begrenzungsobjekt angeordnet sind.
  • Gemäß einer bevorzugten Weiterbildung dieses optionalen Merkmals der vorliegenden Erfindung wird die Transparenz der Grafikelemente in Abhängigkeit von der Helligkeit und/oder dem Kontrast der Umgebungsszene bzw. deren Bestandteile angepasst.
  • Insbesondere bei vollständig oder annähernd transparent ausgeführten Begrenzungsobjekten werden vorzugsweise sämtliche oder ausgewählte Konturen oder Konturbereiche des jeweiligen Begrenzungsobjekts mit geringerer Transparenz ausgeführt als die Flächen- und Volumeninhalte des Objekts. Unter Umständen können die Konturen sogar komplett opak ausgeführt werden. Durch die auf diese Weise klar erkennbaren Konturen des zumindest einen virtuellen Begrenzungsobjekts ist dessen dreidimensionale Objektform durch den Fahrer leicht interpretierbar. Da sich die geringe oder nicht vorhandene Transparenz lediglich auf die in der Regel dünnen Konturen des zumindest einen Begrenzungsobjekts bezieht, entsteht daraus kaum eine erhöhte Verdeckung des Hindernisraums.
  • Eine bessere Erkennbarkeit der Konturen und somit eine bessere Interpretierbarkeit der Raumform des zumindest einen Begrenzungsobjekts kann alternativ oder zusätzlich auch durch eine Farbvariation zwischen Konturen und angrenzenden Flächen- und Volumeninhalten erreicht werden.
  • Die erfindungsgemäße Darstellung eines Begrenzungsobjekts mit dreidimensionaler Raumform impliziert gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung eine perspektivische Verzerrung des Objekts, die sich im Szenenbild beispielsweise in einem Aufeinanderzulaufen von Linien äußert, welche in der Umgebungsszene parallel vom Beobachtungspunkt weglaufen. Zudem oder alternativ wird das zumindest eine Begrenzungsobjekt vorzugsweise perspektivisch skaliert dargestellt. Das bedeutet, dass die Form und Größe der Darstellung des Objekts im Szenenbild abhängig vom Abstand zwischen dem virtuellen Begrenzungspunkt und dem Beobachtungspunkt gewählt wird.
  • Vorzugsweise erfolgt eine eventuelle perspektivische Skalierung und/oder Verzerrung des zumindest einen Begrenzungsobjekts proportional zur Skalierung und/oder Verzerrung der realen Bestandteile der Umgebungsszene. Technisch lässt sich dies beispielsweise realisieren durch eine dreidimensionale Modellierung des zumindest einen Begrenzungsobjekts im Maßstab der Umgebungsszene und eine grafische Darstellung, deren Parameter, insbesondere Beobachtungsposition und Öffnungswinkel, denjenigen des Szenenbilds entsprechen. Eine solche proportionale Skalierung und/oder Verzerrung resultiert in einer für den Fahrer als realistisch wahrnehmbaren und somit leicht interpretierbaren Darstellung.
  • Alternativ kann eine eventuelle perspektivische Skalierung und/oder Verzerrung des zumindest einen Begrenzungsobjekts auch überproportional oder unterproportional durchgeführt werden. Insbesondere eine überproportionale Skalierung kann beim Fahrer den Eindruck einer Annäherung oder Entfernung zwischen Objekt und Beobachtungspunkt verstärken.
  • Vorzugsweise wird die dreidimensionale Raumform des zumindest einen Begrenzungsobjekts so gewählt, dass sich für den Fahrer eine möglichst klare Abgrenzung zwischen Freiraum und Hindernisraum ergibt. Die dem Szenenbild überlagerten Grafikelemente werden daher vorzugsweise so ausgeführt und im Szenenbild angeordnet, dass das zumindest eine virtuelle Begrenzungsobjekt eine zu dem Freiraum weisende im Wesentlichen senkrecht in der Umgebungsszene angeordnete Oberfläche aufweist. Eine solche Oberfläche wird vom Fahrer in der Regel problemlos als Bezugsfläche zur Abgrenzung zwischen Freiraum und Hindernisraum erkannt. Zudem ist eine solche Oberfläche bei einer Anordnung des Beobachtungspunkts im Freiraum in der Regel vollständig von diesem Beobachtungspunkt aus sichtbar. Ein weiterer Vorteil der im Wesentlichen senkrechten Gestaltung einer solchen Oberfläche besteht darin, dass sie beim Fahrer den Eindruck der Unzugänglichkeit des Hindernisraums erzeugt und auf diese Weise dessen Interpretation der Umgebungsszene fördert.
  • Alternativ ist eine gezielte Variation der Neigung bzw. eines Neigungsverlaufs der durch ein Begrenzungsobjekt dargestellten Bezugsfläche, insbesondere einer im Wesentlichen zum Freiraum weisenden Oberfläche, denkbar. Auf diese Weise können Eigenschaften von Hindernissen, beispielsweise die Nachgiebigkeit von Hindernissen oder eine von Hindernissen ausgehende Gefahr, an den Fahrer vermittelt werden. So kann beispielsweise vor einer Steinmauer eine senkrechte Bezugsfläche gebildet werden, während ein Gebüsch durch eine leicht ansteigende Rampe dargestellt wird. Gegebenenfalls setzt eine solche Darstellungsform eine hier nicht im Detail erläuterte Szeneninterpretation voraus.
  • Zum Zweck einer einfach interpretierbaren und klaren Abgrenzung zwischen Freiraum und Hindernisraum durch die Bezugsfläche werden die Grafikelemente vorzugsweise so ausgeführt und im Szenenbild angeordnet, dass das zumindest eine virtuelle Begrenzungsobjekt eine geringe räumliche Ausdehnung in zur Bezugsfläche orthogonaler Richtung besitzt. Eine solche Variante der Erfindung bedingt in der Regel auch eine geringe Verdeckung der Bestandteile des Hindernisraums durch die Grafikelemente im Szenenbild.
  • Um zu einer einfach interpretierbaren und klaren Abgrenzung beizutragen, wird zudem oder alternativ die Bezugsfläche des Begrenzungsobjekts bevorzugt räumlich im Wesentlichen an die Fahrebene angrenzend oberhalb der Fahrebene festgelegt und grafisch dargestellt. Unter der Fahrebene ist dabei diejenige, in der Regel im Wesentlichen ebene, Fläche zu verstehen, auf welcher das Kraftfahrzeug bewegt wird. In der Regel ist die Fahrebene durch die Straßenoberfläche definiert.
  • Das Angrenzen der Bezugsfläche an die Fahrebene, ist gemäß den meisten angedachten Ausführungsformen der Erfindung gleichbedeutend mit einem Aufliegen des zumindest einen Begrenzungsobjekts auf der Fahrebene. Insbesondere im Falle einer zweidimensionalen Darstellung eines Szenenbilds an den Fahrer, ist für eine einfache räumliche Interpretation der räumlichen Anordnung dargestellter virtueller Objekte die Bekanntheit eines vertikalen Bezugs sehr hilfreich. Sofern der Fahrer davon ausgehen kann, dass ein dargestelltes virtuelles Objekt auf einer bestimmten Ebene, hier der Fahrebene, aufliegt, kann eine ansonsten zur eindeutigen Festlegung der räumlichen Anordnung erforderliche Visualisierung anderer optischer Anhaltspunkte, wie etwa die Darstellung von Schatten, entfallen. Alternativ zum direkten Angrenzen der Bezugsfläche an die Fahrebene kann theoretisch ein beliebiger, dann aber beim Fahrer bevorzugt als bekannt vorauszusetzender, Abstand der Bezugsfläche von der Fahrebene gewählt werden.
  • Gemäß einer besonders bevorzugten Ausführungsform der vorliegenden Erfindung, wird die Bezugsfläche des zumindest einen Begrenzungsobjekts nur dann im Wesentlichen an die Fahrebene angrenzend oberhalb der Fahrebene festgelegt und grafisch dargestellt, wenn die Raumform des Begrenzungsobjekts, seine räumliche Anordnung in der Umgebungsszene, insbesondere seine horizontale Entfernung vom Beobachtungspunkt, sowie der Beobachtungspunkt und der Öffnungswinkel des Szenenbilds eine vollständige oder zumindest zur Erkennung der Bezugsfläche ausreichende Darstellung des Begrenzungsobjekts im Szenenbild zur Folge haben. Dies ist beispielsweise dann nicht gegeben, wenn sich ein Begrenzungsobjekt mit geringer Höhe in der Umgebungsszene zumindest teilweise so nah an dem Kraftfahrzeug befindet, dass zumindest eine Teil des Begrenzungsobjekts von einem erhöhten Beobachtungspunkt aus nicht im Szenenbild sichtbar ist. In einem solchen Fall wird die vertikale Position des Begrenzungsobjekts in der Umgebungsszene gemäß der genannten besonders bevorzugten Ausführungsform der vorliegenden Erfindung so verändert, dass das Begrenzungsobjekt vollständig oder zumindest in zur Erkennung der Bezugsfläche ausreichendem Maße sichtbar wird. Die vertikale Anordnung des Begrenzungsobjekts in der Umgebungsszene wird also abhängig von der horizontalen Entfernung desselben vom Beobachtungspunkt gewählt. Als Alternative oder Zusatz zu einer Veränderung der vertikalen Position des Begrenzungsobjekts in der Umgebungsszene ist auch eine Veränderung der Raumform des Begrenzungsobjekts, insbesondere seiner Höhe, und/oder eine Anpassung des Beobachtungspunkts und/oder Öffnungswinkels denkbar.
  • Die Kombination einer zu dem Freiraum weisenden im Wesentlichen senkrecht in der Umgebungsszene angeordneten Oberfläche des zumindest einen virtuellen Begrenzungsobjekts, einer geringen räumlichen Ausdehnung desselben in zur Bezugsfläche orthogonaler Richtung und eines Angrenzens der Bezugsfläche an die Fahrebene ergibt eine im Wesentlichen zaunförmige Gestalt des zumindest einen Begrenzungsobjekts. Eine solche Gestaltung ist besonders vorteilhaft, da die symbolische Bedeutung eines Zauns im Sinne einer Begrenzung in der Regel jedem Fahrer aus seiner Erfahrung bekannt und somit intuitiv verständlich ist. Zudem ist die Raumform eines zweidimensional oder dreidimensional grafisch dargestellten Zauns selbst bei sehr komplexem horizontalem Formverlauf für die meisten Fahrer sehr einfach interpretierbar.
  • Die Höhe eines dargestellten Zauns bzw. ein Höhenverlauf entlang des Zauns ist bei einer solchen Darstellung vorzugsweise im Wesentlichen konstant, kann alternativ aber, wie an früherer Stelle bereits allgemein erwähnt, variabel ausgeführt sein. Auch eine gezielte Variation der Neigung bzw. eines Neigungsverlaufs eines zaunförmigen Begrenzungsobjekts und somit eine bewusste Abweichung von der senkrechten Anordnung der Bezugsfläche in der Umgebungsszene kann, wie ebenfalls an früherer Stelle bereits allgemein erwähnt, einem klareren und/oder leichter interpretierbaren Informationsangebot an den Fahrer dienen und somit vorteilhaft sein.
  • Die Vorteile der oben genannten Metapher eines Zauns gelten in gleicher Weise für andere Metaphern wie etwa die eines Begrenzungsbands oder einer Mauer. Die Berechnung und grafische Darstellung solcher Begrenzungsobjekte ergibt sich für den Fachmann in analoger Art und Weise.
  • Zur Verstärkung einer solchen Metapher kann auf die Oberfläche eines grafisch dargestellten Begrenzungsobjekts eine grafische Textur aufgebracht werden. Auch eine solche Textur kann teiltransparent ausgeführt werden.
  • Alternativ oder zusätzlich wird gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung die Farbe und/oder Farbverteilung der das zumindest eine virtuelle Begrenzungsobjekt verkörpernden Grafikelemente abhängig vom Abstand des durch das jeweilige Grafikelement oder einen Teil desselben verkörperten Abschnitts des zumindest einen virtuellen Begrenzungsobjekts von einem Bezugspunkt, einer Bezugslinie oder einer Bezugsfläche des Kraftfahrzeugs gewählt. Bevorzugt werden dabei die typischen Signalfarben Rot, Gelb und Grün bzw. Mischtöne derselben eingesetzt.
  • Das zumindest eine virtuelle Begrenzungsobjekt, insbesondere dessen Oberfläche, kann aus Flächen und/oder Flächenabschnitten einheitlicher Farbgebung zusammengesetzt sein oder einen kontinuierlichen Farbverlauf aufweisen. Sofern das zumindest eine virtuelle Begrenzungsobjekt eine stückweise aus ebenen Flächenteilen zusammengesetzte Oberfläche besitzt, werden die Flächenteile bevorzugt jeweils in einer einheitlichen Farbe eingefärbt. Dies ermöglicht eine besonders einfache Bildberechnung und grafische Darstellung. Die Farbe eines Flächenteils kann als Mischfarbe aus den Farben angrenzender Flächenteile festgelegt werden. Beispielsweise kann ein zwischen einem sehr nahen roten Flächenteil und einem weiter entfernten gelben Flächenteil liegendes Flächenteil in der Mischfarbe orange eingefärbt werden. Nahezu ebenso einfach realisierbar ist eine Farbgebung eines Flächenteils durch die abschnittsweise Einfärbung in den Farben angrenzender Flächenteile. Beispielsweise kann ein zwischen einem sehr nahen roten Flächenteil und einem weiter entfernten gelben Flächenteil liegendes Flächenteil teilweise in rot und teilweise in gelb eingefärbt werden. Liegt das einzufärbende Flächenteil zwischen einem sehr nahen roten Flächenteil und einem sehr weit entfernten grünen Flächenteil kann zwischen einem roten und einem grünen Farbabschnitt ein gelber Farbabschnitt eingefügt werden. Als weitere Alternative ist ein kontinuierlicher Farbübergang zwischen den Farben angrenzender Flächenteile denkbar.
  • Die Raumform des zumindest einen virtuellen Begrenzungsobjekt, insbesondere die sich aus dieser Raumform ergebende Bezugsfläche kann prinzipiell beliebig im Raum festgelegt werden. Da das Kraftfahrzeug im Wesentlichen entlang der Fahrebene bewegt wird, ist insbesondere der räumliche Verlauf der Bezugsfläche entlang der Fahrebene entscheidend für eine effektive Abgrenzung zwischen Freiraum und Hindernisraum. Gemäß einer bereits genannten bevorzugten Ausführungsform der vorliegenden Erfindung erfolgt die Abgrenzung durch die zumindest eine Bezugsfläche horizontal im Wesentlichen durchgängig. Im Folgenden wird der Einfachheit halber von einer einzigen durchgängigen Bezugsfläche ausgegangen, welche durch ein zaunförmiges Begrenzungsobjekt grafisch wiedergegeben wird. Die Erfindung ist jedoch nicht auf diesen Spezialfall begrenzt.
  • Zur Festlegung des Verlaufs der abgrenzenden Bezugsfläche entlang der Fahrebene steht in der Regel nur eine begrenzte Anzahl von Abstandsmesspunkten zur Verfügung. Bevorzugt wird die zumindest eine Bezugsfläche des zumindest einen virtuellen Begrenzungsobjekts daher zumindest teilweise festgelegt als lineare, stückweise lineare oder nichtlineare Interpolation zwischen einer beschränkten Menge von Stützpunkten oder Stützlinien mit jeweils bekanntem Abstand von einem Bezugspunkt, einer Bezugslinie oder einer Bezugsfläche des Kraftfahrzeugs.
  • Ob Stützpunkte und/oder Stützlinien gewonnen werden, die Art der Gewinnung derselben und die Tatsache, ob sich die Stützpunkte und/oder Stützlinien wiederum jeweils auf einen Bezugspunkt des Kraftfahrzeugs, beispielsweise den Anbringungsort eines Sensors, eine Bezugslinie, beispielsweise die Fahrzeugkontur, oder eine Bezugsfläche, beispielsweise die tatsächliche Oberfläche des Kraftfahrzeugs, beziehen, ist abhängig vom zugrunde liegenden Abstandsmessverfahren und einer auf die Messung folgenden, ggf. modellbasierten, Auswertung der Messsignale. Die aus den Stützpunkten und/oder Stützlinien gewonnene Bezugsfläche kann, muss aber nicht notwendigerweise, die Stützpunkte und/oder Stützlinien selbst enthalten.
  • Denkbar ist der getrennte oder selektiv kombinierte Einsatz verschiedener bekannter Techniken und Vorrichtungen zur Umfelderkennung für Kraftfahrzeuge, z. B. über Radar, ultraschallbasiert, kamerabasiert und/oder lichtlaufzeitbasiert. Besonders wirtschaftlich ist dabei der Einsatz von ohnehin für andere Zwecke am Kraftfahrzeug vorgesehenen Mitteln. Bevorzugt wird dabei der getrennte oder kombinierte Einsatz der an vielen Fahrzeugen vorhandenen ultraschallbasierten Abstandssensoren und einer gemäß verschiedener Ausführungsformen der vorliegenden Erfindung für die Bilderfassung der Umgebungsszene benötigten Kamera, insbesondere Rückfahrkamera.
  • Jedes zur Abstandsmessung eingesetzte Abstandsmessverfahren wird bevorzugt so gestaltet oder angepasst, dass die jeweiligen Sensorcharakteristika Berücksichtigung finden. Diese Berücksichtigung kann sich entweder in der Gewinnung mehrerer Stützpunkte und/oder -linien aus einer einzigen Messung oder in der Art der Interpolation niederschlagen. Bei einer ultraschallbasierten Abstandsmessung kann ein erfasster Reflexionspunkt theoretisch an einer beliebigen Stelle auf einer typischerweise im Wesentlichen keulenförmigen Hyperfläche liegen. Dies kann beispielsweise durch eine Aufnahme mehrerer Punkte der Hyperfläche in das Interpolationsverfahren und/oder durch eine Interpolationskurve oder -fläche, deren Form zumindest abschnittsweise von der Form der Hyperfläche abhängt, berücksichtigt werden.
  • Eine kamerabasierte Abstandsmessung kann beispielsweise in an sich bekannter Weise mit Hilfe einer in das Kamerasystem integrierten Gitternetzbelichtung erfolgen.
  • Anstelle einer Interpolation oder als Vorbereitung derselben kann gemäß einer vorteilhaften Weiterbildung der Erfindung auf Basis der durchgeführten Umfelderkennung eine Hinderniskarte der Umgebungsszene erstellt werden. Zur Gewinnung einer solchen Hinderniskarte werden bevorzugt die Ergebnisse der Umfelderkennung zunächst in an sich bekannter Weise für eine, ggf. modellbasierte, Objekterkennung und -lokalisierung genutzt. Anschließend wird die gewonnene Hinderniskarte zur Definition des zumindest einen Begrenzungsobjekts bzw. der Bezugsfläche genutzt. Die Verfügbarkeit einer Hinderniskarte eröffnet hierbei verschiedene weitere Ausführungsformen eines erfindungsgemäßen Verfahrens, welche teilweise mit erheblichen Vereinfachungen und/oder einem Genauigkeitsgewinn verbunden sind. Beispielsweise können erkannte Hindernisse jeweils einzeln oder gruppiert durch zumindest ein virtuelles Begrenzungsobjekt grafisch abgegrenzt werden, welches sich direkt aus der Hinderniskarte gewinnen lässt. Gemäß einem Sonderfall der vorliegenden Erfindung kann ein geometrisches Modell eines erkannten Hindernisses direkt als Begrenzungsobjekt oder Teil eines Begrenzungsobjekts dienen.
  • Bevorzugt werden die durch ein erfindungsgemäßes Verfahren gewonnenen Abstandsmesswerte, Stützpunkte und/oder Stützlinien, Hinderniskarten und/oder Bezugsflächen für weitere Zwecke der Fahrerassistenz genutzt. Hierzu können die gewonnenen Größen entweder von den Vorrichtungen, welche das erfindungsgemäße Verfahren durchführen, an andere Vorrichtungen des Kraftfahrzeugs oder außerhalb des Kraftfahrzeugs übermittelt werden oder die gewonnenen Größen werden an Verarbeitungsprozesse weitergegeben, an welchen dieselben Vorrichtungen des Kraftfahrzeugs beteiligt sind, welche auch das erfindungsgemäße Verfahren durchführen. Bei einer solchen Mehrfachnutzung von Daten ist sowohl die Verwendung von Rohdaten als auch von End- oder Zwischenergebnissen eines erfindungsgemäßen Verfahrens denkbar. Die Verwendung kann wiederum als Rohdatenmaterial und/oder auf beliebiger höherer Verarbeitungsstufe erfolgen. Durch eine solche Mehrfachnutzung kann der technische Gesamtaufwand reduziert werden und/oder ein zweites Fahrerassistenzsystem kann hinsichtlich Genauigkeit und/oder Effizienz verbessert werden.
  • Insbesondere können Daten, welche im Rahmen eines erfindungsgemäßen Verfahrens berechnet werden, neben der erfindungsgemäßen grafischen Darstellung für den Fahrer auch als Grundlage für einen automatischen Rangier- und Einparkassistenten verwendet bzw. mitverwendet werden. Auf Basis einer solchen Mehrfachnutzung oder unabhängig hiervon sieht eine bevorzugte Weiterbildung der Erfindung ein Verfahren und/oder eine Vorrichtung vor, welche den Fahrer in die Lage versetzen, anhand einer erfindungsgemäßen grafischen Darstellung zu beobachten, wie sein Kraftfahrzeug automatisch unter Führung des Rangier- und Einparkassistenten manövriert wird. Bevorzugt wird dem Fahrer dabei zudem die Möglichkeit zum Eingriff in das Manöver des Rangier- und Einparkassistenten gegeben.
  • Um ungewollte Kollisionen auszuschließen bzw. möglichst unwahrscheinlich zu machen, werden bevorzugt sowohl Stützlinien oder Stützpunkte als auch die Bezugsfläche bzw. Abschnitte derselben in Berechnung und Darstellung im Zweifelsfall in Richtung des Freiraums verschoben. Für den Fahrer, der es in der Regel nicht wagen wird, in den angezeigten Hindernisraum einzudringen, stellt dies eine gewisse Restriktion dar. Je geringer die Unsicherheit der Messung und/oder Berechnung und/oder Anzeige ist, umso geringer kann diese Restriktion gehalten werden.
  • Ein in den bisherigen Ausführungen noch nicht explizit genannter weiterer Vorteil eines erfindungsgemäßen Verfahrens besteht darin, dass bei schlechten Sichtverhältnissen oder Dunkelheit die Augmentierung des Szenenbilds durch Grafikelemente dessen Nutzbarkeit erheblich verbessert oder dieses erst nutzbar macht. Dies gilt zum einen, da das zumindest eine virtuelle Begrenzungsobjekt anders als die realen Bestandteile der Umgebungsszene auch bei schlechten Sichtverhältnissen oder Dunkelheit erkennbar bleibt. Dies gilt jedoch in verstärktem Maße, da bei schlechter oder nicht gegebener Erkennbarkeit der realen Bestandteile der Umgebungsszene erst die erfindungsgemäße dreidimensionale Raumform des zumindest einen Begrenzungsobjekts eine räumliche Interpretation des augmentierten Szenenbilds erlaubt. Die aus dem Stand der Technik bekannte bloße Hinzunahme von Hilfslinien erlaubt hingegen bei schlechten Sichtverhältnissen oder Dunkelheit für die meisten Fahrer keinerlei Zuordnung zwischen dem dargestellten Bild und den räumlichen Verhältnissen der Umgebungsszene.
  • Die oben angestellten Überlegungen bezüglich schlechter Sichtverhältnisse oder Dunkelheit gelten in gleichem Maße bei einem Ausfall der Erfassung oder Darstellung des realen Szenenbilds. Die erfindungsgemäße Darstellung des zumindest einen Begrenzungsobjekts ist auch eigenständig, d. h. ohne unterlagertes Realbild der Umgebungsszene, für den Fahrer interpretierbar. Dasselbe gilt bei einer zeitlich verzögerten Darstellung des Realbilds. Der Fahrer kann sich dann anhand des zeitlich vorauseilenden zumindest einen Begrenzungsobjekts orientieren.
  • Verschiedenen Ausführungsformen eines erfindungsgemäßen Verfahrens liegt eine, in der Regel dreidimensionale, geometrische Modellierung von in einer Hinderniskarte enthaltenen Hindernissen und/oder des zumindest einen Begrenzungsobjekts zugrunde. Hieraus kann sich ein weiterer Vorteil der Erfindung ergeben. Bei bekannter Fahrzeugbewegung von einer alten zu einer neuen Fahrzeugposition lassen sich aus einem solchen geometrischen Modell neue für die neue Fahrzeugposition gültige Grafikelemente errechnen. Bei Verwendung einer Hinderniskarte wird hierzu unter Umständen ein komplett neues für die neue Fahrzeugposition gültiges Begrenzungsobjekt errechnet und visualisiert. Bei anderen Methoden zur Berechnung des zumindest einen Begrenzungsobjekts wird lediglich eine neue Abbildung eines auch nach der Fahrzeugbewegung unveränderten Begrenzungsobjekts im Szenenbild errechnet. Die Fahrzeugbewegung ist dabei durch eine Veränderung der Beobachtungsposition und/oder eine Veränderung von eventuell in die Berechnung eingehenden Bezugsgrößen zu berücksichtigen. Auf Basis des geometrischen Modells lassen sich also alleine aus der Fahrzeugbewegung neue Grafikelemente prädizieren.
  • Diese Möglichkeit kann auf vielfältige Weise ausgenutzt werden. Zum einen kann ein Plausibilitäts-Check durchgeführt werden zwischen einer durch eine solche Prädiktion errechneten Darstellung und einer auf der Basis neuer Abstandsmessungen errechneten Darstellung. Zum anderen ist es möglich, dass - etwa bei einer geringen Messrate der Umfelderkennung - die prädizierte Darstellung schneller zur Verfügung steht als eine auf der Basis neuer Abstandsmessungen errechnete Darstellung. Auf diese Weise könnte eine flüssigere und für den Fahrer leichter interpretierbare Augmentierung des Szenenbilds vorgenommen werden. Die Berechnung und Darstellung der Grafikelemente könnte dann beispielsweise nur in regelmäßigen oder unregelmäßigen Abständen auf der Basis neuer Abstandsmessungen erfolgen und zwischenzeitlich auf der Basis modellbasierter Prädiktion.
  • Für die vollständige oder teilweise Ausführung der Berechnungen, welche zur Anwendung eines erfindungsgemäßen Verfahrens erforderlich sind, kann prinzipiell zumindest eine dedizierte Recheneinheit im Kraftfahrzeug vorgesehen werden. Alternativ oder zusätzlich können die Berechnungen vorteilhafterweise teilweise oder vollständig durch eine oder mehrere bereits für andere Zwecke im Kraftfahrzeug vorgesehene Recheneinheiten ausgeführt werden. Ebenso kann die Abstandsmessung und/oder Bilderfassung und/oder Bildausgabe, welche zur Anwendung eines erfindungsgemäßen Verfahrens erforderlich ist, durch dedizierte Vorrichtungen und/oder durch bereits für andere Zwecke im Kraftfahrzeug vorgesehene und hierzu geeignete Mittel erfolgen.
  • Gemäß bevorzugter Ausführungsformen der vorliegenden Erfindung wird dem Fahrer die Möglichkeit gegeben, ein erfindungsgemäßes Verfahren durch Bedieneingaben zu beeinflussen. Die hierzu vorzusehenden Bedienelemente können in Form von in Hardware ausgeführten Bedienelementen und/oder in Form von Grafikelementen im augmentierten Szenenbild ausgeführt werden. Für die letztgenannte Ausführungsform müssen die bei einem erfindungsgemäßen Verfahren verwendeten Bilddarstellungsmittel für entsprechende Eingaben geeignet sein, z. B. als Touch-Screen ausgeführt sein.
  • Anhand der beigefügten Zeichnungen wird die Erfindung weiter erläutert. Dabei zeigen schematisch
    • Fig. 1
    ein erstes Beispiel für eine Überlagerung eines zweidimensionalen Szenen- bilds einer dreidimensionalen Umgebungsszene mit Grafikelementen gemäß einer ersten bevorzugten Ausführungsform der vorliegenden Erfindung,
    Fig. 2
    ein zweites Beispiel für eine Überlagerung eines zweidimensionalen Sze- nenbilds einer dreidimensionalen Umgebungsszene mit Grafikelementen gemäß einer ersten bevorzugten Ausführungsform der vorliegenden Erfin- dung,
    Fig. 3
    ein drittes Beispiel für eine Überlagerung eines zweidimensionalen Szenen- bilds einer dreidimensionalen Umgebungsszene mit Grafikelementen gemäß einer ersten bevorzugten Ausführungsform der vorliegenden Erfindung und
    Fig. 4
    ein Beispiel für eine Überlagerung eines zweidimensionalen Szenenbilds einer dreidimensionalen Umgebungsszene mit Grafikelementen gemäß einer zweiten bevorzugten Ausführungsform der vorliegenden Erfindung.
  • Gemäß einer ersten bevorzugten Ausführungsform der vorliegenden Erfindung wird in einem Kraftfahrzeug zur Unterstützung des Fahrers insbesondere bei Rückwärtsfahrten und Parkvorgängen ein zweidimensionales Szenenbild der dreidimensionalen Umgebungsszene des Rückraums des Kraftfahrzeugs durch eine Rückfahrkamera erfasst. Das erfasste Szenenbild wird durch eine Recheneinheit aufbereitet und durch einen im Fahrzeug angeordneten Monitor in aufbereiteter Form an den Fahrer ausgegeben.
  • Die Aufbereitung des Szenenbilds besteht darin, dass dem erfassten Kamerabild Grafikelemente überlagert werden, welche gemeinsam ein einziges oder mehrere virtuelle Begrenzungsobjekte verkörpern, welche in der Umgebungsszene angeordnet sind. Die Begrenzungsobjekte grenzen den im Bildvordergrund befindlichen kollisionsfrei durch das Kraftfahrzeug erreichbaren Freiraum von dem im Bildhintergrund befindlichen nicht kollisionsfrei erreichbaren Hindernisraum ab.
  • Fig. 1, Fig. 2 und Fig. 3 zeigen Momentaufnahmen des an den Fahrer ausgegebenen aufbereiteten Szenenbilds. In Fig. 1 befindet sich ein Baumstamm als Hindernis in dem im Bildhintergrund befindlichen Hindernisraum. In Fig. 2 befinden sich im Hindernisraum zwei geparkte Fahrzeuge. In Fig. 3 befinden sich im Hindernisraum zwei geparkte Fahrzeuge und eine Baumstamm. Das in Fig. 1 dargestellte virtuelle Begrenzungsobjekt 1, die in Fig. 2 dargestellten virtuellen Begrenzungsobjekte 2 und 3 und das in Fig. 3 dargestellte virtuelle Begrenzungsobjekt 4 besitzen jeweils eine im Wesentlichen zaunförmige Gestalt und eine konstante Höhe (hier 25 cm) in der dreidimensionalen Umgebungsszene.
  • Im Folgenden wird der Einfachheit halber im Singular von einem einzigen Begrenzungsobjekt gesprochen. Diese Ausdrucksform soll jedoch stets verstanden werden als den Fall mehrerer Begrenzungsobjekte und/oder eines mehrteiligen Begrenzungsobjekts enthaltend. Die rechnerische und grafische Behandlung mehrerer Begrenzungsobjekte ergibt sich für den Fachmann in analoger Weise.
  • Ein wesentlicher Bestandteil der durch die dargestellten Szenenbilder an den Fahrer vermittelten Information ist der räumliche Verlauf, insbesondere der horizontale Verlauf, der im Folgenden als Bezugsfläche bezeichneten Fläche, welche durch das zumindest eine Begrenzungsobjekt grafisch dargestellt wird und den Freiraum für den Fahrer erkennbar von dem Hindernisraum separiert. Im vorliegenden Beispiel erfolgt die grafische Darstellung der Bezugsfläche als Oberfläche des Begrenzungsobjekts.
  • Die Abgrenzung des Freiraums vom Hindernisraum erfolgt im vorliegenden Beispiel abschnittsweise durchgängig. Prinzipiell sieht die den Zeichnungen Fig. 1, Fig. 2 und Fig. 3 zugrundeliegende Darstellungsform eine vollständig horizontal durchgängige, d. h. sich über die gesamte Breite des Szenenbilds erstreckende, Abgrenzung vor. Allerdings wird in bestimmten Abschnitten der Umgebungsszene und in entsprechenden Abschnitten des Szenenbilds, in welchen eine Bezugsfläche einen bestimmten Abstand, im vorliegenden Beispiel 3 m, zum Fahrzeug überschreiten würde, keine Bezugsfläche berechnet und dargestellt. Daraus ergibt sich, dass nur in Fig. 3 eine vollständig horizontal durchgängige Abgrenzung dargestellt ist, während sich die Darstellung der Begrenzungsobjekte in Fig. 1 und Fig. 2 nicht über die gesamte Breite des Szenenbilds erstreckt.
  • Bevor weiter auf die Darstellungsform der Bezugsfläche eingegangen wird, soll im Folgenden kurz ihre rechnerische Bestimmung erklärt werden. Die Bestimmung der Bezugsfläche erfolgt auf der Basis von durch Umfelderkennung des Kraftfahrzeugs gewonnenen Daten. Im vorliegenden Beispiel sind dies Daten von in das Fahrzeugheck integrierten Ultraschallsensoren.
  • Dabei wird in an sich bekannter Weise der Abstand einer Vielzahl von Raumpunkten in der Umgebungsszene von jeweils einem Bezugspunkt am Kraftfahrzeug, im vorliegenden Beispiel jeweils dem Anbringungsort des jeweiligen Ultraschallsensors, bestimmt. Diese Raumpunkte lägen bei sehr hoher horizontaler Messauflösung auf der Oberfläche von Hindernissen. Bei weniger hoher Messauflösung ist die jeweilige Sensorcharakteristik im Sinne einer worst-case-Betrachtung zu berücksichtigen. Ein durch eine Ultraschall-Einzelmessung erfasster Reflexionspunkt kann theoretisch an einer beliebigen Stelle auf einer typischerweise im Wesentlichen keulenförmigen Hyperfläche liegen. Als Raumpunkte werden dann bei jeder Messung zumindest zwei gegenüberliegende fahrzeugnahe Punkte auf dieser Hyperfläche festgelegt. Die so festgelegten Raumpunkte liegen in der Regel im Freiraum vor einem Hindernis, gegebenenfalls leicht seitlich vor diesem.
  • Für jeden der festgelegten Raumpunkte wird anschließend eine senkrecht in der Umgebungsszene stehende Stützlinie durch den jeweiligen Raumpunkt bestimmt.
  • Dem in Fig. 1 dargestellten Begrenzungsobjekt 1 liegt beispielsweise eine Ultraschallmessung zugrunde, bei welcher durch zumindest einen Ultraschallsensor der in Fig. 1 sichtbare Baum detektiert wurde. Entsprechend der horizontal keulenförmigen Charakteristik der verwendeten Sensoren wurden auf Basis dieser Messung zwei Raumpunkte am jeweils linken und rechten Keulenrand festgelegt. Die beiden dadurch definierten Stützlinien entsprechen in Fig. 1 der Trennlinie zwischen der Fläche 11 und dem Flächenteil 12 bzw. der Trennlinie zwischen der Fläche 11 und dem Flächenteil 13. Beide Trennlinien stehen sowohl im Szenenbild Fig. 1 als auch in der Umgebungsszene senkrecht.
  • Da der Abstand der festgelegten Raumpunkte vom jeweiligen Sensor-Anbringungsort aus der Ultraschall-Abstandsmessung bekannt ist, ist der Abstand der wie beschrieben senkrecht in der Umgebungsszene festgelegten Stützlinien von diesem Anbringungsort ebenfalls bekannt. Die Stützlinien stellen im vorliegenden Fall lediglich die Erweiterung der Raumpunkte auf die vertikale Dimension der Umgebungsszene dar. Unter Berücksichtigung der aus einem geometrischen Fahrzeugmodell bekannten Anbringungsorte der Ultraschallsensoren am Kraftfahrzeug wird modellbasiert der Abstand der Stützlinien von der Fahrzeugkontur errechnet.
  • Die Bezugsfläche wird im einfachsten Fall als stückweise lineare Interpolation zwischen den gewonnenen Stützlinien festgelegt. Die Interpolation bezieht sich dabei insbesondere auf den horizontalen Verlauf der Bezugsfläche in der Umgebungsszene. Der vertikale Verlauf der Bezugsfläche ist im vorliegenden Beispiel durch die Gestalt eines senkrecht stehenden Zauns konstanter Höhe hinreichend definiert.
  • Zweckmäßigerweise wird die Höhe der zuvor definierten Stützlinien gleich der Höhe des Zauns (hier 25 cm) festgelegt. Ebenso zweckmäßigerweise wird das untere Ende der Stützlinien als Punkt in der Fahrebene gewählt. Die Stützlinien und die Bezugsfläche sind in der Umgebungsszene somit angrenzend an die Fahrebene oberhalb von dieser angeordnet.
  • Wie bereits erwähnt, wird in Abschnitten der Umgebungsszene und in entsprechenden Abschnitten des Szenenbilds, in welchen die Bezugsfläche einen bestimmten Abstand, im vorliegenden Beispiel 3 m, zum Fahrzeug überschreiten würde, keine Bezugsfläche berechnet und dargestellt. Daraus kann sich ergeben, dass die berechnete Bezugsfläche mehrere Teile besitzt oder, bei anderer Betrachtungsweise, mehrere Bezugsflächen entstehen. Im Folgenden wird der Einfachheit halber weiter von einer einzigen Bezugsfläche gesprochen. Die rechnerische und grafische Behandlung mehrerer Teile einer Bezugsfläche und/oder mehrerer Bezugsflächen ergibt sich in analoger Weise.
  • Die Auswertung der Ultraschallmessungen und die oben beschriebene Bestimmung der Bezugsfläche werden von einer im Fahrzeug angeordneten Recheneinheit durchgeführt. Diese Recheneinheit ist ferner zum grafischen Rendern dreidimensionaler Objekte sowie zur Aufnahme von Bilddaten einer Kamera und zur Ausgabe von Bilddaten an einen Monitor geeignet.
  • Auf Basis der wie beschrieben bestimmten Bezugsfläche wird in der Recheneinheit ein dreidimensionales Begrenzungsobjekt erzeugt, welches eine senkrecht in der Umgebungsszene stehende und zum Freiraum weisende Oberfläche besitzt, welche die Form der Bezugsfläche hat. Wie bereits zuvor erwähnt, wird hierzu im vorliegenden Beispiel ein zaunförmiges Begrenzungsobjekt erzeugt. Zudem wird eine perspektivische zweidimensionale grafische Darstellung des Begrenzungsobjekts erzeugt, deren Parameter, insbesondere Beobachtungsposition und Öffnungswinkel, denjenigen der Rückfahrkamera entsprechen.
  • An dieselbe Recheneinheit wird ein durch die Rückfahrkamera erfasstes Realbild der Umgebungsszene übertragen. Die grafische Darstellung des Begrenzungsobjekts wird durch die Recheneinheit dem durch die Rückfahrkamera erfassten Realbild überlagert und durch den Monitor zur Anzeige gebracht.
  • Um die im Szenenbild hinter den Begrenzungsobjekten gelegenen Bestandteile des Hindernisraums nicht komplett zu verdecken, werden die Begrenzungsobjekte gemäß der in den Zeichnungen Fig. 1, Fig. 2 und Fig. 3 beispielhaft dargestellten ersten bevorzugten Ausführungsform der vorliegenden Erfindung teiltransparent ausgeführt.
  • Durch ihre perspektivische und räumlich stimmige Darstellung werden die Begrenzungsobjekte vom Fahrer als Bestandteile der Umgebungsszene interpretiert. In Folge ihrer zaunförmigen Gestalt sind die Begrenzungsobjekte vom Fahrer intuitiv als Begrenzungen zu erkennen. Aufgrund der geringen Dicke des Zauns, ist seine zum Freiraum weisende Oberfläche im Wesentlichen räumlich identisch mit seiner zum Hindernisraum weisenden Oberfläche. Diese Fläche ist für den Fahrer intuitiv als Bezugsfläche der Abgrenzung zwischen Freiraum und Hindernisraum erkennbar.
  • Die aus dem oben beschriebenen Verfahren resultierende perspektivisch verzerrte und skalierte Darstellung des Zauns unterstützt den Fahrer bei der räumlichen Interpretation der Umgebungsszene. Ferner wird der Fahrer durch eine im Folgenden beschriebene symbolische Farbgebung des Zauns bei der räumlichen Interpretation der Umgebungsszene unterstützt. Den Flächen der dargestellten Begrenzungsobjekte werden zu diesem Zweck im grafischen Rendering anteilig oder vollständig bestimmte Farben zugewiesen. Die Zuweisung der Farben erfolgt in Abhängigkeit vom Abstand der benachbarten Stützlinien vom Kraftfahrzeug.
  • Im vorliegenden Beispiel werden Flächen, deren benachbarte Stützlinien weniger als 1 m vom Kraftfahrzeug entfernt sind, rot dargestellt. Die Farbe gelb entspricht einem Abstand zwischen 1 m und 2 m, die Farbe grün einem Abstand zwischen 2 m und 3 m. Bei einem Abstand von mehr als 3 m erfolgt, wie bereits erwähnt, keine Darstellung.
  • Liegen die beiden benachbarten Stützlinien einer Fläche eines Begrenzungsobjekts in unterschiedlichen Farbzonen, so wird die Fläche in Flächenteile unterschiedlicher Farbgebung unterteilt. Die Flächenteile werden dabei genau so festgelegt, dass der Farbwechsel am Übergang der Farbzonen stattfindet.
  • In Fig. 1 sind beispielsweise die Fläche 11 und die beiden Flächenteile 12 und 13 gelb eingefärbt. Die Flächenteile 14 und 15 sind zur Kennzeichnung einer weiteren Entfernung vom Fahrzeug, hier mehr als 2 m, grün eingefärbt.
  • Würde sich das Kraftfahrzeug dem Baum in Fig. 1 geradlinig ca. 1 m nähern (hier nicht bildlich dargestellt) würde das Begrenzungsobjekt, unter der Voraussetzung einer unveränderten Anordnung der Hindernisse, weiterhin in unveränderter räumlicher Gestalt, Lage und Position in der Umgebungsszene dargestellt. Seine Gestalt, Lage und Position im Szenenbild würde sich dabei jedoch verändern, beispielsweise würde das Begrenzungsobjekt durch die Annäherung perspektivisch vergrößert. Zudem würde die Fläche 11 und die beiden Flächenteile 12 und 13 rot eingefärbt, die Flächenteile 14 und 15 gelb.
  • Wie bereits an früherer Stelle erwähnt, werden die Flächen und Flächenteile nicht als undurchsichtige Flächen der jeweiligen Farbe dargestellt, sondern teiltransparent.
  • Fig. 4 zeigt ein Beispiel für eine Überlagerung eines zweidimensionalen Szenenbilds einer dreidimensionalen Umgebungsszene mit Grafikelementen gemäß einer zweiten bevorzugten Ausführungsform der vorliegenden Erfindung.
  • Fig. 4 bezieht sich auf dieselbe Umgebungsszene wie Fig. 3. Die Darstellung gemäß der zweiten bevorzugten Ausführungsform gemäß Fig. 3 unterscheidet sich von der ersten bevorzugten Ausführungsform gemäß Fig. 4 vor allem darin, dass das Begrenzungsobjekt 5, anders als das Begrenzungsobjekt 4, nicht transparent dargestellt ist und eine größere räumliche Ausdehnung in zur Bezugsfläche orthogonaler Richtung besitzt.
  • Auch bei der Darstellung gemäß Fig. 4 ist die senkrecht in der Umgebungsszene stehende und zum Freiraum weisende Oberfläche des Begrenzungsobjekts 5 für den Fahrer intuitiv als Bezugsfläche der Abgrenzung zwischen Freiraum und Hindernisraum erkennbar.

Claims (10)

  1. Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs, bei welchem einem Szenenbild, welches eine dreidimensionale Umgebungsszene der Umgebung des Kraftfahrzeugs darstellt und welches zweidimensional oder dreidimensional an den Fahrer des Kraftfahrzeugs ausgegeben wird, Grafikelemente (11, 12, 13, 14, 15) überlagert werden, welche zur Unterstützung des Fahrers hinsichtlich der Interpretation der im Szenenbild enthaltenen räumlichen Information dienen, und
    bei welchem die Grafikelemente zumindest teilweise so ausgeführt und im Szenenbild angeordnet werden, dass sie in der Umgebungsszene zumindest ein virtuelles Begrenzungsobjekt (1, 2, 3, 4, 5) mit dreidimensionaler Raumform verkörpern, welches zumindest eine Bezugsfläche aufweist, die einen kollisionsfrei durch das Kraftfahrzeug erreichbaren Freiraum von einem nicht kollisionsfrei erreichbaren Hindernisraum abgrenzt,
    dadurch gekennzeichnet,
    dass die zumindest eine Bezugsfläche des zumindest einen virtuellen Begrenzungsobjekts zumindest teilweise festgelegt wird als lineare, stückweise lineare oder nichtlineare Interpolation zwischen einer beschränkten Menge von aus einer Messung des Abstands zu Hindernissen in der Umgebung des Kraftfahrzeugs resultierenden Stützpunkten oder Stützlinien mit jeweils bekanntem Abstand von einem Bezugspunkt, einer Bezugslinie oder einer Bezugsfläche des Kraftfahrzeugs.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
    dass die Grafikelemente so ausgeführt und im Szenenbild angeordnet werden, dass die Abgrenzung durch die zumindest eine Bezugsfläche horizontal im Wesentlichen durchgängig ist.
  3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die das zumindest eine virtuelle Begrenzungsobjekt verkörpernden Grafikelemente zumindest teilweise zumindest teiltransparent ausgeführt werden.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das zumindest eine virtuelle Begrenzungsobjekt proportional oder überproportional perspektivisch skaliert und/oder verzerrt dargestellt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Grafikelemente so ausgeführt und im Szenenbild angeordnet werden, dass das zumindest eine virtuelle Begrenzungsobjekt eine zu dem Freiraum weisende im Wesentlichen senkrecht in der Umgebungsszene angeordnete Oberfläche aufweist
    und/oder
    dass die Grafikelemente so ausgeführt und im Szenenbild angeordnet werden, dass das zumindest eine virtuelle Begrenzungsobjekt eine geringe räumliche Ausdehnung in zur Bezugsfläche orthogonaler Richtung besitzt.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Bezugsfläche des zumindest einen Begrenzungsobjekts im Wesentlichen an die Fahrebene angrenzend oberhalb der Fahrebene gewählt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Farbe und/oder Farbverteilung der das zumindest eine virtuelle Begrenzungsobjekt verkörpernden Grafikelemente abhängig vom Abstand des durch das jeweilige Grafikelement oder einen Teil desselben verkörperten Abschnitts des zumindest einen virtuellen Begrenzungsobjekts von einem Bezugspunkt, einer Bezugslinie oder einer Bezugsfläche des Kraftfahrzeugs gewählt wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Stützlinien im Wesentlichen senkrecht in der Umgebungsszene stehen
    und/oder
    dass der Interpolation die Charakteristik einer zur Abstandsbestimmung verwendeten Sensorik zugrundegelegt wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Höhe oder ein Höhenprofil des zumindest einen virtuellen Begrenzungsobjekts und/oder die Neigung oder der Neigungsverlauf der zumindest einen Bezugsfläche des zumindest einen Begrenzungsobjekts abhängig von Eigenschaften der Hindernisse festgelegt wird.
  10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Berechnung der zumindest einen Bezugsfläche des zumindest einen Begrenzungsobjekts auf Basis einer Hinderniskarte und/oder eines geometrischen Modells erkannter Hindernisse erfolgt.
EP06724598A 2005-04-28 2006-04-27 Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs Active EP1875442B1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP06724598A EP1875442B1 (de) 2005-04-28 2006-04-27 Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05009287A EP1717757A1 (de) 2005-04-28 2005-04-28 Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs
EP06724598A EP1875442B1 (de) 2005-04-28 2006-04-27 Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs
PCT/EP2006/003902 WO2006114309A1 (de) 2005-04-28 2006-04-27 Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs

Publications (2)

Publication Number Publication Date
EP1875442A1 EP1875442A1 (de) 2008-01-09
EP1875442B1 true EP1875442B1 (de) 2011-08-17

Family

ID=34935861

Family Applications (2)

Application Number Title Priority Date Filing Date
EP05009287A Withdrawn EP1717757A1 (de) 2005-04-28 2005-04-28 Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs
EP06724598A Active EP1875442B1 (de) 2005-04-28 2006-04-27 Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP05009287A Withdrawn EP1717757A1 (de) 2005-04-28 2005-04-28 Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs

Country Status (4)

Country Link
US (1) US8797351B2 (de)
EP (2) EP1717757A1 (de)
CN (1) CN101167104B (de)
WO (1) WO2006114309A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016120428A1 (de) * 2016-10-26 2018-04-26 Valeo Schalter Und Sensoren Gmbh Verfahren zum autonomen oder semi-autonomen Manövrieren eines Kraftfahrzeugs mit Erkennung von Hindernissen in einem Erfassungsbereich, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020102278A1 (de) 2020-01-30 2021-08-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Navigationsunterstützung in einem Kraftfahrzeug auf Grundlage von Informationen aus mehreren erfassenden Kraftfahrzeugen

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4815993B2 (ja) * 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
DE102006050546B4 (de) 2006-10-26 2020-07-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Informationsdarstellung
DE102006050547A1 (de) * 2006-10-26 2008-04-30 Bayerische Motoren Werke Ag Verfahren zur Informationsdarstellung
TW200925023A (en) * 2007-12-07 2009-06-16 Altek Corp Method of displaying shot image on car reverse video system
JP5636609B2 (ja) * 2008-05-08 2014-12-10 アイシン精機株式会社 車両周辺表示装置
JP5376223B2 (ja) 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
DE102009032541B4 (de) * 2009-07-10 2013-04-18 Audi Ag Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
US8988525B2 (en) 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
DE102009029439A1 (de) * 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
DE102009045233A1 (de) * 2009-10-01 2011-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur kombinierten visuellen Anzeige von Video- und Abstandsdaten einer Verkehrssituation
US20110301813A1 (en) * 2010-06-07 2011-12-08 Denso International America, Inc. Customizable virtual lane mark display
DE102010036140A1 (de) * 2010-09-02 2012-03-08 Daimler Ag Verfahren zum Darstellen von Hilfslinien in einem kamerabasierten Fahrerassistenzsystem
DE102010042026B4 (de) * 2010-10-06 2020-11-26 Robert Bosch Gmbh Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
JP5633345B2 (ja) * 2010-12-03 2014-12-03 富士通株式会社 画像処理装置、画像表示システムおよび画像処理プログラム
US11372391B2 (en) 2011-04-06 2022-06-28 Koninklijke Philips N.V. Safety in dynamic 3D healthcare environment
TWI578271B (zh) 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
JP6149676B2 (ja) * 2013-10-09 2017-06-21 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
CN105390021B (zh) * 2015-11-16 2018-03-27 北京蓝卡科技股份有限公司 车位状态的检测方法及装置
US11195132B2 (en) * 2016-10-31 2021-12-07 International Business Machines Corporation System, method and computer program product for characterizing object status and determining a maintenance schedule
EP3370085B1 (de) * 2017-03-01 2021-10-13 Aptiv Technologies Limited Verfahren zur verfolgung mehrerer objekte in der umgebung eines host-fahrzeugs
EP3447525B1 (de) * 2017-08-23 2020-05-06 Ecole Polytechnique Federale De Lausanne (Epfl) Modellbasiertes bildrekonstruktionsverfahren
DE102017220268B4 (de) * 2017-11-14 2024-03-21 Volkswagen Aktiengesellschaft Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
US10967851B2 (en) * 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
DE102019206490B3 (de) * 2019-05-06 2020-03-26 Volkswagen Aktiengesellschaft Parkassistenzsystem für ein Kraftfahrzeug, Verfahren zur Einparkunterstützung für ein Kraftfahrzeug, Computerprogramm und computerlesbares Speichermedium
KR20220022340A (ko) * 2020-08-18 2022-02-25 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
FR3139311B1 (fr) * 2022-09-06 2024-07-19 Psa Automobiles Sa Procédé et dispositif de présentation de la longueur d’un d’objet dépassant de l’arrière d’un véhicule automobile

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6578017B1 (en) * 1999-02-26 2003-06-10 Information Decision Technologies, Llc Method to aid object detection in images by incorporating contextual information
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
AU2001259640A1 (en) * 2000-05-08 2001-11-20 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
JP3608527B2 (ja) * 2001-05-15 2005-01-12 株式会社豊田中央研究所 周辺状況表示装置
US7068289B2 (en) * 2001-09-14 2006-06-27 Honda Giken Kogyo Kabushiki Kaisha Rearview monitoring apparatus for vehicle
JP2003104145A (ja) * 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 運転支援表示装置
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
DE10317044A1 (de) * 2003-04-11 2004-10-21 Daimlerchrysler Ag Freiraumüberwachung bei Kraftfahrzeugen

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016120428A1 (de) * 2016-10-26 2018-04-26 Valeo Schalter Und Sensoren Gmbh Verfahren zum autonomen oder semi-autonomen Manövrieren eines Kraftfahrzeugs mit Erkennung von Hindernissen in einem Erfassungsbereich, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020102278A1 (de) 2020-01-30 2021-08-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Navigationsunterstützung in einem Kraftfahrzeug auf Grundlage von Informationen aus mehreren erfassenden Kraftfahrzeugen

Also Published As

Publication number Publication date
CN101167104B (zh) 2010-09-29
US20080100614A1 (en) 2008-05-01
US8797351B2 (en) 2014-08-05
EP1875442A1 (de) 2008-01-09
WO2006114309A1 (de) 2006-11-02
EP1717757A1 (de) 2006-11-02
CN101167104A (zh) 2008-04-23

Similar Documents

Publication Publication Date Title
EP1875442B1 (de) Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102008034594B4 (de) Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
EP1719093B1 (de) Verfahren und warnvorrichtung zum grafischen aufbereiten eines bildes einer kamera
DE102010051206A1 (de) Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
WO2019072455A1 (de) Verfahren zum darstellen einer umgebung eines fahrzeugs
EP3437929A1 (de) Sichtsystem mit fahrsituationsbedingter sichtfeld-/sichtbereicheinblendung
DE102009029439A1 (de) Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
EP2483107B1 (de) Verfahren und vorrichtung zur kombinierten visuellen anzeige von video- und abstandsdaten einer verkehrssituation
DE102010000385A1 (de) Fahrzeugperipherieanzeigevorrichtung
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
WO2012003942A2 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren und/oder rangieren eines fahrzeugs
WO2011138164A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines fahrzeugs, fahrerassistenzsystem und fahrzeug
DE102012208188A1 (de) Verfahren und Vorrichtung zum Darstellen einer Sollzeitlücke für ein Fahrzeug
DE102011005368A1 (de) Fahrerassistenzsystem für ein Fahrzeug mit einem angereicherten Videobild in einem Anzeigemittel
WO2014202496A1 (de) Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug
EP3844947A1 (de) Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung
DE102022206328B3 (de) Verfahren für ein Kamerasystem sowie Kamerasystem
WO2024037815A1 (de) Verfahren zum betreiben einer anzeigeeinrichtung in einem kraftfahrzeug
EP4208372A1 (de) Verfahren zum anzeigen einer umgebung eines fahrzeuges auf einer anzeigeeinrichtung, verarbeitungseinheit und fahrzeug
DE102008064951B3 (de) Verfahren zur Information eines Insassen eines Fahrzeuges
DE102022125210A1 (de) Zusammenfügen von Teilbildern eines Fahrzeugumfelds
WO2024008246A1 (de) Verfahren zum erzeugen einer ansicht mit einem kamerasystem sowie kamerasystem
DE102021131157A1 (de) Verfahren zur Darstellung eines virtuellen Objekts in einer erweiterten Realität in einem Kraftfahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070929

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE ES FR GB IT SE

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE ES FR GB IT SE

17Q First examination report despatched

Effective date: 20100215

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE ES FR GB IT SE

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502006010031

Country of ref document: DE

Effective date: 20111013

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20120521

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502006010031

Country of ref document: DE

Effective date: 20120521

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111128

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230503

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240423

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240416

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20240430

Year of fee payment: 19

Ref country code: FR

Payment date: 20240422

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20240423

Year of fee payment: 19