DE102013015625B3

DE102013015625B3 - Visual system for a motor vehicle

Info

Publication number: DE102013015625B3
Application number: DE102013015625.4A
Authority: DE
Inventors: Werner Lang; Dr. Bauer Stefan
Original assignee: Mekra Lang GmbH and Co KG
Current assignee: Mekra Lang GmbH and Co KG
Priority date: 2013-09-19
Filing date: 2013-09-19
Publication date: 2014-12-18
Anticipated expiration: 2033-09-20

Abstract

Ein Sichtsystem (100) enthält eine Aufnahmeeinheit (120), eine Berechnungseinheit (130) und eine Wiedergabeeinheit (140), wobei die Aufnahmeeinheit (120) mindestens zwei Aufnahmegeräte (121, 122) enthält, die jeweils angepasst sind, ein Bild eines Sichtbereichs (161, 162) in der Umgebung eines Fahrzeugs (110) aufzunehmen und deren Sichtbereiche (141, 142) teilweise in einem Überlappungsbereich (170) überlappen, wobei die Berechnungseinheit (130) angepasst ist, die Sichtbereiche (141, 142) zur Darstellung auf der Wiedergabeeinheit (140) zu einem Panoramabild derart zusammenzufügen, dass die nicht überlappenden Teilbereiche der Sichtbereiche (161, 162) permanent in das Panoramabild integriert sind und der Überlappungsbereich (170) in abwechselnder Darstellung des Überlappungsbereichs der Aufnahme des ersten Aufnahmegeräts (121) und des Überlappungsbereichs (170) der Aufnahme des zweiten Aufnahmegeräts (122) in das Panoramabild integriert ist.A viewing system (100) contains a recording unit (120), a calculation unit (130) and a display unit (140), the recording unit (120) containing at least two recording devices (121, 122), each of which is adapted to provide an image of a viewing area ( 161, 162) in the vicinity of a vehicle (110) and partially overlap their viewing areas (141, 142) in an overlap area (170), the calculation unit (130) being adapted to display the viewing areas (141, 142) on the To merge the playback unit (140) into a panoramic image such that the non-overlapping partial areas of the viewing areas (161, 162) are permanently integrated into the panoramic image and the overlapping area (170) alternately shows the overlapping area of the recording of the first recording device (121) and the overlapping area (170) of the recording of the second recording device (122) is integrated into the panoramic image.

Description

Gebiet der ErfindungField of the invention

Die Erfindung bezieht sich auf ein Sichtsystem für ein Kraftfahrzeug, insbesondere für ein Nutzfahrzeug. Dabei bezieht sich die Erfindung insbesondere auf ein Sichtsystem für ein Kraftfahrzeug, bei dem ein mittels Aufnahmeeinheiten aufgenommenes Bild in Bird View (Vogelperspektive) auf einer Wiedergabeeinheit im Fahrerbereich des Nutzfahrzeugs dargestellt wird.The invention relates to a vision system for a motor vehicle, in particular for a commercial vehicle. In this case, the invention relates in particular to a vision system for a motor vehicle, in which an image recorded by recording units in Bird View (bird's eye view) is displayed on a display unit in the driver's area of the commercial vehicle.

Stand der TechnikState of the art

Gerade beim Nutzfahrzeug, wie beispielsweise einem Lastkraftwagen, gibt es Bereiche rund um das Fahrzeug, die von einer Fahrerposition aus nicht direkt eingesehen werden können. Solche Bereiche rund um das Fahrzeug sind beispielsweise bei einem Lastkraftwagen der Heckbereich oder seitlich neben dem Fahrzeug liegende Bereiche, insbesondere solche, die vom Fahrerhaus gesehen verhältnismäßig hinten und seitlich liegen. Andere Verkehrsteilnehmer oder Hindernisse, die in diesem Bereich sind, sollten jedoch vom Fahrer erkannt werden können, wenn er das Fahrzeug fährt, um eine Kollision mit solchen anderen Verkehrsteilnehmern oder Objekten auszuschließen. Dabei ist zu beachten, dass sich die Objekte möglicherweise auch selbst bewegen, so dass eine Position eines Objektes oder anderen Verkehrsteilnehmers möglichst zu jedem Zeitpunkt vom Fahrer erkannt werden sollte. Dazu werden am Fahrzeug Einrichtungen zur indirekten Sicht vorgesehen, wie beispielsweise Spiegel oder Kamera basierte Sichtsysteme.Especially in the commercial vehicle, such as a truck, there are areas around the vehicle that can not be viewed directly from a driver's position. Such areas around the vehicle are, for example, in a truck, the rear area or laterally adjacent to the vehicle areas, especially those that are seen from the cab relatively rear and side. However, other road users or obstacles in this area should be able to be recognized by the driver when driving the vehicle to avoid collision with such other road users or objects. It should be noted that the objects may also move themselves, so that a position of an object or other road user should be recognized by the driver as possible at any time. For this purpose, devices for indirect vision are provided on the vehicle, such as mirrors or camera-based vision systems.

Sichtsysteme für Kraftfahrzeuge sind bekannt, die eine Aufnahmeeinheit, eine Berechnungseinheit und eine Wiedergabeeinheit enthalten. Mittels der Aufnahmeeinheit, beispielsweise einer Kamera, wird ein Gebiet um ein Fahrzeug erfasst und das erfasste Bild des Fahrzeugsumgebungsbereichs wird, gegebenenfalls nach Bearbeitung durch die Berechnungseinheit, auf einer Wiedergabeeinheit im Fahrerraum des Fahrzeugs für den Fahrer einsehbar dargestellt. Bevorzugt wird das Bild entsprechend der Abbildung auf einem Spiegel, auf der Wiedergabeeinheit dauerhaft und während des ganzen Zeitraums, während dessen das Fahrzeug betrieben wird (Zündung an), dargestellt. Dabei kann die Darstellung auf der Widergabeeinheit in Vogelperspektive (Bird View) sein, insbesondere dann, wenn es sich um ein Sichtsystem für ein Nutzfahrzeug handelt, bei dem die Aufnahmeeinheit oben an einem Fahrzeug angebracht ist und somit ein Bild in einem Sichtkegel der Kamera erfasst, der schräg nach unten gerichtet ist. Es ist ferner bekannt, dass mehrere Aufnahmegeräte vorgesehen sind, beispielsweise eins für den seitlichen Bereich des Nutzfahrzeugs und eins für den Heckbereich des Nutzfahrzeugs, die jeweils entsprechende Sichtkegel haben und zugeordnete Bereiche der Umgebung des Fahrzeugs erfassen. Die durch diese mehreren Aufnahmegeräte erfassten Bilder können auf der Wiedergabeeinheit als mehrere Einzelbilder oder zusammengesetzt, in einem gemeinsamen Bild, dargestellt werden.Vision systems for motor vehicles are known, which include a recording unit, a calculation unit and a playback unit. By means of the recording unit, for example a camera, an area around a vehicle is detected and the captured image of the vehicle surroundings area is displayed, optionally after being processed by the calculation unit, on a display unit in the driver's compartment of the vehicle for the driver. Preferably, the image is displayed on a mirror, on the display unit as shown in the figure and on a permanent basis during the entire period during which the vehicle is being operated (ignition on). In this case, the representation on the display unit in bird's eye view (Bird View), especially if it is a viewing system for a commercial vehicle, in which the receiving unit is mounted on top of a vehicle and thus detects an image in a cone of sight of the camera, which is directed obliquely downwards. It is also known that a plurality of recording devices are provided, for example, one for the lateral region of the commercial vehicle and one for the rear region of the commercial vehicle, each having corresponding sight cone and detect associated areas of the environment of the vehicle. The images captured by these multiple recorders may be displayed on the display as multiple frames or in a combined image.

Wenn mehrere Aufnahmegeräte vorgesehen werden, ist es insbesondere bekannt, deren Sichtkegel so auszurichten, dass sie auf der Bodenebene, auf der das Fahrzeug fährt, sich nicht oder kaum überschneiden bzw. überlappen, um diese Bilder dann als ein gemeinsames Bild, unmittelbar aneinandergrenzend, darzustellen. Dies birgt allerdings die Problematik, dass andere Verkehrsteilnehmer oder Hindernisse, die sich zwischen den Sichtkegeln auf der Bodenebene oder im Grenzbereich an den Schnittbereichen der Sichtkegel der Aufnahmegeräte auf der Bodenebene befinden, möglicherweise nicht erfasst werden, obwohl dies für die Verkehrssicherheit relevant ist. Alternativ ist es möglich, dass die Überschneidung der Sichtkegel nur in unmittelbarer Nähe der Bodenebene vorliegt, was bei einer Vogelsperspektivenaufnahme und -darstellung auf der Wiedergabeeinheit dazu führen kann, dass nur ein Teil des sich dort befindlichen Objekts dargestellt wird, nämlich der Teil, der in dem Überschneidungsbereich der Sichtkegel ist, was möglicherweise nicht dazu ausreicht, dass der Fahrer das Objekt auf der Wiedergabeeinheit erkennt.In particular, when multiple recorders are provided, it is known to orient their sight cones so that they do not overlap or overlap at the ground level on which the vehicle is traveling, to then display these images as a common image, immediately adjacent one another , However, this raises the problem that other road users or obstacles located at ground level between the view cones or at the boundary area at the intersections of the sight cones of the recorders may not be detected, although this is relevant to traffic safety. Alternatively, it is possible that the intersection of the view cone is present only in the immediate vicinity of the ground plane, which may result in a bird's eye view recording and presentation on the display unit that only a part of the object located there is displayed, namely the part that in the overlap area of the sight cone is, which may not be sufficient for the driver to recognize the object on the playback unit.

Diese Situation ist in 1a bis 1c erläutert, die den Stand der Technik zeigen, wobei 1a eine perspektivische Ansicht um ein Nutzfahrzeug, 1b eine Draufsicht und 1c eine schematische Ansicht der Sichtkegel ist. Dabei sind zwei Aufnahmegeräte 11, 12 mit jeweiligen Sichtkegeln 21, 22 an einem Nutzfahrzeug 10 angeordnet, wobei ein Aufnahmegerät 11 an der seitlichen Oberkante des Fahrzeugs in etwa mittig und ein Aufnahmegerät 12 an der Heckkante des Fahrzeugs 10 oben mittig angeordnet ist. Die Sichtkegel 21, 22 treffen in den Bereichen 31, 33 auf die Bodenebene. Wie insbesondere in 1b und 1c erkennbar ist, grenzen diese Schnittbereiche der Sichtkegel 21, 22 mit der Bodenebene aneinander an und überlappen, wie in 1b und 1c zu erkennen ist, nicht bzw. kaum. 1c, die eine seitliche Ansicht schematisch zeigt, lässt erkennen, dass ein Fußgänger 2, der sich in dem Grenzbereich zwischen den beiden Sichtkegeln 21 und 22 befindet, nicht in der Draufsicht durch die Aufnahmegeräte 11, 12 erfasst wird und entsprechend einer Wiedergabeeinheit wiedergegeben werden kann. Im besten Fall werden bei dieser Anordnung die Füße des Fußgängers 2 wiedergegeben, was nicht ausreicht, um den Fußgänger 2 auf einer Darstellung in Vogelperspektive zuverlässig zu erkennen.This situation is in 1a to 1c which illustrate the prior art, wherein 1a a perspective view of a commercial vehicle, 1b a top view and 1c a schematic view of the view cone is. There are two recording devices 11 . 12 with respective sight cones 21 . 22 on a commercial vehicle 10 arranged, with a recording device 11 at the lateral upper edge of the vehicle approximately in the middle and a recording device 12 at the rear edge of the vehicle 10 is arranged at the top center. The sight cones 21 . 22 meet in the fields 31 . 33 to the ground level. As in particular in 1b and 1c can be seen, these cutting areas of the view cone boundaries 21 . 22 with the ground level against each other and overlap, as in 1b and 1c can be seen, not or hardly. 1c , which shows a lateral view schematically, indicates that a pedestrian 2 that is in the border area between the two sight cones 21 and 22 is located, not in plan view through the recording devices 11 . 12 is detected and can be played back according to a playback unit. At best, in this arrangement, the feet of the pedestrian 2 reproduced, which is insufficient to the pedestrian 2 reliably recognizable on a bird's-eye view.

Um diese Situation zu vermeiden, ist es weiter bekannt, die Sichtkegel der Aufnahmegeräte (Kameras) so anzuordnen, dass sie auf der Bodenebene und in einem Bereich über der Bodenebene, der im gesamten Überlappungsbereich etwa so hoch wie zu erwartende Hindernisse über der Bodenebene ist, z. B. etwa 2 m, überlappen. Die Berechnungseinheit ist dann in der Lage, die nicht überlappenden Bereiche der Sichtkegel in Vogelperspektive auf einem gemeinsamen, zusammengesetzten Bild darzustellen. Für die Darstellung des überlappenden Bereichs, d. h. des Bereichs, der durch mindestens zwei der Aufnahmegeräte erfasst wird, werden mittels der Berechnungseinheit die aufgenommenen Bilder derart modifiziert, dass dieser Bereich mittels des Bilds, das durch eines der beiden Aufnahmegeräte erfasst wird, erzeugt wird, d. h. dass dieser Bereich nur durch das Bild, das von einer der beiden Kameras aufgenommen ist, dargestellt wird. Das Bild der anderen Kamera wird durch die Berechnungseinheit weggeschnitten. Auch in diesem Fall kann es jedoch passieren, dass ein Objekt oder andere Verkehrsteilnehmer, die sich am Rand dieser Darstellung des Überlappungsbereichs befinden, auf dem auf der Wiedergabeeinheit wiedergegebenen Bild nicht ausreichend zu erkennen sind, da sie in dem Bild, das den Überlappungsbereich beinhaltet, aufgrund dessen, dass sie in diesem Bild am Rand sind, nicht vollständig dargestellt sind, und in dem Bild des anderen Aufnahmegeräts ebenfalls nicht dargestellt werden, da dieser Bereich des Bild abgeschnitten ist. To avoid this situation, it is also known to arrange the viewing cones of the recorders (cameras) so that they are at ground level and in an area above the ground level, which is about as high as expected obstacles above the ground level in the entire overlap area, z. B. about 2 m, overlap. The computing unit is then able to present the non-overlapping regions of the viewing cones in bird's eye view on a common, composite image. For the representation of the overlapping area, ie the area which is detected by at least two of the recording devices, the recorded images are modified by means of the calculation unit in such a way that this area is generated by means of the image captured by one of the two recording devices, ie that this area is represented only by the image taken by one of the two cameras. The image of the other camera is cut away by the calculation unit. However, in this case as well, an object or other road users who are at the edge of this representation of the overlapping area can not be sufficiently recognized on the image reproduced on the reproduction unit since they are present in the image which includes the overlapping area. because they are on the edge in this image are not fully displayed, nor are they displayed in the image of the other capture device because that region of the image is truncated.

Daher ist es weiter bekannt, den Überlappungsbereich auch auf dem Wiedergabebild stets als Überlagerung der Abbildung zweier Aufnahmegeräte darzustellen. Dies hat jedoch die Problematik, dass der Überlappungsbereich verschwommen und unscharf ist, so dass auf dem Wiedergabebild Hindernisse bzw. andere Verkehrsteilnehmer schlecht erkennbar sind.Therefore, it is also known to represent the overlapping area on the playback image always as a superposition of the image of two recording devices. However, this has the problem that the overlapping area is blurred and blurred, so that on the playback image obstacles or other road users are difficult to see.

Aus der DE 10 2009 036 200 A1 ist ein Verfahren zur Überwachung einer Umgebung eines Fahrzeugs bekannt, bei dem die Umgebung und in dieser vorhandene Objekte mittels zumindest einer ersten Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst werden, wobei aus mittels der Bilderfassungseinheiten erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird. Das Gesamtbild zeigt das Fahrzeug und dessen Umgebung aus einer Vogelperspektive. In einem Grenzbereich zwischen einem ersten Einzelbildbereich und einem zweiten Einzelbildbereich werden von der ersten Bilderfassungseinheit und der zweiten Bilderfassungseinheit erfasste Bilder räumlich abwechselnd dargestellt.From the DE 10 2009 036 200 A1 a method for monitoring an environment of a vehicle is known, in which the environment and objects present therein are detected by means of at least a first image acquisition unit and a second image acquisition unit, the coverage areas of which at least partially overlap and form an overlap region, wherein the image acquisition units acquired by the image acquisition units Single frames based on an image processing unit, an overall image is generated. The overall picture shows the vehicle and its surroundings from a bird's eye view. In a boundary region between a first individual image area and a second individual image area, images captured by the first image capture unit and the second image capture unit are displayed spatially alternately.

Aufgabe der ErfindungObject of the invention

Davon ausgehend ist es Aufgabe der Erfindung, ein Sichtsystem bereit zu stellen, mit Hilfe dessen in Vogelperspektive (Bird View) Sichtbereiche um ein Nutzfahrzeug auf einer Wiedergabeeinheit so dargestellt werden können, dass im gesamten aufgenommenen Bereich Hindernisse rund um das Fahrzeug jederzeit zuverlässig erkannt werden können, wobei die Sichtbereiche durch mehrere Aufnahmegeräte aufgenommen sind.On this basis, it is an object of the invention to provide a vision system, with the help of which bird's eye view areas around a commercial vehicle on a display unit can be displayed so that obstacles around the vehicle can be reliably detected at all times in the entire recorded area , wherein the viewing areas are accommodated by several recording devices.

Darstellung der ErfindungPresentation of the invention

Diese Aufgabe wird mit einem Sichtsystem mit den Merkmalen des Anspruchs 1 gelöst. Bevorzugte Ausführungsformen sind in den abhängigen Ansprüchen angegeben.This object is achieved with a vision system having the features of claim 1. Preferred embodiments are given in the dependent claims.

Der Erfindung liegt der Gedanke zugrunde, die Aufnahmeeinheit so zu gestalten, dass mindestens zwei der Aufnahmegeräte, die beispielsweise Kameras sein können, überlappende Sichtkegel aufweisen. Dabei ist die Überlappung der Sichtkegel des ersten und des zweiten Aufnahmegeräts so, dass die Sichtkegel auf der Bodenebene einen Schnittbereich haben, d. h. auf der Bodenebene überlappen. Bevorzugt überlappen sie in einem Bereich über der Bodenebene, der der Höhe des zu erwartenden Hindernisses entspricht, nur insoweit, dass zumindest ein Sichtkegel diesen Bereich jeweils abdeckt. Die Sichtkegel sind im Wesentlichen von oben nach schräg unten gerichtet, was beispielsweise dadurch bewirkt werden kann, dass die Aufnahmegeräte an einer Oberkante eines Nutzfahrzeugs angebracht sind. Die Darstellung auf der Wiedergabeeinheit erfolgt in einer aus den Bildern der einzelnen Aufnahmegeräte durch die Berechnungseinheit zusammengesetzten Panoramasicht. Für die Darstellung der überlappenden Sichtbereiche, insbesondere deren Schnittbereiche mit der Bodenebene, ist das Sichtsystem angepasst, den Überlappungsbereich zeitlich abwechselnd auf Grundlage des aufgenommenen Bildes des ersten und des zweiten Aufnahmegeräts auf der Wiedergabeeinheit darzustellen. Dies bedeutet, dass bei der Darstellung der Sichtbereiche, die bevorzugter Weise in Bird View (Vogelperspektive) ist, die nicht überlappenden Bereiche zeitlich permanent dargestellt werden, und zwar durch das aufgenommene Bild des jeweiligen Aufnahmegeräts, während der Überlappungsbereich abwechselnd durch das Bild des ersten Aufnahmegeräts und das Bild des zweiten Aufnahmegeräts dargestellt wird.The invention is based on the idea to design the recording unit so that at least two of the recording devices, which may be cameras, for example, have overlapping view cones. The overlap of the view cone of the first and the second recording device is such that the view cone on the ground plane have a cutting area, d. H. overlap at the ground level. Preferably, they overlap in an area above the ground level, which corresponds to the height of the expected obstacle, only insofar as at least one sight cone covers this area in each case. The view cones are directed substantially from above to obliquely down, which can be effected, for example, by the recording devices are mounted on an upper edge of a commercial vehicle. The representation on the reproduction unit takes place in a panoramic view composed of the images of the individual recording devices by the calculation unit. For the presentation of the overlapping viewing areas, in particular their intersections with the ground plane, the vision system is adapted to display the overlapping area alternately in time on the basis of the recorded image of the first and the second recording device on the playback unit. This means that in the representation of the viewing areas, which is preferred in Bird View (bird's eye view), the non-overlapping areas are displayed permanently in time by the recorded image of the respective recording device, while the overlapping area alternately through the image of the first recording device and the image of the second recording device is displayed.

Die zeitlich abwechselnde Darstellung der Sichtbereich der ersten Kamera und der zweiten Kamera zum Abbilden eines Gesamtpanoramas hat den Vorteil, dass Objekte oder Verkehrsteilnehmer, die sich im Randbereich eines Sichtkegels befinden und bei der Darstellung des entsprechenden Sichtbereichs möglicherweise nicht erkennbar sind bzw. nicht abgebildet würden, jederzeit erkennbar sind, da sie in der Regel vollständig im Sichtkegel bzw. der Abbildung des anderen Geräts liegen. Somit können ein Objekt oder Hindernis bzw. andere Verkehrsteilnehmer jederzeit zuverlässig erfasst werden und vom Fahrer des Fahrzeugs auf der Wiedergabeeinheit erkannt werden, auch wenn sich der Verkehrsteilnehmer oder das Objekt im Randbereich eines der Sichtkegel der Aufnahmegeräte befindet und entsprechend im Überlappungsbereich zwischen den beiden Aufnahmegeräten ist.The temporally alternating representation of the field of view of the first camera and the second camera for imaging a total panorama has the advantage that objects or road users who are located in the edge region of a viewing cone and in the representation of the corresponding Viewing area may not be visible or would not be displayed, are recognizable at any time, since they are usually completely in the cone view or the image of the other device. Thus, an object or obstacle or other road users can be reliably detected at any time and detected by the driver of the vehicle on the playback unit, even if the road user or the object is located in the edge region of the viewing cone of the recording devices and is correspondingly in the overlap region between the two recording devices ,

Dabei ist es beispielsweise möglich, abwechselnd einen Frame des Bilds des ersten Aufnahmegeräts und einen Frame des Bilds des zweiten Aufnahmegeräts darzustellen. Alternativ können aber auch hintereinander zunächst mehrere Frames des einen Kamerabilds und dann mehrere Frames des anderen Kamerabilds dargestellt werden oder Ähnliches. Wesentlich ist dabei nur, dass in verhältnismäßig rascher zeitlicher Abfolge, d. h. in einer Abfolge, in der sich die Verkehrsituation rund um das Fahrzeug nur unwesentlich ändert, abwechselnd Bilder von beiden Kameras, die den Überlappungsbereich bilden, dargestellt werden. Die zeitliche Abfolge der Bilder unterschiedlicher Kameras ist so zu wählen, dass vorzugsweise für das menschliche Auge kein Flackern des Bildes erkennbar ist. Damit ist es auch möglich, ein Panoramabild zu schaffen, d. h. ein gemeinsames, zusammengesetztes Bild aus zwei oder mehreren der Aufnahmegeräte, in dem ein Objekt bzw. ein anderer Verkehrsteilnehmer, wie beispielsweise eine Person, möglichst vollständig angezeigt wird, ohne dass der Fahrer in unterschiedlichen Bereichen bzw. Einzelbildern auf der Wiedergabeeinheit dieselbe Person sieht, wie es bei getrennter Darstellung der Sichtbereiche zweier Kameras der Fall sein könnte.In this case, it is possible, for example, to alternately display a frame of the image of the first recording device and a frame of the image of the second recording device. Alternatively, however, a plurality of frames of the one camera image and then several frames of the other camera image can be displayed in succession or the like. It is essential that only in relatively timely sequence, d. H. in a sequence in which the traffic situation around the vehicle changes only insignificantly, alternately images of both cameras, which form the overlap area, are displayed. The temporal sequence of the images of different cameras should be selected so that preferably no flickering of the image is recognizable to the human eye. Thus it is also possible to create a panoramic image, d. H. a common, composite image of two or more of the recording devices in which an object or another road user, such as a person, is displayed as completely as possible, without the driver seeing the same person in different areas or on the reproduction unit as it could be the case with separate representation of the viewing areas of two cameras.

Beispielsweise können als Aufnahmegeräte eine seitlich am Fahrzeug angebrachte Kamera, die beispielsweise im Bereich der Fahrzeugmitte in Längsrichtung oben am Fahrzeug angebracht ist und eine Kamera am Heck des Fahrzeugs, die oben am Fahrzeug mittig im Heckbereich angebracht ist, vorgesehen sein.For example, as a recording devices mounted on the side of the vehicle camera, which is mounted for example in the vehicle center in the longitudinal direction at the top of the vehicle and a camera at the rear of the vehicle, which is mounted centrally above the vehicle in the rear area, be provided.

Selbstverständlich können auch drei oder mehrere Aufnahmegeräte vorgesehen sein, wobei sich dann die Erfindung jeweils auf die Überlappungsbereiche zweier oder mehrerer Aufnahmegeräte entsprechend anwenden lässt, d. h. dass jeweils der Überlappungsbereich abwechselnd basierend auf dem Bild von jeweils einem Aufnahmegerät dargestellt wird, d. h. reihum das Bild von jedem der Aufnahmegeräte, die den Sichtbereich bilden, dargestellt wird. Der nicht überlappende Bereich wird permanent durch das Bild des jeweils entsprechenden Aufnahmegeräts dargestellt.Of course, three or more recording devices may be provided, in which case the invention can be applied respectively to the overlapping areas of two or more recording devices accordingly, d. H. that the overlapping area is alternately displayed based on the image of each recording device, d. H. in turn, the image of each of the recorders forming the viewing area is displayed. The non-overlapping area is permanently represented by the image of the corresponding recording device.

Beschreibung bevorzugter AusführungsformenDescription of preferred embodiments

Davon wird die Erfindung beispielhaft anhand der beigefügten Figuren beschrieben, in denen: 1a, 1b und 1c ein herkömmliches Sichtsystem des Stands der Technik erläutern durch eine perspektivische Ansicht auf ein Nutzfahrzeug, eine Draufsicht auf ein Nutzfahrzeug und eine schematische Ansicht zweier Sichtkegel des Sichtsystems;The invention is described by way of example with reference to the attached figures, in which: 1a . 1b and 1c a conventional vision system of the prior art illustrate by a perspective view of a commercial vehicle, a plan view of a utility vehicle and a schematic view of two view cones of the vision system;

2a, 2b und 2c entsprechende Ansichten für ein erfindungsgemäßes Sichtsystem sind; 2a . 2 B and 2c corresponding views for a vision system according to the invention are;

3a, 3b und 3c weiter entsprechende Ansichten für ein entsprechendes Sichtsystem sind, wobei in 3c schematisch die durch die Berechnungseinheit vorgenommene Modifikation des Sichtbereichs erläutert ist; 3a . 3b and 3c are further corresponding views for a corresponding vision system, wherein in 3c schematically the modification made by the calculation unit of the field of view is explained;

4a, 4b und 4c weitere Ansichten eines erfindungsgemäßen Sichtsystems sind; 4a . 4b and 4c further views of a vision system according to the invention are;

5 eine schematische Ansicht zur Erläuterung der durch die Berechnungseinheit vorgenommenen Modifikation der Sichtkegel bzw. Sichtbereiche der Aufnahmegeräte ist; und 5 is a schematic view for explaining the modification made by the calculation unit of the sight cones or viewing areas of the recording devices; and

6 schematisch ein erfindungsgemäßes Sichtsystem zeigt. 6 schematically shows an inventive vision system.

6 zeigt schematisch ein Sichtsystem 100 für ein Nutzfahrzeug 110, beispielsweise einen Lastwagen. Das Sichtsystem 100 enthält eine Aufnahmeeinheit 120, die in der 6 dargestellten Ausführungsform zwei Aufnahmegeräte 121, 122 enthält. Die Aufnahmeeinheit 120 bzw. die Aufnahmegeräte 121, 122 sind mit einer Berechnungseinheit 130 verbunden und liefern Daten über die von ihnen aufgenommenen Bilder an die Berechnungseinheit 130. Die Berechnungseinheit 130 ist wiederum mit einer Wiedergabeeinheit 140 verbunden, wobei die Wiedergabeeinheit 140 von der Berechnungseinheit 130 Daten erhält und auf einem Anzeigegerät der Wiedergabeeinheit 140, wie beispielsweise einem Monitor, darstellt. Die Wiedergabeeinheit kann in einem Fahrerhaus eines Nutzfahrzeugs beispielsweise angeordnet werden. 6 schematically shows a vision system 100 for a commercial vehicle 110 for example, a truck. The vision system 100 contains a recording unit 120 in the 6 illustrated embodiment, two recording devices 121 . 122 contains. The recording unit 120 or the recording devices 121 . 122 are with a calculation unit 130 connected and provide data about the images taken by them to the calculation unit 130 , The calculation unit 130 is again with a playback unit 140 connected, wherein the playback unit 140 from the calculation unit 130 Receives data and on a display device of the playback unit 140 , such as a monitor. The display unit can be arranged in a driver's cab of a commercial vehicle, for example.

Die Berechnungseinheit 130 kann eine selbständige Einheit sein und mit der Aufnahmeeinheit 120 bzw. der Wiedergabeeinheit 140 über eine geeignete Verbindung, beispielsweise eine verdrahtete Verbindung, wie ein LAN, oder eine drahtlose Verbindung, verbunden sein. Alternativ kann die Berechnungseinheit 130 auch in die Wiedergabeeinheit 140 oder die Aufnahmeeinheit 120 integriert sein. Schließlich ist es auch möglich, dass die Berechnungseinheit 130 durch einen am Fahrzeug allgemein vorgesehenen Bordcomputer gebildet wird.The calculation unit 130 can be a self-contained unit and with the recording unit 120 or the playback unit 140 be connected via a suitable connection, for example a wired connection, such as a LAN, or a wireless connection. Alternatively, the calculation unit 130 also in the playback unit 140 or the recording unit 120 be integrated. Finally, it is also possible that the calculation unit 130 is formed by a vehicle computer generally provided on-board computer.

Wie jeweils 2a, 2b und 2c zu entnehmen ist, ist in der dargestellten Ausführungsform das erste Aufnahmegerät 121 an einem in Längsrichtung mittigen Bereich in der Nähe der Oberkante des Nutzfahrzeugs 110 angeordnet und hat einen Sichtkegel 151, der auf einen seitlich am Nutzfahrzeug 110 liegenden Bereich und nach unten gerichtet ist. Der Sichtkegel 151 schneidet die Bodenebene in einem Sichtbereich 161. Ein weiteres Aufnahmegerät 122 ist am Fahrzeugheck, ebenfalls in einem oberen Bereich, angebracht und hat einen Sichtkegel 152, der von der Position des Aufnahmegeräts 122 nach unten und hinten im Fahrzeug gerichtet ist. Entsprechend hat das Aufnahmegerät 122 einen Sichtbereich 162 (Schnittbereich mit der Bodenebene), der heckseitig des Fahrzeugs 110 liegt. Die Sichtbereiche 161, 162, die den Schnitt der Sichtkegel 161, 162 mit der Bodenebene bilden, sind in 2b, 2c, 2d gut erkennbar. As respectively 2a . 2 B and 2c can be seen, in the illustrated embodiment, the first recording device 121 at a longitudinally central area near the upper edge of the commercial vehicle 110 arranged and has a sight cone 151 standing on a side of the utility vehicle 110 lying area and directed downwards. The sight cone 151 cuts the ground level in a field of view 161 , Another recording device 122 is at the rear of the vehicle, also in an upper area, attached and has a cone view 152 which depends on the position of the recording device 122 directed down and back in the vehicle. Accordingly, the recording device 122 a viewing area 162 (Intersection with the ground plane), the rear of the vehicle 110 lies. The viewing areas 161 . 162 that the section of the sight cone 161 . 162 Form with the ground level are in 2 B . 2c . 2d good to see.

Die beiden Sichtbereiche 161, 162 überlappen auf der Bodenebene im Überlappungsbereich 170. Die Sichtkegel 151, 152 überlappen in der in 2c dargestellten Ausführungsform in einer Höhe über der Bodenebene, d. h. in einer Überlappungszone 153, die auch am Rand des Überlappungsbereichs 170 ein Hindernis bzw. Verkehrsteilnehmer üblicher Größe, wie beispielsweise die in 2a, 2b und 2c schematisch dargestellte Personen 201, 202, 203, in ihrer vollständigen zu erwartenden Höhe sowohl im Sichtkegel 151 als auch im Sichtkegel 152 aufnimmt. Bevorzugt ist die Überlappungszone 153 in der Höhe über der Bodenebene so bemessen, dass das Objekt bzw. der Verkehrsteilnehmer, also die Person 201, 202, 203, in der vollständig zu erwartenden Höhe in zumindest einem der Sichtkegel 151, 152 liegt, aber auch wenn möglich nur in einem der Sichtkegel 151, 152. Dies verbessert die Qualität der Darstellung im Überlappungsbereich. Bei der in 2c gezeigten Ausführungsform ist jedoch ein zusätzlicher Überlappungsbereich 170 bzw. eine zusätzliche Überlappungszone 153 vorgesehen, so dass über der Höhe des zu erwartenden Verkehrsteilnehmers bzw. Objekts eine zusätzliche Überlappungszone liegt. Die bevorzugte Anordnung ist schematisch in 3c und 4c gezeigt, bei der die Überlappungszone 153 so endet, dass nurmehr ein minimaler Raum oberhalb der zu erwartenden Objekte in der Überlappungszone 153 vorgesehen ist, d. h. dass die Überlappungszone 153 in der Höhe über der Bodenebene auf beispielsweise Kopfhöhe der mittleren Person 202 endet, also maximal 2 m hoch ist. In jedem Fall sollte aber jede Person bzw. jedes zu erwartende Objekt auch in seiner Höhe über der Bodenebene zumindest in einem der Sichtkegel 151, 152 vollständig enthalten sein, bzw. in beiden der Sichtkegel.The two viewing areas 161 . 162 overlap at the ground level in the overlap area 170 , The sight cones 151 . 152 overlap in the in 2c illustrated embodiment at a height above the ground level, ie in an overlapping zone 153 that is also on the edge of the overlap area 170 an obstacle or road user of usual size, such as those in 2a . 2 B and 2c schematically represented persons 201 . 202 . 203 , in its full expected height both in the cone of vision 151 as well as in the cone of sight 152 receives. The overlapping zone is preferred 153 in the height above the ground level so that the object or the road user, ie the person 201 . 202 . 203 in the fully expected height in at least one of the sight cones 151 . 152 lies, but also only in one of the sight cones if possible 151 . 152 , This improves the quality of the representation in the overlapping area. At the in 2c However, the embodiment shown is an additional overlap region 170 or an additional overlap zone 153 provided so that above the height of the expected road user or object is an additional overlap zone. The preferred arrangement is shown schematically in FIG 3c and 4c shown at the overlapping zone 153 so that ends only a minimal space above the expected objects in the overlap zone 153 is provided, ie that the overlap zone 153 in height above the ground level at, for example, head height of the middle person 202 ends, that is a maximum of 2 m high. In any case, however, every person or every object to be expected should also be at a height above the ground level, at least in one of the viewing cones 151 . 152 be completely contained, or in both the view cone.

5 zeigt schematisch diese bevorzugte Anordnung mit einer Person 202 in dem zentralen Bereich der Überlappungszone 153, die in gesamter Höhe über der Bodenebene in der Überlappungszone 153 enthalten ist, jedoch auch keine wesentlich größere Überlappungszone 153 in der Höhe vorgesehen ist. D. h., die maximale Höhe der Überlappungszone 153 ist etwa 2 m an der höchsten Stelle der Überlappungszone und entspricht der Höhe eines zu erwartenden Hindernisses. Dies dient insbesondere dazu, den Bereich der schlechteren Darstellung in der Überlappungszone durch die abwechselnde Darstellung der Bilder zweier oder mehrerer Aufnahmegeräte möglichst klein zu halten im Vergleich zu einem Bereich besserer Bildqualität, der permanent durch die Abbildung von einem der Aufnahmegeräte 121, 122 abgebildet wird und der nicht im Überlappungsbereich 170 liegt. 5 schematically shows this preferred arrangement with a person 202 in the central area of the overlapping zone 153 , which are in total height above the ground level in the overlapping zone 153 is included, but also no much larger overlap zone 153 is provided in height. That is, the maximum height of the overlap zone 153 is about 2 m at the highest point of the overlapping zone and corresponds to the height of an expected obstacle. This serves, in particular, to keep the area of poorer representation in the overlapping zone as small as possible by the alternate display of the images of two or more recording devices in comparison to an area of better image quality, which is permanent due to the image of one of the recording devices 121 . 122 and not in the overlap area 170 lies.

3a, 3b und 3c sowie 4a, 4b und 4c sind ähnliche Ansichten zu 2a, 2b und 2c mit dem Unterschied, dass in 3c bzw. 4c die Sichtkegel durch die schraffierten Bereiche und den im Rahmen der gestrichelten Linie liegenden, nicht schraffierten Bereiche, gebildet sind. Die schraffierten Zonen in 3c und 4c stellen jeweils zu einem bestimmten Zeitpunkt auf der Wiedergabeeinheit 140 dargestellte Wiedergabezonen 181, 182 dar, was bedeutet, dass zu einem bestimmten Zeitpunkt die Berechnungseinheit für den Überlappungsbereich 170 bzw. die Überlappungszone 153 ein Aufnahmegerät 121, 122 auswählt und das Bild dieses Aufnahmegeräts für die Darstellung der Überlappungszone 153 verwendet, wohingegen zu einem anderen Zeitpunkt das Bilds des anderen Aufnahmegeräts 121, 122 zur Darstellung der Überlappungszone verwendet wird. 3a . 3b and 3c such as 4a . 4b and 4c are similar views too 2a . 2 B and 2c with the difference that in 3c respectively. 4c the view cones are formed by the hatched areas and the non-hatched areas lying within the framework of the dashed line. The hatched zones in 3c and 4c each time at a given time on the playback unit 140 Playback zones shown 181 . 182 which means that at a certain time the calculation unit for the overlap area 170 or the overlapping zone 153 a recording device 121 . 122 selects and the image of this recording device for the presentation of the overlap zone 153 used, whereas at another time the image of the other recording device 121 . 122 is used to represent the overlapping zone.

Dies wird genauer unter Bezug auf 5 beschrieben. 5 zeigt schematisch die von den Aufnahmegeräten 121, 122 aufgenommenen bzw. abgedeckten Sichtkegel 151, 152. Für das Aufnahmegerät 121 ist dies der Sichtkegel, der definiert ist durch die Begrenzungslinien vom Aufnahmegerät 121 zum Punkt A auf der Bodenebene und zum Punkt C auf der Bodenebene. Für das Sichtgerät 122 ist dies entsprechend der Sichtkegel 152, der sich ausgehend vom Aufnahmegerät 122 aus erstreckt, und dessen Begrenzung auf der Bodenebene durch die Punkte B bzw. D gegeben ist. Somit gibt es auf Höhe der Bodenebene einen Überlappungsbereich 170, der durch die gestrichelte Linie in 5 dargestellt ist, die die Punkte B und C verbindet. In 5 sind ferner für jedes Aufnahmegerät 121 und 122 schematisch Bildebenen mit Bildpunkten der Begrenzungspunkte der Sichtkegel dargestellt, die mit C', B', A' bzw. D', C', D' bezeichnet sind. Auf Bildebene ist das Abbild des Überlappungsbereichs 170 ebenfalls gestrichelt eingezeichnet. Der Bereich B', A' bzw. der Bereich C', D' ist für das Aufnahmegerät 121 bzw. das Aufnahmegerät 122 der nicht mit dem Aufnahmebereich des jeweils anderen Aufnahmegeräts überlappende Bildbereich, der den Zonen AB bzw. CD auf Bodenebene entspricht.This will be more specific with reference to 5 described. 5 schematically shows that of the recording devices 121 . 122 recorded or covered sight cone 151 . 152 , For the recording device 121 this is the view cone defined by the boundary lines of the recorder 121 to point A on the ground level and point C on the ground level. For the viewing device 122 this is according to the sight cone 152 that is starting from the recording device 122 out, and whose boundary on the ground plane is given by the points B and D, respectively. Thus, at the level of the ground level, there is an overlap area 170 which is indicated by the dashed line in 5 is shown, which connects the points B and C. In 5 are also for each recording device 121 and 122 schematically illustrated image planes with pixels of the boundary points of the view cone, which are designated C ', B', A 'and D', C ', D'. At the image level, the image of the overlap area 170 also shown in dashed lines. The area B ', A' or the area C ', D' is for the recording device 121 or the recording device 122 the image area not overlapping with the recording area of the respective other recording device, which corresponds to the zones AB and CD at the ground level.

Die Berechnungseinheit 130 ist dazu angepasst, für das zur Darstellung auf der Wiedergabeeinheit 140 darzustellende Panoramabild, das die Abbildungen der Sichtkegel beider Aufnahmegeräte enthält und in einer gemeinsamen Darstellung zusammenfügt, permanent und dauerhaft den in 5 schematisch angedeuteten Bereich AB des ersten Sichtkegels 151 bzw. den Bereich CD des zweiten Sichtkegels 152 in Bird View darzustellen. Der Überlappungsbereich 170, d. h. auf Bodenebene der in 5 schematisch gezeigte Bereich BC wird, abwechselnd durch die Aufnahme des ersten Aufnahmegeräts 121 und die Aufnahme des zweiten Aufnahmegeräts 122 in Bird View dargestellt. Dies bedeutet, dass zu einem ersten Zeitpunkt sich das Panoramabild aus dem Bild des ersten Aufnahmegeräts 121 in dessen gesamten Sichtkegel 151, also auf Bodenebene der Bereich A bis C, und eines Teilbereichs des Sichtkegels 152 des zweiten Aufnahmegeräts 122, nämlich auf Bodenebene des Bereichs CD, zusammensetzt. Zu einem nachfolgenden Zeitpunkt setzt sich das für die Panoramasicht verwendete Bild dann aus einem Teilbereich des ersten Sichtkegels 151, nämlich gemäß 5 dem Bereich AB, und dem gesamten Bereich des Sichtkegels 152, nämlich dem Bereich BC des Aufnahmegeräts 122 zusammen. Auf Bildebene wird somit permanent durch die Berechnungseinheit der Bereich B'A' des Bilds des Aufnahmegeräts 121 und der Bereich D'C' des Bilds des Aufnahmegeräts 122 gewählt und abwechselnd der Bereich C'B' des ersten Aufnahmegeräts 121 und des zweiten Aufnahmegeräts 122.The calculation unit 130 is adapted to be displayed on the playback unit 140 Panoramic image to be displayed, which contains the images of the viewing cone of both recording devices and in a joint representation, permanently and permanently the in 5 schematically indicated area AB of the first viewing cone 151 or the area CD of the second viewing cone 152 in Bird View. The overlap area 170 ie at ground level the in 5 schematically shown area BC, alternately by the recording of the first recording device 121 and the recording of the second recording device 122 shown in Bird View. This means that at a first time, the panoramic image is out of the image of the first recording device 121 in its entire view cone 151 , ie at ground level, the area A to C, and a portion of the sight cone 152 of the second recording device 122 , namely at the ground level of the area CD. At a subsequent time, the image used for the panoramic view then sets from a portion of the first viewing cone 151 , according to 5 the area AB, and the entire area of the sight cone 152 namely the area BC of the recording device 122 together. At the image level, therefore, the calculation unit constantly makes the area B'A 'of the image of the recording device 121 and the area D'C 'of the image of the recorder 122 select and alternately the area C'B 'of the first recording device 121 and the second recording device 122 ,

Abwechselnd bedeutet hierbei, dass beispielsweise bei jedem Bildframe ein Wechsel zwischen dem ersten und dem zweiten Aufnahmegerät vorgenommen werden kann oder aber nach einer bestimmten Anzahl Bildframes, die von dem gleichen Aufnahmegerät stammen. In jedem Fall sollte so oft zwischen dem ersten und dem zweiten Aufnahmegerät (bzw. ggf. weiteren Aufnahmegeräten) geschaltet werden, dass zwischenzeitlich keine wesentliche Änderung der Verkehrsituation eingetreten ist, was bedeutet, dass jederzeit für den Fahrer auf der Wiedergabeeinheit erkennbar der gesamte Bereich abgedeckt wird und zwar in einer Sicht in einer Höhe über der Bodenebene, die ausreichend ist, dass der Fahrer zuverlässig etwaige Hindernisse erkennen und auch identifizieren kann.Alternately, this means that, for example, at each frame, a change between the first and the second recording device can be made or after a certain number of image frames, which come from the same recording device. In any case, should be so often between the first and the second recording device (or possibly other recording devices) switched that in the meantime no significant change in the traffic situation has occurred, which means that at any time for the driver on the playback unit recognizable covered the entire area is in a view at a height above the ground level, which is sufficient that the driver can reliably detect any obstacles and also identify.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

22: Fußgängerpedestrian
1010: Nutzfahrzeugcommercial vehicle
11, 1211, 12: Aufnahmegerätrecording apparatus
21, 2221, 22: Sichtkegelcone of vision
31, 3231, 32: Schnittbereich mit BodenebeneCutting area with ground level
100100: Sichtsystemvision system
110110: Nutzfahrzeugcommercial vehicle
120120: Aufnahmeeinheitrecording unit
121, 122121, 122: Aufnahmegerätrecording apparatus
130130: Berechnungseinheitcalculation unit
140140: WiedergabeeinheitPlayback unit
151, 152151, 152: Sichtkegelcone of vision
153153: Überlappungszoneoverlap zone
161, 162161, 162: Sichtbereichviewing area
170170: Überlappungsbereichoverlap area
181, 182181, 182: WiedergabezonePlay Zone
201, 202, 203201, 202, 203: Personperson

Claims

Visual system ( 100 ) containing a receiving unit ( 120 ), a calculation unit ( 130 ) and a playback unit ( 140 ), the receiving unit ( 120 ) at least two recording devices ( 121 . 122 ), each adapted to contain an image of a field of view ( 161 . 162 ) in the vicinity of a vehicle ( 110 ) and their viewing areas ( 161 . 162 ) partially in an overlap area ( 170 ), the calculation unit ( 130 ), the viewing areas ( 161 . 162 ) for display on the playback unit ( 140 ) in such a way that the non-overlapping partial areas of the viewing areas ( 161 . 162 ) are permanently integrated in the panoramic image and the overlap area ( 170 ) in temporally alternating representation of the overlapping area ( 170 ) recording the first recording device ( 121 ) and the overlap area ( 170 ) recording the second recording device ( 122 ) is integrated into the panoramic image.

Visual system ( 100 ) according to claim 1, wherein the panoramic image is a bird's-eye view image.

Visual system ( 100 ) according to claim 1 or 2, wherein the viewing areas ( 161 . 162 ) through the cutting area ( 100 ) of the sight cone ( 151 . 152 ) of recording devices ( 121 . 122 ) are defined with the ground plane.

Visual system ( 100 ) according to one of the preceding claims, wherein the overlapping area ( 170 ) is defined at the ground level.

Visual system ( 100 ) according to one of the preceding claims, wherein the first field of vision ( 161 ) on the side of the vehicle and the second viewing area ( 162 ) are at the rear of the vehicle.

Visual system ( 100 ) according to one of the preceding claims, wherein the first field of vision ( 161 ) is located on the side of the vehicle and the second field of view in front of the vehicle front.

Visual system ( 100 ) according to one of the preceding claims, wherein at least one of the viewing areas ( 161 . 162 ) contains a part of the vehicle.