DE102021117948A1

DE102021117948A1 - Intelligent rearview mirror

Info

Publication number: DE102021117948A1
Application number: DE102021117948.3A
Authority: DE
Inventors: Philipp Hoffmann
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-07-12
Filing date: 2021-07-12
Publication date: 2023-01-12

Abstract

Ein Verfahren zum Bereitstellen einer Ansicht für eine Person in einem Fahrzeug, umfasst Schritte des Bereitstellens eines ersten Bilds eines innerhalb des Fahrzeugs hinter der Person liegenden ersten Bereichs; des Bereitstellens eines zweiten Bilds eines außerhalb des Fahrzeugs hinter der Person liegenden zweiten Bereichs; und des Bereitstellens einer Ansicht an die Person auf der Basis einer Überlagerung des ersten und des zweiten Bilds.A method for providing a view for a person in a vehicle, comprising the steps of providing a first image of a first area located behind the person within the vehicle; providing a second image of a second area outside of the vehicle behind the person; and providing a view to the person based on an overlay of the first and second images.

Description

Die Erfindung betrifft einen Rückspiegel in einem Fahrzeug. Insbesondere betrifft die Erfindung einen Innenspiegel.The invention relates to a rearview mirror in a vehicle. In particular, the invention relates to an interior mirror.

Ein Kraftfahrzeug umfasst einen Innenspiegel, der dazu eingerichtet ist, einem Fahrer einen Eindruck von hinter ihm stattfindenden Ereignissen zu vermitteln. Der Innenspiegel ist üblicherweise am oberen Rand und mittig an einer Frontscheibe des Fahrzeugs angebracht und das Fahrzeug verfügt über ein Heckfenster, sodass der Fahrer beim Blick in den Rückspiegel durch das Rückfenster blicken und beispielsweise ein ihm folgendes Fahrzeug erfassen kann.A motor vehicle includes an interior mirror that is set up to give a driver an impression of events taking place behind him. The interior mirror is usually attached to the upper edge and center of a front window of the vehicle, and the vehicle has a rear window so that the driver can look through the rear window when looking into the rearview mirror and, for example, detect a vehicle following him.

Auf einem Sitz oder einer Bank hinter dem Fahrer können sich weitere Personen oder Gegenstände befinden, denen der Fahrer während der Fahrt seine Aufmerksamkeit schenken kann. Beispielsweise kann der Fahrer beim Blick in den Rückspiegel einen Säugling auf der Rückbank überwachen, oder er kann verfolgen, ob eine auf der Rückbank abgelegte Ladung beim Fahren verschoben wurde.There may be other people or objects on a seat or bench behind the driver that the driver can pay attention to while driving. For example, the driver can monitor an infant in the back seat by looking in the rearview mirror, or track whether a load placed in the back seat has shifted while driving.

Um den Innenspiegel sowohl zur Betrachtung des rückwärtigen Straßenverkehrs als auch zur Überwachung des Innenraums zu verwenden, wurden verschiedene Vorschläge gemacht. Beispielsweise kann ein Panoramaspiegel eingesetzt werden, der einen vergrößerten Betrachtungswinkel ermöglicht, sodass der Innenraum gleichzeitig mit dem Blick durch die Heckscheibe erfasst werden kann. Objekte hinter dem Fahrzeug können dabei aber nur klein dargestellt werden. Ein anderer Vorschlag betrifft die Ersetzung des Innenspiegels durch einen Monitor, auf dem ein Bild dargestellt wird, das mittels einer nach hinten gerichteten Kamera außen am Fahrzeug abgetastet wird. Optional können eine linke, eine rechte und eine rückwärtige Kamera vorgesehen sein, deren Bilder auf dem Bildschirm nebeneinander dargestellt werden können.Various proposals have been made for using the inside mirror both for viewing the road traffic behind and for monitoring the interior. For example, a panoramic mirror can be used, which enables a larger viewing angle so that the interior can be seen simultaneously with the view through the rear window. However, objects behind the vehicle can only be displayed as small. Another proposal is to replace the rear-view mirror with a monitor displaying an image scanned by a rear-facing camera on the outside of the vehicle. Optionally, a left, a right and a rear camera can be provided, the images of which can be displayed side by side on the screen.

Bisher bekannte Darstellungen haben sich als unübersichtlich oder schlecht miteinander integrierbar erwiesen. Eine der vorliegenden Erfindung zugrunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur Bereitstellung einer nach rückwärts gerichteten Ansicht an eine Person an Bord eines Fahrzeugs. Die vorliegende Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.Previously known representations have proven to be confusing or difficult to integrate with one another. It is an object of the present invention to provide an improved technique for providing a rear view to a person on board a vehicle. The present invention solves this problem by means of the subject matter of the independent claims. Subclaims reflect preferred embodiments.

Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Bereitstellen einer Ansicht für eine Person in einem Fahrzeug Schritte des Bereitstellens eines ersten Bilds eines innerhalb des Fahrzeugs hinter der Person liegenden ersten Bereichs; des Bereitstellens eines zweiten Bilds eines außerhalb des Fahrzeugs hinter der Person liegenden zweiten Bereichs; und des Bereitstellens einer Ansicht an die Person auf der Basis einer Überlagerung des ersten und des zweiten Bilds.According to a first aspect of the present invention, a method for providing a view for a person in a vehicle comprises the steps of providing a first image of a first area located inside the vehicle behind the person; providing a second image of a second area outside of the vehicle behind the person; and providing a view to the person based on an overlay of the first and second images.

Erfindungsgemäß können der Person mittels der Überlagerung Informationen aus zwei unterschiedlichen Quellen gleichzeitig auf derselben Anzeigefläche dargeboten werden. Die Person kann aus der Überlagerung mühelos dasjenige Bild, das er für relevanter hält, rezeptiv oder kognitiv auswählen. Ein korrespondierendes Prinzip ist als selektive Wahrnehmung bekannt. Beide dargebotenen Bilder können jeweils eine zur Verfügung stehende Bildschirmfläche vollständig ausnutzen. Details können für die Person jeweils gut erkennbar sein.According to the invention, information from two different sources can be presented to the person simultaneously on the same display surface by means of the overlay. From the overlay, the subject can effortlessly select, receptively or cognitively, which image they deem more relevant. A corresponding principle is known as selective perception. Both presented images can each fully utilize an available screen area. Details can be easily recognizable for the person in each case.

Die Person kann einen Fahrer des Fahrzeugs umfassen und die Überlagerung der Bilder kann den Fahrer verbessert sowohl über Ereignisse im Fahrzeug als auch außerhalb des Fahrzeugs informieren. Der Fahrer kann das Fahrzeug verbessert steuern und dabei auf Ereignisse in beiden Bereichen verbessert angemessen reagieren. Eine Sicherheit des Fahrzeugs, seiner Insassen oder seines Umfelds kann dadurch verbessert sein.The person may include a driver of the vehicle and the overlay of the images may better inform the driver of events both inside and outside the vehicle. The driver can steer the vehicle better and react appropriately to events in both areas. The safety of the vehicle, its occupants or its surroundings can be improved as a result.

Gemäß der Erfindung kann ein konventioneller, reflektierender Innenspiegel durch ein System mit einem Bildschirm und zwei Kameras ersetzt werden. Dabei können Möglichkeiten der Bildverarbeitung zwischen den Kameras und dem Bildschirm genutzt werden. Beispielsweise können jeweils Betrachtungswinkel, Helligkeiten, Kontraste oder Farbgebungen jeweils an herrschende Verhältnisse angepasst werden. Eine derartige Verarbeitung kann für jedes der Bilder einzeln erfolgen.According to the invention, a conventional reflective interior mirror can be replaced by a one-screen, two-camera system. Possibilities of image processing between the cameras and the screen can be used. For example, viewing angles, brightness levels, contrasts or colors can each be adapted to prevailing conditions. Such processing can be done for each of the images individually.

Es ist besonders bevorzugt, dass die Überlagerung gewichtet ist, wobei eine Gewichtung der beiden Bilder ungleich sein kann. So kann beispielsweise die Person selbst bestimmen, ob das erste oder das zweite Bild in der Überlagerung stärker hervortreten soll. Die Person kann diese Entscheidung insbesondere in Abhängigkeit einer Fahrsituation treffen. In einer weiter bevorzugten Ausführungsform wird die Fahrsituation des Fahrzeugs automatisch bestimmt und die Gewichtung wenigstens eines der Bilder wird auf der Basis der bestimmten Fahrsituation bestimmt. So kann der Person automatisch derjenige der Bereiche verbessert auf dem Bildschirm dargestellt werden, der für das Führen des Fahrzeugs aktuell größere Relevanz hat. Das jeweils andere Bild kann trotzdem erkennbar sein, sodass die Person selbst entscheiden kann, ob sich in diesem Bereich noch weitere relevante Ereignisse abspielen. Die Person kann einen verbesserten Überblick über die Fahrsituation erhalten.It is particularly preferred that the superimposition is weighted, whereby a weighting of the two images can be unequal. For example, the person himself can decide whether the first or the second image should stand out more in the overlay. The person can make this decision in particular as a function of a driving situation. In a further preferred embodiment, the driving situation of the vehicle is determined automatically and the weighting of at least one of the images is determined on the basis of the driving situation determined. In this way, the area that is currently more relevant to driving the vehicle can be automatically displayed to the person in an improved manner on the screen. The other image can still be recognizable, so that the person can decide for themselves whether there are other relevant events in this area play. The person can get an improved overview of the driving situation.

In einer Ausführungsform betrifft die Fahrsituation den zweiten, außerhalb des Fahrzeugs liegenden Bereich. Beispielsweise kann die Fahrsituation auf der Basis einer Position oder einer Bewegung des Fahrzeugs bezüglich einer Fahrstraße, einem umliegenden Objekt oder einem geografischen Referenzsystem bestimmt werden. Ferner kann auch die Bewegung eines Objekts im Umfeld zur Bestimmung der Fahrsituation berücksichtigt werden. Das Objekt kann insbesondere einen anderen Verkehrsteilnehmer bzw. ein anderes Fahrzeug umfassen.In one embodiment, the driving situation relates to the second area outside the vehicle. For example, the driving situation can be determined on the basis of a position or a movement of the vehicle with respect to a road, a surrounding object or a geographic reference system. Furthermore, the movement of an object in the surroundings can also be taken into account to determine the driving situation. The object can in particular include another road user or another vehicle.

Beispielsweise kann die Fahrsituation zwischen einer Autobahnfahrt, einer Überlandfahrt und einer Stadtfahrt unterscheiden. Ferner kann berücksichtigt werden, wie stark ein umliegender Verkehr ist. Auch ein Abstand eines dem Fahrzeug folgenden Fahrzeugs, insbesondere in Abhängigkeit einer Fahrgeschwindigkeit des Fahrzeugs, kann außerdem berücksichtigt werden. Allgemein kann gelten, dass das zweite Bild umso stärker gewichtet werden kann, je deutlicher eine Verkehrssituation auf eine mögliche Gefahr oder das Erfordernis einer gesteigerten Rücksicht auf einen anderen Verkehrsteilnehmer hinweist.For example, the driving situation can differentiate between driving on the freeway, driving on a country road, and driving in a city. Furthermore, it can be taken into account how heavy the surrounding traffic is. A distance of a vehicle following the vehicle, in particular as a function of a driving speed of the vehicle, can also be taken into account. In general, it can be the case that the second image can be weighted more heavily the more clearly a traffic situation indicates a possible danger or the need for increased consideration of another road user.

In einer weiteren Ausführungsform, die mit der letztgenannten Ausführungsform kombiniert werden kann, betrifft die Fahrsituation den ersten, innerhalb des Fahrzeugs liegenden Bereich. Sollte beispielsweise eine Person oder ein Gegenstand im ersten Bereich seine Position innerhalb des Fahrzeugs ändern, so kann das erste Bild stärker gewichtet werden.In a further embodiment, which can be combined with the last-mentioned embodiment, the driving situation relates to the first area inside the vehicle. If, for example, a person or an object in the first area changes its position within the vehicle, the first image can be weighted more heavily.

In einer Weiterbildung dieser Ausführungsform betrifft die Fahrsituation eine weitere Person im zweiten Bereich. Die Person kann beispielsweise ein Kleinkind, ein Kind oder eine ältere Person betreffen, die besonderer Fürsorge oder Überwachung bedürfen können. Eine Situation im zweiten Bereich kann automatisch analysiert werden und es kann bestimmt werden, ob ein Fahrer verstärkt über den zweiten Bereich informiert werden muss. Der Fahrer kann dann selbst entscheiden, ob er das Fahrzeug anhalten muss, um sich angemessen um die Person im zweiten Bereich zu kümmern.In a further development of this embodiment, the driving situation relates to another person in the second area. For example, the person may be an infant, a child, or an elderly person who may need special care or supervision. A situation in the second area can be analyzed automatically and it can be determined whether a driver needs to be informed more about the second area. The driver can then decide for himself whether he needs to stop the vehicle in order to take appropriate care of the person in the second area.

In noch einer weiteren Weiterbildung betrifft die Fahrsituation eine Kommunikation zwischen den Personen. Der Fahrer und die hinter ihm befindliche Person können sich in einem Gespräch befinden, wobei das zweite Bild stärker gewichtet sein kann, sodass der Fahrer die andere Person nicht nur hören, sondern auch verbessert sehen kann. Erstirbt das Gespräch, so kann zweite Bild wieder schwächer gewichtet werden. In einer anderen Variante kann das zweite Bild stärker gewichtet werden, wenn sich mehrere Personen unterhalten, die hinter dem Fahrer sitzen.In yet another development, the driving situation relates to communication between people. The driver and the person behind him/her can be in a conversation, with the second image being more weighted so that the driver can not only hear the other person, but also have an improved view of it. If the conversation dies down, the second image can be weighted less again. In another variant, the second image can be weighted more heavily when several people sitting behind the driver are conversing.

Bezüglich der Gewichtung von Bildern ist allgemein bevorzugt, dass eine hohe Gewichtung eines Bilds eine hohe Erkennbarkeit und eine niedrige Gewichtung eine niedrige Erkennbarkeit in der Ansicht bewirkt. Dazu können unterschiedliche Mittel bei der Überlagerung der Bilder angewendet werden.With regard to the weighting of images, it is generally preferred that a high weighting of an image causes high recognisability and a low weighting causes low recognizability in the view. To this end, different means can be used when superimposing the images.

In einer Ausführungsform kann die Gewichtung eine Opazität, eine Helligkeit, eine Reihenfolge oder einen Kontrast des Bilds in der Ansicht steuern. Die Reihenfolge kann angeben, welches der Bilder mit dem anderen überlagert wird, also welches Bild in der Überlagerung näher am Betrachter liegt und welches weiter von ihm entfernt ist. Die Opazität kann als Gegenteil oder Kehrwert einer Transparenz hoch sein, wenn das Bild undurchsichtig ist, und niedrig, wenn das Bild durchsichtig ist.In one embodiment, the weighting can control opacity, brightness, order, or contrast of the image in the view. The order may indicate which of the images is superimposed on the other, i.e. which image in the superimposition is closer to the viewer and which is farther away. Opacity, as the opposite or inverse of transparency, can be high when the image is opaque and low when the image is transparent.

Je höher die Gewichtung ist, desto größer können die Opazität, die Helligkeit oder der Kontrast sein. In einer anderen Ausführungsform kann ein Bild mit sinkender Gewichtung zunehmend auf seine Konturen reduziert werden. Mit sinkender Gewichtung können auch die Konturen zunehmend verblassen oder eine weniger auffällige Farbe annehmen.The higher the weight, the greater the opacity, brightness, or contrast can be. In another embodiment, an image may be progressively reduced to its contours as the weight decreases. As the weight decreases, the outlines may also increasingly fade or take on a less conspicuous color.

Es ist allgemein bevorzugt, dass Gewichtungen der Bilder gegenläufig gesteuert werden. Wird beispielsweise die Gewichtung des ersten Bildes gesteigert, so kann gleichzeitig die Gewichtung des zweiten Bildes verringert werden oder umgekehrt.It is generally preferred that weights of the images are controlled inversely. For example, if the weighting of the first image is increased, the weighting of the second image can be reduced at the same time, or vice versa.

Nach einem weiteren Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung zur Bereitstellung einer Ansicht für eine Person in einem Fahrzeug eine erste Abtasteinrichtung zur Abtastung eines ersten Bilds eines innerhalb des Fahrzeugs hinter der Person liegenden ersten Bereichs; eine zweite Abtasteinrichtung zur Abtastung eines zweiten Bilds eines außerhalb des Fahrzeugs hinter der Person liegenden zweiten Bereichs; eine Anzeigeeinrichtung für die Person; und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, eine Ansicht auf der Basis einer Überlagerung des ersten und des zweiten Bilds bereitzustellen.According to a further aspect of the present invention, an apparatus for providing a view for a person in a vehicle comprises a first scanning device for scanning a first image of a first area located behind the person inside the vehicle; a second scanner for scanning a second image of a second area located outside the vehicle behind the person; an indicator for the person; and a processing device. In this case, the processing device is set up to provide a view based on an overlay of the first and second images.

Die erste Abtasteinrichtung kann eine in einem Innenraum des Fahrzeugs angebrachte Kamera und die zweite Abtasteinrichtung eine außen angebrachte Kamera umfassen. Existiert eine Position innerhalb des Fahrzeugs, von der aus sowohl der erste als auch der zweite Bereich optisch abgetastet werden kann, so können beide Abtasteinrichtungen auch in einer Kamera zusammengeführt sein. Dies ist üblicherweise der Fall, wenn das Fahrzeug über eine Heckscheibe oder ein hinteres Fenster verfügt.The first scanner may include a camera mounted in an interior of the vehicle, and the second scanner may include a camera mounted outside. If there is a position within the vehicle from which both the first and the second area can be optically scanned, both scanning devices can also be combined in one camera being. This is usually the case when the vehicle has a rear windshield or rear window.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.The processing device can be set up to carry out a method described herein in whole or in part. For this purpose, the processing device can comprise a programmable microcomputer or microcontroller and the method can be present in the form of a computer program product with program code means. The computer program product can also be stored on a computer-readable data carrier. Features or advantages of the method can be transferred to the device or vice versa.

Die Verarbeitungseinrichtung kann ferner dazu eingerichtet sein, eine Fahrsituation auf der Basis von wenigstens einem der Bilder zu bestimmen; eine Gewichtung eines der Bilder auf der Basis der Fahrsituation zu bestimmen; und die Bilder gewichtet zur Ansicht zu überlagern. Zur Analyse der Bilder können bekannte Verfahren zur Situationsbestimmung verwendet werden. Insbesondere kann ein bereits an Bord des Fahrzeugs vorhandenes Subsystem, beispielsweise eine Fahrerüberwachung oder eine Müdigkeitserkennung, zur Bestimmung der Fahrsituation genutzt werden.The processing device can also be set up to determine a driving situation on the basis of at least one of the images; determine a weight of one of the images based on the driving situation; and overlay the images weighted for viewing. Known methods for determining the situation can be used to analyze the images. In particular, a subsystem already present on board the vehicle, for example driver monitoring or fatigue detection, can be used to determine the driving situation.

In einer weiter bevorzugten Ausführungsform umfasst die Vorrichtung einen internen oder externen Sensor zur Abtastung eines auf die Fahrsituation hinweisenden Parameters. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, die Fahrsituation auf der Basis des Parameters zu bestimmen.In a further preferred embodiment, the device comprises an internal or external sensor for scanning a parameter indicative of the driving situation. The processing device is set up to determine the driving situation on the basis of the parameter.

Ein interner Sensor kann einen im ersten Bereich relevanten Parameter bestimmen, und ein externer Sensor eine im zweiten Bereich relevante Größe. Beispielsweise kann der interne Sensor eines oder mehrere Mikrofone an Bord des Fahrzeugs umfassen. Weitere mögliche interne Sensoren umfassen einen Belegungssensor für einen Sitzplatz an Bord des Fahrzeugs oder einen Gurtsensor, der bestimmt, ob ein Sicherheitsgurt geschlossen ist oder nicht. Beispielhafte externe Sensoren umfassen ein Außenmikrofon, einen Wettersensor, der beispielsweise Nebel, Schnee, Regen oder Raureif bestimmen kann, einen Tageslichtsensor oder einen Abstandsmesser, beispielsweise auf der Basis eines Radar- oder LiDAR-Sensors, um einen Abstand zu einem Objekt oder einem anderen Verkehrsteilnehmer zu bestimmen.An internal sensor can determine a parameter that is relevant in the first area, and an external sensor can determine a variable that is relevant in the second area. For example, the internal sensor may include one or more microphones onboard the vehicle. Other possible internal sensors include an occupancy sensor for a seat on board the vehicle or a belt sensor that determines whether a seat belt is fastened or not. Exemplary external sensors include an external microphone, a weather sensor that can determine, for example, fog, snow, rain or hoarfrost, a daylight sensor or a distance meter, for example based on a radar or LiDAR sensor, to determine a distance to an object or other road user to determine.

Zur Bestimmung der Fahrsituation sind zahlreiche unterschiedliche Ansätze möglich, die mit unterschiedlich großen Aufwänden verbunden sein können. Je mehr Sensoren bereits am Fahrzeug verbaut sind und je fortgeschrittener eine Auswertung von Sensorwerten ist, desto leichter kann eine geltende Fahrsituation zutreffend und feingranular bestimmt werden.Numerous different approaches are possible for determining the driving situation, which can be associated with different amounts of effort. The more sensors are already installed on the vehicle and the more advanced an evaluation of sensor values is, the easier it is to determine an applicable driving situation accurately and in a fine-grained manner.

Gemäß noch eines weiteren Aspekts der vorliegenden Erfindung umfasst ein Fahrzeug eine hierin beschriebene Vorrichtung. Das Fahrzeug umfasst insbesondere ein Kraftfahrzeug und kann beispielsweise einen Personenkraftwagen, einen Lastkraftwagen oder einen Bus umfassen.According to yet another aspect of the present invention, a vehicle includes an apparatus as described herein. The vehicle includes in particular a motor vehicle and can include, for example, a passenger car, a truck or a bus.

Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:

1 ein Fahrzeug mit einer Vorrichtung;
2 eine Überlagerung zweier Bilder mit Emphase auf dem ersten Bild;
3 eine Überlagerung zweier Bilder mit Emphase auf dem zweiten Bild;
4 ein Ablaufdiagramm eines Verfahrens

illustriert.The invention will now be described in more detail with reference to the accompanying drawings, in which:

1 a vehicle with a device;
2 an overlay of two images with emphasis on the first image;
3 an overlay of two images with emphasis on the second image;
4 a flowchart of a method

illustrated.

1 zeigt ein Fahrzeug 100 mit einer Vorrichtung 105. Das Fahrzeug 100 ist beispielhaft als Personenkraftwagen ausgeführt und an Bord befinden sich ein Fahrer 110, sowie optional ein hinter ihm sitzender Passagier 115. Die Vorrichtung 105 ist dazu eingerichtet, dem Fahrer 110 einen verbesserten Blick auf Ereignisse hinter ihm bereitzustellen. 1 shows a vehicle 100 with a device 105. The vehicle 100 is designed as a passenger car, for example, and there is a driver 110 on board, and optionally a passenger 115 sitting behind him. The device 105 is set up to give the driver 110 an improved view of events provide behind him.

Die Vorrichtung 105 umfasst eine erste Kamera 120 zur Abtastung eines ersten Bereichs 125 in einem Innenraum des Fahrzeugs 100 und eine zweite Kamera 130 zur Abtastung eines zweiten Bereichs 135 in einem Umfeld außerhalb des Fahrzeugs 100. Die erste Kamera 120 kann eine oder mehrere Innenraumkameras umfassen.The device 105 includes a first camera 120 for scanning a first area 125 in an interior of the vehicle 100 and a second camera 130 for scanning a second area 135 in an environment outside of the vehicle 100. The first camera 120 can include one or more interior cameras.

In der dargestellten Ausführungsform ist die erste Kamera 120 mittig im Fahrzeug 100 angebracht; in einer anderen Ausführungsform können eine oder mehrere seitliche Kameras, insbesondere auf unterschiedlichen Seiten des Fahrzeugs 100, vorgesehen sein. Die zweite Kamera 130 ist üblicherweise in einem Heckbereich des Fahrzeugs 100 angebracht, beispielsweise oberhalb oder unterhalb eines Heckfensters oder einer Heckscheibe. Auch hier können mehrere Kameras zusammenwirken, um den zweiten Bereich 135 abzutasten.In the illustrated embodiment, the first camera 120 is mounted centrally in the vehicle 100; in another embodiment, one or more side cameras, in particular on different sides of the vehicle 100, can be provided. The second camera 130 is usually mounted in a rear area of the vehicle 100, for example above or below a rear window or a rear window. A plurality of cameras can also work together here in order to scan the second area 135 .

Die Kameras 120 und 130 sind mit einer Verarbeitungseinrichtung 140 verbunden. Ein Bildschirm 145 ist zur Bereitstellung eines Bilds an den Fahrer 110 eingerichtet. Üblicherweise ist der Bildschirm 145 in Form, Größe und Anbringungsort ähnlich einem klassischen Innenspiegel ausgebildet. The cameras 120 and 130 are connected to a processing device 140 . A screen 145 is configured to provide an image to the driver 110 . The screen 145 is usually designed similar to a classic interior mirror in terms of shape, size and location.

Insbesondere kann der Bildschirm 145 im Bereich einer oberen Kante einer Frontscheibe des Fahrzeugs 100 mittig angebracht sein.In particular, the screen 145 can be attached centrally in the area of an upper edge of a windscreen of the vehicle 100 .

Optional können noch einer oder mehrere Sensoren 150 vorgesehen sein, die jeweils dazu eingerichtet sind, einen Parameter im Innenraum, insbesondere im ersten Bereich 125, oder im Außenraum, insbesondere im zweiten Bereich 135, zu erfassen.Optionally, one or more sensors 150 can also be provided, each of which is set up to detect a parameter in the interior, in particular in the first area 125, or in the exterior, in particular in the second area 135.

Es wird vorgeschlagen, dass die Verarbeitungseinrichtung 140 dazu eingerichtet ist, Bilder, die von den Kameras 130 und 130 bereitgestellt sind, einander zu überlagern und auf dem Bildschirm 145 dem Fahrer 110 bereitzustellen. Dabei können die Bilder unterschiedlich gewichtet werden, sodass eines der Bilder gegenüber dem anderen dominanter oder besser erkennbar ist. Die Gewichtung kann insbesondere in Abhängigkeit eines Fahrzustands des Fahrzeugs 100 automatisch bestimmt werden.It is proposed that processing device 140 be set up to superimpose images provided by cameras 130 and 130 on one another and make them available to driver 110 on screen 145 . The images can be weighted differently so that one of the images is more dominant or better recognizable than the other. The weighting can be determined automatically, in particular as a function of a driving state of vehicle 100 .

2 und 3 zeigen unterschiedliche Überlagerungen eines ersten Bilds 205 und eines zweiten Bilds 210. Das erste Bild 205 zeigt einen Abschnitt des innerhalb des Fahrzeugs 100 liegenden ersten Bereichs 125 und das zweite Bild 210 einen Abschnitt des außerhalb des Fahrzeugs 100 liegenden zweiten Bereichs 135. Ein Öffnungswinkel der zweiten Kamera 130 ist größer als ein Öffnungswinkel der ersten Kamera 120, sodass das zweite Bild 210 breiter als das erste 205 ist. Die beiden Bilder 205, 210 sind einander mittig überlagert, sodass rechts und links des ersten Bilds 205 jeweils ein nicht überlagerter Abschnitt des zweiten Bilds 210 zu sehen ist. 2 and 3 show different overlays of a first image 205 and a second image 210. The first image 205 shows a portion of the first area 125 located inside the vehicle 100 and the second image 210 shows a portion of the second area 135 located outside the vehicle 100. An opening angle of the second Camera 130 is larger than an opening angle of the first camera 120, so that the second image 210 is wider than the first 205. The two images 205, 210 are superimposed on one another in the middle, so that a non-superimposed section of the second image 210 can be seen on the right and left of the first image 205.

In der Überlagerung von 2 ist das zweite Bild 210 stärker als das erste 205 gewichtet. Der Fahrer 110 kann den zweiten Bereich 135 vollständig einsehen und möglichst alle relevanten Details erkennen. Das erste Bild 205 ist relativ blass oder konturschwach dargestellt, sodass der Fahrer 110 nur einen ungefähren Eindruck vom ersten Bereich 125 erhält.In the overlay of 2 the second image 210 is weighted more heavily than the first 205. The driver 110 can view the second area 135 completely and, if possible, recognize all relevant details. The first image 205 is shown relatively pale or with weak contours, so that the driver 110 only gets an approximate impression of the first area 125 .

In 3 ist das erste Bild 205 stärker als das zweite 210 gewichtet. Kontrast und Konturen des ersten Bilds 205 sind normal stark dargestellt, während das zweite Bild 210 beispielhaft abgedunkelt ist, um das erste Bild 205 in den Vordergrund treten zu lassen. Es ist zu erkennen, dass im ersten Bild 205 Teile des zweiten Bilds 210 enthalten sind, die beispielsweise durch ein rückwärtiges Fenster des Fahrzeugs 100 direkt im ersten Bild 205 erkennbar sind. Eine Anzahl, Lage und Position von Fenstern des Fahrzeugs 100 können vorbestimmt sein, sodass das Bild der ersten Kamera 120 entsprechend maskiert werden kann, um das zweite Bild 210 in Bereichen der Fenster auf dem ersten Bild 205 direkt darzustellen. So kann der in 3 erkennbare, perspektivenrichtige Übergang des Umfelds zwischen dem ersten Bild 205 und dem zweiten Bild 210 erzielt werden.In 3 the first image 205 is weighted more heavily than the second 210. The contrast and contours of the first image 205 are represented with normal strength, while the second image 210 is darkened, for example, in order to let the first image 205 come to the fore. It can be seen that the first image 205 contains parts of the second image 210 which can be seen directly in the first image 205 through a rear window of the vehicle 100 , for example. A number, location, and position of windows of the vehicle 100 may be predetermined such that the image from the first camera 120 may be masked accordingly to directly display the second image 210 on the first image 205 in areas of the windows. This is how the in 3 recognizable, perspective-correct transition of the environment between the first image 205 and the second image 210 can be achieved.

4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Bereitstellen einer Ansicht für einen Fahrer 110 eines Fahrzeugs 100. Das Verfahren 400 kann insbesondere mittels einer Vorrichtung 105 an Bord eines Fahrzeugs 100 ausgeführt werden. 4 12 shows a flowchart of a method 400 for providing a view for a driver 110 of a vehicle 100. The method 400 can be carried out in particular by means of a device 105 on board a vehicle 100.

In einem Schritt 405 wird der erste Bereich 125 und in einem Schritt 410 der zweite Bereich 135 abgetastet. Optional kann in einem Schritt 415 ein zusätzlicher Sensor 150 abgetastet werden, der den ersten Bereich 125 oder den zweiten Bereich 135 überwachen kann.In a step 405 the first area 125 and in a step 410 the second area 135 is scanned. Optionally, an additional sensor 150 that can monitor the first area 125 or the second area 135 can be scanned in a step 415 .

In einem Schritt 420 kann eine Fahrsituation des Fahrzeugs 100 bestimmt werden. Die Fahrsituation kann insbesondere auf der Basis des von der ersten Kamera 120 abgetasteten ersten Bilds 205, des von der zweiten Kamera 130 abgetasteten zweiten Bilds 210 und/oder des vom Sensor 150 abgetasteten Parameters bestimmt werden. Ziel der Bestimmung der Fahrsituation ist, zu bestimmen, ob das erste Bild 205 oder das zweite Bild 210 gegenwärtig relevanter für den Fahrer 110 ist. Dabei stehen Sicherheitsaspekte zum Führen des Fahrzeugs 100 bevorzugt an erster Stelle. In einer Ausführungsform wird das erste Bild 205 nur dann mit erhöhter oder unverringerter Gewichtung verarbeitet, wenn eine außerhalb des Fahrzeugs 100 liegende Fahrsituation darauf hinweist, dass der Fahrer 110 das zweite Bild 210 nicht vollständig und in allen Details erkennen können muss.In a step 420, a driving situation of the vehicle 100 can be determined. The driving situation can be determined in particular on the basis of first image 205 scanned by first camera 120 , second image 210 scanned by second camera 130 and/or the parameter scanned by sensor 150 . The aim of determining the driving situation is to determine whether the first image 205 or the second image 210 is currently more relevant to the driver 110 . Safety aspects for driving the vehicle 100 are preferably the top priority. In one embodiment, the first image 205 is only processed with increased or undiminished weighting when a driving situation outside of the vehicle 100 indicates that the driver 110 does not need to be able to see the second image 210 completely and in all details.

In einem Schritt 425 werden bevorzugt Gewichtungen für die Bilder 205 und 210 bestimmt. Es ist allgemein bevorzugt, dass die Gewichtungen einander gegenläufig sind, sodass sie beispielsweise in Summe einen vorbestimmten Wert ergeben. Außerdem ist bevorzugt, dass vorbestimmte Gewichtungsverhältnisse eingestellt werden. Beispielsweise kann ein erstes Verhältnis das erste Bild 205 stärker gewichten, ein zweites Verhältnis das zweite Bild 210 und ein drittes Verhältnis beide Bilder 205, 210 gleich stark. Es ist zu beachten, dass die Bestimmung der Gewichtungen anstatt automatisch auch manuell, insbesondere durch den Fahrer 110 erfolgen kann. Der Fahrer 110 kann die automatische Gewichtung auch nur vorübergehend außer Kraft setzen oder beeinflussen. Beispielsweise kann er eine Präferenz für das erste Bild 205 oder das zweite Bild 210 voreinstellen, sodass die Gewichtungen mit der vorbestimmten Präferenz oder einer Tendenz dazu bestimmt werden.In a step 425, weights for the images 205 and 210 are preferably determined. It is generally preferred that the weightings oppose each other, so that, for example, they add up to a predetermined value. In addition, it is preferable that predetermined weight ratios are set. For example, a first ratio can weight the first image 205 more heavily, a second ratio can weight the second image 210, and a third ratio can weight both images 205, 210 equally. It should be noted that the weightings can also be determined manually, in particular by the driver 110, instead of automatically. The driver 110 can also temporarily override or affect the automatic weighting. For example, it can preset a preference for the first image 205 or the second image 210 so that the weights are determined with the predetermined preference or a tendency towards it.

Ein Übergang zwischen den Verhältnissen kann mit einer vorbestimmten Geschwindigkeit gesteuert werden. So kann ein Wechsel zwischen den Verhältnissen beispielsweise ca. 0,5 Sekunden erfordern. Ein schlagartiges Ändern der Darstellung, das den Fahrer 110 ablenken oder alarmieren könnte, kann vermieden werden. Beim Umschalten kann eine Hysterese eingesetzt werden, um zu verhindern, dass das Verhältnis übermäßig häufig geändert wird.A transition between the ratios can be controlled at a predetermined speed. For example, a change between the ratios can take about 0.5 seconds. A sudden change in the display, which could distract or alert the driver 110, can be avoided. Hysteresis can be used when switching to prevent the ratio from changing too often.

In einem Schritt 430 können die Bilder 205 und 210 überlagert werden. Dabei bestimmen die Gewichtungen der Bilder 205, 210, wie stark das jeweilig Bild 205, 210 in der Überlagerung vertreten ist. Eine geringe Gewichtung führt bevorzugt dazu, dass das jeweilige Bild 205, 210 in der Überlagerung schwach repräsentiert ist, und eine hohe Gewichtung, dass es stark repräsentiert ist. In jedem Fall werden die Bilder 205, 210 derart auf dem Bildschirm 145 dargestellt, dass sie dieselbe Bildschirmfläche einnehmen. Dadurch kann sich der Eindruck aufeinandergestapelter oder übereinander projizierter Bilder 205, 210 ergeben. Relative Positionen der Bilder 205, 210 sind bevorzugt fest vorbestimmt.In a step 430, the images 205 and 210 can be overlaid. The weightings of the images 205, 210 determine how strongly the respective image 205, 210 is represented in the overlay. A low weighting preferably means that the respective image 205, 210 is weakly represented in the overlay, and a high weighting means that it is strongly represented. In either case, the images 205, 210 are displayed on the screen 145 in such a way that they occupy the same screen area. This can give the impression of images 205, 210 being stacked on top of one another or being projected on top of one another. Relative positions of the images 205, 210 are preferably predetermined.

In einem Schritt 435 kann die Überlagerung des ersten Bilds 205 mit dem zweiten Bild 210 auf dem Bildschirm 145 dem Fahrer 110 dargestellt werden.In a step 435 the superimposition of the first image 205 with the second image 210 can be displayed to the driver 110 on the screen 145 .

Bezugszeichenlistereference list

100100: Fahrzeugvehicle
105105: Vorrichtungcontraption
110110: Fahrerdriver
115115: Passagier passenger
120120: erste Kamerafirst camera
125125: erster Bereichfirst area
130130: zweite Kamerasecond camera
135135: zweiter Bereichsecond area
140140: Verarbeitungseinrichtungprocessing facility
145145: BildschirmScreen
150150: Sensor sensor
205205: erstes Bildfirst picture
210210: zweites Bild second picture
400400: Verfahrenprocedure
405405: ersten Bereich abtastenscan the first area
410410: zweiten Bereich abtastenscan the second area
415415: zusätzlichen Sensor abtastenscan additional sensor
420420: Fahrsituation bestimmendetermine the driving situation
425425: Gewichtungen bestimmendetermine weights
430430: Bilder überlagernOverlay Images
435435: überlagertes Bild bereitstellenprovide superimposed image

Claims

Method (400) for providing a view for a person (110) in a vehicle (100), the method (400) comprising the following steps: - providing (405) a first image (205) of a first region (125) located inside the vehicle (100) behind the person (110); - Providing (410) a second image (210) of a second region (135) lying outside the vehicle (100) behind the person (110); and - providing (435) a view to the person (110) based on an overlay of the first (205) and second images (210).

Method (400) according to claim 1 , wherein the overlay is weighted and a weighting of one of the images (205, 210) is determined (425) on the basis of a driving situation of the vehicle (100).

Method (400) according to claim 2 , wherein the driving situation relates to the second area (135).

Method (400) according to claim 2 or 3 , wherein the driving situation relates to the first area (125).

Method (400) according to claim 4 , wherein the driving situation relates to another person (115) in the second area (135).

Method (400) according to claim 5 , wherein the driving situation relates to communication between the people (110, 115).

Method (400) according to any one of claims 2 until 6 , where a high weighting of an image (205, 210) causes a high recognisability, and a low weighting a low recognizability in the view.

Method (400) according to claim 7 , where the weight controls an opacity, brightness or contrast of the image (205, 210) in the view.

A method (400) according to any one of claims to 8, wherein weightings of the images (205, 210) are controlled in opposite directions.

A device (105) for providing a view to a person (110) in a vehicle (100), the device (105) comprising: - A first scanning device (120) for scanning a first image (205) of a first region (125) lying behind the person (110) inside the vehicle (100); - A second scanning device (130) for scanning a second image (210) of a second region (135) lying outside the vehicle (100) behind the person (110); - a display device (145) for the person (110); and - processing means (140) arranged to provide a view based on an overlay of the first (205) and the second image (210).

Device (105) according to claim 10 , wherein the processing device (140) is set up to determine a driving situation of the vehicle (100) on the basis of the images (205, 210); determine (425) a weight of one of the images (205, 210) based on the driving situation; and overlay (430) the images (205, 210) weighted for viewing.

Device (105) according to claim 11 , further comprising an internal or external sensor (150) for scanning a parameter indicative of the driving situation; wherein the processing device (140) is set up to determine (420) the driving situation on the basis of the parameter.

Vehicle (100) comprising a device (105) according to one of Claims 10 until 12 .