DE102018215279A1

DE102018215279A1 - Optical monitoring of a vehicle area

Info

Publication number: DE102018215279A1
Application number: DE102018215279.9A
Authority: DE
Inventors: Michael Stadler
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2018-09-07
Filing date: 2018-09-07
Publication date: 2020-03-12
Anticipated expiration: 2038-09-08
Also published as: DE102018215279B4

Abstract

Verfahren zum optischen Überwachen eines Fahrzeugbereichs, bei dem eine erste Innenkamera mit einem einen vorderen Bereich des Fahrzeugs umfassenden ersten Sichtfeld ein Überwachungsbild erzeugt, ein Steuergerät des Fahrzeugs das von der ersten Innenkamera erzeugte Überwachungsbild mit einem Referenzbild vergleicht und das Steuergerät eine vorbestimmte Maßnahme ergreift, wenn der Vergleich zwischen dem Überwachungsbild und dem Referenzbild ein vorbestimmtes Ergebnis hat.

Method for the optical monitoring of a vehicle area, in which a first interior camera with a first field of view comprising a front area of the vehicle generates a surveillance image, a control device of the vehicle compares the surveillance image generated by the first interior camera with a reference image and the control device takes a predetermined measure if the comparison between the surveillance image and the reference image has a predetermined result.

Description

Die Erfindung betrifft ein Verfahren zum optischen Überwachen eines Fahrzeugbereichs, bei dem ein Bereich eines Fahrzeugs von einer Innenkamera des Fahrzeugs abgebildet wird.The invention relates to a method for optically monitoring a vehicle area, in which an area of a vehicle is imaged by an interior camera of the vehicle.

Bei einer modernen Anzeigeeinrichtung eines Fahrzeugs wie einer Head-Up-Anzeige (Head Up Display, HUD) wird ein Bild auf eine Windschutzscheibe eines Fahrzeugs projiziert. Entsprechend hängt eine Erkennbarkeit des Bilds oder die Lesbarkeit von in dem Bild enthaltenen Informationen stark von dem Zustand der Windschutzscheibe sowie von Lichtverhältnissen in einer vorderen Umgebung des Fahrzeugs ab.In a modern display device of a vehicle, such as a head-up display (HUD), an image is projected onto a windshield of a vehicle. Accordingly, the recognizability of the image or the legibility of information contained in the image depends heavily on the condition of the windshield and on lighting conditions in a front environment of the vehicle.

Die Eignung der Windschutzscheibe als Projektionsfläche kann aufgrund von äußerem Schmutz oder äußeren Regentropfen, einem außen wischenden Scheibenwischer, blendenden Reflexionen in der vorderen Umgebung des Fahrzeugs oder einem inneren Beschlag infolge eines Kondensierens einer Luftfeuchtigkeit beeinträchtigt sein. Beispielsweise kann ein Kontrast des projizierten Bilds auf diese Weise stark verringert sein.The suitability of the windshield as a projection surface can be impaired due to external dirt or external raindrops, an external wiping wiper, dazzling reflections in the front area of the vehicle or internal fogging due to condensation of air humidity. For example, a contrast of the projected image can be greatly reduced in this way.

Die genannten Beeinträchtigungen der Windschutzscheibe können durch ein optisches Überwachen der Windschutzscheibe erkannt werden. Dazu erzeugt eine Innenkamera ein Bild der Windschutzscheibe, welches von einem Steuergerät des Fahrzeugs analysiert wird.The above-mentioned impairments of the windshield can be recognized by optically monitoring the windshield. For this purpose, an interior camera creates an image of the windshield, which is analyzed by a control unit of the vehicle.

So offenbart die EP 2 902 747 A1 ein Verfahren zum Steuern einer Head-Up-Anzeige eines Fahrzeugs. Bei dem Verfahren wird ein virtuelles Bild mit Konturen von in einer vorderen Umgebung des Fahrzeugs angeordneten Objekten von innen auf eine Windschutzscheibe projiziert, um einen Fahrer des Fahrzeugs auf die Objekte hinzuweisen. Wenn die Windschutzscheibe zum Beseitigen einer Verschmutzung oder von Regentropfen von einem Scheibenwischer des Fahrzeugs gewischt wird, wird das projizierte virtuelle Bild als Überlagerung von zu unterschiedlichen Zeitpunkten aufgenommenen virtuellen Bildern dargestellt, um in einem Wischbereich des Scheibenwischers eine schlechte Erkennbarkeit des projizierten Bilds aufgrund des Wischens zu vermeiden.So the reveals EP 2 902 747 A1 a method for controlling a head-up display of a vehicle. In the method, a virtual image with contours of objects arranged in a front environment of the vehicle is projected from the inside onto a windshield in order to inform a driver of the vehicle of the objects. When the windshield is wiped by a windshield wiper of the vehicle to remove dirt or raindrops, the projected virtual image is displayed as a superimposition of virtual images taken at different times in order to make the projected image poorly recognizable due to the wiping in a wiping region of the windshield wiper avoid.

Die sehr ähnlichen DE 10 2017 103 282 A1 und DE 10 2017 103 287 A1 offenbaren ebenfalls jeweils ein Verfahren zum Steuern einer Head-Up-Anzeige eines Fahrzeugs. Bei dem Verfahren wird ein virtuelles Bild mit Konturen von in einer vorderen Umgebung des Fahrzeugs angeordneten Objekten und Betriebsparametern des Fahrzeugs, wie beispielsweise einer Fahrgeschwindigkeit, von innen auf eine Windschutzscheibe projiziert. Wenn eine Sichtbarkeit einer Kontur oder eines Betriebsparameters aufgrund von Schmutz oder Regentropfen auf der Windschutzscheibe, einem wischenden Scheibenwischer oder einem durch die Windschutzscheibe sichtbaren Blendbereich der vorderen Umgebung verschlechtert ist, wird das virtuelle Bild durch Verschieben der Kontur und/oder des Betriebsparameters derart modifiziert, dass die Kontur und/oder der Betriebsparameter in einem gut sichtbaren Bereich der Windschutzscheibe angeordnet sind.The very similar DE 10 2017 103 282 A1 and DE 10 2017 103 287 A1 each also disclose a method of controlling a head-up display of a vehicle. In the method, a virtual image with contours of objects arranged in a front environment of the vehicle and operating parameters of the vehicle, such as a driving speed, is projected from the inside onto a windshield. If the visibility of a contour or an operating parameter is deteriorated due to dirt or raindrops on the windshield, a wiping windshield wiper or a glare area of the front environment visible through the windshield, the virtual image is modified by shifting the contour and / or the operating parameter such that the contour and / or the operating parameters are arranged in a clearly visible area of the windshield.

Ein weiteres Problem moderner Anzeigeeinrichtungen besteht darin, dass Bedienelemente oder Warnsymbole, wie beispielsweise bei einer Kombianzeige (Frei Programmierbare Kombi, FPK) oder einer berührungsempfindlichen Bedienfläche (Touch Pad), frei programmierbar sind, wodurch es insbesondere den Warnsymbolen sowohl an einer festen Position als auch an einer Rücklesbarkeit mangelt. Entsprechend wird bei einer Kombianzeige zusätzlich eine Bedienpanelanzeige verbaut, welche die Warnsymbole in einer ortsfesten Anordnung umfasst, um geforderte hohe Sicherheitsstandards zu erfüllen (z. B. ISO 26262).Another problem of modern display devices is that control elements or warning symbols, such as, for example, in the case of a combination display (freely programmable combination, FPK) or a touch-sensitive control surface (touch pad), can be freely programmed, as a result of which the warning symbols in particular are both at a fixed position and lacks readability. Accordingly, a control panel display is additionally installed in a combination display, which includes the warning symbols in a fixed arrangement in order to meet the required high safety standards (e.g. ISO 26262).

Abgesehen von modernen Anzeigeeinrichtungen weisen Fahrzeuge zunehmend Funktionssysteme auf, welche dem Fahrzeug ein autonomes Fahren ermöglichen. Diese Betriebsart moderner Fahrzeuge wird auch als pilotiertes Fahren bezeichnet. Während einer autonomen Fahrt steuert ein Funktionssystem das Fahrzeug teilweise, überwiegend oder ganz selbständig ohne ein Eingreifen eines Fahrers.Apart from modern display devices, vehicles increasingly have functional systems which enable the vehicle to drive autonomously. This operating mode of modern vehicles is also referred to as piloted driving. During an autonomous journey, a functional system controls the vehicle partially, predominantly or completely independently without the intervention of a driver.

Der Fahrer ist also von der Steuerung des Fahrzeugs teilweise, überwiegend oder vollständig entlastet und kann seine Aufmerksamkeit beispielsweise einem Unterhaltungs- oder Informationsmedium zuwenden. Wenn der Fahrer die unterhaltenden oder informativen Inhalte mittels einer 3D-Brille nutzt, ist er von dem Fahrzeug und der vorderen Umgebung des Fahrzeugs visuell vollständig getrennt.The driver is therefore partially, predominantly or completely relieved of the control of the vehicle and can turn his attention, for example, to an entertainment or information medium. When the driver uses the entertaining or informative content using 3D glasses, the driver is visually completely separated from the vehicle and the front surroundings of the vehicle.

Während der Nutzung der Unterhaltungs- oder Informationsmedien kann der Fahrer aufleuchtende Warnsymbole nicht wahrnehmen und bemerkt infolgedessen nicht, wenn ein Eingreifen in die Steuerung des Fahrzeugs erforderlich ist. Zudem kann dem Fahrer entgehen, dass die Windschutzscheibe beschlagen oder verschmutzt ist. Wenn er bemerkt, dass plötzlich ein rasches Eingreifen erforderlich ist, kann er die vordere Umgebung durch die beschlagene Windschutzscheibe nicht sehen, wodurch ein Eingreifen behindert oder unmöglich ist.During the use of the entertainment or information media, the driver cannot perceive flashing warning symbols and, as a result, does not notice when intervention in the control of the vehicle is required. In addition, the driver can miss the fact that the windshield is fogged or dirty. If he notices that sudden intervention is suddenly required, he cannot see the front area through the fogged-up windshield, making it difficult or impossible to intervene.

Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum optischen Überwachen eines Fahrzeugbereichs vorzuschlagen, welches die beschriebenen Nachteile vermeidet und die Fahrsicherheit eines autonom fahrenden Fahrzeugs erhöht.The invention is therefore based on the object of proposing an improved method for optically monitoring a vehicle area which has the disadvantages described avoids and increases the driving safety of an autonomously driving vehicle.

Ein Gegenstand der vorliegenden Erfindung ist ein Verfahren zum optischen Überwachen eines Fahrzeugbereichs, bei dem eine erste Innenkamera mit einem einen vorderen Bereich des Fahrzeugs umfassenden ersten Sichtfeld ein Überwachungsbild erzeugt. Die erste Innenkamera kann den Fahrer des Fahrzeugs von einem optischen Überwachen des Fahrzeugbereichs entlasten. Infolgedessen kann der Fahrer während einer autonomen Fahrt des Fahrzeugs eine Aufmerksamkeit vollständig auf ein Unterhaltungs- oder Informationsmedium richten.The present invention relates to a method for the optical monitoring of a vehicle area, in which a first interior camera with a first field of view comprising a front area of the vehicle generates a surveillance image. The first interior camera can relieve the driver of the vehicle from optical monitoring of the vehicle area. As a result, the driver can fully pay attention to an entertainment or information medium during an autonomous drive of the vehicle.

Erfindungsgemäß vergleicht ein Steuergerät des Fahrzeugs das von der ersten Innenkamera erzeugte Überwachungsbild mit einem Referenzbild und ergreift das Steuergerät eine vorbestimmte Maßnahme, wenn der Vergleich zwischen dem Überwachungsbild und dem Referenzbild ein vorbestimmtes Ergebnis hat. Mit anderen Worten ziehen bestimmte Abweichungen zwischen dem Überwachungsbild und dem Referenzbild geeignete Maßnahmen des Steuergeräts nach sich. Die von dem Steuergerät ergriffenen Maßnahmen erhöhen die Fahrsicherheit des Fahrzeugs während einer autonomen Fahrt, indem sie entweder den Fahrer auf einen erforderlichen Eingriff hinweisen oder die für einen Eingriff notwendigen Voraussetzungen schaffen.According to the invention, a control unit of the vehicle compares the surveillance image generated by the first interior camera with a reference image and the control unit takes a predetermined measure if the comparison between the surveillance image and the reference image has a predetermined result. In other words, certain deviations between the monitoring image and the reference image result in suitable measures by the control unit. The measures taken by the control device increase the driving safety of the vehicle during an autonomous drive, either by informing the driver of a necessary intervention or by creating the conditions necessary for an intervention.

In einer bevorzugten Ausführungsform ermittelt das Steuergerät vor dem Vergleichen jeweils einen Spektralinhalt des Überwachungsbilds und des Referenzbilds und vergleicht den ermittelten Spektralinhalt zumindest eines Segments des Überwachungsbilds und eines Segments des Referenzbilds. Wenn ein Segment der Windschutzscheibe beschlagen ist, d. h. infolge eines Kondensierens einer Luftfeuchtigkeit in einem Innenraum des Fahrzeugs zumindest teilweise von feinen Wassertröpfchen bedeckt ist, weist das korrespondierende Segment des Überwachungsbilds wegen des Beschlags einen von dem Spektralinhalt des Segments des Referenzbilds abweichenden Spektralinhalt auf. Dasselbe gilt auch für eine zumeist plötzlich auftretende Verschmutzung der Windschutzscheibe. Durch Vergleichen der beiden Spektralinhalte lässt sich also ein die Sicht behindernder Beschlag der Windschutzscheibe oder eine die Sicht behindernde Verschmutzung der Windschutzscheibe feststellen.In a preferred embodiment, the control device determines a spectral content of the monitoring image and the reference image and compares the determined spectral content of at least one segment of the monitoring image and one segment of the reference image before the comparison. If a segment of the windshield is fogged, i. H. As a result of condensation of air humidity in an interior of the vehicle being at least partially covered by fine water droplets, the corresponding segment of the surveillance image has a spectral content which deviates from the spectral content of the segment of the reference image due to the fog. The same also applies to pollution of the windshield that usually occurs suddenly. By comparing the two spectral contents, it can be ascertained that the windshield is fogged up or that the windshield is not soiled.

Wird ein Beschlag der Windschutzscheibe festgestellt, kann die von dem Steuergerät ergriffene Maßnahme darin bestehen, den Beschlag durch Steuern einer Klimaanlage des Fahrzeugs zu beseitigen. Wird eine Verschmutzung der Windschutzscheibe festgestellt, kann die von dem Steuergerät ergriffene Maßnahme darin bestehen, einen Scheibenwischer des Fahrzeugs zu aktivieren, um die Verschmutzung durch Wischen zu beseitigen.If fogging of the windshield is determined, the measure taken by the control device can be to remove the fogging by controlling an air conditioning system of the vehicle. If the windshield is found to be dirty, the measure taken by the control device can be to activate a windshield wiper of the vehicle in order to remove the soiling by wiping.

Alternativ oder zusätzlich kann das Steuergerät vor dem Vergleichen insbesondere mittels eines Kantenidentifikationsalgorithmus (Edge Detection) jeweils eine Kontur in dem Überwachungsbild und in dem Referenzbild erkennen, und die in dem Überwachungsbild erkannte Kontur mit einer korrespondierenden in dem Referenzbild erkannten Kontur vergleichen und/oder mittels eines Mustererkennungsalgorithmus (Pattern Recognition) jeweils ein Objekt in dem Überwachungsbild und in dem Referenzbild erkennen und das in dem Überwachungsbild erkannte Objekt mit dem in dem Referenzbild erkannten Objekt vergleichen. Das Überwachungsbild und das Referenzbild werden auf diese Weise hinsichtlich ihrer Struktur oder ihres Bedeutungsinhalts analysiert. Als eine überwachbare Kontur kommt beispielsweise ein Rand einer Motorhaube des Fahrzeugs in Betracht, da diese im Unterschied zu dynamisch variablen Konturen der vorderen Umgebung statisch ist. Infolgedessen kann der nachfolgende Vergleich auf einer höheren Abstraktionsebene erfolgen, wodurch die Robustheit des Verfahrens erhöht ist.As an alternative or in addition, before the comparison, in particular using an edge identification algorithm (edge detection), the control unit can recognize a contour in the monitoring image and in the reference image, and compare the contour recognized in the monitoring image with a corresponding contour recognized in the reference image and / or by means of a Pattern recognition algorithm (Pattern Recognition) each recognize an object in the surveillance image and in the reference image and compare the object recognized in the surveillance image with the object recognized in the reference image. The surveillance image and the reference image are analyzed in this way with regard to their structure or their meaning. For example, an edge of a hood of the vehicle can be considered as a contour that can be monitored, since, in contrast to dynamically variable contours of the front environment, it is static. As a result, the subsequent comparison can take place at a higher level of abstraction, which increases the robustness of the method.

In einer Ausführungsform werden das Überwachungsbild und das Referenzbild gleichzeitig erzeugt. Naturgemäß sind hier mindestens zwei Innenkameras erforderlich, die sich notwendig durch ihre Sichtfelder und Blickrichtungen unterscheiden. Diese Ausführungsform ist für Vergleiche ohne statischen Vergleichspunkt geeignet, d. h. für dynamische Fälle, in denen jedes Überwachungsbild mit einem eigenen Referenzbild verglichen werden muss, beispielsweise wenn die Sichtbarkeit der während einer Fahrt des Fahrzeugs variablen vorderen Umgebung des Fahrzeugs den wesentlichen Vergleichsmaßstab bildet. Vor dem Vergleichen ist eine perspektivische Korrektur des Überwachungsbilds oder des Referenzbilds notwendig.In one embodiment, the monitoring image and the reference image are generated simultaneously. Naturally, at least two indoor cameras are required here, which necessarily differ in their fields of view and viewing directions. This embodiment is suitable for comparisons without a static comparison point, i. H. for dynamic cases in which each surveillance image has to be compared with its own reference image, for example if the visibility of the front environment of the vehicle, which is variable during a journey of the vehicle, forms the main comparison standard. A perspective correction of the monitoring image or the reference image is necessary before the comparison.

In dieser Ausführungsform umfasst das erste Sichtfeld der ersten Innenkamera vorteilhaft eine Windschutzscheibe des Fahrzeugs und erzeugt eine zweite Innenkamera mit einem das erste Sichtfeld überlappenden zweiten Sichtfeld vorteilhaft das Referenzbild, insbesondere mit einem eine durch die Windschutzscheibe sichtbare vordere Umgebung des Fahrzeugs umfassenden zweiten Sichtfeld. Durch diese Definition und Beziehung des ersten Sichtfelds und des zweiten Sichtfelds kann die Windschutzscheibe des Fahrzeugs effektiv hinsichtlich ihrer Durchsichtigkeit überwacht werden. Wesentlich hierfür ist der Umstand, dass die Windschutzscheibe im Allgemeinen nicht gleichmäßig beschlägt, sondern segmentweise zu unterschiedlichen Zeitpunkten. Entsprechend unterscheiden sich das Überwachungsbild und das Referenzbild regelmäßig infolge eines segmentweise unterschiedlichen Beschlags.In this embodiment, the first field of view of the first inner camera advantageously comprises a windshield of the vehicle and generates a second inner camera with a second field of view overlapping the first field of view, advantageously the reference image, in particular with a second field of vision comprising the front area of the vehicle visible through the windshield. This definition and relationship of the first field of view and the second field of view enables the vehicle's windshield to be effectively monitored for transparency. What is essential for this is the fact that the windshield generally does not mist up evenly, but rather in segments at different times. Accordingly, the surveillance image and the reference image regularly differ due to a segment-by-segment different fitting.

In einer alternativen Ausführungsform erzeugt die erste Innenkamera das Referenzbild und/oder werden das Referenzbild und das Überwachungsbild zeitlich beabstandet, insbesondere das Referenzbild vor dem Überwachungsbild aufgenommen. Dies bietet den Vorteil, dass das Überwachungsbild und das Referenzbild denselben Sichtbereich abbilden und dieselbe Blickrichtung haben. Eine perspektivische Korrektur vor dem Vergleichen des Überwachungsbilds mit dem Referenzbild entfällt. In an alternative embodiment, the first interior camera generates the reference image and / or the reference image and the monitoring image are spaced apart in time, in particular the reference image is recorded before the monitoring image. This offers the advantage that the surveillance image and the reference image depict the same viewing area and have the same viewing direction. A perspective correction before comparing the surveillance image with the reference image is omitted.

In dieser Ausführungsform umfasst der erste Sichtbereich der ersten Innenkamera vorteilhaft eine Anzeigeeinrichtung des Fahrzeugs, welche insbesondere eine Head-Up-Anzeige, eine Kombianzeige, eine Bedienpanelanzeige und/oder eine berührungssensitive Bedienfläche, umfasst. Dies erlaubt der ersten Innenkamera ein optisches Überwachen der Anzeigeeinrichtung.In this embodiment, the first field of view of the first interior camera advantageously comprises a display device of the vehicle, which in particular comprises a head-up display, a combination display, a control panel display and / or a touch-sensitive control surface. This allows the first indoor camera to visually monitor the display device.

In bevorzugten Ausführungsformen zeigt während einer Initialisierung des Fahrzeugs die Anzeigeeinheit ein Bedienelement und/oder ein Warnsymbol an und erzeugt die erste Innenraumkamera das Referenzbild während der Initialisierung. Wenn die Anzeigeeinheit während der Initialisierung jedes mögliche Bedienelement und Warnsymbol der Anzeigeeinheit anzeigt, ist das Referenzbild hinsichtlich der Bedienelemente und Warnsymbole vollständig. Ein vollständiges Referenzbild ermöglicht ein Erkennen jedes einzelnen Bedienelements und Warnsymbols, so dass eine Maßnahme des Steuergeräts jedenfalls darin bestehen kann, den Fahrer zu einem Eingreifen aufzufordern.In preferred embodiments, during an initialization of the vehicle, the display unit displays an operating element and / or a warning symbol and the first interior camera generates the reference image during the initialization. If the display unit displays every possible control element and warning symbol of the display unit during the initialization, the reference image with regard to the control elements and warning symbols is complete. A complete reference image makes it possible to recognize each individual control element and warning symbol, so that a measure by the control device can in any case consist in requesting the driver to intervene.

In einer weiteren Ausführungsform erkennt das Steuergerät das Bedienelement und/oder das Warnsymbol in dem Referenzbild und in dem Überwachungsbild anhand eines vorbestimmten Musters. In dem Steuergerät sind Bilder der Bedienelemente und Warnsymbole digital gespeichert und stehen zur Verwendung durch den Mustererkennungsalgorithmus bereit.In a further embodiment, the control device recognizes the control element and / or the warning symbol in the reference image and in the monitoring image on the basis of a predetermined pattern. Images of the operating elements and warning symbols are stored digitally in the control unit and are ready for use by the pattern recognition algorithm.

Bevorzugt umfasst das Vergleichen des Überwachungsbilds mit dem Referenzbild ein Prüfen, ob das das Bedienelement und/oder das Warnsymbol in dem Überwachungsbild enthalten ist, insbesondere an derselben Position wie in dem Referenzbild. Mit anderen Worten bemerkt das Steuergerät anstelle des Fahrers, dass ein Eingreifen des Fahrers erforderlich ist.The comparison of the monitoring image with the reference image preferably includes checking whether the control element and / or the warning symbol is contained in the monitoring image, in particular at the same position as in the reference image. In other words, instead of the driver, the control unit notices that driver intervention is required.

Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird unter Bezugnahme auf die Zeichnungen weiter beschrieben. Es zeigt:

1 in einer schematischen Darstellung eine Draufsicht eines Fahrzeugs mit einer ersten Innenkamera und einer zweiten Innenkamera;
2 in einer Detaildarstellung eine vergrößerte Draufsicht des in 1 gezeigten Fahrzeugs;
3 in einer schematischen Darstellung eine Draufsicht einer Anzeigeeinheit des in 2 gezeigten Fahrzeugs.

The invention is shown schematically in the drawings using embodiments and is further described with reference to the drawings. It shows:

1 a schematic representation of a top view of a vehicle with a first interior camera and a second interior camera;
2nd a detailed view of an enlarged plan view of the in 1 shown vehicle;
3rd in a schematic representation a plan view of a display unit of the in 2nd shown vehicle.

1 zeigt in einer schematischen Darstellung eine Draufsicht eines Fahrzeugs 1 mit einer ersten Innenkamera 10. Die erste Innenkamera 10 ist benachbart zu einem Fahrzeughimmel des Fahrzeugs 1 und benachbart zu einer fahrerseitigen B-Säule des Fahrzeugs 1 angeordnet und hat ein erstes Sichtfeld 11, welches einen vorderen Bereich und eine Windschutzscheibe des Fahrzeugs 1 umfasst. Die erste Innenkamera 10 ist ausgebildet, ein Überwachungsbild 12 des in dem ersten Sichtfeld 11 angeordneten vorderen Bereichs und der Windschutzscheibe des Fahrzeugs 1 zu erzeugen. 1 shows a schematic representation of a top view of a vehicle 1 with a first indoor camera 10th . The first indoor camera 10th is adjacent to a vehicle headlining of the vehicle 1 and adjacent to a driver's B-pillar of the vehicle 1 arranged and has a first field of view 11 , which has a front area and a windshield of the vehicle 1 includes. The first indoor camera 10th is trained to be a surveillance image 12th of that in the first field of view 11 arranged front area and the windshield of the vehicle 1 to create.

Alternativ kann eine erste Innenkamera 10a des Fahrzeugs 1 benachbart zu dem Fahrzeughimmel zwischen der fahrerseitigen und einer beifahrerseitigen B-Säule des Fahrzeugs 1 mittig angeordnet sein und ein erstes Sichtfeld 11 a haben. Die erste Innenkamera 10a ist ausgebildet, ein Überwachungsbild 12a des in dem ersten Sichtfeld 11 a angeordneten vorderen Bereichs und der Windschutzscheibe des Fahrzeugs 1 zu erzeugen. Nur zur Verdeutlichung sind die alternative erste Innenkamera 10a mit dem alternativen ersten Sichtfeld 11a gemeinsam mit der ersten Innenkamera 10 und ihrem ersten Sichtfeld 11 in der 1 abgebildet.Alternatively, a first indoor camera 10a of the vehicle 1 adjacent to the vehicle headlining between the driver-side and a passenger-side B-pillar of the vehicle 1 be centered and have a first field of view 11 have a. The first indoor camera 10a is trained to be a surveillance image 12a of that in the first field of view 11 a arranged front area and the windshield of the vehicle 1 to create. The alternative first indoor camera is only for illustration purposes 10a with the alternative first field of view 11a together with the first indoor camera 10th and their first field of vision 11 in the 1 pictured.

Ferner umfasst das Fahrzeug 1 eine zweite Innenkamera 20, die benachbart zu dem Fahrzeughimmel unmittelbar hinter der Windschutzscheibe des Fahrzeugs 1 mittig zwischen einer fahrerseitigen und einer beifahrerseitigen A-Säule des Fahrzeugs 1 angeordnet ist und ein zweites Sichtfeld 21 hat, das mit dem ersten Sichtfeld 11 überlappt. Das zweite Sichtfeld 21 umfasst eine durch die Windschutzscheibe des Fahrzeugs 1 sichtbare vordere Umgebung des Fahrzeugs 1. Die zweite Innenkamera 20 ist ausgebildet, ein Referenzbild der in dem zweiten Sichtfeld 21 angeordneten vorderen Umgebung des Fahrzeugs 1 zu erzeugen.The vehicle also includes 1 a second indoor camera 20th that are adjacent to the vehicle headlining just behind the vehicle's windshield 1 centered between a driver-side and a passenger-side A-pillar of the vehicle 1 is arranged and a second field of view 21 has that with the first field of view 11 overlaps. The second field of vision 21 includes one through the windshield of the vehicle 1 visible front of the vehicle 1 . The second indoor camera 20th is designed to be a reference image in the second field of view 21 arranged front environment of the vehicle 1 to create.

2 zeigt in einer Detaildarstellung eine vergrößerte Draufsicht des in 1 gezeigten Fahrzeugs 1. Das Fahrzeug 1 umfasst eine Kombianzeige 31, eine Bedienpanelanzeige 32 (siehe 3), eine Head-Up-Anzeige 34 und eine berührungsempfindliche Bedienfläche 35, wobei der erste Sichtbereich 11, 11a der ersten Innenkamera 10, 10a die Kombianzeige 31, die Bedienpanelanzeige 32, die Head-Up-Anzeige 34 und die berührungssensitive Bedienfläche 35 umfasst. 2nd shows a detailed view of an enlarged plan view of the in 1 shown vehicle 1 . The vehicle 1 includes a combination display 31 , a control panel display 32 (please refer 3rd ), a head-up ad 34 and a touch-sensitive control surface 35 , the first field of view 11 , 11a the first indoor camera 10th , 10a the combination display 31 , the control panel display 32 who are head-up display 34 and the touch-sensitive control surface 35 includes.

Ferner umfasst das Fahrzeug 1 ein Steuergerät 40, welches mit der ersten Innenkamera 10, 10a, der zweiten Innenkamera 20, der Kombianzeige 31, der Bedienpanelanzeige 32, der Head-Up-Anzeige 34 und der berührungsempfindlichen Bedienfläche 35 verbunden ist. Das Steuergerät 40 ist ausgebildet, einen Spektralinhalt zumindest jeweils eines Segments des Überwachungsbilds 12, 12a und des Referenzbilds zu ermitteln. Ferner ist das Steuergerät 40 ausgebildet, mittels eines Kantenidentifikationsalgorithmus und eines Mustererkennungsalgorithmus jeweils eine Kontur oder ein Objekt in dem Überwachungsbild 12, 12a und in dem Referenzbild zu erkennen.The vehicle also includes 1 a control unit 40 , which with the first indoor camera 10th , 10a , the second indoor camera 20th , the combination display 31 , the control panel display 32 , the head-up ad 34 and the touch-sensitive control surface 35 connected is. The control unit 40 is designed to have a spectral content of at least one segment of the monitoring image 12th , 12a and the reference image. Furthermore, the control unit 40 formed, in each case a contour or an object in the monitoring image by means of an edge identification algorithm and a pattern recognition algorithm 12th , 12a and recognizable in the reference image.

3 zeigt in einer schematischen Darstellung eine Draufsicht einer Anzeigeeinheit 30 des in 2 gezeigten Fahrzeugs 1. Die Anzeigeeinheit 30 umfasst die Kombianzeige 31, die Bedienpanelanzeige 32 sowie die nicht dargestellte Head-Up-Anzeige 34 und die hier nicht dargestellte berührungssensitive Bedienfläche 35. Die Bedienpanelanzeige 32 umfasst eine Mehrzahl von Warnsymbolen 33. 3rd shows a schematic representation of a top view of a display unit 30th of in 2nd shown vehicle 1 . The display unit 30th includes the combination display 31 , the control panel display 32 and the head-up display, not shown 34 and the touch-sensitive control surface, not shown here 35 . The control panel display 32 includes a plurality of warning symbols 33 .

Während des Betriebs des Fahrzeugs 1, beispielsweise einer autonomen Fahrt des Fahrzeugs 1, wird der vordere Bereich des Fahrzeugs 1 kontinuierlich optisch überwacht. Die erste Innenkamera 10, 10a erzeugt fortlaufend ein Überwachungsbild 12, 12a, welches entsprechend ihrem Sichtfeld 11, 11a den vorderen Bereich und die Windschutzscheibe des Fahrzeugs 1 umfasst.During vehicle operation 1 , for example an autonomous drive of the vehicle 1 , the front area of the vehicle 1 continuously monitored optically. The first indoor camera 10th , 10a continuously generates a surveillance image 12th , 12a which according to your field of vision 11 , 11a the front area and the windshield of the vehicle 1 includes.

Das Steuergerät 40 des Fahrzeugs 1 vergleicht das von der ersten Innenkamera 10, 10a erzeugte Überwachungsbild 12, 12a mit einem Referenzbild und ergreift eine vorbestimmte Maßnahme, wenn der Vergleich zwischen dem Überwachungsbild 12, 12a und dem Referenzbild ein vorbestimmtes Ergebnis hat.The control unit 40 of the vehicle 1 compares that from the first indoor camera 10th , 10a generated surveillance image 12th , 12a with a reference image and takes a predetermined action when comparing the surveillance image 12th , 12a and the reference image has a predetermined result.

Vor dem Vergleichen ermittelt das Steuergerät 40 jeweils einen Spektralinhalt des Überwachungsbilds 12, 12a und des Referenzbilds und vergleicht dann den ermittelten Spektralinhalt zumindest eines Segments des Überwachungsbilds 12, 12a mit dem Spektralinhalt eines Segments des Referenzbilds.The control unit determines before the comparison 40 each have a spectral content of the surveillance image 12th , 12a and the reference image and then compares the determined spectral content of at least one segment of the surveillance image 12th , 12a with the spectral content of a segment of the reference image.

Zudem erkennt das Steuergerät 40 vor dem Vergleichen mittels des Kantenidentifikationsalgorithmus jeweils eine Kontur in dem Überwachungsbild 12, 12a und in dem Referenzbild und vergleicht dann die in dem Überwachungsbild 12, 12a erkannte Kontur mit einer korrespondierenden in dem Referenzbild erkannten Kontur. Auf dieselbe Weise erkennt das Steuergerät 40 mittels des Mustererkennungsalgorithmus jeweils ein Objekt in dem Überwachungsbild 12, 12a und in dem Referenzbild und vergleicht dann das in dem Überwachungsbild 12, 12a erkannte Objekt mit dem in dem Referenzbild erkannten Objekt.The control unit also recognizes 40 Before comparing using the edge identification algorithm, one contour in each case in the monitoring image 12th , 12a and in the reference image and then compares those in the surveillance image 12th , 12a recognized contour with a corresponding contour recognized in the reference image. The control unit recognizes in the same way 40 one object in the surveillance image by means of the pattern recognition algorithm 12th , 12a and in the reference image and then compares that in the surveillance image 12th , 12a recognized object with the object recognized in the reference image.

In einer ersten Ausgestaltung des Verfahrens erzeugt die zweite Innenkamera 20 das Referenzbild und werden das Überwachungsbild 12, 12a und das Referenzbild gleichzeitig erzeugt.In a first embodiment of the method, the second interior camera generates 20th the reference image and become the surveillance image 12th , 12a and the reference image is generated simultaneously.

In einer zweiten Ausgestaltung des Verfahrens erzeugt die erste Innenkamera 10, 10a das Referenzbild und das Überwachungsbild 12, 12a. Das Referenzbild und das Überwachungsbild 12, 12a werden zeitlich beabstandet, d. h. das Referenzbild vor dem Überwachungsbild 12, 12a, erzeugt.In a second embodiment of the method, the first interior camera generates 10th , 10a the reference image and the surveillance image 12th , 12a . The reference image and the surveillance image 12th , 12a are spaced in time, ie the reference image before the surveillance image 12th , 12a , generated.

Während einer Initialisierung des Fahrzeugs 1 nach dem Einschalten bzw. Anlassen zeigt die Anzeigeeinheit jedes Bedienelement und jedes Warnsymbol 33 an. Die erste Innenraumkamera 10, 10a erzeugt das Referenzbild während der Initialisierung des Fahrzeugs 1.During an initialization of the vehicle 1 After switching on or starting, the display unit shows each control element and each warning symbol 33 on. The first indoor camera 10th , 10a generates the reference image during the initialization of the vehicle 1 .

Das Steuergerät 40 erkennt die Bedienelemente und/oder die Warnsymbole 33 in dem Referenzbild und in dem Überwachungsbild 12, 12a anhand vorbestimmter Muster.The control unit 40 recognizes the controls and / or the warning symbols 33 in the reference image and in the surveillance image 12th , 12a based on predetermined patterns.

Das Vergleichen des Überwachungsbilds 12, 12a mit dem Referenzbild 22 umfasst daher ein Prüfen, ob ein Bedienelement oder ein Warnsymbol 33 in dem Überwachungsbild 12, 12a enthalten ist, insbesondere an derselben Position wie in dem Referenzbild. Wenn das Steuergerät 40 feststellt, dass ein Bedienelement oder ein Warnsymbol 33 in dem Überwachungsbild 12, 12a enthalten ist, fordert das Steuergerät 40 den Fahrer zu einem entsprechenden Eingreifen auf.Comparing the surveillance image 12th , 12a with the reference picture 22 therefore includes checking whether an operating element or a warning symbol 33 in the surveillance image 12th , 12a is contained, in particular at the same position as in the reference image. If the control unit 40 detects a control or warning symbol 33 in the surveillance image 12th , 12a is contained, requests the control unit 40 the driver to intervene accordingly.

Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass die Fahrsicherheit des Fahrzeugs während einer autonomen Fahrt erhöht ist. Der Fahrer wird einerseits auf einen erforderlichen Eingriff hingewiesen, und andererseits werden die für den Eingriff notwendigen Voraussetzungen sichergestellt und/oder geschaffen. Ein weiterer Vorteil ist darin zu sehen, dass die erste Innenkamera und die zweite Innenkamera in dem Überlappungsbereich ihrer jeweiligen Sichtfelder eine Stereoskopie erlauben. Infolgedessen kann eine dedizierte stereoskopische Kamera entfallen, was mit einer Kostenersparnis einhergeht. Ferner ist vorteilhaft, dass das erfindungsgemäße Verfahren ein Validieren einer Head-Up-Anzeige, einer Kombianzeige oder einer berührungssensitiven Bedienfläche erlaubt.A major advantage of the method according to the invention is that the driving safety of the vehicle is increased during an autonomous drive. On the one hand, the driver is informed of a necessary intervention, and on the other hand, the conditions necessary for the intervention are ensured and / or created. Another advantage is that the first inner camera and the second inner camera allow stereoscopy in the overlap area of their respective fields of view. As a result, a dedicated stereoscopic camera can be omitted, which is associated with a cost saving. It is also advantageous that the method according to the invention allows a head-up display, a combination display or a touch-sensitive control surface to be validated.

Bezugszeichenliste Reference list

11: Fahrzeugvehicle
1010th: erste Innenkamerafirst indoor camera
10a10a: erste Innenkamerafirst indoor camera
1111: erstes Sichtfeldfirst field of view
11a11a: erstes Sichtfeldfirst field of view
1212th: ÜberwachungsbildSurveillance image
12a12a: ÜberwachungsbildSurveillance image
2020th: zweite Innenkamerasecond indoor camera
2121: zweites Sichtfeldsecond field of view
3030th: AnzeigeeinrichtungDisplay device
3131: KombianzeigeCombination display
3232: BedienpanelanzeigeControl panel display
3333: WarnsymbolWarning symbol
3434: Head-Up-AnzeigeHead-up ad
3535: Berührungssensitive BedienflächeTouch-sensitive control surface
4040: SteuergerätControl unit

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

EP 2902747 A1 [0005]
DE 102017103282 A1 [0006]
DE 102017103287 A1 [0006]

Claims

Method for the optical monitoring of a vehicle area, in which - A first interior camera (10, 10a) with a first field of view (11, 11a) comprising a front area of the vehicle (1) generates a surveillance image (12, 12a); - A control device (40) of the vehicle (1) compares the surveillance image (12, 12a) generated by the first interior camera (10) with a reference image; and - The control device (40) takes a predetermined measure if the comparison between the monitoring image (12, 12a) and the reference image has a predetermined result.

Procedure according to Claim 1 , in which the control device (40) determines a spectral content of the monitoring image (12, 12a) and the reference image and compares the determined spectral content of at least one segment of the monitoring image (12, 12a) and a segment of the reference image before the comparison.

Procedure according to one of the Claims 1 or 2nd , in which the control unit (40) recognizes a contour in the monitoring image (12, 12a) and in the reference image before the comparison, in particular by means of an edge identification algorithm, and the contour recognized in the monitoring image (12, 12a) with a corresponding in compares the contour recognized with the reference image and / or, using a pattern recognition algorithm, recognizes one object in the monitoring image (12, 12a) and one in the reference image and compares the object recognized in the monitoring image (12, 12a) with the object recognized in the reference image.

Procedure according to one of the Claims 1 to 3rd , in which the monitoring image (12, 12a) and the reference image are generated simultaneously.

Procedure according to Claim 4 , wherein the first field of view (11, 11a) of the first inner camera comprises a windshield of the vehicle (1) and a second inner camera (20) with a second field of view (21) overlapping the first field of view (11, 11a) generates the reference image, in particular with a second field of view (21) comprising a front environment of the vehicle (1) visible through the windshield.

Procedure according to one of the Claims 1 to 3rd , in which the first internal camera (10, 10a) generates the reference image and / or the reference image and the monitoring image (12, 12a) are generated at a time interval, in particular the reference image in front of the monitoring image (12, 12a).

Procedure according to Claim 6 , in which the first viewing area (11, 11a) of the first interior camera (10, 10a) comprises a display device (30) of the vehicle (1), which in particular comprises a head-up display (34), a combination display (31), a Control panel display (32) and / or a touch-sensitive control surface (35).

method Claim 7 , in which during an initialization of the vehicle (1) the display unit displays an operating element and / or a warning symbol (33) and the first interior camera (10, 10a) generates the reference image during the initialization.

Procedure according to Claim 8 , in which the control device (40) recognizes the control element and / or the warning symbol (33) in the reference image and in the monitoring image (12, 12a) on the basis of a predetermined pattern.

Procedure according to Claim 9 , in which the comparison of the monitoring image (12, 12a) with the reference image comprises checking whether the control element and / or the warning symbol (33) is contained in the monitoring image (12, 12a), in particular at the same position as in the reference image .