DE102012024319B4

DE102012024319B4 - Device, method and computer program for processing image data in a vehicle

Info

Publication number: DE102012024319B4
Application number: DE102012024319.7A
Authority: DE
Inventors: Nico Bogner; Robert Büthorn; Stefan Wappler
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2012-12-13
Filing date: 2012-12-13
Publication date: 2024-01-25
Anticipated expiration: 2032-12-14
Also published as: DE102012024319A1

Abstract

Verfahren zur Verarbeitung von Bilddaten in einem Fahrzeug, mitDetektieren (22) einer Rangiersituation des Fahrzeugs mit einer Detektionseinrichtung (12);Verarbeiten (24) der Bilddaten mit einer Bildverarbeitungseinrichtung (14);Bestimmen (26) eines Zustandswerts mit der Bildverarbeitungseinrichtung (14) basierend auf den Bilddaten; undSpeichern (28) des Zustandswertes mit der Bildverarbeitungseinrichtung (14) vor einer Detektion der Rangiersituation, wobei der Zustandswert während der Rangiersituation unverändert belassen wird und nach der Rangiersituation das Bestimmen des Zustandswertes basierend auf dem gespeicherten Zustandswert fortgesetzt wird.Method for processing image data in a vehicle, comprising detecting (22) a maneuvering situation of the vehicle with a detection device (12); processing (24) the image data with an image processing device (14); determining (26) a status value with the image processing device (14). on the image data; and storing (28) the state value with the image processing device (14) before detecting the maneuvering situation, wherein the state value is left unchanged during the maneuvering situation and after the maneuvering situation the determination of the state value is continued based on the stored state value.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Verarbeitung von Bilddaten in einem Fahrzeug nach Anspruch 1, ein Verfahren zur Verarbeitung von Bilddaten in einem Fahrzeug nach Anspruch 14 und ein Computerprogramm nach Anspruch 15.The present invention relates to a device for processing image data in a vehicle according to claim 1, a method for processing image data in a vehicle according to claim 14 and a computer program according to claim 15.

Fahrassistenzsysteme sind im Rahmen der konventionellen Technik beispielsweise durch Parkassistenten bekannt, die eine Einparkhilfe schaffen und die insbesondere bei größeren Kraftfahrzeugen (Kfz) hilfreich sein können. Darüber hinaus sind aus dem Stand der Technik Innenraumüberwachungssysteme bekannt, die beispielsweise eine Ablenkung eines Fahrers oder auch Ermüdungserscheinungen eines Fahrers detektieren sollen.Driving assistance systems are known in the context of conventional technology, for example through parking assistants, which provide parking assistance and which can be particularly helpful in larger motor vehicles (motor vehicles). In addition, interior monitoring systems are known from the prior art, which are intended to detect, for example, driver distraction or signs of driver fatigue.

Die Druckschrift DE 60 2005 005 225 T2 offenbart ein Fahrzeuganwendungs-Auswahlsystem. Das System umfasst ein Aufnahmemittel, wie z.B. eine Kamera, zum Aufnehmen eines Bilds eines Fahrzeuginsassen. Mehrere Fahrzeuganwendungs-Ausführungsmittel, wie z.B. Prozessoren mit entsprechender Software, verwenden jeweils ein aufgenommenes Bild, um dem Fahrzeuginsassen verschiedene Dienste anzubieten. Das System umfasst ein oder mehrere Sensoren zum Messen eines Zustands des gesamten Fahrzeugs oder eines Teils davon. Das System speichert in einer Tabelle, welche Fahrzeuganwendung für eine bestimmte Ausgabe des Sensors unter Verwendung eines Bilds mit einer geschätzten Qualität richtig betreibbar ist. Das System wählt dann die entsprechenden Anwendungen zur Ausführung aus, bzw. verhindert das bestimmte Anwendungen für bei bestimmten Sensorausgaben ausgeführt werden. In anderen Worten wird ein Zustand des Fahrzeugs über Sensoren erfasst und basierend auf dem Zustand des Fahrzeugs, Dienste oder Applikationen ein- oder ausgeschaltet, je nachdem, ob in einem bestimmten Zustand voraussichtlich die Dienste richtig oder fehlerfrei betrieben werden können oder nicht. Dabei kommen insbesondere ein Beschleunigungssensor, ein Geschwindigkeitssensor, ein Lenkwinkelsensor und ein Gangsensor zum Einsatz.The publication DE 60 2005 005 225 T2 discloses a vehicle application selection system. The system includes a recording means, such as a camera, for recording an image of a vehicle occupant. Multiple vehicle application execution means, such as processors with corresponding software, each use a captured image to provide various services to the vehicle occupant. The system includes one or more sensors for measuring a condition of all or part of the vehicle. The system stores in a table which vehicle application is properly operable for a particular output of the sensor using an image of an estimated quality. The system then selects the appropriate applications to run or prevents certain applications from running for certain sensor outputs. In other words, a state of the vehicle is recorded via sensors and, based on the state of the vehicle, services or applications are switched on or off, depending on whether or not the services are likely to be able to be operated correctly or error-free in a certain state. In particular, an acceleration sensor, a speed sensor, a steering angle sensor and a gear sensor are used.

Insofern können konventionelle Systeme vorsehen, dass bestimmte Anwendungen in einem Kraftfahrzeug, wie beispielsweise eine Personenidentifikation des Fahrers, nicht ausgeführt werden, wenn die Sensordaten anzeigen, dass die Bildqualität voraussichtlich nicht ausreichen wird, um ein verlässliches Ergebnis zu erzielen. In anderen Worten können beispielsweise in der oben genannten Druckschrift die Sensoren dazu verwendet werden, Erschütterungen des Fahrzeugs zu detektieren, wobei das genannte Auswahlsystem dann dazu verwendet wird, um eine Personenidentifikation, das heißt eine Gesichtserkennung, auszuschalten. Solche Steuerungs- oder Umschaltsysteme finden ihre Motivation zumeist darin, dass begrenzte Rechenressourcen, wie beispielsweise Prozessoren, in einem Kraftfahrzeug effizient ausgelastet werden sollen und insofern werden Anwendungen, die aufgrund des durch die Sensoren detektierten Zustands wahrscheinlich kein verlässliches Ergebnis liefern werden, ausgeschaltet. Nachteilig an solchen Konzepten ist, dass die Qualität solcher Anwendungen mit der Qualität der jeweiligen Momentaufnahmen steht und fällt. Wird beispielsweise eine Personenidentifikationsanwendung aktiviert, so ist diese auf die aktuellen Bilddaten angewiesen. Insofern basiert die Ermüdungserkennung auf aktuellen Daten, wird jedoch ausgeschaltet, wenn die Sensorik des Fahrzeugs anzeigt, dass aktuelle Bilddaten nicht für die Ermüdungserkennung tauglich sind.In this respect, conventional systems can provide that certain applications in a motor vehicle, such as personal identification of the driver, are not carried out if the sensor data indicate that the image quality is unlikely to be sufficient to achieve a reliable result. In other words, for example in the above-mentioned publication, the sensors can be used to detect vibrations of the vehicle, with the selection system mentioned then being used to switch off personal identification, that is to say facial recognition. Such control or switching systems are usually motivated by the fact that limited computing resources, such as processors, in a motor vehicle should be efficiently utilized and in this respect applications that are unlikely to provide a reliable result due to the state detected by the sensors are switched off. The disadvantage of such concepts is that the quality of such applications depends on the quality of the respective snapshots. For example, if a personal identification application is activated, it relies on the current image data. In this respect, fatigue detection is based on current data, but is switched off if the vehicle's sensors indicate that current image data is not suitable for fatigue detection.

Das Dokument EP 1 182 089 A2 schlägt ein Verfahren zur Warnung eines Fahrzeugführers vor, bei dem die Ausgabe von Warnungen, in Abhängigkeit von der Aufmerksamkeit des Fahrers folgt. Hierdurch wird vermieden, Warnungen vor kritischen Situationen an einen Fahrer auszugeben, die von dem Fahrer bereits erfasst wurden, sodass seine Reizschwelle gegenüber ausgegebenen Warnungen hoch bleibt und der Fahrer nicht durch überflüssige Warnungen gestört wird.The document EP 1 182 089 A2 proposes a method for warning a vehicle driver, in which the issuance of warnings follows depending on the driver's attention. This avoids issuing warnings to a driver about critical situations that have already been detected by the driver, so that his threshold for warnings remains high and the driver is not disturbed by unnecessary warnings.

Die Druckschrift DE 10 2005 030 968 A1 beschreibt, dass moderne Fahrzeuge über elektrisch verstellbare Spiegel verfügen, welche in Bezug auf den jeweiligen Fahrer statisch eingestellt werden. Eine dynamische Anpassung der Spiegeleinstellung an die jeweilige Fahrsituation würde jedoch den Komfort und die Fahrsicherheit erheblich steigern. Es wird daher ein Verfahren zur automatischen Ausrichtung wenigstens eines Spiegels bei einem Fahrzeug bereitgestellt, wobei die Blickrichtung des Fahrers des Fahrzeugs erfasst wird und aufgrund einer Auswertung der Blickrichtung eine Ausrichtung des Spiegels stattfindet. Dabei wird der Schnittpunkt der Blickrichtung mit der Spiegelebene ermittelt und die Zeitdauern, in welchen diese Schnittpunkte mit der Position des Spiegels zusammenfallen, aufintegriert. Beim Unterschreiten eines Schwellwerts für die aufintegrierten Zeitdauern erfolgt sodann eine Ausrichtung des Spiegels, wobei der Spiegel derart ausgerichtet wird, dass sich diejenige Blickrichtung, bei welcher der Schwellwert überschritten wurde, an einer vorbestimmten Position mit der Spiegelebene schneidet. Für diejenigen Blickrichtungen, welche die Spiegelebene im Bereich des Spiegels schneiden, werden die aufintegrierten Zeitdauern innerhalb eines Zeitfensters auf null zurückgesetzt.The publication DE 10 2005 030 968 A1 describes that modern vehicles have electrically adjustable mirrors, which are statically adjusted in relation to the respective driver. However, a dynamic adjustment of the mirror setting to the respective driving situation would significantly increase comfort and driving safety. A method is therefore provided for automatically aligning at least one mirror in a vehicle, wherein the direction of vision of the driver of the vehicle is detected and the mirror is aligned based on an evaluation of the direction of vision. The intersection of the viewing direction with the mirror plane is determined and the time periods in which these intersections coincide with the position of the mirror are integrated. If the value falls below a threshold value for the integrated time periods, the mirror is then aligned, with the mirror being aligned in such a way that the viewing direction at which the threshold value was exceeded intersects with the mirror plane at a predetermined position. For those viewing directions that intersect the mirror plane in the area of the mirror, the integrated time durations are reset to zero within a time window.

Das Dokument DE 10 2008 059 269 A1 offenbart Verfahren zur Verbesserung der Rundumsicht in einem Fahrzeug, wobei mit mindestens einer am Fahrzeug angebrachten Kamera mindestens ein Bild eines Winkelbereiches der Umgebung erzeugt und diese auf einer Bildanzeigeeinrichtung im Innenraum des Fahrzeuges im Blickfeld eines Fahrers angezeigt wird, wobei in Abhängigkeit von einer sensorischen Erfassung einer Kopfposition eines Fahrers ein Ausschnitt des Kamerabildes als Anzeigeinhalt extrahiert und zur Anzeige gebracht wird.The document DE 10 2008 059 269 A1 discloses methods for improving all-round visibility in a vehicle, with at least one camera attached to the vehicle generates at least one image of an angular range of the environment and this is displayed on an image display device in the interior of the vehicle in the field of vision of a driver, with a section of the camera image being extracted as display content and displayed depending on a sensory detection of a driver's head position becomes.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept für eine Verarbeitung von Bilddaten in einem Fahrzeug zu schaffen.It is therefore the object of the present invention to create an improved concept for processing image data in a vehicle.

Diese Aufgabe wird gelöst gemäß den anhängigen unabhängigen Ansprüchen.This object is solved in accordance with the appended independent claims.

Ausführungsbeispiele der vorliegenden Erfindung beruhen auf dem Kerngedanken, dass Funktionen, die beispielsweise auf den Bilddaten einer Innenraumkamera beruhen, von dem Wissen profitieren können, ob der Fahrer mit seinem Fahrzeug gerade rückwärtsfährt oder rangiert. In beiden Situationen blickt der Fahrer nicht, bzw. weniger als sonst, nach vorn. Ausführungsbeispiele basieren ferner auf dem Kerngedanken, dass Bilddaten, oder auf Bilddaten basierende Zustandswerte, zum Teil von längeren Beobachtungen abhängig sind. In anderen Worten wird ein Fahrer eines Kraftfahrzeugs, für den eine gewisse Ermüdungserscheinung schon anhand eines Zustandswertes detektiert war, durch eine Rangieraktivität beeinflusst werden.Embodiments of the present invention are based on the core idea that functions that are based, for example, on the image data of an interior camera can benefit from the knowledge of whether the driver is currently reversing or maneuvering his vehicle. In both situations, the driver does not look forward, or looks forward less than usual. Embodiments are further based on the core idea that image data, or state values based on image data, are partly dependent on longer observations. In other words, a driver of a motor vehicle for whom a certain sign of fatigue was already detected based on a status value will be influenced by a maneuvering activity.

Beispielsweise kann eine Ermüdungserscheinung, die vor dem Rangieren vorlag, durch das Rangieren abgemildert werden und der Zustandswert entsprechend angepasst werden. Insofern spielt z.B. bei der nachfolgenden Ermüdungsdetektion der Zustand vor dem Rangieren und das Rangieren selbst ebenfalls eine Rolle. Wird die Müdigkeitsdetektion nach dem Rangieren erneut gestartet, das heißt die Historie der Ermüdungserscheinungen bleibt unberücksichtigt, so kann die Ermüdungsdetektion lediglich von einem Initialwert beginnen. Ausführungsbeispiele können so beispielweise den Vorteil liefern, dass der Zustandswert für die Ermüdungsdetektion vor dem Rangierzustand gespeichert wird, so auch in Zukunft von den Zustandswerten und den Vorkommnissen oder Ereignissen der Vergangenheit profitiert werden kann. Insgesamt kann sich eine genauere Detektion ergeben. Diesbezüglich ist es eine weitere Erkenntnis, dass ein zustandsabhängiges Ein- und Ausschalten von Diensten, die auf Bilddaten basieren, Nachteile mit sich bringen kann.For example, a sign of fatigue that existed before maneuvering can be alleviated by maneuvering and the condition value can be adjusted accordingly. In this respect, for example, the state before maneuvering and the maneuvering itself also play a role in the subsequent fatigue detection. If the fatigue detection is started again after maneuvering, i.e. the history of fatigue symptoms is not taken into account, the fatigue detection can only start from an initial value. Embodiments can, for example, provide the advantage that the state value for fatigue detection is saved before the maneuvering state, so that the state values and the incidents or events of the past can also be benefited in the future. Overall, more accurate detection can result. In this regard, it is a further finding that switching services based on image data on and off depending on the status can have disadvantages.

Ausführungsbeispiele können ferner auf dem Kerngedanken beruhen, dass verschiedene Zustände oder auch Sensordaten an einem Kraftfahrzeug ausgewertet werden können, um eine Rangiersituation detektierbar zu machen. Wird eine solche Rangiersituation detektiert, so kann die Information den verschiedenen Diensten oder Anwendungen zur Verfügung gestellt werden, sodass diese sich danach richten können. Insofern können Ausführungsbeispiele der vorliegenden Erfindung den Vorteil bieten, dass auch Rangiersituationen selbst Einfluss auf verschiedene Dienste nehmen können, da diese eingeschaltet bleiben können.Embodiments can also be based on the core idea that various states or sensor data on a motor vehicle can be evaluated in order to make a maneuvering situation detectable. If such a shunting situation is detected, the information can be made available to the various services or applications so that they can adapt accordingly. In this respect, exemplary embodiments of the present invention can offer the advantage that shunting situations themselves can influence various services, since these can remain switched on.

Ausführungsbeispiele schaffen daher eine Vorrichtung zur Verarbeitung von Bilddaten in einem Fahrzeug. Die Vorrichtung umfasst dabei eine Detektionseinrichtung zur Detektion einer Rangiersituation des Fahrzeugs und eine Bildverarbeitungseinrichtung zur Verarbeitung der Bilddaten. Die Bildverarbeitungseinrichtung ist ausgebildet, um basierend auf den Bilddaten einen Zustandswert zu bestimmen, der einen Zustand des Fahrers des Fahrzeugs repräsentiert. Darüber hinaus ist die Bildverarbeitungseinrichtung ausgebildet, um den Zustandswert vor einer Detektion der Rangiersituation zu speichern.Embodiments therefore create a device for processing image data in a vehicle. The device includes a detection device for detecting a maneuvering situation of the vehicle and an image processing device for processing the image data. The image processing device is designed to determine a state value based on the image data, which represents a state of the driver of the vehicle. In addition, the image processing device is designed to store the status value before detecting the maneuvering situation.

Ausführungsbeispiele können somit den Vorteil bieten, dass der Zustandswert nach Beenden einer Rangiersituation zur Verfügung steht und zumindest einen gewissen Ausschnitt aus der Vergangenheit repräsentiert. Hinsichtlich einer Müdigkeitsdetektion kann dies bedeuten, dass diese nicht bei einem Initialwert beginnt, der beispielsweise dem ausgeruhten Zustand des Fahrers entspricht. Vielmehr kann nun berücksichtigt werden, dass der Fahrer bereits vor der Rangiersituation Müdigkeitserscheinungen zeigte, auch wenn diese noch nicht dazu führten, dass ein Müdigkeitsalarm ausgelöst wurde. Darüber hinaus kann die Rangiersituation selbst berücksichtigt werden, beispielsweise die Tatsache, dass ein Rangieren und die damit verbundenen Aktivitäten, das heißt wiederholtes Schalten, Gas geben, Kuppeln, Kopfdrehen, Spiegel beobachten usw. dazu beitragen, dass sich der Erschöpfungszustand des Fahrers zumindest kurzfristig verbessert. Gegenüber konventionellen Konzepten können Ausführungsbeispiele so den Vorteil bieten, dass diese Faktoren berücksichtigt werden und es somit zu einer effektiveren Müdigkeitserkennung kommen kann. Das Gleiche trifft auf andere Dienste wie beispielsweise Ablenkungsdetektion, Personenidentifizierung, Blickrichtungserfassung, Gesichts K 19294 rs-jn positionserfassung, Dösenerfassung usw. zu.Embodiments can therefore offer the advantage that the status value is available after a shunting situation has ended and represents at least a certain excerpt from the past. With regard to fatigue detection, this can mean that it does not start at an initial value that corresponds, for example, to the driver's rested state. Rather, it can now be taken into account that the driver was already showing signs of fatigue before the maneuvering situation, even if these did not yet result in a fatigue alarm being triggered. In addition, the maneuvering situation itself can be taken into account, for example the fact that maneuvering and the activities associated with it, i.e. repeated shifting, accelerating, clutching, turning the head, watching the mirror, etc., contribute to improving the driver's state of exhaustion, at least in the short term . Compared to conventional concepts, exemplary embodiments can offer the advantage that these factors are taken into account and thus more effective fatigue detection can occur. The same applies to other services such as distraction detection, person identification, gaze direction detection, facial position detection, doze detection, etc.

In Ausführungsbeispielen kann die Detektionseinrichtung einem Eingang der Vorrichtung zur Verarbeitung von Bilddaten entsprechen, sodass hier beispielsweise über ein Signal, das zum Beispiel binär ausgeführt sein kann, eine Rangiersituation detektiert wird. Wie die folgende Beschreibung zeigt, sind auch andere Ausführungsbeispiele denkbar, insbesondere die Verwendung von verschiedenen Sensoren inner- oder außerhalb der Detektionseinrichtung, um eine Rangiersituation zu detektieren oder festzustellen.In exemplary embodiments, the detection device can correspond to an input of the device for processing image data, so that a maneuvering situation is detected here, for example, via a signal that can be implemented in binary form, for example. Like the following description shows, other exemplary embodiments are also conceivable, in particular the use of different sensors inside or outside the detection device in order to detect or determine a maneuvering situation.

Bei dem Fahrzeug kann es sich prinzipiell um ein beliebiges Fahrzeug handeln, das zum Personentransport geeignet ist. Ein wichtiger Anwendungsfall sind Fahrzeuge, die im Straßenverkehr unterwegs sind, demnach Personenkraftwagen, Lastkraftwagen, Zweiräder, etc. In Ausführungsbeispielen kann die Bildverarbeitungseinrichtung beispielsweise als Grafikprozessor, Mikroprozessor, Signalprozessor, etc., implementiert sein, wobei entsprechende Bildverarbeitungssoftware auf der jeweiligen Komponente ausgeführt werden kann. Insofern kann die Vorrichtung zur Verarbeitung der Bilddaten des Fahrzeugs auch als Computerprogramm implementiert sein, das auf einer entsprechenden Hardware ausführbar ist. Die Detektionseinrichtung kann dabei ausgebildet sein, um beispielsweise anhand eines Registerinhaltes festzustellen, ob eine Rangiersituation vorliegt. Darüber hinaus kann die Bildverarbeitungseinrichtung einen Speicher aufweisen, in dem ein entsprechender Zustandswert vor der Detektion einer Rangiersituation gespeichert wird. Der Zustandswert kann dabei einem beliebigen Zahlenwert entsprechen, der einen Zustand des Fahrers repräsentiert, wie beispielsweise den Grad der Aufmerksamkeit, den Grad der Müdigkeit, die Gesichtsposition, die Blickrichtung, die Schulterhöhe, die Kopfposition usw.In principle, the vehicle can be any vehicle that is suitable for transporting people. An important application is vehicles that travel in road traffic, i.e. passenger cars, trucks, two-wheelers, etc. In exemplary embodiments, the image processing device can be implemented, for example, as a graphics processor, microprocessor, signal processor, etc., whereby corresponding image processing software can be executed on the respective component . In this respect, the device for processing the image data of the vehicle can also be implemented as a computer program that can be executed on appropriate hardware. The detection device can be designed to determine, for example, based on register contents, whether a maneuvering situation is present. In addition, the image processing device can have a memory in which a corresponding status value is stored before the detection of a maneuvering situation. The state value can correspond to any numerical value that represents a state of the driver, such as the level of attention, the degree of fatigue, the facial position, the direction of gaze, the shoulder height, the head position, etc.

In Ausführungsbeispielen kann die Bildverarbeitungseinrichtung ausgebildet sein, um den Zustandswert basierend auf einer Rangiersituation derart anzupassen, dass sich eine Zustandsänderung während einer Rangiersituation von einer Zustandsänderung vor der Rangiersituation unterscheidet. In anderen Worten können Ausführungsbeispiele den Vorteil bieten, dass das Vorliegen einer Rangiersituation für die angebotenen Dienste berücksichtigt wird. Insbesondere kann ein Zustandswert während einer Rangiersituation anders verändert werden, als dies außerhalb, d.h. vor oder nach, einer Rangiersituation geschieht. Beispielsweise kann die Zustandsänderung eine Kopfposition des Fahrers repräsentieren. Liegt jedoch eine Rangiersituation vor, so wird sich die Kopfposition des Fahrers wahrscheinlich erheblich ändern, da dieser aufgrund des Rangiervorganges den Kopf in verschiedene Richtungen, z. B. nach hinten, zur Seite usw. bewegen wird.In exemplary embodiments, the image processing device can be designed to adapt the state value based on a maneuvering situation such that a change in state during a maneuvering situation differs from a change in state before the maneuvering situation. In other words, exemplary embodiments can offer the advantage that the existence of a shunting situation is taken into account for the services offered. In particular, a status value can be changed differently during a shunting situation than what happens outside, i.e. before or after, a shunting situation. For example, the change in state can represent a head position of the driver. However, if there is a maneuvering situation, the driver's head position will probably change significantly because the maneuvering process causes him to turn his head in different directions, e.g. B. will move backwards, to the side, etc.

Insofern werden die aus den Bilddaten gewonnenen Zustandsänderungen während der Rangiersituation beispielsweise hinsichtlich einer Spiegelnachführung weniger ins Gewicht fallen, um zu verhindern, dass die Spiegel während der Rangiersituation zu weit oder ungünstig verstellt werden. In anderen Anwendungsbeispielen, beispielsweise bei einer Nachführung einer Außenkamera kann jedoch aus den Bilddaten und über die Kopfbewegungen des Fahrers gerade in der Rangiersituation detektiert werden, welche Bilder beispielsweise in einem Monitor angezeigt werden sollten, um den Fahrer ein korrektes Rangieren über das Monitorbild zu ermöglichen. Blickt der Fahrer beispielsweise häufig über die linke Schulter, so kann in Ausführungsbeispielen dies in einer Kameranachführung für eine Außenkamera insofern berücksichtigt werden, als dass auf dem internen Monitor die linke hintere Ecke des Fahrzeugs angezeigt werden soll.In this respect, the state changes obtained from the image data during the maneuvering situation will be less significant, for example with regard to mirror tracking, in order to prevent the mirrors from being adjusted too far or unfavorably during the maneuvering situation. In other application examples, for example when tracking an external camera, it is possible to detect from the image data and the driver's head movements, especially in the maneuvering situation, which images should be displayed on a monitor, for example, in order to enable the driver to maneuver correctly using the monitor image. For example, if the driver often looks over his left shoulder, in exemplary embodiments this can be taken into account in a camera tracking for an external camera in such a way that the left rear corner of the vehicle should be displayed on the internal monitor.

In anderen Ausführungsbeispielen ist es denkbar, dass ein geteiltes Bild auf einem solchen Monitor angezeigt wird. Insofern kann erwartet werden, dass der Fahrer anhand des Monitorbildes für das Rangiermanöver notwendige Informationen einsehen kann. Dreht der Fahrer jedoch dennoch den Kopf in eine bestimmte Richtung, so könnte gerade in dieser Situation der Zustandswert verändert werden, um diejenige Position, auf der die besondere Aufmerksamkeit des Fahrers gerade liegt, das heißt diejenige Richtung, in die sein Kopf sich bewegt, auf dem Monitor zu vergrößern. Ausführungsbeispiele können somit den Vorteil bieten, dass auch während der Rangiersituation die Anwendungen individuell an Zustandsänderungen des Fahrers angepasst werden können. Insofern kann eine höhere Effizienz solcher Anwendungen erreicht werden.In other exemplary embodiments, it is conceivable that a split image is displayed on such a monitor. In this respect, it can be expected that the driver can view the information necessary for the maneuvering maneuver using the monitor image. However, if the driver still turns his head in a certain direction, the state value could be changed in this situation in particular to reflect the position on which the driver's particular attention is currently, that is, the direction in which his head is moving to enlarge the monitor. Embodiments can therefore offer the advantage that the applications can be individually adapted to changes in the driver's status even during the maneuvering situation. In this respect, greater efficiency of such applications can be achieved.

In Ausführungsbeispielen ist die Bildverarbeitungseinrichtung ausgebildet, um den Zustandswert während der Rangiersituation unverändert zu belassen und nach dem Rangierzustand die Bestimmung des Zustandswertes basierend auf dem gespeicherten Zustandswert fortzusetzen. Dies kann ebenfalls den Vorteil bieten, dass verschiedene Dienste effizienter und mit höherer Genauigkeit ausgeführt werden können. Betrachtet man beispielsweise die Spiegelnachführung oder auch eine Gurtverstellung in einem Personenkraftwagen, so werden die Bilddaten, die während einer Rangiersituation aufgenommen werden, weniger Einfluss auf die optimale Spiegel bzw. Gurtposition haben, als diejenigen Bilddaten, die außerhalb der Rangiersituation aufgenommen werden. Dennoch ist es in Ausführungsbeispielen denkbar in der Rangiersituation, in der sich der Oberkörper des Fahrers zur Seite bewegen kann, die Gurte zu lockern, bzw. in eine Position zu bringen, die solche Bewegungen des Oberkörpers erlaubt, und nach Beenden der Rangierposition in die alte Position zurückzukehren, was mittels des gespeicherten Zustandswertes ermöglicht wird. Ausführungsbeispiele können somit eine verbesserte Adaption der verschiedenen Dienste und Systeme durch die Bilddaten und den Zustandswert ermöglichen.In exemplary embodiments, the image processing device is designed to leave the state value unchanged during the maneuvering situation and to continue determining the state value based on the stored state value after the maneuvering state. This can also provide the advantage of allowing various services to run more efficiently and with greater accuracy. If, for example, you look at mirror tracking or belt adjustment in a passenger car, the image data that is recorded during a maneuvering situation will have less influence on the optimal mirror or belt position than the image data that is recorded outside of the maneuvering situation. Nevertheless, in exemplary embodiments, it is conceivable in the maneuvering situation in which the driver's upper body can move to the side, to loosen the belts or bring them into a position that allows such movements of the upper body, and after ending the maneuvering position into the old one To return to position, which is made possible by means of the stored state value. Embodiments can thus enable improved adaptation of the various services and systems through the image data and the status value.

In weiteren Ausführungsbeispielen kann der Zustandswert einem Maß für einen geschätzten Ablenkungsgrad des Fahrers entsprechen. Die Bildverarbeitungseinrichtung kann dann ausgebildet sein, um basierend auf dem Zustandswert eine Ablenkungssituation für den Fahrer des Fahrzeugs festzustellen und einen Ablenkungsalarm auszulösen, wenn die Ablenkungssituation festgestellt wird und keine Rangiersituation vorliegt. In anderen Worten kann als Zustandswert ein Wert bestimmt werden, der ein Maß für eine geschätzte Ablenkung des Fahrers vom Verkehrsgeschehen darstellt. Dieser Zustandswert kann beispielsweise während schneller Geradeausfahrt basierend auf den Kopfbewegungen des Fahrers oder auch der Handbewegungen des Fahrers detektiert werden. Blickt der Fahrer beispielsweise oft zum Beifahrer, gestikuliert viel oder häufen sich Bedienvorgänge der Unterhaltungseinheit, so kann daraus geschlossen werden, dass der Ablenkungszustand des Fahrers hoch ist. Insofern kann ein Ablenkungsalarm ausgelöst werden, wenn der Zustandswert eine Ablenkungssituation signalisiert. Dies könnte beispielsweise durch eine Schwellenwertdetektion bewerkstelligt werden.In further exemplary embodiments, the state value can correspond to a measure of an estimated level of distraction of the driver. The image processing device can then be designed to determine a distraction situation for the driver of the vehicle based on the status value and to trigger a distraction alarm if the distraction situation is detected and there is no maneuvering situation. In other words, a value can be determined as a status value that represents a measure of an estimated distraction of the driver from the traffic situation. This state value can be detected, for example, during fast straight-ahead driving based on the driver's head movements or the driver's hand movements. For example, if the driver often looks at the front passenger, gesticulates a lot or frequently operates the entertainment unit, it can be concluded that the driver's level of distraction is high. In this respect, a distraction alarm can be triggered if the status value signals a distraction situation. This could be accomplished, for example, through threshold detection.

In anderen Worten kann beobachtet werden, ob der jeweilige Zustandswert eine Schwelle überschreitet oder auch unterschreitet, um dann einen entsprechenden Ablenkungsalarm auszulösen. Insofern können Ausführungsbeispiele den Vorteil bieten, dass die Rangiersituation auch bei einer Ablenkungsdetektion berücksichtigt wird, insofern, als dass kein Ablenkungsalarm ausgelöst wird, wenn eine Rangiersituation vorliegt. Beispielsweise kann hier berücksichtigt werden, dass während der Rangiersituation heftigere Bewegungen des Fahrers oder zumindest seines Kopfes zu erwarten sind, da er insbesondere beobachten wird, was hinter dem Fahrzeug und neben dem Fahrzeug während des Rangiervorgangs vor sich geht. Insofern können Ausführungsbeispiele den Vorteil bieten, dass Fehlalarme allgemein reduziert, in manchen Ausführungsbeispielen sogar vermieden werden können.In other words, it can be observed whether the respective status value exceeds or falls below a threshold in order to then trigger a corresponding distraction alarm. In this respect, exemplary embodiments can offer the advantage that the maneuvering situation is also taken into account during distraction detection, in that no distraction alarm is triggered if a maneuvering situation exists. For example, it can be taken into account here that during the maneuvering situation, more violent movements of the driver or at least his head are to be expected, since he will in particular observe what is going on behind the vehicle and next to the vehicle during the maneuvering process. In this respect, exemplary embodiments can offer the advantage that false alarms can generally be reduced and, in some exemplary embodiments, can even be avoided.

In weiteren Ausführungsbeispielen kann die Bildverarbeitungseinrichtung ausgebildet sein, um basierend auf den Bilddaten eine Ermüdungserkennung für den Fahrer des Fahrzeugs durchzuführen. Der Zustandswert kann dann einem Maß für einen geschätzten Ermüdungsgrad des Fahrers entsprechen. Die Bildverarbeitungseinrichtung kann dann ausgebildet sein, um den Zustandswert während der Rangiersituation derart zu verändern, dass er einem geringeren geschätzten Ermüdungsgrad des Fahrers entspricht, als dies vor der Rangiersituation der Fall war. In anderen Worten, kann die Ermüdungserkennung dann berücksichtigen, dass das Rangiermanöver vitalisierende Wirkung auf den Fahrer haben kann, da mit dem Rangiermanöver verschiedene Aktivitäten, wie bereits oben beschrieben, verbunden sind. Ausführungsbeispiele können insofern den Vorteil bieten, dass solche Aktivitäten bei der Ermüdungserkennung berücksichtigt werden und die Ermüdungserkennung somit effizienter bzw. zuverlässiger wird. Darüber hinaus bieten Ausführungsbeispiele den Vorteil, dass Ermüdungserscheinungen, die bereits vor dem Rangieren vorlagen, auch nach dem Rangieren weiter berücksichtigt werden können, da der jeweilige Zustandswert gespeichert wird und so zumindest außerhalb der Rangiersituation kontinuierlich verändert werden kann.In further exemplary embodiments, the image processing device can be designed to carry out fatigue detection for the driver of the vehicle based on the image data. The condition value can then correspond to a measure of an estimated level of fatigue of the driver. The image processing device can then be designed to change the state value during the maneuvering situation in such a way that it corresponds to a lower estimated level of fatigue of the driver than was the case before the maneuvering situation. In other words, the fatigue detection can then take into account that the maneuvering maneuver can have a revitalizing effect on the driver, since various activities are associated with the maneuvering maneuver, as already described above. Embodiments can offer the advantage that such activities are taken into account in the fatigue detection and the fatigue detection thus becomes more efficient or more reliable. In addition, exemplary embodiments offer the advantage that signs of fatigue that were already present before maneuvering can continue to be taken into account after maneuvering, since the respective status value is saved and can thus be changed continuously, at least outside of the maneuvering situation.

In weiteren Ausführungsbeispielen kann die Bildverarbeitungseinrichtung ausgebildet sein, um basierend auf den Bilddaten eine Gurt- und/oder Spiegelverstellung an dem Fahrzeug durchzuführen. Der Zustandswert kann dann einem Maß für eine geschätzte Position des Fahrers entsprechen. Die Bildverarbeitungseinrichtung kann dann ausgebildet sein, um den Zustandswert während der Rangiersituation unverändert zu belassen. In anderen Worten, kann der Zustandswert eine Position des Kopfes, eine Position der Augen, eine Position der Schulter usw. des Fahrers repräsentieren. Der Zustandswert kann somit als Grundlage für eine Gurtverstellung und oder auch eine Spiegelverstellung sein. Insofern kann bei der Detektion einer Rangiersituation ein solcher Zustandswert außer Acht gelassen werden, das heißt dieser wird dann nicht verändert. Da der Zustandswert jedoch nach Beenden der Rangiersituation wieder zur Verfügung steht, können die Spiegelnachführung und die Gurtverstellung auch basierend auf dem vor dem Rangierzustand vorgelegenen Zustandswert weiter agieren. Insofern können Ausführungsbeispiele den Vorteil bieten, dass eine Gurt- und/oder Spiegelverstellung zuverlässiger gemacht werden kann.In further exemplary embodiments, the image processing device can be designed to carry out a belt and/or mirror adjustment on the vehicle based on the image data. The state value can then correspond to a measure of an estimated position of the driver. The image processing device can then be designed to leave the status value unchanged during the maneuvering situation. In other words, the state value may represent a position of the head, a position of the eyes, a position of the shoulder, etc. of the driver. The status value can therefore serve as the basis for a belt adjustment and/or a mirror adjustment. In this respect, such a status value can be ignored when detecting a shunting situation, i.e. it is then not changed. However, since the status value is available again after the shunting situation has ended, the mirror tracking and the belt adjustment can also continue to act based on the status value that existed before the shunting situation. In this respect, exemplary embodiments can offer the advantage that belt and/or mirror adjustment can be made more reliable.

In Ausführungsbeispielen können daher Innenraumbilddaten einer Innenraumkamera des Fahrzeuges als Bilddaten zur weiteren Verarbeitung verwendet werden. Die Verwendung von Innenraumbilddaten kann insbesondere im Zusammenspiel mit der zusätzlichen Verwendung von Bilddaten einer Außenkamera zu effizienteren Anwendungen und einer effizienteren Bedienung führen, wie das bereits oben erwähnte Beispiel einer geteilten Bildschirmdarstellung basierend auf den Innenraumbilddaten, zeigt.In exemplary embodiments, interior image data from an interior camera of the vehicle can therefore be used as image data for further processing. The use of interior image data can lead to more efficient applications and more efficient operation, particularly in conjunction with the additional use of image data from an outdoor camera, as the above-mentioned example of a split screen display based on the interior image data shows.

In Ausführungsbeispielen kann die Detektionseinrichtung ausgebildet sein, um den Rangierzustand des Fahrzeugs zu detektieren, wenn sich das Fahrzeug in Rückwärtsfahrt befindet oder wenn der niedrigste Gang des Fahrzeugs eingelegt ist. In anderen Worten, kann die Detektionseinrichtung einen Gangsensor umfassen, der den eingelegten Gang detektiert. Von einer Rangiersituation kann dann ausgegangen werden, wenn entweder der Rückwärtsgang oder der niedrigste Vorwärtsgang, das heißt der erste Gang, eingelegt ist. In Ausführungsbeispielen kann die Detektionseinrichtung einen solchen Sensor umfassen, in anderen Ausführungsbeispielen kann die Detektionseinrichtung auch ausgebildet sein, um ein Signal eines solchen Sensors zu erhalten und entsprechend auszuwerten. Ausführungsbeispiele können somit den Vorteil bieten, dass eine Rangiersituation mit relativ einfachen Mitteln detektierbar ist.In exemplary embodiments, the detection device can be designed to detect the maneuvering state of the vehicle when the vehicle is in reverse or when the lowest gear of the vehicle is engaged. In other words, the detection device can include a gear sensor that detects the gear engaged. A maneuvering situation can be assumed when either reverse gear or the lowest forward gear, i.e. first gear is engaged. In exemplary embodiments, the detection device can comprise such a sensor; in other exemplary embodiments, the detection device can also be designed to receive a signal from such a sensor and to evaluate it accordingly. Embodiments can therefore offer the advantage that a maneuvering situation can be detected with relatively simple means.

In weiteren Ausführungsbeispielen kann die Detektionseinrichtung ausgebildet sein, um den Rangierzustand des Fahrzeugs zu detektieren, wenn eine Geschwindigkeit des Fahrzeugs unter einer Geschwindigkeitsschwelle liegt und/oder wenn eine Gaspedalstellung des Fahrzeugs unter einer Gaspedalschwelle liegt. In anderen Worten, kann die Fahrzeuggeschwindigkeit des Fahrzeugs ferner berücksichtigt werden, um die Rangiersituation zu detektieren. Insofern können Ausführungsbeispiele den Vorteil bieten, dass Rangiersituationen zuverlässiger detektiert werden können, da zusätzlich eine Geschwindigkeitsschwelle berücksichtigt wird, wobei bei Überschreiten einer gewissen Geschwindigkeit davon ausgegangen werden kann, dass keine Rangiersituation vorliegt. Darüber hinaus kann zusätzlich noch eine Gaspedalstellung des Fahrzeugs berücksichtigt werden, was in Ausführungsbeispielen zu einer zuverlässigeren Detektion der Rangiersituation führen kann. In anderen Worten, kann, obwohl ein kleiner Gang eingelegt ist und die Geschwindigkeitsschwelle unterschritten ist, zusätzlich noch die Gaspedalstellung berücksichtigt werden. Ausführungsbeispiele können somit von der Annahme Gebrauch machen, dass wenn die Gaspedalstellung eine gewisses Maß überschreitet, auch hier kann eine Schwellenwertdetektion verwendet werden, der Fahrer schnell beschleunigen will, und somit keine Rangiersituation vorliegt.In further exemplary embodiments, the detection device can be designed to detect the maneuvering state of the vehicle when a speed of the vehicle is below a speed threshold and/or when an accelerator pedal position of the vehicle is below an accelerator pedal threshold. In other words, the vehicle speed of the vehicle can be further taken into account to detect the maneuvering situation. In this respect, exemplary embodiments can offer the advantage that maneuvering situations can be detected more reliably, since a speed threshold is also taken into account, whereby if a certain speed is exceeded it can be assumed that there is no maneuvering situation. In addition, an accelerator pedal position of the vehicle can also be taken into account, which in exemplary embodiments can lead to more reliable detection of the maneuvering situation. In other words, even though a low gear is engaged and the speed threshold is undershot, the accelerator pedal position can also be taken into account. Embodiments can therefore make use of the assumption that if the accelerator pedal position exceeds a certain level, threshold value detection can also be used here, the driver wants to accelerate quickly, and therefore there is no maneuvering situation.

In weiteren Ausführungsbeispielen kann die Detektionseinrichtung ausgebildet sein, um die Rangiersituation des Fahrzeugs zu detektieren, wenn ein Lenkwinkel des Fahrzeuges über einer Lenkwinkelschwelle liegt. In anderen Worten können Ausführungsbeispiele von der Annahme Gebrauch machen, dass wenn ein gewisser Lenkwinkel überschritten wird, auch hier kann eine Schwellenwertdetektion zum Einsatz kommen, ein Kurvenradius gefahren werden soll, der so eng ist, dass er praktisch nur in einer Rangiersituation vorkommt und so die Rangiersituation detektieren. Ausführungsbeispiele können somit den Vorteil bieten, dass die Rangiersituation zuverlässiger detektiert werden kann.In further exemplary embodiments, the detection device can be designed to detect the maneuvering situation of the vehicle when a steering angle of the vehicle is above a steering angle threshold. In other words, exemplary embodiments can make use of the assumption that if a certain steering angle is exceeded, threshold value detection can also be used here, a curve radius should be driven that is so narrow that it practically only occurs in a maneuvering situation, and so on Detect maneuvering situation. Embodiments can therefore offer the advantage that the maneuvering situation can be detected more reliably.

In weiteren Ausführungsbeispielen kann die Detektionseinrichtung ausgebildet sein, um die Rangiersituation des Fahrzeugs zu detektieren, wenn ein Park- und/oder Rangierassistenzsystem des Fahrzeugs aktiviert ist. Insofern können Ausführungsbeispiele die Detektion einer Rangiersituation zuverlässiger gestalten, dadurch, dass die Rangiersituation detektiert wird, wenn ein Park- und/oder Rangierassistenzsystem des Fahrzeugs aktiviert wurde.In further exemplary embodiments, the detection device can be designed to detect the maneuvering situation of the vehicle when a parking and/or maneuvering assistance system of the vehicle is activated. In this respect, exemplary embodiments can make the detection of a maneuvering situation more reliable by detecting the maneuvering situation when a parking and/or maneuvering assistance system of the vehicle has been activated.

Die Detektionseinrichtung kann in weiteren Ausführungsbeispielen ausgebildet sein, um die Rangiersituation des Fahrzeugs zu detektieren, wenn eine Umweltsensorik des Fahrzeugs ein Objekt in der Nähe des Fahrzeugs anzeigt. In anderen Worten können Ausführungsbeispiele von der Annahme Gebrauch machen, dass wenn bestimmte Objekte sich unter eine gewisse Schwelle, auch hier kann eine Schwellenwertdetektion zum Einsatz kommen, annähern, das Fahrzeug sich in einer Rangiersituation befindet. Insofern können Ausführungsbeispiele auch den Vorteil bieten, dass die Rangiersituation zuverlässig auch basierend auf der Umweltsensorik des Fahrzeugs detektierbar ist.In further exemplary embodiments, the detection device can be designed to detect the maneuvering situation of the vehicle when an environmental sensor system of the vehicle indicates an object in the vicinity of the vehicle. In other words, exemplary embodiments can make use of the assumption that when certain objects approach below a certain threshold (threshold value detection can also be used here), the vehicle is in a maneuvering situation. In this respect, exemplary embodiments can also offer the advantage that the maneuvering situation can be reliably detected based on the environmental sensors of the vehicle.

In Ausführungsbeispielen können auch beliebige Kombination ein oder mehrerer der oben genannten Sensoren oder Aspekte zur Detektion der Rangiersituation herangezogen werden. In exemplary embodiments, any combination of one or more of the above-mentioned sensors or aspects can also be used to detect the maneuvering situation.

Die Bildverarbeitungseinrichtung kann in Ausführungsbeispielen ausgebildet sein, um z. B. eine Kopfposition, eine Kopfrotation, eine Augenposition und/oder ein Lidschlussverhalten eines Fahrers des Fahrzeugs auszuwerten. Insofern können Ausführungsbeispiele den Vorteil bieten, dass die Bildverarbeitungseinrichtung ein oder mehrere Zustände des Fahrers bestimmt und auswertet, um die Gesamtleistung des Systems weiter zu verbessern.The image processing device can be designed in exemplary embodiments to z. B. to evaluate a head position, a head rotation, an eye position and / or an eyelid closing behavior of a driver of the vehicle. In this respect, exemplary embodiments can offer the advantage that the image processing device determines and evaluates one or more states of the driver in order to further improve the overall performance of the system.

Ausführungsbeispiele schaffen ferner ein Verfahren zur Verarbeitung von Bilddaten in einem Fahrzeug. Das Verfahren umfasst ein Detektieren einer Rangiersituation eines Fahrzeugs und ein Verarbeiten der Bilddaten. Das Verfahren umfasst ferner ein Bestimmen eines Zustandswertes basierend auf den Bilddaten und ein Speichern des Zustandswertes vor einer Detektion der Rangiersituation.Embodiments further provide a method for processing image data in a vehicle. The method includes detecting a maneuvering situation of a vehicle and processing the image data. The method further includes determining a status value based on the image data and storing the status value before detecting the maneuvering situation.

Ausführungsbeispiele schaffen ferner ein Computerprogramm mit einem Programmcode zur Durchführung eines der oben genannten Verfahren, wenn der Programmcode auf einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente ausgeführt wird.Embodiments further provide a computer program with program code for performing one of the above-mentioned methods when the program code is executed on a computer, a processor or a programmable hardware component.

Weitere vorteilhafte Ausgestaltungen werden nachfolgend anhand von in den Zeichnungen dargestellten Ausführungsbeispielen, auf welche Ausführungsbeispiele generell jedoch nicht insgesamt beschränkt sind, näher beschrieben. Es zeigen

1 ein Ausführungsbeispiel einer Vorrichtung zur Verarbeitung von Bilddaten; und
2 ein Blockschaltbild eines Ablaufdiagramms eines Ausführungsbeispiels eines Verfahrens zur Verarbeitung von Bilddaten.

Further advantageous embodiments are described in more detail below with reference to exemplary embodiments shown in the drawings, to which exemplary embodiments are generally but not limited overall. Show it

1 an embodiment of a device for processing image data; and
2 a block diagram of a flowchart of an exemplary embodiment of a method for processing image data.

Bei der nachfolgenden Beschreibung der beigefügten Figuren, die Ausführungsbeispiele zeigen, bezeichnen gleiche Bezugszeichen, gleiche oder vergleichbare Komponenten. Ferner werden zusammenfassende Bezugszeichen für Komponenten und Objekte verwendet, die mehrfach in einem Ausführungsbeispiel oder in einer Zeichnung auftreten, jedoch hinsichtlich eines oder mehrerer Merkmale gemeinsam beschrieben werden. Komponenten oder Objekte, die mit gleichen oder zusammenfassenden Bezugszeichen beschrieben werden, können hinsichtlich einzelner, mehrerer oder aller Merkmale, beispielsweise ihrer Dimensionierungen, gleich, jedoch gegebenenfalls auch unterschiedlich ausgeführt sein, sofern sich aus der Beschreibung nicht etwas anderes explizit oder implizit ergibt.In the following description of the attached figures, which show exemplary embodiments, the same reference numbers designate the same or comparable components. Furthermore, summary reference symbols are used for components and objects that appear multiple times in an exemplary embodiment or in a drawing, but are described together with regard to one or more features. Components or objects that are described with the same or collective reference symbols can be designed to be the same with regard to individual, several or all features, for example their dimensions, but may also be designed differently, unless something else is explicitly or implicitly stated in the description.

1 zeigt ein Ausführungsbeispiel einer Vorrichtung 10 zur Verarbeitung von Bilddaten in einem Fahrzeug. Die Vorrichtung 10 umfasst eine Detektionseinrichtung 12 zur Detektion einer Rangiersituation des Fahrzeugs und einer Bildverarbeitungseinrichtung 14 zur Verarbeitung der Bilddaten. Die Bildverarbeitungseinrichtung 14 ist ausgebildet, um basierend auf den Bilddaten einen Zustandswert zu bestimmen, der einen Zustand des Fahrers des Fahrzeugs repräsentiert. Die Bildverarbeitungseinrichtung 14 ist ferner ausgebildet, um den Zustandswert vor einer Detektion der Rangiersituation zu speichern. Dies ist in dem Ausführungsbeispiel der 1 durch den Speicher 16 dargestellt, der von der Bildverarbeitungseinrichtung 14 umfasst ist. 1 shows an exemplary embodiment of a device 10 for processing image data in a vehicle. The device 10 includes a detection device 12 for detecting a maneuvering situation of the vehicle and an image processing device 14 for processing the image data. The image processing device 14 is designed to determine a state value based on the image data, which represents a state of the driver of the vehicle. The image processing device 14 is further designed to store the status value before detection of the maneuvering situation. This is in the exemplary embodiment 1 represented by the memory 16, which is included in the image processing device 14.

Das Speichern des Zustandswertes erlaubt zum einen dessen Wiederverwendung oder Weiterverwendung nachdem die Rangiersituation beendet ist, bzw. zum anderen die weitere Verarbeitung oder auch Veränderung des Zustandswertes während der Rangiersituation. Insofern kann die Bildverarbeitungseinrichtung 14 ausgebildet sein, um den Zustandswert basierend auf der Rangiersituation derart anzupassen, dass sich eine Änderung während der Rangiersituation von einer Zustandsänderung vor der Rangiersituation unterscheidet. In diesem Ausführungsbeispiel wird als Beispiel eine Ermüdungserkennung betrachtet. Während der Fahrer vor der Rangiersituation relativ still im Fahrersitz sitzt und das Fahrzeug bewegt, wird der Zustandswert, der mit größer werdenden Werten eine höhere Ermüdung des Fahrers angibt, stetig erhöht. Dabei spielen Faktoren wie beispielsweise der Lidschlag des Fahrers, die Pupillenbewegung des Fahrers usw. eine beeinflussende Rolle. Nachdem die Rangiersituation detektiert wird, wird der Zustandswert jedoch vermindert, das heißt es wird davon ausgegangen, dass sich der Fahrer durch das Rangieren zum Teil erholt. Findet nach der Rangiersituation eine Weitfahrt statt, das heißt eine Situation, in der sich der Fahrer wiederum still im Fahrersitz befindet, so wird die Müdigkeitserkennung den Zustandswert wieder erhöhen. Insofern bildet der Zustandswert die Erholungsphase der Rangiersituation in diesem Ausführungsbeispiel ab.Saving the status value allows, on the one hand, its reuse or further use after the shunting situation has ended, or, on the other hand, further processing or changing of the status value during the shunting situation. In this respect, the image processing device 14 can be designed to adapt the state value based on the maneuvering situation in such a way that a change during the maneuvering situation differs from a change in state before the maneuvering situation. In this exemplary embodiment, fatigue detection is considered as an example. While the driver sits relatively still in the driver's seat and moves the vehicle before the maneuvering situation, the status value, which indicates greater driver fatigue as the values increase, is constantly increased. Factors such as the driver's eyelid blinking, the driver's pupil movement, etc. play an influencing role. However, after the maneuvering situation is detected, the status value is reduced, i.e. it is assumed that the driver partially recovers as a result of maneuvering. If a long-distance journey takes place after the maneuvering situation, i.e. a situation in which the driver is again still in the driver's seat, the fatigue detection will increase the status value again. In this respect, the status value represents the recovery phase of the maneuvering situation in this exemplary embodiment.

In einem anderen Ausführungsbeispiel ist die Bildverarbeitungseinrichtung 14 ausgebildet, um den Zustandswert während der Rangiersituation unverändert zu belassen und nach der Rangiersituation die Bestimmung des Zustandswertes basierend auf dem gespeicherten Zustandswert fortzusetzen. In diesem Ausführungsbeispiel wird eine Spiegel- oder Gurtnachführung betrachtet. Während der normalen Fahrsituation werden Bilddaten ausgewertet, um die Position der Spiegel und den Holepunkt des Gurtes an Haltung und Größe des Fahrers anzupassen. Während der Rangiersituation ist jedoch zu erwarten, dass sich der Fahrer im Sitz stark bewegt, insbesondere den Kopf in alle Richtungen dreht und sogar den Rumpf verdreht, was Einfluss auf die Schulterhöhe und Position hat. Insofern ist in diesem Ausführungsbeispiel die Bildverarbeitungseinrichtung ausgebildet, um während der Rangiersituation den Zustandswert, auf dessen Grundlage die Spiegel und Gurte im normalen Fahrbetrieb verstellt werden, nicht zu beeinflussen.In another exemplary embodiment, the image processing device 14 is designed to leave the state value unchanged during the maneuvering situation and to continue determining the state value based on the stored state value after the maneuvering situation. In this exemplary embodiment, mirror or belt tracking is considered. During the normal driving situation, image data is evaluated in order to adapt the position of the mirrors and the hole point of the belt to the driver's posture and size. However, during the maneuvering situation, the driver is expected to move a lot in the seat, in particular turning his head in all directions and even twisting his torso, which influences shoulder height and position. In this respect, in this exemplary embodiment, the image processing device is designed so as not to influence the status value on the basis of which the mirrors and belts are adjusted during normal driving during the maneuvering situation.

In einem weiteren Ausführungsbeispiel wird eine Ablenkungsdetektion betrachtet. Der Zustandswert entspricht dann einem Maß für einen geschätzten Ablenkungsgrad des Fahrers. Die Bildverarbeitungseinrichtung 14 ist dann ausgebildet, um basierend auf dem Zustandswert eine Ablenkungssituation für den Fahrer des Fahrzeugs festzustellen. In diesem Ausführungsbeispiel wird jedoch ein Ablenkungsalarm nur ausgelöst, wenn die Ablenkungssituation festgestellt und keine Rangiersituation vorliegt. Die Detektion der Ablenkungssituation basiert hier auf Kopf, Pupillen und anderen Bewegungen während einer normalen Fahrsituation. In anderen Worten, dreht sich der Fahrer in einer normalen Fahrsituation um oder wendet über eine gewisse Zeit hinweg den Blick von der Fahrtrichtung ab, so kann ein Ablenkungsalarm ausgelöst werden. Dies kann beispielsweise durch ein optisches, akustisches oder auch haptisches Signal geschehen. Liegt jedoch eine Rangiersituation vor, so kann davon ausgegangen werden, dass, wie bereits oben beschrieben, der Fahrer solche Bewegungen ausführt und ein entsprechender Ablenkungsalarm unterdrückt wird.In a further exemplary embodiment, deflection detection is considered. The status value then corresponds to a measure of an estimated level of distraction for the driver. The image processing device 14 is then designed to determine a distraction situation for the driver of the vehicle based on the status value. In this exemplary embodiment, however, a distraction alarm is only triggered if the distraction situation is detected and there is no maneuvering situation. The detection of the distraction situation is based on head, pupils and other movements during a normal driving situation. In other words, if the driver turns around in a normal driving situation or looks away from the direction of travel for a certain period of time, a distraction alarm can be triggered. This can be done, for example, by an optical, acoustic or even haptic signal. However, if there is a maneuvering situation, it can be assumed that, as already described above, the driver carries out such movements and a corresponding distraction alarm is suppressed.

Im Ausführungsbeispiel der 1 sind die Ablenkungsdetektion, die Müdigkeitserkennung und auch die Gurt- und/oder Spiegelnachführung mit gestrichelten Linien dargestellt, da diese optional sind. In einem weiteren Ausführungsbeispiel ist die Bildverarbeitungseinrichtung 14 ausgebildet, um basierend auf den Bilddaten eine Ermüdungserkennung für den Fahrer des Fahrzeugs durchzuführen. Der Zustandswert entspricht dann einem Maß für den geschätzten Ermüdungsgrad des Fahrers. Wie bereits oben erwähnt, kann die Bildverarbeitungseinrichtung 14 ausgebildet sein, um den Zustandswert während der Rangiersituation derart zu verändern, dass er von einem geringeren geschätzten Ermüdungsgrad des Fahrers ausgeht, das heißt in Richtung eines geringeren Ermüdungsgrades verändert wird. In anderen Worten wird während der Rangiersituation der Ermüdungsgrad vermindert.In the exemplary embodiment 1 The distraction detection, the fatigue detection and also the belt and/or mirror tracking are shown with dashed lines because these are optional. In a further exemplary embodiment, the Image processing device 14 is designed to carry out fatigue detection for the driver of the vehicle based on the image data. The condition value then corresponds to a measure of the driver's estimated level of fatigue. As already mentioned above, the image processing device 14 can be designed to change the state value during the maneuvering situation in such a way that it assumes a lower estimated level of fatigue of the driver, that is to say is changed in the direction of a lower level of fatigue. In other words, the level of fatigue is reduced during the maneuvering situation.

Wie bereits oben erwähnt, kann basierend auf den Bilddaten eine Gurt- und/oder Spiegelverstellung an dem Fahrzeug durchgeführt werden. Der Zustandswert entspricht dann einem Maß für eine geschätzte Position oder eine Haltung des Fahrers. Die Bildverarbeitungseinrichtung 14 ist dann ausgebildet, um den Zustandswert während der Rangiersituation unverändert zu belassen. In den folgenden Ausführungsbeispielen wird ferner davon ausgegangen, dass es sich bei den Bilddaten um Innenraumbilddaten einer Innenraumkamera des Fahrzeugs handelt.As already mentioned above, a belt and/or mirror adjustment can be carried out on the vehicle based on the image data. The state value then corresponds to a measure of an estimated position or an attitude of the driver. The image processing device 14 is then designed to leave the status value unchanged during the maneuvering situation. In the following exemplary embodiments it is further assumed that the image data is interior image data from an interior camera of the vehicle.

Im Folgenden werden einige Merkmale oder Funktionen bzw. Sensordaten aufgezählt, die in Ausführungsbeispielen dazu verwendet werden können, um zu erkennen, ob es sich momentan um einen Rückwärtsfahrt bzw. um ein Rangieren, das heißt um eine Rangiersituation, handelt. Die Bildverarbeitungseinrichtung 14 kann dann diese Auswertung den jeweiligen Funktionen zur Verfügung stellen, die auf den Innenraumkameradaten basieren. Diese Funktionen können dann die Rangiersituation berücksichtigen, bzw. die Bildverarbeitungseinrichtung 14 selbst kann den Zustandswert entsprechend speichern, der Rangiersituation gemäß verändern, usw.Some features or functions or sensor data are listed below that can be used in exemplary embodiments to detect whether it is currently a case of reversing or maneuvering, that is, a maneuvering situation. The image processing device 14 can then make this evaluation available to the respective functions that are based on the interior camera data. These functions can then take the maneuvering situation into account, or the image processing device 14 itself can store the status value accordingly, change it according to the maneuvering situation, etc.

In einem Ausführungsbeispiel, das in der 1 ebenfalls mit einem gestrichelten Pfeil angedeutet ist, kann die Detektionseinrichtung 12 ausgebildet sein, um die Rangiersituation des Fahrzeugs zu detektieren, wenn eine Fahrgeschwindigkeit des Fahrzeugs unter einer Geschwindigkeitsschwelle liegt. In anderen Worten kann eine Schwellenwertdetektion verwendet werden, um festzustellen, dass die Geschwindigkeit des Fahrzeugs unterhalb einer Geschwindigkeitsschwelle liegt und so die Rangiersituation detektiert werden. Darüber hinaus kann, wie es ebenfalls in der 1 angedeutet ist, die Gaspedalstellung des Fahrzeugs mitberücksichtigt werden. Hier kann ebenfalls eine Schwellenwertdetektion zum Einsatz kommen, das heißt ein Ausführungsbeispiel wertet beispielsweise aus, ob die Gaspedalstellung über oder unterhalb einer Gaspedalschwelle liegt.In one embodiment, which is in the 1 is also indicated by a dashed arrow, the detection device 12 can be designed to detect the maneuvering situation of the vehicle when a driving speed of the vehicle is below a speed threshold. In other words, threshold detection can be used to determine that the speed of the vehicle is below a speed threshold and thus detect the maneuvering situation. In addition, as is also the case in the 1 indicated, the accelerator pedal position of the vehicle must also be taken into account. Threshold detection can also be used here, that is, one exemplary embodiment evaluates, for example, whether the accelerator pedal position is above or below an accelerator pedal threshold.

Insofern kann in Ausführungsbeispielen als Merkmal zur Detektion einer Rangiersituation der eingelegte Gang dienen. Beispielsweise kann, wenn der Rückwärtsgang eingelegt ist, eine Rückwärtsfahrt angenommen werden und so auf eine Rangiersituation geschlossen werden. Ist der erste Gang eingelegt, so kann beispielsweise zusätzlich die Gaspedalstellung und die Fahrzeuggeschwindigkeit ausgewertet werden, um darauf zu schließen, ob es sich um eine Rangiersituation handelt.In this respect, the engaged gear can serve as a feature for detecting a maneuvering situation in exemplary embodiments. For example, if reverse gear is engaged, reverse travel can be assumed and a maneuvering situation can thus be concluded. If first gear is engaged, the accelerator pedal position and the vehicle speed can also be evaluated to determine whether it is a maneuvering situation.

In einem weiteren Ausführungsbeispiel ist die Detektionseinrichtung 12 ausgebildet, um die Rangiersituation des Fahrzeuges zu detektieren, wenn ein Lenkwinkel des Fahrzeugs über einer Lenkwinkelschwelle liegt. In anderen Worten kann auch hier ein Schwellenwertvergleich verwendet werden, um festzustellen, ob ein gewisser Lenkwinkel überschritten wird. Dabei wird von der Annahme Gebrauch gemacht, dass große Lenkwinkel bei Rangiervorgängen vorliegen. In anderen Worten, kann als ein weiteres Merkmal zur Detektion der Rangiersituation eine Kombination aus Lenkverhalten und Fahrzeuggeschwindigkeit verwendet werden. Treten sehr große Lenkwinkel auf, während die Fahrzeuggeschwindigkeit kleiner als ein bestimmter Wert ist, so wird in diesem Ausführungsbeispiel von einer Rangiersituation ausgegangen.In a further exemplary embodiment, the detection device 12 is designed to detect the maneuvering situation of the vehicle when a steering angle of the vehicle is above a steering angle threshold. In other words, a threshold value comparison can also be used here to determine whether a certain steering angle is exceeded. The assumption is made that large steering angles are present during maneuvering operations. In other words, a combination of steering behavior and vehicle speed can be used as a further feature for detecting the maneuvering situation. If very large steering angles occur while the vehicle speed is less than a certain value, a maneuvering situation is assumed in this exemplary embodiment.

In einem weiteren Ausführungsbeispiel ist die Detektionseinrichtung 12 ausgebildet, um die Rangiersituation des Fahrzeugs zu detektieren, wenn ein Park- und/oder Rangierassistenzsystem des Fahrzeugs aktiviert ist. Dies ist in der 1 ebenfalls durch einen gestrichelten Pfeil angedeutet. In anderen Worten kann als weiteres Merkmal die Aktivierung von Rangiersystemen mit in Betracht gezogen werden. Sind Systeme wie ein Park-Lenk-Assistent (PLA) oder auch ein intelligenter Parkassistent (IPA) oder andere Rangierassistenten aktiv, so wird in diesem Ausführungsbeispiel von einer Rangiersituation ausgegangen.In a further exemplary embodiment, the detection device 12 is designed to detect the maneuvering situation of the vehicle when a parking and/or maneuvering assistance system of the vehicle is activated. This is in the 1 also indicated by a dashed arrow. In other words, the activation of maneuvering systems can be considered as a further feature. If systems such as a parking steering assistant (PLA) or an intelligent parking assistant (IPA) or other maneuvering assistants are active, this exemplary embodiment assumes a maneuvering situation.

Dabei können auch kamerabasierte Park- oder Einparkassistenten berücksichtigt werden. Diese Systeme können auf Bildern oder Bilddaten basieren, die von ein oder mehreren Kameras, die in das Fahrzeug eingebaut sind, erfasst werden. Beispielsweise kommen dabei Bilderfassungssysteme, die im Heck des Fahrzeugs integriert sind, zum Einsatz. Diese können z.B. eine Anzeige eines Bereiches hinter dem Fahrzeug auf einem Monitor oder einem Display im Cockpit des Fahrzeugs ermöglichen und so einen Rückfahrtassistenten (auch engl. „rear view“, von „zurückblicken“) bilden. In weiteren Systemen können auch mehrere Bilddaten aus mehreren Richtungen berücksichtigt werden und so eine Rundumsicht (auch engl. „surround view“ von „Rundumsicht“) oder eine virtuelle Draufsicht oder Vogelperspektive (auch engl. „top view“ von „Draufsicht“) auf das Fahrzeug ermöglichen. In Ausführungsbeispielen können ein oder mehrere dieser Systeme bei der Detektion der Rangiersituation berücksichtigt werden.Camera-based parking or parking assistants can also be taken into account. These systems can be based on images or image data captured by one or more cameras installed in the vehicle. For example, image capture systems that are integrated in the rear of the vehicle are used. These can, for example, enable an area behind the vehicle to be displayed on a monitor or a display in the cockpit of the vehicle and thus form a reversing assistant (also known as “rear view”). In other systems, several image data from several directions can also be taken into account and thus an all-round view (also English "surround view") or a virtual top view or bird's eye view (also English "top view" from "top view") onto the vehicle. In exemplary embodiments, one or more of these systems can be taken into account when detecting the maneuvering situation.

In einem weiteren Ausführungsbeispiel ist die Detektionseinrichtung 12 ausgebildet, um die Rangiersituation des Fahrzeugs zu detektieren, wenn eine Umweltsensorik des Fahrzeugs ein Objekt in der Nähe des Fahrzeugs anzeigt, wie dies in der 1 durch den gestrichelten Pfeil angedeutet ist. In anderen Worten, können durch die Umweltsensorik erkannte Objekte ein weiteres Merkmal für die Rangiersituationserkennung oder Detektion sein. In diesem Ausführungsbeispiel kann eine Rangiersituation detektiert werden, wenn die Umweltsensorik Objekte in Fahrzeugnähe erkennt und die Fahrzeuggeschwindigkeit kleiner als ein bestimmter Wert vorliegt. Auch hier kann eine Schwellenwertdetektion verwendet werden.In a further exemplary embodiment, the detection device 12 is designed to detect the maneuvering situation of the vehicle when an environmental sensor system of the vehicle indicates an object in the vicinity of the vehicle, as shown in FIG 1 is indicated by the dashed arrow. In other words, objects detected by environmental sensors can be a further feature for maneuvering situation recognition or detection. In this exemplary embodiment, a maneuvering situation can be detected if the environmental sensor system detects objects in the vicinity of the vehicle and the vehicle speed is less than a certain value. Threshold detection can also be used here.

In einem weiteren Ausführungsbeispiel ist die Bildverarbeitungseinrichtung 14 ausgebildet, um eine Kopfposition, eine Kopfrotation, eine Augenposition und/oder ein Lidschlussverhalten eines Fahrers des Fahrzeugs auszuwerten. Diese Informationen werden dann aus den Bilddaten gewonnen, wie dies in der 1 angedeutet ist.In a further exemplary embodiment, the image processing device 14 is designed to evaluate a head position, a head rotation, an eye position and/or an eyelid closing behavior of a driver of the vehicle. This information is then obtained from the image data, as described in the 1 is indicated.

Durch die oben beschriebenen Merkmale oder Aspekte, die sowohl einzeln, als auch in Kombination in Ausführungsbeispielen berücksichtigt werden können, kann heuristisch darauf geschlossen werden, ob eine Rückwärtsfahrt oder eine Rangiersituation vorliegt. Diese Information kann auch beispielsweise durch ein entsprechendes Signal, was durch ein Flag (Indikator, von engl. „Flag“ für Fahne/Flagge) oder einen binären Wert, wie beispielsweise ein Bit, implementiert werden kann, anderen Funktionen zur Verfügung gestellt werden. Diese Funktionen können auch direkt in der Bildverarbeitungseinrichtung 14 realisiert sein und auf der Innenraumkamera bzw. deren Daten beruhen. Ausführungsbeispiele können somit den Vorteil bieten, dass die betroffenen Funktionen unterscheiden können, ob es sich um eine normale Fahrsituation handelt oder um Rückwärtsfahrt bzw. Rangieren, um dann die von der Innenraumkamera gelieferten Fahrermerkmale, wie beispielsweise Kopfposition, Kopfrotation, Augenposition, Lidschlussverhalten jeweils anders auswerten zu können.Through the features or aspects described above, which can be taken into account both individually and in combination in exemplary embodiments, it can be concluded heuristically whether a reversing or a maneuvering situation is present. This information can also be made available to other functions, for example by means of a corresponding signal, which can be implemented by a flag (indicator, from English “flag” for flag/flag) or a binary value, such as a bit. These functions can also be implemented directly in the image processing device 14 and based on the interior camera or its data. Embodiments can therefore offer the advantage that the affected functions can distinguish whether it is a normal driving situation or reversing or maneuvering, in order to then evaluate the driver characteristics provided by the interior camera, such as head position, head rotation, eye position, eyelid closing behavior, differently to be able to.

Darüber hinaus ermöglicht das Speichern ein Fortsetzen der Verarbeitung basierend auf bereits erfassten Merkmalen oder Zuständen des Fahrers, nachdem eine Rangiersituation beendet wurde. Dies kann dazu führen, dass Fehlererkennungen und Fehlverhalten seitens der betroffenen Funktionen reduziert bzw. ganz vermieden werden können. Beispielsweise kann eine Funktion, die einen Ablenkungswarner oder eine Ablenkungsdetektion realisiert, die Auswertung der entsprechenden Fahrermerkmale in der Phase der Rückwärtsfahrt oder des Rangierens pausieren, um zu vermeiden, dass in dieser Phase falsche Daten zur Ermittlung der Ablenkung ausgewertet werden.In addition, saving allows processing to continue based on already recorded characteristics or states of the driver after a maneuvering situation has ended. This can lead to error detections and malfunctions on the part of the affected functions being reduced or completely avoided. For example, a function that implements a distraction warning or distraction detection can pause the evaluation of the corresponding driver characteristics in the reversing or maneuvering phase in order to avoid incorrect data being evaluated in this phase to determine the distraction.

2 zeigt ein Blockschaltbild eines Ausführungsbeispiels eines Verfahrens zur Verarbeitung von Bilddaten in einem Fahrzeug. Das Verfahren umfasst einen Schritt des Detektierens 22 einer Rangiersituation des Fahrzeugs und einen Schritt des Verarbeitens 24 der Bilddaten. Das Verfahren umfasst ferner einen Schritt des Bestimmens 26 eines Zustandswerts, basierend auf den Bilddaten und einen Schritt des Speicherns 28 des Zustandswertes vor einer Detektion der Rangiersituation. 2 shows a block diagram of an exemplary embodiment of a method for processing image data in a vehicle. The method includes a step of detecting 22 a maneuvering situation of the vehicle and a step of processing 24 the image data. The method further comprises a step of determining 26 a status value based on the image data and a step of storing 28 the status value before detection of the maneuvering situation.

Ausführungsbeispiele schaffen ferner ein Computerprogramm zur Durchführung eines der oben beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente ausgeführt wird.Embodiments further provide a computer program for performing one of the methods described above when the computer program is executed on a computer, a processor, or a programmable hardware component.

Die in der vorstehenden Beschreibung, den nachfolgenden Ansprüchen und den beigefügten Figuren offenbarten Merkmale können sowohl einzeln wie auch in beliebiger Kombination für die Verwirklichung eines Ausführungsbeispiels in ihren verschiedenen Ausgestaltungen von Bedeutung sein und implementiert werden.The features disclosed in the above description, the following claims and the attached figures can be important and implemented both individually and in any combination for the realization of an exemplary embodiment in their various configurations.

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.Although some aspects have been described in connection with a device, it is understood that these aspects also represent a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Analogously, aspects that have been described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.

Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-Ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einer programmierbaren Hardwarekomponente derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird.Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be using a digital storage medium such as a floppy disk, a DVD, a Blu-Ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard drive or other magnetic or optical memory can be carried out on which electronically readable control signals are stored, which can interact with a programmable hardware component or work together to ensure that the respective procedure is carried out.

Eine programmierbare Hardwarekomponente kann durch einen Prozessor, einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip-System (SOC = System on Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (FPGA = Field Programmable Gate Array) gebildet sein.A programmable hardware component can be constituted by a processor, a computer processor (CPU = Central Processing Unit), a graphics processor (GPU = Graphics Processing Unit), a computer, a computer system, an application-specific integrated circuit (ASIC = Application-Specific Integrated Circuit), an integrated Circuit (IC = Integrated Circuit), a one-chip system (SOC = System on Chip), a programmable logic element or a field programmable gate array with a microprocessor (FPGA = Field Programmable Gate Array).

Das digitale Speichermedium kann daher maschinen- oder computerlesbar sein. Manche Ausführungsbeispiele umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem oder einer programmierbare Hardwarekomponente derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Ein Ausführungsbeispiel ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Programm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.The digital storage medium can therefore be machine or computer readable. Some embodiments therefore include a data carrier that has electronically readable control signals that are capable of interacting with a programmable computer system or a programmable hardware component such that one of the methods described herein is carried out. An exemplary embodiment is therefore a data carrier (or a digital storage medium or a computer-readable medium) on which the program for carrying out one of the methods described herein is recorded.

Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Programm, Firmware, Computerprogramm oder Computerprogrammprodukt mit einem Programmcode oder als Daten implementiert sein, wobei der Programmcode oder die Daten dahin gehend wirksam ist bzw. sind, eines der Verfahren durchzuführen, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardwarekomponente abläuft. Der Programmcode oder die Daten kann bzw. können beispielsweise auch auf einem maschinenlesbaren Träger oder Datenträger gespeichert sein. Der Programmcode oder die Daten können unter anderem als Quellcode, Maschinencode oder Bytecode sowie als anderer Zwischencode vorliegen.In general, embodiments of the present invention may be implemented as a program, firmware, computer program or computer program product with a program code or as data, wherein the program code or data is effective to perform one of the methods when the program is on a processor or a programmable hardware component. The program code or the data can also be stored, for example, on a machine-readable medium or data carrier. The program code or data may be in the form of, among other things, source code, machine code or byte code, as well as other intermediate code.

Ein weiteres Ausführungsbeispiel ist ferner ein Datenstrom, eine Signalfolge oder eine Sequenz von Signalen, der bzw. die das Programm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom, die Signalfolge oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, um über eine Datenkommunikationsverbindung, beispielsweise über das Internet oder ein anderes Netzwerk, transferiert zu werden. Ausführungsbeispiele sind so auch Daten repräsentierende Signalfolgen, die für eine Übersendung über ein Netzwerk oder eine Datenkommunikationsverbindung geeignet sind, wobei die Daten das Programm darstellen.Another exemplary embodiment is also a data stream, a signal sequence or a sequence of signals which represents the program for carrying out one of the methods described herein. The data stream, the signal sequence or the sequence of signals can, for example, be configured to be transferred via a data communication connection, for example via the Internet or another network. Embodiments also include signal sequences representing data that are suitable for transmission via a network or a data communication connection, the data representing the program.

Ein Programm gemäß einem Ausführungsbeispiel kann eines der Verfahren während seiner Durchführung beispielsweise dadurch umsetzen, dass dieses Speicherstellen ausliest oder in diese ein Datum oder mehrere Daten hinein schreibt, wodurch gegebenenfalls Schaltvorgänge oder andere Vorgänge in Transistorstrukturen, in Verstärkerstrukturen oder in anderen elektrischen, optischen, magnetischen oder nach einem anderen Funktionsprinzip arbeitenden Bauteile hervorgerufen werden. Entsprechend können durch ein Auslesen einer Speicherstelle Daten, Werte, Sensorwerte oder andere Informationen von einem Programm erfasst, bestimmt oder gemessen werden. Ein Programm kann daher durch ein Auslesen von einer oder mehreren Speicherstellen Größen, Werte, Messgrößen und andere Informationen erfassen, bestimmen oder messen, sowie durch ein Schreiben in eine oder mehrere Speicherstellen eine Aktion bewirken, veranlassen oder durchführen sowie andere Geräte, Maschinen und Komponenten ansteuern.A program according to an exemplary embodiment can implement one of the methods during its implementation, for example by reading out memory locations or writing one or more data into them, whereby switching processes or other processes in transistor structures, in amplifier structures or in other electrical, optical, magnetic or components that work according to a different functional principle. Accordingly, data, values, sensor values or other information can be recorded, determined or measured by a program by reading out a memory location. A program can therefore record, determine or measure quantities, values, measurements and other information by reading out one or more memory locations, as well as cause, initiate or carry out an action by writing to one or more memory locations and control other devices, machines and components .

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will occur to others skilled in the art. Therefore, it is intended that the invention be limited only by the scope of the following claims and not by the specific details presented from the description and explanation of the exemplary embodiments herein.

Claims

Method for processing image data in a vehicle, with Detecting (22) a maneuvering situation of the vehicle with a detection device (12); Processing (24) the image data with an image processing device (14); Determining (26) a status value with the image processing device (14) based on the image data; and Storing (28) the status value with the image processing device (14) before detecting the shunting situation, the status value being left unchanged during the shunting situation and the determination of the status value based on the stored status value continuing after the shunting situation.

Procedure according to Claim 1 , in which the image processing device (14) is designed to to adapt the state value based on the shunting situation in such a way that a change in state during a shunting situation differs from a change in state before the shunting situation.

Method according to one of the preceding claims, wherein the state value corresponds to a measure of an estimated level of distraction of the driver and in which the image processing device (14) is designed to determine a distraction situation for the driver of the vehicle based on the state value and to trigger a distraction alarm if the A distraction situation is detected and there is no maneuvering situation.

Procedure according to one of the Claims 1 or 2 , wherein the image processing device (14) is designed to carry out fatigue detection for the driver of the vehicle based on the image data, the status value corresponding to a measure of an estimated level of fatigue of the driver, wherein the image processing device (14) is designed to detect the status value during the maneuvering situation in such a way that it corresponds to a lower estimated level of driver fatigue than before the maneuvering situation.

Procedure according to one of the Claims 1 or 2 , wherein the image processing device (14) is designed to carry out a belt and/or mirror adjustment on the vehicle based on the image data, wherein the state value corresponds to a measure of an estimated position of the driver, wherein the image processing device (14) is designed to to leave the status value unchanged during the shunting situation.

Method according to one of the preceding claims, wherein the image data corresponds to interior image data from an interior camera of the vehicle.

Method according to one of the preceding claims, wherein the detection device (12) is designed to detect the maneuvering situation of the vehicle when the vehicle is in reverse or when a lowest gear of the vehicle is engaged.

Method according to one of the preceding claims, wherein the detection device (12) is designed to detect the maneuvering situation of the vehicle when a driving speed of the vehicle is below a speed threshold and / or when an accelerator pedal position of the vehicle is below an accelerator pedal threshold.

Method according to one of the preceding claims, wherein the detection device (12) is designed to detect the maneuvering situation of the vehicle when a steering angle of the vehicle is above a steering angle threshold.

Method according to one of the preceding claims, wherein the detection device (12) is designed to detect the maneuvering situation of the vehicle when a parking and/or maneuvering assistance system of the vehicle is activated.

Method according to one of the preceding claims, wherein the detection device (12) is designed to detect the maneuvering situation of the vehicle when an environmental sensor system of the vehicle indicates an object in the vicinity of the vehicle.

Method according to one of the preceding claims, wherein the image processing device (14) is designed to evaluate a head position, a head rotation, an eye position, and / or an eyelid closing behavior of a driver of the vehicle.

Computer program with a program code for carrying out the method according to one of the Claims 1 until 12 , when the program code is executed on a computer, a processor or a programmable hardware component.

Device (10) for processing image data in a vehicle, wherein the device (10) comprises a detection device (12) for detecting a maneuvering situation of the vehicle and an image processing device (14) for processing the image data, the image processing device (14) being designed in order to determine a state value based on the image data, which represents a state of a driver of the vehicle, characterized in that the image processing device (14) is designed to store the state value before detection of the maneuvering situation, wherein the image processing device (14) is designed to leave the status value unchanged during the shunting situation and to continue determining the status value based on the stored status value after the shunting situation.