DE102018219106A1

DE102018219106A1 - VEHICLE CONTROL

Info

Publication number: DE102018219106A1
Application number: DE102018219106.9A
Authority: DE
Inventors: Elvir Hasedzic
Original assignee: Jaguar Land Rover Ltd
Current assignee: Jaguar Land Rover Ltd
Priority date: 2017-11-17
Filing date: 2018-11-08
Publication date: 2019-05-23
Also published as: GB2568669A; GB201719062D0; GB2568669B

Abstract

Ein Verfahren zum Ermöglichen der Steuerung einer benutzerbetriebenen Steuervorrichtung, die zumindest teilweise in einem hinteren Fahrgastraum innerhalb einer Fahrzeugkabine angeordnet ist. Das Verfahren umfasst: das Erfassen, dass ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt; das Erfassen einer Hand eines Fahrzeuginsassen innerhalb eines Raumvolumens innerhalb des hinteren Fahrgastraums; das Bestimmen einer Position der Hand in Bezug auf die benutzerbetriebene Steuervorrichtung; und das Ermöglichen einer Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon, dass eine Entfernung zwischen mindestens einem Teil der Hand und der benutzerbetriebenen Steuervorrichtung kleiner oder gleich einer vordefinierten Schwellenentfernung ist, und in Abhängigkeit davon, dass der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt.

A method of enabling control of a user-operated control device that is at least partially disposed in a rear passenger compartment within a vehicle cabin. The method comprises: detecting that a vehicle occupant is seated in the rear passenger compartment; detecting a hand of a vehicle occupant within a volume of space within the rear passenger compartment; determining a position of the hand with respect to the user-operated control device; and enabling control of the user-operated control device in response to a distance between at least a portion of the hand and the user-operated control device being less than or equal to a predefined threshold distance and depending on the occupant of the vehicle sitting in the rear passenger compartment.

Description

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Erfindung bezieht sich auf eine Fahrzeugsteuerung. Aspekte der Erfindung beziehen sich auf eine Steuerung zum Ermöglichen der Steuerung einer benutzerbetriebenen Steuervorrichtung, die sich zumindest teilweise in einem hinteren Fahrgastraum innerhalb einer Fahrzeugkabine befindet, auf ein Verfahren zum Ermöglichen der Steuerung einer benutzerbetriebenen Steuervorrichtung, die sich zumindest teilweise in einem hinteren Fahrgastraum innerhalb einer Fahrzeugkabine befindet, auf ein Fahrzeug, das im Betrieb dazu angeordnet ist, das vorgenannte Verfahren auszuführen und/oder das die vorgenannte Steuerung umfasst, auf ein Computerprogrammprodukt, das Anweisungen zur Durchführung des vorgenannten Verfahrens umfasst, auf einen computerlesbaren Datenträger, auf dem Anweisungen zum Ausführen des vorgenannten Verfahrens gespeichert sind, und auf ein System, das die vorgenannte Steuerung und eine TOF-Kamera umfasst.The present invention relates to a vehicle controller. Aspects of the invention relate to a controller for enabling control of a user-operated control device located at least partially in a rear passenger compartment within a vehicle cabin to a method of enabling control of a user-operated control device that is at least partially located in a rear passenger compartment within a vehicle Vehicle cab is located on a vehicle, which is arranged in operation to carry out the aforementioned method and / or comprising the aforementioned control, to a computer program product, which includes instructions for performing the aforementioned method, on a computer-readable medium, on the instructions for execution stored in the aforementioned method, and a system comprising the aforementioned controller and a TOF camera.

STAND DER TECHNIKSTATE OF THE ART

Moderne Fahrzeuge, insbesondere Kraftfahrzeuge, sind oft mit einer oder mehreren benutzerbetriebenen Steuervorrichtungen, wie z. B. Schaltern, Infotainmentsystemen, Bildschirmen und anderen Steuerungen innerhalb der Fahrzeugkabine versehen, die so konfiguriert sind, dass ein Benutzer verschiedene Einstellungen des Fahrzeugs ändern kann. Dies enthält das Bereitstellen von benutzerbetriebenen Steuervorrichtungen in dem hinteren Fahrgastraum der Fahrzeugkabine, die die Steuerung verschiedener Steuersysteme ermöglichen, die für den hinteren Fahrgastraum spezifisch sind. Die benutzerbetriebenen Steuersysteme befinden sich jedoch häufig in Bereichen, die für einen im hinteren Fahrgastraum sitzenden Passagier schwer erreichbar sein können, insbesondere wenn ein Sicherheitsgurt angelegt wird, der die Bewegungsfreiheit des Passagiers einschränken kann.Modern vehicles, especially motor vehicles, are often with one or more user-operated control devices, such. As switches, infotainment systems, screens and other controls within the vehicle cabin, which are configured so that a user can change various settings of the vehicle. This includes providing user-operated control devices in the rear cabin of the vehicle cabin that allow control of various control systems specific to the rear passenger compartment. However, the user-operated control systems are often in areas that may be difficult to reach for a passenger sitting in the rear passenger compartment, particularly when a seat belt is applied that can restrict the passenger's freedom of movement.

Dementsprechend ist es das Ziel zumindest bestimmter Ausführungsformen der vorliegenden Erfindung zumindest einige der mit dem Stand der Technik verbundenen Nachteile zu überwinden oder zu verbessern.Accordingly, the goal of at least certain embodiments of the present invention is to overcome or ameliorate at least some of the disadvantages associated with the prior art.

KURZDARSTELLUNG DER ERFINDUNGBRIEF SUMMARY OF THE INVENTION

Aspekte und Ausführungsformen der Erfindung stellen ein Verfahren, eine Steuerung, ein System, ein Fahrzeug, ein Computerprogrammprodukt und einen computerlesbaren Datenträger nach den angehängten Patentansprüchen bereit.Aspects and embodiments of the invention provide a method, a controller, a system, a vehicle, a computer program product, and a computer-readable medium according to the appended claims.

Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum Ermöglichen einer Steuerung einer benutzerbetriebenen Steuervorrichtung bereitgestellt, die zumindest teilweise in einem hinteren Fahrgastraum innerhalb einer Fahrzeugkabine angeordnet ist. Das Verfahren kann umfassen: das Erfassen, dass ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt; das Erfassen einer Hand eines Fahrzeuginsassen innerhalb eines Raumvolumens innerhalb des hinteren Fahrgastraums; das Bestimmen einer Position der Hand in Bezug auf die benutzerbetriebene Steuervorrichtung; und das Ermöglichen einer Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon, dass eine Entfernung zwischen mindestens einem Teil der Hand und der benutzerbetriebenen Steuervorrichtung kleiner oder gleich einer vordefinierten Schwellenentfernung ist, und in Abhängigkeit davon, dass der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt.According to one aspect of the present invention, there is provided a method of enabling control of a user-operated control device that is at least partially disposed in a rear passenger compartment within a vehicle cabin. The method may include: detecting that a vehicle occupant is seated in the rear passenger compartment; detecting a hand of a vehicle occupant within a volume of space within the rear passenger compartment; determining a position of the hand with respect to the user-operated control device; and enabling control of the user-operated control device in response to a distance between at least a portion of the hand and the user-operated control device being less than or equal to a predefined threshold distance and depending on the occupant of the vehicle sitting in the rear passenger compartment.

Vorteilhafterweise bietet das vorliegende Verfahren eine verbesserte Möglichkeit zur Steuerung von benutzerbetriebenen Steuervorrichtungen, die sich in einem hinteren Abteil eines Fahrzeugs befinden. Insbesondere kann in Übereinstimmung mit diesem Verfahren und weil kein physischer Kontakt mit der benutzerbetriebenen Steuervorrichtung erforderlich ist, die Benutzung von Steuervorrichtungen ermöglicht werden, ohne dass ein in dem hinteren Fahrgastraum sitzender Passagier seinen Sicherheitsgurt ablegen muss. Da das Verfahren ferner erfasst, ob ein Fahrzeuginsasse innerhalb eines Raumvolumens innerhalb des hinteren Fahrgastraums sitzt, kann eine unbeabsichtigte Aktivierung einer benutzerbetriebenen Steuervorrichtung beispielsweise durch einen in dem vorderen Fahrgastraum sitzenden Passagier, der in den hinteren Fahrgastraum greift, verhindert werden.Advantageously, the present method provides an improved way of controlling user-operated control devices located in a rear compartment of a vehicle. In particular, according to this method and because no physical contact with the user-operated control device is required, the use of control devices can be made possible without a passenger sitting in the rear passenger compartment having to remove his seatbelt. Further, because the method detects whether a vehicle occupant is seated within a volume of space within the rear passenger compartment, inadvertent activation of a user-operated control apparatus can be prevented by, for example, a passenger sitting in the front passenger compartment accessing the rear passenger compartment.

In bestimmten Ausführungsformen kann das Verfahren das Identifizieren einer Geste der Hand und das Steuern der benutzerbetriebenen Steuervorrichtung in Abhängigkeit von der identifizierten Geste umfassen. Auf diese Weise können verschiedene Funktionen, die mit der benutzerbetriebenen Steuervorrichtung verbunden sind, durch die selektive Verwendung unterschiedlicher Gesten gesteuert werden, ohne dass eine physische Interaktion mit der benutzerbetriebenen Steuervorrichtung erforderlich ist. Dies kann insbesondere dann nützlich sein, wenn die Bewegungsfreiheit des Passagiers durch einen Sicherheitsgurt eingeschränkt ist.In certain embodiments, the method may include identifying a gesture of the hand and controlling the user-operated control device in response to the identified gesture. In this way, various functions associated with the user-operated control device can be controlled through the selective use of different gestures without requiring physical interaction with the user-operated control device. This can be particularly useful when the freedom of movement of the passenger is limited by a safety belt.

Das Verfahren kann das Bestimmen der Position der Hand in Bezug auf eine Annäherungsgrenze umfassen, die der benutzerbetriebenen Steuervorrichtung zugeordnet ist. Die Annäherungsgrenze kann einen Grenze definieren, die von der benutzerbetriebenen Steuervorrichtung um die vordefinierte Schwellenentfernung versetzt ist. Die Steuerung der benutzerbetriebenen Steuervorrichtung kann in Abhängigkeit von der Position von mindestens einem Teil der Hand aktiviert werden, der die Annäherungsgrenze schneidet.The method may include determining the position of the hand with respect to an approach limit associated with the user-operated control device. The approach limit may define a limit that is predefined by the user-operated control device Threshold distance is offset. The control of the user-operated control device may be activated depending on the position of at least a part of the hand that intersects the approach limit.

In bestimmten Ausführungsformen kann das Verfahren umfassen, dass festgestellt wird, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist, und dass die Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon ermöglicht wird, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist. Dies kann Folgendes umfassen: Bestimmen, ob die Hand mit der Handfläche nach oben oder nach unten in Bezug auf die benutzerbetriebene Steuervorrichtung ausgerichtet ist; das Bestimmen, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist, in Abhängigkeit davon, ob die Hand mit der Handoberfläche nach oben oder nach unten ausgerichtet ist; und das Ermöglichen der Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon, ob die Hand die linke oder die rechte Hand ist. Die Analyse der Ausrichtung der Hand bietet eine geeignete Möglichkeit, um zu bestimmen, ob die Hand die linke oder die rechte Hand eines Fahrzeuginsassen ist.In certain embodiments, the method may include determining whether the hand is the left or right hand of the vehicle occupant, and that the control of the user-operated control device is enabled depending on whether the hand is the left or right hand of the vehicle occupant. This may include: determining whether the hand is aligned with the palm up or down with respect to the user-operated control device; determining whether the hand is the left or right hand of the vehicle occupant depending on whether the hand is aligned with the palm of the hand up or down; and enabling control of the user-operated control device depending on whether the hand is the left or the right hand. The analysis of the orientation of the hand provides a convenient way to determine if the hand is the left or right hand of a vehicle occupant.

Das Verfahren kann Folgendes umfassen: das Bestimmen, ob die Hand die Hand eines ersten Fahrzeuginsassen oder eines zweiten Fahrzeuginsassen ist, und das Ermöglichen der Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon, welchem Fahrzeuginsassen die Hand gehört. Auf diese Weise ist es auch möglich, die Steuerung einer benutzerbetriebenen Steuervorrichtung auf bestimmte Fahrzeuginsassen einzuschränken, die im hinteren Fahrgastraum sitzen. Zum Beispiel kann auf diese Weise der Betrieb des hinteren linken Fensters auf den Passagier beschränkt werden, der auf dem hinteren linken Fahrgastsitz sitzt.The method may include determining whether the hand is the hand of a first vehicle occupant or a second vehicle occupant, and enabling control of the user-operated control device depending on which vehicle occupant the hand belongs to. In this way, it is also possible to restrict the control of a user-operated control device to certain vehicle occupants sitting in the rear passenger compartment. For example, in this way, the operation of the rear left window may be limited to the passenger sitting on the rear left passenger seat.

In bestimmten Ausführungsformen kann das Verfahren Folgendes umfassen: das Bestimmen der Eintrittsrichtung der Hand in das Raumvolumen relativ zu der benutzerbetriebenen Steuervorrichtung; das Bestimmen, ob die Hand die Hand eines ersten Fahrzeuginsassen oder eines zweiten Fahrzeuginsassen ist, in Abhängigkeit von der Eintrittsrichtung; und das Ermöglichen der Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon, zu welchem Fahrzeuginsassen die Hand gehört. Die Eintrittsrichtung ist eine geeignete Indikation dafür, aus welcher Richtung die Hand stammt und folglich welchem Fahrzeuginsassen die Hand gehört.In certain embodiments, the method may include: determining the direction of entry of the hand into the volume of space relative to the user-operated control device; determining whether the hand is the hand of a first vehicle occupant or a second vehicle occupant, depending on the direction of entry; and enabling control of the user-operated control device depending on which vehicle occupant the hand belongs to. The direction of entry is a suitable indication of which direction the hand originated from, and consequently which vehicle occupant owns the hand.

In bestimmten Ausführungsformen kann das Verfahren Folgendes umfassen: das Erhalten von Bilddaten der Hand innerhalb des Raumvolumens; das Empfangen eines von der Hand reflektierten Reflexionssignals; das Bestimmen einer Entfernung der Hand von einem vorgesehenen Ursprung in Abhängigkeit von dem Reflexionssignal; und das Bestimmen der relativen Position der Hand in Bezug auf die benutzerbetriebene Steuervorrichtung in Abhängigkeit von der Entfernung der Hand relativ zu dem vorgesehenen Ursprung, den erhaltenen Bilddaten und einer bekannten Entfernung der benutzerbetriebenen Steuervorrichtung relativ zu dem vorgesehenen Ursprung. Der vorgesehene Ursprung kann mit einer Position einer Bilderfassungsvorrichtung zusammenfallen.In certain embodiments, the method may include: obtaining image data of the hand within the volume of space; receiving a hand-reflected reflection signal; determining a distance of the hand from an intended origin in dependence on the reflection signal; and determining the relative position of the hand relative to the user-operated control device in dependence on the distance of the hand relative to the intended origin, the obtained image data, and a known distance of the user-operated control device relative to the intended origin. The intended origin may coincide with a position of an image capture device.

Das Verfahren kann umfassen: das Erfassen, ob ein Sicherheitsgurt, der mit einem im hinteren Fahrgastraum befindlichen Sitz verbunden ist, in Eingriff ist, wobei der Sicherheitsgurt, wenn er in Eingriff ist, angeordnet ist, um den Fahrzeuginsassen am Sitz zu sichern; und das Ermöglichen der Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon, dass der Sicherheitsgurt in Eingriff ist. Dies kann insbesondere hilfreich sein, um zu bestimmen, wann ein Fahrzeuginsasse in dem hinteren Fahrgastraum des Fahrzeugs sitzt. In ähnlicher Weise kann die Erfassung des Fahrzeuginsassen, der in dem hinteren Fahrgastraum sitzt, auch unter Verwendung von Drucksensoren ausgeführt werden, die in den hinteren Fahrgastsitzen eingebettet sind, wobei in diesem Fall das Verfahren Folgendes umfassen kann: das Empfangen eines Signals von mindestens einem in einem Fahrgastsitz eingebetteten Drucksensor; und das Erfassen, dass ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, in Abhängigkeit von dem empfangenen Signal.The method may include: detecting whether a seatbelt connected to a seat located in the rear passenger compartment is engaged, the seat belt, when engaged, being arranged to secure the vehicle occupant to the seat; and enabling control of the user-operated control device in response to the seatbelt being engaged. This may be particularly helpful for determining when a vehicle occupant is seated in the rear passenger compartment of the vehicle. Similarly, the detection of the vehicle occupant seated in the rear passenger compartment may also be performed using pressure sensors embedded in the rear passenger seats, in which case the method may include receiving a signal from at least one of a passenger seat embedded pressure sensor; and detecting that a vehicle occupant is seated in the rear passenger compartment in response to the received signal.

Das Verfahren kann umfassen: das Bestimmen, ob wenigstens ein Teil der Hand für eine vorbestimmte Zeitperiode in einer Position gehalten wurde, in der die Entfernung zwischen dem Teil der Hand und der benutzerbetriebenen Steuervorrichtung kleiner oder gleich der vordefinierten Schwellenentfernung ist; und das Aktivieren der Steuerung der benutzerbetriebenen Steuervorrichtung bei oder nach Ablauf der vorbestimmten Zeitperiode. Dies verringert das Risiko einer unbeabsichtigten Aktivierung der Steuervorrichtung.The method may include: determining whether at least a portion of the hand has been held for a predetermined period of time in a position where the distance between the portion of the hand and the user-operated control device is less than or equal to the predefined threshold distance; and enabling the control of the user-operated control device at or after expiration of the predetermined time period. This reduces the risk of unintentional activation of the control device.

In bestimmten Ausführungsformen kann das Verfahren das Ausfahren der benutzerbetriebenen Steuervorrichtung aus einer verstauten Position, in der die benutzerbetriebene Steuervorrichtung nicht betriebsfähig ist, in eine ausgefahrene Position, in der die benutzerbetriebene Steuervorrichtung betriebsfähig ist, umfassen, in Abhängigkeit davon, dass die Entfernung zwischen wenigstens einem Teil der Hand und der benutzerbetriebenen Steuervorrichtung kleiner oder gleich der vordefinierten Schwellenentfernung ist. Dies ist nützlich, wenn die benutzerbetriebene Steuervorrichtung in einer verstauten Konfiguration gehalten wird, wenn sie nicht in Gebrauch ist, beispielsweise um die Wahrscheinlichkeit einer versehentlichen Beschädigung oder einer zufälligen Inbetriebsetzung zu verringern, während ein Insasse in den hinteren Fahrgastraum des Fahrzeugs eintritt und/oder diesen verlässt. Dies ist besonders dann nützlich, wenn die benutzerbetriebene Steuervorrichtung eine Anzeige aufweist.In certain embodiments, the method may include extending the user-operated control device from a stowed position in which the user-operated control device is inoperative to an extended position in which the user-operated control device is operable, depending on the distance between at least one Part of the hand and the user-operated control device is less than or equal to the predefined threshold distance. This is useful when the user-operated control device is kept in a stowed configuration when it is not in use, for example, the probability of a accidental damage or accidental start-up while an occupant enters and / or leaves the rear passenger compartment of the vehicle. This is particularly useful when the user-operated control device has an indicator.

In einigen Ausführungsformen umfasst die benutzerbetriebene Steuervorrichtung eines oder mehrere der Folgenden: ein Unterhaltungssystem; ein Belüftungssystem; einen Passagiertisch; eine oder mehrere Jalousien; eine Fahrzeugfenstersteuerung; eine Schiebedachsteuerung; einen Getränkehalter; und eine Anzeigeeinheit.In some embodiments, the user-operated control device comprises one or more of the following: an entertainment system; a ventilation system; a passenger table; one or more blinds; a vehicle window control; a sunroof controller; a drink holder; and a display unit.

Gemäß einem weiteren Aspekt der Erfindung wird eine Steuerung bereitgestellt, um die Steuerung einer benutzerbetriebenen Steuervorrichtung zu ermöglichen, die zumindest teilweise in einem hinteren Fahrgastraum in einer Fahrzeugkabine angeordnet ist. Die Steuerung kann einen Eingang umfassen, der konfiguriert ist, um Informationen, die anzeigen, dass ein Fahrzeuginsasse im hinteren Fahrgastraum sitzt, und Bilddaten zu empfangen, die durch eine Bilderfassungsvorrichtung, einen Prozessor und eine Ausgabe erhalten werden. Der Prozessor kann im Betrieb so angeordnet sein: zum Erkennen einer Hand des Fahrzeuginsassen aus dem Bild, wobei sich die Hand innerhalb eines Raumvolumens innerhalb des hinteren Fahrgastraums befindet, innerhalb dessen Bildobjekte von der Bilderfassungseinrichtung erfasst werden; und zum Bestimmen einer Position der Hand in Bezug auf die benutzerbetriebene Steuervorrichtung. Die Ausgabe kann im Betrieb so angeordnet sein, dass sie ein Steuersignal zum Ermöglichen einer Steuerung der benutzerbetriebenen Steuervorrichtung an die benutzerbetriebene Steuervorrichtung ausgibt, in Abhängigkeit davon, dass eine Entfernung zwischen mindestens einem Teil der Hand und der benutzerbetriebenen Steuervorrichtung kleiner oder gleich einer vordefinierten Schwellenentfernung ist und der Fahrzeuginsasse im hinteren Fahrgastraum sitzt. Die vorliegende Steuerung profitiert von den gleichen Vorteilen, wie sie in Bezug auf die vorhergehenden Aspekte der Erfindung dargelegt sind.In accordance with another aspect of the invention, a controller is provided to facilitate the control of a user-operated control device that is at least partially disposed in a rear passenger compartment in a vehicle cabin. The controller may include an input configured to receive information indicating that a vehicle occupant is seated in the rear passenger compartment and image data obtained by an image capture device, a processor, and an output. The processor may be operatively arranged to: detect a hand of the vehicle occupant from the image, the hand being within a volume of space within the rearward passenger compartment within which image objects are captured by the image capture device; and determining a position of the hand with respect to the user-operated control device. The output may be operatively arranged to output a control signal for enabling control of the user-operated control device to the user-operated control device in response to a distance between at least a portion of the hand and the user-operated control device being less than or equal to a predefined threshold distance and the vehicle occupant is seated in the rear passenger compartment. The present control benefits from the same advantages as set forth in relation to the preceding aspects of the invention.

In bestimmten Ausführungsformen kann der Prozessor im Betrieb konfiguriert sein, um eine Geste der Hand zu erkennen, und die Ausgabe kann so eingerichtet sein, dass sie ein Steuersignal zum Steuern der benutzerbetriebenen Steuervorrichtung in Abhängigkeit von der Geste ausgibt.In certain embodiments, the processor may be configured in operation to detect a gesture of the hand, and the output may be configured to output a control signal for controlling the user-operated control device in response to the gesture.

In bestimmten Ausführungsformen kann der Prozessor im Betrieb angeordnet sein, um die Position der Hand in Bezug auf eine Annäherungsgrenze zu bestimmen, die der benutzerbetriebenen Steuervorrichtung zugeordnet ist. Die Annäherungsgrenze kann einen Grenze definieren, die von der benutzerbetriebenen Steuervorrichtung um die vordefinierte Schwellenentfernung versetzt ist. Die Ausgabe kann im Betrieb angeordnet sein, um das Steuersignal in Abhängigkeit von der Position von mindestens einem Teil der Hand auszugeben, der die Annäherungsgrenze schneidet.In certain embodiments, the processor may be operatively arranged to determine the position of the hand with respect to an approach limit associated with the user-operated control device. The approach limit may define a limit offset from the user-operated control device by the predefined threshold distance. The output may be operable to output the control signal in response to the position of at least a portion of the hand that intersects the approach limit.

Der Prozessor kann im Betrieb angeordnet sein, um zu bestimmen, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist, und die Ausgabe kann im Betrieb so angeordnet sein, dass sie das Steuersignal in Abhängigkeit davon ausgibt, ob die Hand die linke oder die rechte Hand des Fahrzeuginsassen ist. Dies kann umfassen, dass der Prozessor im Betrieb angeordnet ist, um zu bestimmen, ob die Hand mit der Handfläche nach oben oder nach unten relativ zu der benutzerbetriebenen Steuervorrichtung ausgerichtet ist, und um in Abhängigkeit von der Ausrichtung der Hand zu bestimmen, ob die Hand die linke oder rechte Hand des Fahrzeuginsassen ist.The processor may be operatively arranged to determine whether the hand is the left or right hand of the vehicle occupant, and the output may be operatively arranged to output the control signal depending on whether the hand is the left or the right right hand of the vehicle occupant is. This may include, in operation, the processor being arranged to determine whether the hand is aligned with the palm up or down relative to the user-operated controller, and to determine whether the hand is in response to the orientation of the hand the left or right hand of the vehicle occupant is.

In bestimmten Ausführungsformen kann der Prozessor im Betrieb angeordnet sein, um die Eintrittsrichtung der Hand in das Raumvolumen relativ zu der benutzerbetriebenen Steuervorrichtung zu bestimmen.In certain embodiments, the processor may be operatively arranged to determine the direction of entry of the hand into the volume of space relative to the user-operated control device.

In bestimmten Ausführungsformen kann der Eingang im Betrieb konfiguriert sein, um Daten von einer TOF-Bilderfassungsvorrichtung (time of flight - Laufzeit) zu empfangen, die einen Sensor umfasst. Die TOF-Bilderfassungsvorrichtung kann im Betrieb angeordnet sein, um Bilddaten der Hand zu erhalten, um die Hand innerhalb des Raumvolumens zu beleuchten und um den Rückkehrzeitpunkt eines reflektierten Beleuchtungssignals zu messen, wobei der Rückkehrzeitpunkt des reflektierten Beleuchtungssignals proportional zu einer Entfernung der Hand vom Sensor ist. Die Daten können das Bild der Hand und den Rückkehrzeitpunkt des reflektierten Beleuchtungssignals umfassen. Der Prozessor kann im Betrieb angeordnet sein, um die Position der Hand in Bezug auf die Steuervorrichtung in Abhängigkeit von der ermittelten Entfernung der Hand von dem Sensor, den erhaltenen Bilddaten und einer bekannten Entfernung der benutzerbetriebenen Steuervorrichtung relativ zu dem Sensor zu bestimmen, wobei die Entfernung der Hand vom Sensor in Abhängigkeit von dem Rückkehrzeitpunkt des reflektierten Beleuchtungssignals bestimmt wird. Die TOF-Bilderfassungsvorrichtung stellt ein bequemes Mittel zum Erhalten von Bilddaten bereit, die mit Bildobjektentfernungsdaten verknüpft sind, und vereinfacht daher das Bestimmen der Entfernung der Hand von der benutzerbetriebenen Steuervorrichtung.In certain embodiments, the input may be configured in operation to receive data from a time of flight (TOF) image capture device that includes a sensor. The TOF imaging device may be operatively arranged to obtain image data of the hand to illuminate the hand within the volume of space and to measure the return time of a reflected illumination signal, wherein the return time of the reflected illumination signal is proportional to a distance of the hand from the sensor , The data may include the image of the hand and the return time of the reflected illumination signal. The processor may be operatively arranged to determine the position of the hand relative to the control device in response to the determined removal of the hand from the sensor, the obtained image data, and a known distance of the user-operated control device relative to the sensor, wherein the distance the hand is determined by the sensor in response to the return time of the reflected illumination signal. The TOF image capturing apparatus provides a convenient means of obtaining image data associated with image object removal data, and therefore simplifies determining the removal of the hand from the user-operated control device.

Der Eingang kann im Betrieb konfiguriert sein, um Daten zu empfangen, die angeben, ob ein Sicherheitsgurt, der einem im hinteren Fahrgastraum befindlichen Sitz zugeordnet ist, in Eingriff ist, wobei der Sicherheitsgurt, wenn er angelegt ist, dazu angeordnet ist, einen Fahrzeuginsassen am Sitz zu sichern. Die Ausgabe kann im Betrieb angeordnet sein, um das Steuersignal in Abhängigkeit davon auszugeben, dass der Sicherheitsgurt in Eingriff ist.The input may be configured in operation to receive data indicating whether a seat belt associated with a seat located in the rear passenger compartment is engaged, wherein the seat belt, when put on, is arranged to secure a vehicle occupant to the seat. The output may be operable to output the control signal in response to the seat belt engaging.

In bestimmten Ausführungsformen kann der Prozessor im Betrieb angeordnet sein, um zu bestimmen, ob zumindest ein Teil der Hand für eine vorbestimmte Zeitspanne in einer Position gehalten wurde, in der die Entfernung zwischen dem Teil der Hand und der Ausgabe im Betrieb angeordnet sein kann, um das Steuersignal bei oder nach Ablauf der vorbestimmten Zeitperiode auszugeben.In certain embodiments, the processor may be operatively arranged to determine whether at least a portion of the hand has been held for a predetermined period of time in a position where the distance between the hand's part and the dispenser may be operational output the control signal at or after the lapse of the predetermined period of time.

In bestimmten Ausführungsformen kann die Ausgabe im Betrieb angeordnet sein, um ein Steuersignal zum Ausfahren der benutzerbetriebenen Steuervorrichtung aus einer verstauten Position zu einer entfalteten Position auszugeben, in der die benutzerbetriebene Steuervorrichtung betriebsfähig ist, in Abhängigkeit davon, dass die Entfernung zwischen mindestens einem Teil der Hand und der benutzerbetriebenen Steuervorrichtung kleiner oder gleich der vordefinierten Schwellenentfernung ist.In certain embodiments, the output may be operable to output a control signal for extending the user-operated control device from a stowed position to a deployed position in which the user-operated control device is operable, depending on the distance between at least a portion of the hand and the user-operated control device is less than or equal to the predefined threshold distance.

In einigen Ausführungsformen ist die Ausgabe konfiguriert, um das Steuersignal an eines der Folgenden auszugeben: ein Unterhaltungssystem; ein Belüftungssystem; einen Passagiertisch; eine oder mehrere Jalousien; eine Fahrzeugfenstersteuerung; eine Schiebedachsteuerung; einen Getränkehalter; und eine Anzeigeeinheit.In some embodiments, the output is configured to output the control signal to one of: an entertainment system; a ventilation system; a passenger table; one or more blinds; a vehicle window control; a sunroof controller; a drink holder; and a display unit.

In Übereinstimmung mit noch einem weiteren Aspekt der Erfindung wird ein System zur Verfügung gestellt, um die Steuerung einer benutzerbetriebenen Steuervorrichtung zu ermöglichen, die zumindest teilweise in einem hinteren Fahrgastraum innerhalb einer Fahrzeugkabine angeordnet ist. Das System kann die oben erwähnte Steuerung und eine Bilderfassungsvorrichtung umfassen. Optional kann die Bilderfassungsvorrichtung eine TOF-Bilderfassungsvorrichtung umfassen. Das System kann optional auch eine benutzerbetriebene Steuervorrichtung umfassen.In accordance with yet another aspect of the invention, a system is provided for enabling control of a user-operated control device that is at least partially disposed in a rear passenger compartment within a vehicle cabin. The system may include the above-mentioned controller and an image capture device. Optionally, the image capture device may include a TOF image capture device. Optionally, the system may also include a user-operated control device.

In Übereinstimmung mit noch einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt bereitgestellt, das Anweisungen zum Ausführen des zuvor erwähnten Verfahrens umfasst.In accordance with yet another aspect of the invention, there is provided a computer program product comprising instructions for carrying out the aforementioned method.

Das Computerprogrammprodukt kann Anweisungen umfassen, die, wenn sie auf einem Prozessor ausgeführt werden, den Prozessor so konfigurieren, dass er: einen Fahrzeuginsassen, der in dem hinteren Fahrgastraum sitzt, erfasst; eine Hand eines Fahrzeuginsassen innerhalb eines Raumvolumens innerhalb des hinteren Fahrgastraums erfasst; eine Position der Hand in Bezug auf die benutzerbetriebene Steuervorrichtung bestimmt; und eine Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon ermöglicht, dass eine Entfernung zwischen mindestens einem Teil der Hand und der benutzerbetriebenen Steuervorrichtung kleiner oder gleich einer vordefinierten Schwellenentfernung ist und dass der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt.The computer program product may include instructions that, when executed on a processor, configure the processor to: detect a vehicle occupant seated in the rear passenger compartment; detects a hand of a vehicle occupant within a volume of space within the rear passenger compartment; determines a position of the hand with respect to the user-operated control device; and controlling the user-operated control device in response to a distance between at least a portion of the hand and the user-operated control device being less than or equal to a predefined threshold distance and the vehicle occupant seated in the rear passenger compartment.

Gemäß noch einem weiteren Aspekt der Erfindung wird ein computerlesbarer Datenträger bereitgestellt, auf dem Anweisungen zum Ausführen des zuvor erwähnten Verfahrens gespeichert sind. Optional umfasst der computerlesbare Datenträger einen nichtflüchtigen, computerlesbaren Datenträger.According to yet another aspect of the invention, there is provided a computer readable medium having stored thereon instructions for carrying out the aforementioned method. Optionally, the computer-readable medium comprises a non-transitory, computer-readable medium.

Der Datenträger kann Anweisungen umfassen, die, wenn sie auf einem Prozessor ausgeführt werden, den Prozessor so konfigurieren, dass er: einen Fahrzeuginsassen, der in dem hinteren Fahrgastraum sitzt, erfasst; eine Hand eines Fahrzeuginsassen innerhalb eines Raumvolumens innerhalb des hinteren Fahrgastraums erfasst; eine Position der Hand in Bezug auf die benutzerbetriebene Steuervorrichtung bestimmt; und die benutzerbetriebene Steuervorrichtung in Abhängigkeit davon zum Betrieb bereitstellt, dass eine Entfernung zwischen mindestens einem Teil der Hand und der benutzerbetriebenen Steuervorrichtung kleiner oder gleich einer vordefinierten Schwellenentfernung ist und dass der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt.The volume may include instructions that, when executed on a processor, configure the processor to: detect a vehicle occupant seated in the rear passenger compartment; detects a hand of a vehicle occupant within a volume of space within the rear passenger compartment; determines a position of the hand with respect to the user-operated control device; and the user-operated control device provides, in response to operation, that a distance between at least a portion of the hand and the user-operated control device is less than or equal to a predefined threshold distance and that the vehicle occupant is seated in the rear passenger compartment.

In Übereinstimmung mit noch einem weiteren Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, das konfiguriert ist, um das vorgenannte Verfahren auszuführen.In accordance with yet another aspect of the invention, there is provided a vehicle configured to perform the aforementioned method.

In Übereinstimmung mit noch einem weiteren Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, das die oben erwähnte Steuerung oder das zuvor erwähnte System umfasst.In accordance with still another aspect of the invention, there is provided a vehicle comprising the aforementioned controller or system.

Innerhalb des Umfangs dieser Anmeldung ist es ausdrücklich beabsichtigt, dass die verschiedenen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorhergehenden Absätzen, in den Patentansprüchen und/oder in der folgenden Beschreibung und den Zeichnungen dargelegt sind, und insbesondere deren individuelle Merkmale unabhängig voneinander oder in einer beliebigen Kombination berücksichtigt werden können. Dies bedeutet, dass alle Ausführungsformen und/oder Merkmale einer beliebigen Ausführungsform auf beliebige Art und/oder in beliebiger Kombination kombiniert werden können, sofern diese Merkmale nicht inkompatibel sind. Der Anmelder behält sich das Recht vor, jeden beliebigen ursprünglich eingereichten Patentanspruch zu ändern oder einen beliebigen neuen Patentanspruch entsprechend einzureichen, einschließlich des Rechts, jeden beliebigen ursprünglich eingereichten Patentanspruch zu verändern, um von einem beliebigen Merkmal eines beliebigen anderen Patentanspruchs abzuhängen und/oder dieses zu integrieren, obwohl es auf diese Art und Weise zuvor nicht beansprucht wurde.Within the scope of this application, it is expressly intended that the various aspects, embodiments, examples, and alternatives set forth in the preceding paragraphs, claims, and / or description and drawings, and in particular, their individual features, be independent of each other or in any combination. This means that all embodiments and / or features of any embodiment can be combined in any manner and / or in any combination, provided that these features are not incompatible. The Applicant reserves the right to change any claim originally filed or to submit any new claim accordingly; including the right to change any originally filed claim to depend on and / or incorporate any feature of any other claim, even though it has not previously been claimed in this manner.

Figurenlistelist of figures

Eine oder mehrere erfindungsgemäße Ausführungsformen werden nun nur beispielhalber unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, hierbei zeigen:

1 eine schematische Darstellung der Fahrgastsitze, die sowohl im vorderen als auch im hinteren Fahrgastraum einer Fahrzeugkabine enthalten sind, und zeigt eine Kamera mit einem Sichtfeld, das zum Erhalten von Bilddaten einer Hand eines Passagiers konfiguriert ist, die sich innerhalb eines Raumvolumens im hinteren Fahrgastraum befindet;
2 ein Funktionsdiagramm, das die funktionalen Komponenten einer Steuerung zeigt, die konfiguriert ist, um ein Steuersignal auszugeben, um die Steuerung einer benutzerbetriebenen Steuervorrichtung zu ermöglichen, die in dem hinteren Fahrgastraum von 1 angeordnet ist;
3 ein Prozessflussdiagramm, das ein Verfahren zum Ermöglichen der Steuerung einer benutzerbetriebenen Steuervorrichtung innerhalb eines hinteren Fahrgastraums einer Fahrzeugkabine in Abhängigkeit davon zeigt, dass ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, und in Abhängigkeit der Nähe von wenigstens einem Teil einer Hand eines hinteren Passagiers zur Steuervorrichtung, unter Verwendung der Kamera von 1 und der Steuerung von 2;
4 eine schematische Darstellung, die das Funktionsprinzip einer TOF-Kamera hervorhebt, die verwendet werden kann, um die Position der Hand eines Fahrzeuginsassen innerhalb des hinteren Fahrgastraums von 1 zu bestimmen;
5a und 5b schematische Darstellungen, die eine dreidimensionale Punktewolke einer Hand eines Fahrzeuginsassen zeigen, die unter Verwendung der TOF-Kamera von 4 erzeugt wurde;
6a und 6b schematische Darstellungen, die eine benutzerbetriebene Steuervorrichtung in dem hinteren Fahrgastraum jeweils in einer verstauten und einer entfalteten Konfiguration zeigen, in Abhängigkeit von der Nähe der Hand des Fahrzeuginsassen zu der Steuervorrichtung; und
7 eine schematische Darstellung eines Fahrzeugs, das die Kamera von 1 und die Steuerung von 2 umfasst.

One or more embodiments of the invention will now be described by way of example only with reference to the accompanying drawings, in which:

1 a schematic representation of the passenger seats, which are included in both the front and in the rear passenger compartment of a vehicle cabin, and shows a camera with a field of view, which is configured to obtain image data of a hand of a passenger, which is located within a volume of space in the rear passenger compartment;
2 10 is a functional diagram showing the functional components of a controller configured to output a control signal to enable control of a user-operated control device installed in the rear passenger compartment of FIG 1 is arranged;
3 10 is a process flow diagram illustrating a method of enabling control of a user-operated control device within a rear cabin of a vehicle cabin in response to a vehicle occupant sitting in the rear passenger compartment and the proximity of at least a portion of a rear passenger's hand to the controller; using the camera from 1 and the control of 2 ;
4 12 is a schematic illustration that highlights the principle of operation of a TOF camera that can be used to determine the position of the hand of a vehicle occupant within the rear passenger compartment of FIG 1 to determine;
5a and 5b schematic representations showing a three-dimensional point cloud of a hand of a vehicle occupant, using the TOF camera of 4 was generated;
6a and 6b schematic diagrams showing a user-operated control device in the rear passenger compartment each in a stowed and a deployed configuration, depending on the proximity of the hand of the vehicle occupant to the control device; and
7 a schematic representation of a vehicle, the camera of 1 and the control of 2 includes.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

1 ist eine perspektivische Ansicht eines Teils der Fahrzeugkabine 1 und zeigt insbesondere einen Passagier 3, der auf einem hinteren Passagiersitz 5 sitzt, der sich in einem hinteren Fahrgastraum der Fahrzeugkabine 1 befindet. Eine Bilderfassungsvorrichtung in der Form einer im Kabinendach angeordneten Kamera 7 ist gezeigt, die ein Sichtfeld 9 aufweist, das in 1 durch die Linien 11 skizziert ist. Optional kann die Kamera 7 eine TOF-Kamera umfassen. Die Kamera 7 ist so angeordnet, dass sie Objekte erfasst, die sich innerhalb des Sichtfelds 9 der Kamera befinden. Das Sichtfeld definiert ein Raumvolumen innerhalb der Fahrzeugkabine, innerhalb dessen Objekte durch die Kamera 7 erfasst werden. Die Kamera 7 ist derart angeordnet, dass eine Platte auf der Rückseite eines Sitzes 13 innerhalb der Fahrzeugkabine 1 innerhalb des Sichtfelds 9 der Kamera liegt. Die Platte auf der Rückseite eines Sitzes 13 umfasst eine oder mehrere verschiedene benutzerbetriebene Steuervorrichtungen 15, die den Betrieb von einer oder mehreren unterschiedlichen Vorrichtungen steuern können. Zum Beispiel kann die benutzerbetriebene Steuervorrichtung 15 ein Unterhaltungssystem mit einer Anzeigeeinheit umfassen. In ähnlicher Weise kann das Sichtfeld der Kamera angeordnet sein, um eine oder mehrere verschiedene benutzerbetriebene Steuervorrichtungen zu erfassen, die mindestens teilweise an verschiedenen Stellen innerhalb des hinteren Fahrgastraums angeordnet sind (in 1 nicht gezeigt). Zum Beispiel eines oder mehrere der Folgenden: ein Unterhaltungssystem, ein Belüftungssystem, einen Passagiertisch, eine oder mehrere Jalousien, eine Fahrzeugfenstersteuerung, eine Schiebedachsteuerung, einen Getränkehalter, eine Anzeigeeinheit; und jedwede andere benutzerbetriebene Steuervorrichtung, die zumindest teilweise in einem hinteren Fahrgastraum der Fahrzeugkabine 1 angeordnet ist. Die Fahrzeugkabine 1 kann in einem in 7 dargestellten Fahrzeug 43 enthalten sein. Nur zu Veranschaulichungszwecken werden Ausführungsformen der Erfindungen in Bezug auf eine benutzerbetriebene Steuervorrichtung 15 offenbart, die sich in der Platte auf der Rückseite des Sitzes 13 befindet. 1 is a perspective view of a part of the vehicle cabin 1 and in particular shows a passenger 3 standing on a rear passenger seat 5 sitting in a rear passenger compartment of the vehicle cabin 1 located. An image capture device in the form of a camera arranged in the cabin roof 7 is shown, which is a field of vision 9 that is in 1 through the lines 11 outlined. Optionally, the camera 7 include a TOF camera. The camera 7 is arranged to capture objects that are within the field of view 9 the camera. The field of view defines a volume of space within the vehicle cabin within which objects pass through the camera 7 be recorded. The camera 7 is arranged such that a plate on the back of a seat 13 inside the vehicle cabin 1 within the field of view 9 the camera is lying. The plate on the back of a seat 13 includes one or more different user-operated control devices 15 that can control the operation of one or more different devices. For example, the user-operated control device 15 an entertainment system with a display unit. Similarly, the field of view of the camera may be arranged to detect one or more different user-operated control devices at least partially located at various locations within the rear passenger compartment (in FIG 1 Not shown). For example, one or more of the following: an entertainment system, a ventilation system, a passenger table, one or more blinds, a vehicle window control, a sunroof controller, a cup holder, a display unit; and any other user-operated control device that is at least partially in a rear passenger compartment of the vehicle cabin 1 is arranged. The vehicle cabin 1 can be in an in 7 illustrated vehicle 43 be included. For illustrative purposes only, embodiments of the invention will be related to a user-operated control device 15 revealed in the plate on the back of the seat 13 located.

In bestimmten Ausführungsformen kann die Kamera 7 operativ mit einer Steuerung 19 (in 2 gezeigt) gekoppelt sein, die konfiguriert ist, um Bilddaten zu empfangen, die von der Kamera 7 erhalten werden, und um ein Steuersignal an eine spezifische benutzerbetriebene Steuervorrichtung 15 in Abhängigkeit von einer Analyse der empfangenen Bilddaten auszugeben. Die Steuerung 19 kann derart konfiguriert sein, dass die Steuerung einer bestimmten benutzerbetriebenen Steuervorrichtung 15 ermöglicht wird, wenn sich mindestens ein Teil einer Hand 17 eines Fahrzeuginsassen von einem Fahrzeuginsassen 3, der in einem hinteren Fahrgastraum sitzt, in einer Entfernung befindet, die kleiner oder gleich einer vordefinierten Schwellenentfernung von der spezifischen benutzerbetriebenen Steuervorrichtung 15 ist. Wenn zwei oder mehr Fahrzeuginsassen in dem hinteren Fahrgastraum sitzen, kann die Steuerung der benutzerbetriebenen Steuervorrichtung 15 davon abhängen, zu welchem der hinten sitzenden Fahrzeuginsassen die Hand gehört. Zum Beispiel kann ein erster Fahrzeuginsasse ein Passagier des Fahrzeugs sein, der auf dem hinteren linken Passagiersitz sitzt, der der benutzerbetriebenen Steuervorrichtung 15 gegenüberliegt, und er ist der beabsichtigte Benutzer der Steuervorrichtung 15, und ein zweiter Fahrzeuginsasse kann ein weiterer Passagier des Fahrzeugs sein, der auf dem hinteren rechten Passagiersitz neben dem ersten Fahrzeuginsassen sitzt. Die Kamera 7 in Kombination mit der Steuerung 19 kann verwendet werden, um die Hand 17 eines Fahrzeuginsassen zu identifizieren und um zu bestimmen, ob die Hand zu dem ersten Fahrzeuginsassen oder zu dem zweiten Fahrzeuginsassen gehört. Die Steuerung der benutzerbetriebenen Steuervorrichtung 15 kann dann auf den gewünschten Fahrzeuginsassen beschränkt sein.In certain embodiments, the camera 7 operational with a controller 19 (in 2 shown) configured to receive image data received from the camera 7 and a control signal to a specific user-operated control device 15 depending on an analysis of the received image data issue. The control 19 may be configured such that the control of a particular user-operated control device 15 allows, if at least a part of a hand 17 a vehicle occupant of a vehicle occupant 3 located in a rear passenger compartment, is at a distance less than or equal to a predefined threshold distance from the specific user-operated control device 15 is. When two or more vehicle occupants are seated in the rear passenger compartment, control of the user-operated control device may occur 15 depend on which of the rear seat occupants the hand belongs. For example, a first vehicle occupant may be a passenger of the vehicle sitting on the rear left passenger seat, that of the user-operated control device 15 and he is the intended user of the control device 15 and a second vehicle occupant may be another passenger of the vehicle sitting on the rear right passenger seat adjacent to the first vehicle occupant. The camera 7 in combination with the controller 19 Can be used to hand 17 identify a vehicle occupant and determine whether the hand belongs to the first vehicle occupant or to the second vehicle occupant. The control of the user-operated control device 15 can then be limited to the desired vehicle occupants.

In bestimmten Ausführungsformen kann die benutzerbetriebene Steuervorrichtung 15 sowohl eine entfaltete Konfiguration als auch eine verstaute Konfiguration umfassen. In der entfalteten Konfiguration kann die Steuervorrichtung 15 so angeordnet sein, dass sie von einem Fahrzeuginsassen bedient werden kann. In der verstauten Konfiguration kann die Steuervorrichtung nicht betriebsfähig sein. In bestimmten Ausführungsformen kann sich die benutzerbetriebene Steuervorrichtung 15 in einem Aufbewahrungsfach befinden, wenn sie in der verstauten Konfiguration ist. Das Aufbewahrungsfach kann in einer Platte enthalten sein, die sich an der Rückseite eines Sitzes 13 befindet, der in dem vorderen Fahrzeugraum angeordnet ist, wie in 1 dargestellt. In der entfalteten Konfiguration ragt die benutzerbetriebene Steuervorrichtung 15 zumindest teilweise von der Platte, die sich auf der Rückseite des Sitzes 13 befindet, hervor, um den Betrieb der Steuervorrichtung 15 durch den Fahrzeuginsassen 3 zu ermöglichen.In certain embodiments, the user-operated control device 15 include both an unfolded configuration and a stowed configuration. In the deployed configuration, the controller may 15 be arranged so that it can be operated by a vehicle occupant. In the stowed configuration, the controller may be inoperable. In certain embodiments, the user-operated control device may 15 in a storage compartment when in the stowed configuration. The storage compartment may be contained in a plate located at the back of a seat 13 located in the front vehicle compartment, as in 1 shown. In the deployed configuration, the user-operated controller protrudes 15 at least partially from the plate, located at the back of the seat 13 indicates to the operation of the control device 15 by the vehicle occupant 3 to enable.

Wenn sich die benutzerbetriebene Steuervorrichtung 15 in der verstauten Konfiguration befindet, kann das Steuersignal, das die Steuerung der benutzerbetriebenen Steuervorrichtung 15 ermöglicht, so angeordnet sein, dass es die Steuervorrichtung 15 aus ihrer verstauten Konfiguration ausfährt. In bestimmten Ausführungsformen kann dies erreicht werden, indem das Steuersignal an einen Entfaltungsmechanismus ausgegeben wird, der der benutzerbetriebenen Steuervorrichtung 15 zugeordnet ist. Der Entfaltungsmechanismus kann eine oder mehrere mechanische Vorrichtungen umfassen, die die benutzerbetriebene Steuervorrichtung 15 zwischen den zwei Konfigurationen physikalisch überführen, wie zum Beispiel einen Elektromotor. Der Entfaltungsmechanismus kann zusätzlich so konfiguriert sein, dass er die benutzerbetriebene Steuervorrichtung bei Empfang eines geeigneten Steuersignals von ihrer entfalteten Konfiguration in ihre verstaute Konfiguration überführt.When the user-operated control device 15 is located in the stowed configuration, the control signal that controls the user-operated control device 15 allows to be arranged so that it is the control device 15 out of its stowed configuration. In certain embodiments, this may be achieved by outputting the control signal to a deployment mechanism, which is the user-operated control device 15 assigned. The deployment mechanism may include one or more mechanical devices including the user-operated control device 15 physically transferring between the two configurations, such as an electric motor. In addition, the deployment mechanism may be configured to transfer the user-operated control device from its deployed configuration to its stowed configuration upon receipt of an appropriate control signal.

2 bietet eine funktionale Übersicht der Steuerung 19. Die Steuerung 19 kann funktional in eine existierende elektronische Steuereinheit des Fahrzeugs 43 eingebettet sein. Die Steuerung 19 kann mit einem Eingang 21 und einer Ausgabe 23 versehen sein. Der Eingang 21 kann zum Empfangen von Bilddaten, die von der Kamera 7 erhalten werden, und von Daten konfiguriert sein, die anzeigen, dass ein Fahrzeuginsasse 3 in dem hinteren Fahrgastraum sitzt. In bestimmten Ausführungsformen können die Daten, die anzeigen, dass der Fahrzeuginsasse 3 in dem hinteren Fahrgastraum sitzt, in den erhaltenen Bilddaten enthalten sein, die von der Kamera 7 empfangen werden. Alternativ können die Daten, die anzeigen, dass ein Fahrzeuginsasse 3 in dem hinteren Fahrgastraum sitzt, Daten umfassen, die beispielsweise von einem Drucksensor empfangen werden, der in einem hinteren Fahrgastsitz eingebettet ist. Die Ausgabe 23 kann konfiguriert sein, um ein Steuersignal an eine spezifische benutzerbetriebene Steuervorrichtung 15 auszugeben. Die Steuerung 19 kann einen Prozessor 25 umfassen, der angeordnet ist: zum Erfassen aus den empfangenen Daten, dass ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt; zum Analysieren von Bilddaten, die von der Kamera 7 empfangen werden, um Bildobjekte wie die Hand 17 des Fahrzeuginsassen innerhalb der erhaltenen Bilddaten zu identifizieren; und zum Erzeugen eines oder mehrerer Steuersignale, die es ermöglichen, dass eine bestimmte benutzerbetriebene Steuervorrichtung in Abhängigkeit von der Position der Hand des Fahrzeuginsassen 17 relativ zu der spezifischen benutzerbetriebenen Steuervorrichtung 15 gesteuert wird, und in Abhängigkeit davon, dass erkannt wird, dass ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt. 2 provides a functional overview of the controller 19 , The control 19 Can be functional in an existing electronic control unit of the vehicle 43 be embedded. The control 19 can with an entrance 21 and an issue 23 be provided. The entrance 21 can be used to receive image data by the camera 7 and configured by data indicating that a vehicle occupant 3 sitting in the rear passenger compartment. In certain embodiments, the data may indicate that the vehicle occupant 3 sitting in the rear passenger compartment, to be included in the obtained image data obtained from the camera 7 be received. Alternatively, the data may indicate that a vehicle occupant 3 in the rear passenger compartment, includes data received, for example, from a pressure sensor embedded in a rear passenger seat. The output 23 may be configured to provide a control signal to a specific user-operated control device 15 issue. The control 19 can be a processor 25 arranged to: from the received data, detect that a vehicle occupant is seated in the rear passenger compartment; to analyze image data taken by the camera 7 be received to image objects like the hand 17 identify the vehicle occupant within the obtained image data; and generating one or more control signals that enable a particular user-operated control device to operate in response to the position of the hand of the vehicle occupant 17 relative to the specific user-operated control device 15 in response to detecting that a vehicle occupant is seated in the rear passenger compartment.

In bestimmten Ausführungsformen kann eine Analyse von erhaltenen Bilddaten verwendet werden, um zu bestimmen, ob ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt. In diesem Fall kann der Prozessor 25 konfiguriert sein, um aus den empfangenen Bilddaten zu bestimmen, ob der Fahrzeuginsasse 3 in dem hinteren Fahrgastraum sitzt.In certain embodiments, an analysis of obtained image data may be used to determine if a vehicle occupant is seated in the rear passenger compartment. In this case, the processor can 25 be configured to determine from the received image data, whether the vehicle occupant 3 sitting in the rear passenger compartment.

Im Betrieb kann die Steuerung der spezifischen benutzerbetriebenen Steuervorrichtung über ein Steuersignal, das von der Steuerung 19 ausgegeben wird, aktiviert werden, wenn Bilddaten der Hand eines Fahrzeuginsassen durch die Kamera 7 erhalten werden und durch die Steuerung 19 (typischerweise durch den Prozessor 25 der Steuerung 19) bestimmt wird, dass der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, und wenn die Position der Hand des Fahrzeuginsassen relativ zu der spezifischen benutzerbetriebenen Steuervorrichtung bestimmt wird. In operation, control of the specific user-operated control device may be via a control signal provided by the controller 19 is output when image data of the hand of a vehicle occupant by the camera 7 be obtained and through the control 19 (typically by the processor 25 the controller 19 ) determines that the vehicle occupant is seated in the rear passenger compartment, and when the position of the hand of the vehicle occupant relative to the specific user-operated control device is determined.

In bestimmten Ausführungsformen kann die Steuerung 19 im Betrieb konfiguriert sein, um das Steuersignal in Abhängigkeit davon auszugeben, dass eine Entfernung zwischen mindestens einem Teil der Hand 17 eines Fahrzeuginsassen und der benutzerbetriebenen Steuervorrichtung 15 kleiner oder gleich einer vordefinierten Schwellenentfernung ist, und auch in Abhängigkeit davon, dass der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt. Wenn zum Beispiel die Kamera 7 Bilddaten des Fahrzeuginsassen erhält, kann die Steuerung 19 konfiguriert sein, das Bild des Fahrzeuginsassen und das Bild der Hand 17 des Fahrzeuginsassen innerhalb der empfangenen erhaltenen Bilddaten zu identifizieren. Die Steuerung 19 kann dann aus den erhaltenen Bilddaten bestimmen, ob der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, und sie kann die relative Position der abgebildeten Hand in Bezug auf die benutzerbetriebene Steuervorrichtung bestimmen.In certain embodiments, the controller may 19 be configured in operation to output the control signal in response to a distance between at least a portion of the hand 17 a vehicle occupant and the user-operated control device 15 is less than or equal to a predefined threshold distance, and also depending on the occupant of the vehicle sitting in the rear passenger compartment. If, for example, the camera 7 Receives image data of the vehicle occupant, the controller 19 be configured, the image of the vehicle occupant and the image of the hand 17 of the vehicle occupant within the received image data received. The control 19 may then determine from the obtained image data whether the vehicle occupant is seated in the rear passenger compartment and determine the relative position of the imaged hand with respect to the user-operated control device.

In alternativen Ausführungsformen kann die Steuerung 19 aus alternativen Datenquellen bestimmen, ob der Fahrzeuginsasse in einem hinteren Fahrgastraum sitzt, beispielsweise von dem zuvor erwähnten, in die hinteren Fahrgastsitze eingebetteten Drucksensor oder von einem Sicherheitsgurtsensor im hinteren Fahrgastraum. In solchen Ausführungsformen können die erhaltenen Bilddaten dann verwendet werden, um die Position der Hand 17 des Fahrzeuginsassen relativ zu der benutzerbetriebenen Steuervorrichtung 15 zu bestimmen.In alternative embodiments, the controller may 19 from alternative data sources determine whether the vehicle occupant is seated in a rear passenger compartment, for example, from the aforementioned, embedded in the rear passenger seats pressure sensor or a seat belt sensor in the rear passenger compartment. In such embodiments, the obtained image data may then be used to determine the position of the hand 17 the vehicle occupant relative to the user-operated control device 15 to determine.

3 ist ein Prozessflussdiagramm, das ein Verfahren skizziert, das gemäß bestimmten Ausführungsformen verwendet wird, um die Steuerung einer benutzerbetriebenen Steuervorrichtung 15 in Abhängigkeit von der Nähe der Hand 17 eines Fahrzeuginsassen zu der benutzerbetriebenen Steuervorrichtung und in Abhängigkeit davon, dass der Fahrzeuginsasse im hinteren Fahrgastraum sitzt, zu ermöglichen. 3 FIG. 10 is a process flow diagram outlining a method used according to certain embodiments to control a user-operated controller. FIG 15 depending on the proximity of the hand 17 of a vehicle occupant to the user-operated control device and in dependence on the fact that the vehicle occupant is seated in the rear passenger compartment.

In bestimmten Ausführungsformen kann das Verfahren initiiert werden, wenn ein sitzender Fahrzeuginsasse in Schritt 301 innerhalb des hinteren Fahrgastraums der Fahrzeugkabine 1 erfasst wird. Das Erfassungsverfahren kann die Verwendung von Erfassungssensoren umfassen, die in den Sitzen und/oder den Sitzgurten des hinteren Fahrgastraums installiert sind, wobei die Sensoren konfiguriert sind, um zu erkennen, wenn ein Passagier sitzt, oder die Bildanalyse zu verwenden, wie zuvor beschrieben. In certain embodiments, the method may be initiated when a seated vehicle occupant in step 301 inside the rear passenger compartment of the vehicle cabin 1 is detected. The detection method may include using detection sensors installed in the seats and / or seat belts of the rear passenger compartment, which sensors are configured to detect when a passenger is sitting, or to use the image analysis as described above.

Alternativ kann das Erfassungsverfahren das Erhalten von Bilddaten mit der Kamera 7 des hinteren Fahrgastraums in der Fahrzeugkabine 1 umfassen. Die erhaltenen Bilddaten können an die Steuerung 19 zur Analyse weitergeleitet werden. Insbesondere können die erhaltenen Bilddaten analysiert werden, um zu bestimmen, ob ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt. Dies kann erreicht werden, indem der Prozessor 25 mit einer Bilderkennungssoftware konfiguriert wird, die konfiguriert ist, um einen Fahrzeuginsassen in einer sitzenden Position aus den erhaltenen Bilddaten zu identifizieren.Alternatively, the detection method may be obtaining image data with the camera 7 the rear passenger compartment in the vehicle cabin 1 include. The received image data can be sent to the controller 19 forwarded for analysis. In particular, the obtained image data may be analyzed to determine if a vehicle occupant is seated in the rear passenger compartment. This can be achieved by the processor 25 is configured with an image recognition software configured to identify a vehicle occupant in a sitting position from the obtained image data.

Die obigen zwei Ausführungsformen sind Beispiele dafür, wie die Erfassung eines sitzenden Passagiers erreicht werden kann, obwohl jedes geeignete Verfahren für eine solche Erfassung verwendet werden kann.The above two embodiments are examples of how the detection of a seated passenger can be achieved, although any suitable method for such detection may be used.

In solchen Ausführungsformen, in denen der sitzende Fahrzeuginsasse durch die Verwendung von Detektionssensoren detektiert wird, fährt das Verfahren, sobald der sitzende Fahrzeuginsasse in dem hinteren Fahrgastraum erfasst worden ist, mit Schritt 303 fort, bei dem Bilddaten des hinteren Fahrgastraums von der Kamera 7 erhalten werden. In bestimmten Ausführungsformen kann die Kamera 7 konfiguriert sein, um die Bilddaten kontinuierlich zu erhalten oder um Bilddaten mit einer vordefinierten Frequenz periodisch zu erhalten.In those embodiments where the seated vehicle occupant is detected through the use of detection sensors, once the seated vehicle occupant in the rear passenger compartment has been detected, the method moves to a step 303 in which image data of the rear passenger compartment from the camera 7 to be obtained. In certain embodiments, the camera 7 be configured to obtain the image data continuously or periodically to obtain image data having a predefined frequency.

Alternativ kann in denjenigen Ausführungsformen, in denen der Fahrzeuginsasse, der in dem hinteren Fahrgastraum sitzt, aus einer Analyse der erhaltenen Bilddaten bestimmt wird, das Verfahren von 3 bei Schritt 303 eingeleitet werden, wo Bilddaten des hinteren Fahrgastraums erhalten werden. Diesem Schritt folgt dann Schritt 301, in dem aus der Analyse der erhaltenen Bilddaten bestimmt wird, ob ein Fahrzeuginsasse in dem hinteren Fahrzeugraum sitzt. Anschließend folgt Schritt 304.Alternatively, in those embodiments in which the vehicle occupant seated in the rear passenger compartment is determined from an analysis of the obtained image data, the method of FIG 3 at step 303 where image data of the rear passenger compartment are obtained. This step then follows step 301 in which, based on the analysis of the obtained image data, it is determined whether a vehicle occupant is seated in the rear vehicle compartment. Then follow step 304 ,

Dementsprechend hängt die Reihenfolge, in der die Verfahrensschritte 301 und 303 ausgeführt werden, davon ab, welcher Typ der Fahrzeuginsassenerkennung ausgeführt wird. Wenn Sensordaten, wie beispielsweise Drucksensoren oder Sicherheitsgurtsensoren, verwendet werden, um zu bestimmen, ob ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, geht der Verfahrensschritt 301 dem Schritt 303 voraus. Wenn stattdessen eine Bildanalyse verwendet wird, um zu bestimmen, ob ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, geht der Verfahrensschritt 303 dem Schritt 301 voraus und der sitzende Fahrzeuginsasse wird aus den erhaltenen Bilddaten erfasst. Die Reihenfolge, in der die übrigen Verfahrensschritte aus 3 ausgeführt werden, ist für beide Bestimmungsverfahren gleich.Accordingly, the order in which the process steps depend 301 and 303 be executed, which type of vehicle occupant recognition is executed. When sensor data, such as pressure sensors or seat belt sensors, are used to determine if a vehicle occupant is seated in the rear passenger compartment, the method step proceeds 301 the step 303 ahead. If an image analysis is used instead to determine if a vehicle occupant is seated in the rear passenger compartment, the method step proceeds 303 the step 301 ahead and the seated vehicle occupant is detected from the obtained image data. The order in which the remaining process steps off 3 are executed is the same for both determination methods.

Das Verfahren fährt mit Schritt 304 fort, in dem die erhaltenen Bilddaten zur Analyse an die Steuerung 19 weitergeleitet werden. Die erhaltenen Bilddaten können analysiert werden, um die Hand 17 des Fahrzeuginsassen innerhalb der erhaltenen Bilddaten zu identifizieren. Wie zuvor erwähnt, kann dies die Verwendung von Bilderkennungssoftware umfassen.The procedure moves to step 304 in which the obtained image data is sent to the controller for analysis 19 to get redirected. The obtained image data can be analyzed to the hand 17 of the vehicle occupant within the obtained image data. As previously mentioned, this may include the use of image recognition software.

Sobald die Hand 17 eines Fahrzeuginsassen innerhalb der erhaltenen Bilddaten identifiziert worden ist, wird die Position der Hand 17 in Schritt 305 relativ zu der benutzerbetriebenen Steuervorrichtung 15 bestimmt. Die Position der Hand 17 relativ zu der benutzerbetriebenen Steuervorrichtung 15 kann durch den Prozessor 25 bestimmt werden. Wenn der hintere Fahrgastraum eine Vielzahl von verschiedenen benutzerbetriebenen Steuervorrichtungen umfasst, kann der Schritt 305 das Bestimmen der Position der Hand 17 relativ zu der nächstgelegenen benutzerbetriebenen Steuervorrichtung umfassen. In Schritt 307 wird bestimmt, ob wenigstens ein Teil der Hand 17 in einer Entfernung liegt, die kleiner oder gleich einer vordefinierten Schwellenentfernung von der benutzerbetriebenen Steuervorrichtung 15 ist. Wenn bestimmt wird, dass kein Teil der Hand innerhalb der vordefinierten Schwellenentfernung liegt, dann fährt der Prozessor 25 damit fort, die empfangenen Bilddaten zu analysieren, und das Verfahren kehrt zu Schritt 304 zurück. Wenn stattdessen durch den Prozessor 25 bestimmt wird, dass zumindest ein Teil der identifizierten Hand innerhalb der vordefinierten Schwellenentfernung der benutzerbetriebenen Steuervorrichtung 15 liegt, dann erzeugt der Prozessor 25 ein Steuersignal zur Ausgabe an die relevante benutzerbetriebene Steuervorrichtung 15 bei Schritt 308. Bei Empfang des Steuersignals durch die benutzerbetriebene Steuervorrichtung wird bei Schritt 310 die Steuerung der benutzerbetriebenen Steuervorrichtung aktiviert. Auf diese Weise kann die Steuerung von benutzerbetriebenen Steuervorrichtungen, die in dem hinteren Fahrgastraum angeordnet sind, in Abhängigkeit davon, ob ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, und in Abhängigkeit von der Position der Hand des sitzenden Fahrzeuginsassen relativ zu der relevanten benutzerbetriebenen Steuervorrichtung selektiv ermöglicht werden.Once the hand 17 of a vehicle occupant has been identified within the obtained image data, the position of the hand becomes 17 in step 305 relative to the user-operated control device 15 certainly. The position of the hand 17 relative to the user-operated control device 15 can through the processor 25 be determined. If the rear passenger compartment includes a plurality of different user-operated control devices, the step may 305 determining the position of the hand 17 relative to the nearest user-operated control device. In step 307 determines if at least part of the hand 17 is less than or equal to a predefined threshold distance from the user-operated control device 15 is. If it is determined that no part of the hand is within the predefined threshold distance, then the processor is running 25 to analyze the received image data, and the process returns 304 back. If instead by the processor 25 determining that at least a portion of the identified hand is within the predefined threshold distance of the user-operated control device 15 then the processor generates 25 a control signal for output to the relevant user-operated control device 15 at step 308 , Upon receipt of the control signal by the user-operated control device, at step 310 the control of the user-operated control device is activated. In this way, the control of user-operated control devices arranged in the rear passenger compartment, depending on whether a vehicle occupant sits in the rear passenger compartment, and selectively depending on the position of the hand of the seated vehicle occupant relative to the relevant user-operated control device allows become.

Die vordefinierten Schwellenentfernungen für jede benutzerbetriebene Steuervorrichtung können so ausgewählt werden, dass jede benutzerbetriebene Steuervorrichtung von dem Fahrzeuginsassen komfortabel aus einer normalen Sitzposition gesteuert werden kann.The predefined threshold distances for each user-operated control device may be selected so that each user-operated control device can be conveniently controlled by the vehicle occupant from a normal sitting position.

In bestimmten Ausführungsformen, bei denen zwei oder mehr Fahrzeuginsassen in dem hinteren Fahrgastraum sitzen, kann das Verfahren zusätzlich umfassen, dass bestimmt wird, zu welchem Fahrzeuginsassen die erfasste Hand gehört. Dies kann durch den Prozessor 25 ausgeführt werden, indem die erhaltenen Bilddaten analysiert werden, um zu bestimmen, zu welchem der mehreren Fahrzeuginsassen die identifizierte Hand gehört. Die Steuerung der benutzerbetriebenen Steuervorrichtung 15 kann dann selektiv in Abhängigkeit davon aktiviert werden, zu welchem Fahrzeuginsassen die Hand gehört. Zum Beispiel kann, wenn zwei oder mehr Fahrzeuginsassen in dem hinteren Fahrgastraum sitzen, bestimmt werden, welchem Fahrzeuginsassen die identifizierte Hand gehört, und die Steuerung der relevanten benutzerbetriebenen Steuervorrichtung kann selektiv in Abhängigkeit davon aktiviert werden, zu welchem Fahrzeuginsassen die identifizierte Hand gehört. Zum Beispiel kann die Steuerung der benutzerbetriebenen Steuervorrichtung auf den Fahrzeuginsassen beschränkt werden, der sich am nächsten zu der relevanten benutzerbetriebenen Steuervorrichtung befindet, während die Steuerung der gleichen benutzerbetriebenen Steuervorrichtung für andere Fahrzeuginsassen verweigert wird.In certain embodiments where two or more vehicle occupants are seated in the rear passenger compartment, the method may additionally include determining to which vehicle occupant the detected hand belongs. This can be done by the processor 25 by analyzing the obtained image data to determine to which one of the plurality of vehicle occupants the identified hand belongs. The control of the user-operated control device 15 can then be selectively activated depending on which vehicle occupant the hand belongs to. For example, when two or more vehicle occupants are seated in the rear passenger compartment, which vehicle occupant may own the identified hand, and the control of the relevant user-operated control device may be selectively activated depending on which vehicle occupant the identified hand belongs to. For example, the control of the user-operated control device may be restricted to the vehicle occupant who is closest to the relevant user-operated control device while the control of the same user-operated control device is denied to other vehicle occupants.

Die Steuerung 19 kann konfiguriert sein, um aus einer Analyse der empfangenen Kamerabilddaten zu bestimmen, ob die Hand 17 des Fahrzeuginsassen die linke oder rechte Hand des Insassen ist. Die Steuerung 19 kann dann konfiguriert werden, um das Steuersignal in Abhängigkeit davon auszugeben, ob die Hand 17 die linke oder die rechte Hand des Insassen ist. Auf diese Weise ist es möglich, die Steuerung einer gewünschten benutzerbetriebenen Steuervorrichtung 15, die sich in dem hinteren Fahrgastraum befindet, in Abhängigkeit davon zu beschränken, ob die linke oder rechte Hand des Fahrzeuginsassen versucht, den Betrieb der zugeordneten benutzerbetriebenen Steuervorrichtung 15 zu ermöglichen.The control 19 may be configured to determine from an analysis of the received camera image data whether the hand 17 the vehicle occupant is the left or right hand of the occupant. The control 19 can then be configured to output the control signal depending on whether the hand 17 the left or right hand of the occupant is. In this way, it is possible to control a desired user-operated control device 15 , which is located in the rear passenger compartment, depending on whether the left or right hand of the vehicle occupant is attempting to operate the associated user-operated control device 15 to enable.

Der Fahrzeuginsasse kann seine Hand mit der Handfläche nach oben oder mit der Handfläche nach unten innerhalb des Raumvolumens, das innerhalb des Sichtfelds 9 der Kamera aufgenommen wird, relativ zu der benutzerbetriebenen Steuervorrichtung 15 halten. In einigen Ausführungsformen kann der Prozessor 25 konfiguriert sein, um die Ausrichtung der Handfläche der Hand des Fahrzeuginsassen zu bestimmen und um anschließend zu bestimmen, ob die Hand in Abhängigkeit der Ausrichtung der Hand die linke oder die rechte Hand des Fahrzeuginsassen ist. Die Steuerung der benutzerbetriebenen Steuervorrichtung 25 kann in Abhängigkeit davon aktiviert werden, ob die Hand die linke oder die rechte Hand des Fahrzeuginsassen ist.The vehicle occupant may place his hand palm up or palm down within the volume of the space within the field of vision 9 of the camera relative to the user-operated control device 15 hold. In some embodiments, the processor 25 be configured to determine the orientation of the palm of the hand of the vehicle occupant and then to determine whether the hand is the left or the right hand of the vehicle occupant depending on the orientation of the hand. The control of the user-operated control device 25 can be activated depending on whether the hand is the left or the right hand of the vehicle occupant.

In bestimmten Ausführungsformen kann durch den Prozessor 25 durch Analysieren der Lichtabsorption durch die Hand des Fahrzeuginsassen bestimmt werden, ob die Hand des Fahrzeuginsassen mit der Handfläche nach oben oder mit der Handfläche nach unten in Bezug auf die benutzerbetriebene Steuervorrichtung 15 ausgerichtet ist. Die Hautstruktur einer Handfläche unterscheidet sich von der Hautstruktur des Handrückens, und als Ergebnis unterscheidet sich die Menge des von der Handfläche absorbierten, einfallenden Lichts von der Menge an einfallendem Licht, die vom Handrücken absorbiert wird. Dementsprechend ist es möglich, dass die Steuerung 19 feststellt, ob die Hand mit der Handfläche nach oben oder nach unten ausgerichtet ist, indem die Steuerung 19 konfiguriert wird, um die Intensität des reflektierten Signals zu analysieren, die die Menge der von der Hand absorbierten, einfallenden Beleuchtung anzeigt. Indem festgestellt wird, ob der Fahrzeuginsasse seine Hand mit der Handfläche nach oben oder mit der Handfläche nach unten innerhalb des Raumvolumens relativ zu der benutzerbetriebenen Steuervorrichtung 15 hält, kann daher mit größerer Genauigkeit bestimmt werden, ob die Hand eine linke Hand oder eine rechte Hand ist. Diese Informationen können dann verwendet werden, um auf die gleiche Weise wie zuvor beschrieben zu bestimmen, ob die Hand zu einem ersten Fahrzeuginsassen oder zu einem zweiten Fahrzeuginsassen gehört. In certain embodiments, by the processor 25 be determined by analyzing the light absorption by the hand of the vehicle occupant, whether the hand of the vehicle occupant with the palm up or the palm down with respect to the user-operated control device 15 is aligned. The skin texture of a palm differs from the skin texture of the back of the hand, and as a result, the amount of incident light absorbed by the palm differs from the amount of incident light absorbed by the back of the hand. Accordingly, it is possible that the controller 19 Determines whether the hand is aligned with the palm up or down by the controller 19 is configured to analyze the intensity of the reflected signal indicative of the amount of incident light absorbed by the hand. By determining whether the vehicle occupant is holding his hand palm up or palm down within the volume of space relative to the user operated control device 15 Therefore, it can be determined with greater accuracy whether the hand is a left hand or a right hand. This information may then be used to determine whether the hand belongs to a first vehicle occupant or to a second vehicle occupant in the same manner as described above.

In bestimmten Ausführungsformen kann die Steuerung auch die Eintrittsrichtung der Hand eines Fahrzeuginsassen in das Sichtfeld 9 der Kamera relativ zu der benutzerbetriebenen Steuervorrichtung 15 bestimmen. In Abhängigkeit von der Handeintrittsrichtung kann festgestellt werden, ob die Hand zu einem ersten Fahrzeuginsassen oder zu einem zweiten Fahrzeuginsassen gehört. Man betrachte beispielsweise das Szenario, in dem sich eine benutzerbetriebene Steuervorrichtung 15 auf der Rückseite eines linken Fahrgastsitzes 13 befindet, wie in 1 dargestellt. Ein erster Fahrzeuginsasse sitzt gegenüber der benutzerbetriebenen Steuervorrichtung in dem hinteren linken Sitz innerhalb des hinteren Fahrgastraums. Wenn versucht wird, die benutzerbetriebene Steuervorrichtung zu betätigen, wird der erste Fahrzeuginsasse wahrscheinlich seine Hand in Richtung der benutzerbetriebenen Steuervorrichtung ausstrecken, und es wird daher erwartet, dass die Hand des ersten Fahrzeuginsassen aus einer Richtung in das Sichtfeld 9 der Kamera eintritt, die gegenüber dem Standort der benutzerbetriebenen Steuervorrichtung liegt. Auf ähnliche Weise, wenn ein zweiter Fahrzeuginsasse, der auf dem rechten Rücksitz in dem hinteren Fahrgastraum sitzt, versuchen sollte, dieselbe benutzerbetriebene Steuervorrichtung zu betätigen, würde die Steuerung wahrscheinlich feststellen, dass seine ausgestreckte Hand aus einer Richtung in das Sichtfeld 9 der Kamera eintritt, die bezogen auf die Lage der benutzerbetriebenen Steuervorrichtung seitwärts liegt. Dementsprechend kann die Eintrittsrichtung der Hand eines Fahrzeuginsassen in das Sichtfeld der Kamera verwendet werden, um abzuleiten, welchem Fahrzeuginsassen die erfasste Hand gehört, was wiederum dazu verwendet werden kann, die Steuerung der benutzerbetriebenen Steuervorrichtung einzuschränken.In certain embodiments, the controller may also control the direction of entry of the hand of a vehicle occupant into the field of view 9 the camera relative to the user-operated control device 15 determine. Depending on the direction of hand entry, it can be determined whether the hand belongs to a first vehicle occupant or to a second vehicle occupant. For example, consider the scenario in which a user-operated control device 15 on the back of a left passenger seat 13 is located as in 1 shown. A first vehicle occupant sits opposite the user-operated control device in the rear left seat within the rear passenger compartment. When attempting to operate the user-operated control device, the first vehicle occupant is likely to extend his hand towards the user-operated control device, and it is therefore expected that the hand of the first vehicle occupant from one direction into the field of view 9 the camera enters, which lies opposite the location of the user-operated control device. Similarly, if a second vehicle occupant seated in the rear right seat in the rear passenger compartment were to attempt to operate the same user operated control device, the controller would likely determine that his outstretched hand is from one direction into the field of view 9 the camera enters, which is based on the position of the user-operated control device sideways. Accordingly, the direction of entry of the hand of a vehicle occupant into the field of view of the camera can be used to deduce which vehicle occupant the detected hand belongs to, which in turn can be used to restrict the control of the user-operated control device.

In bestimmten Ausführungsformen kann sich die vordefinierte Schwellenentfernung zwischen mindestens einem Teil der Hand 17 eines Fahrzeuginsassen und der benutzerbetriebenen Steuervorrichtung 15 auf einige Zentimeter beziehen, beispielsweise jede Entfernung innerhalb des Bereichs von 1 cm bis 10 cm, einschließlich 1 cm und 10 cm. In bestimmten Ausführungsformen kann der vordefinierte Schwellenwert eine Steuerungsannäherungsgrenze, die die benutzerbetriebene Steuervorrichtung 15 umgibt und von dieser um eine bestimmte Schwellenentfernung versetzt ist, markieren, wobei die Steuerungsannäherungsgrenze, wenn sie von mindestens einen Teil der Hand des Fahrzeuginsassen gekreuzt wird, die Steuerung 19 dazu veranlasst, das Steuersignal an die relevante benutzerbetriebene Steuervorrichtung 15 auszugeben.In certain embodiments, the predefined threshold distance may be between at least a portion of the hand 17 a vehicle occupant and the user-operated control device 15 refer to a few centimeters, for example any distance within the range of 1 cm to 10 cm, including 1 cm and 10 cm. In certain embodiments, the predefined threshold may be a control approach limit that the user-operated controller 15 mark and offset therefrom by a certain threshold distance, the control approach limit, when crossed by at least a portion of the hand of the vehicle occupant, controlling 19 causing the control signal to the relevant user-operated control device 15 issue.

Die Steuerungsannäherungsgrenze kann geometrisch geformt sein. Zum Beispiel kann die Steuerungsannäherungsgrenze kastenförmig oder sphärisch geformt sein. Effektiv kann sich die Steuerungsannäherungsgrenze auf ein Raumvolumen beziehen, das von der benutzerbetriebenen Steuervorrichtung 15 um die vordefinierte Schwellenentfernung versetzt ist. In Abhängigkeit davon, dass ein beliebiger Teil der Steuerungsannäherungsgrenze von zumindest einem Teil der Hand des Fahrzeuginsassen gekreuzt wird, erzeugt die Steuerung das Steuersignal zur Ausgabe an die benutzerbetriebene Steuervorrichtung 15. Es ist anzumerken, dass nicht alle Teile der Steuerungsannäherungsgrenze von der benutzerbetriebenen Steuervorrichtung 15 um die vordefinierte Schwellenentfernung versetzt sein müssen. Wenn beispielsweise die Steuerungsannäherungsgrenze kastenförmig (z. B. würfelförmig) ist, ist zu beachten, dass es möglich ist, dass einige Flächen des Würfels nicht um die vordefinierte Schwellenentfernung von der benutzerbetriebenen Steuervorrichtung versetzt sind.The control approach limit may be geometrically shaped. For example, the control approach limit may be box-shaped or spherically shaped. Effectively, the control approach limit may refer to a volume of space that is used by the user-operated control device 15 offset by the predefined threshold distance. In response to crossing any part of the control approach limit of at least a portion of the hand of the vehicle occupant, the controller generates the control signal for output to the user-operated control device 15 , It should be noted that not all parts of the control approach limit from the user-operated control device 15 must be offset by the predefined threshold distance. For example, if the control approach boundary is box-shaped (eg cubic), it should be noted that it is possible that some areas of the cube are not offset by the predefined threshold distance from the user-operated control device.

Um zu ermöglichen, dass die Position der Hand 17 relativ zu der benutzerbetriebenen Steuervorrichtung 15 bestimmt wird, kann sich die Kamera 7 in bestimmten Ausführungsformen auf eine 3D-Mapping-Steuerung beziehen, die angeordnet ist, um ein 3D-Modell der Hand innerhalb des Sichtfelds 9 zu erzeugen. Zum Beispiel kann sich die Kamera 7 in bestimmten Ausführungsformen auf eine TOF-Kamera beziehen, in der jedes erfasste Bildpixel einer Entfernung auf der Basis eines Rückkehrzeitpunkts eines reflektierten Beleuchtungssignals zugeordnet ist. Um dies zu erreichen, kann die TOF-Kamera mit einer Beleuchtungsquelle konfiguriert sein, die angeordnet ist, um das Sichtfeld der Kamera zu beleuchten. Das einfallende Beleuchtungssignal wird anschließend von Objekten reflektiert, die sich im Sichtfeld der Kamera befinden, und der Rückkehrzeitpunkt des reflektierten Beleuchtungssignals wird gemessen. Auf diese Weise ist es möglich, jedem abgebildeten Objekt eine Entfernungsmessung zuzuordnen. Das Beleuchtungssignal kann sich auf ein beliebiges elektromagnetisches Signal beziehen und muss nicht im sichtbaren Spektrum enthalten sein. Zum Beispiel kann das Beleuchtungssignal in bestimmten Ausführungsformen im Infrarotspektrum arbeiten.To allow the position of the hand 17 relative to the user-operated control device 15 is determined, the camera can 7 in certain embodiments relate to a 3D mapping control arranged to provide a 3D model of the hand within the field of view 9 to create. For example, the camera may be 7 in certain embodiments, refer to a TOF camera in which each detected image pixel is subject to removal based on a return time of a reflected illumination signal assigned. To accomplish this, the TOF camera may be configured with an illumination source arranged to illuminate the field of view of the camera. The incident illumination signal is then reflected by objects located in the field of view of the camera, and the return time of the reflected illumination signal is measured. In this way it is possible to assign a distance measurement to each imaged object. The illumination signal may refer to any electromagnetic signal and need not be included in the visible spectrum. For example, in certain embodiments, the illumination signal may operate in the infrared spectrum.

In ähnlicher Weise kann auch eine TOF-Kamera verwendet werden, um, falls erforderlich und unter Verwendung der zuvor beschriebenen Prinzipien des Rückkehrzeitpunkts eines reflektierten Beleuchtungssignals, zu erfassen, ob ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt.Similarly, a TOF camera may also be used to detect if a vehicle occupant is seated in the rear passenger compartment, if necessary and using the previously described principles of the return time of a reflected illumination signal.

In jenen Ausführungsformen, in denen die Kamera 7 eine TOF-Kamera umfasst, können die Steuerung 19 und insbesondere der Eingang 21 konfiguriert sein, um sowohl Kamerabilddaten als auch Bildobjektentfernungsinformationsdaten von der TOF-Kamera zu empfangen. Dies ermöglicht es der Steuerung 19, genauer dem Prozessor 25, die Position der Hand 17 des Fahrzeuginsassen relativ zu der benutzerbetriebenen Steuervorrichtung 15 aus den empfangenen Daten zu bestimmen und, falls erforderlich, zu bestimmen, ob der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt.In those embodiments in which the camera 7 A TOF camera may include the controller 19 and in particular the entrance 21 be configured to receive both camera image data and image removal information from the TOF camera. This allows the controller 19 , more precisely the processor 25 , the position of the hand 17 the vehicle occupant relative to the user-operated control device 15 from the received data and, if necessary, to determine if the vehicle occupant is seated in the rear passenger compartment.

4 ist ein schematisches Diagramm, das das Funktionsprinzip einer TOF-Kamera 27 darstellt. Eine modulierte Beleuchtungsquelle 29 wird verwendet, um ein gewünschtes Ziel 31 zu beleuchten. Die einfallende Beleuchtung 33 wird durch das Ziel 31 reflektiert und auf einem Sensor 35 erfasst, der eine Anordnung von Pixeln umfasst. Während das reflektierte modulierte Licht 37 erfasst wird, erfassen die Pixel des Sensors 35 jedoch gleichzeitig auch sichtbares Licht, das von dem Ziel reflektiert wird. Da das Beleuchtungssignal 33 moduliert ist, kann es von dem sichtbaren Licht, das von dem Ziel 31 reflektiert wird, unterschieden werden, was es ermöglicht, die Laufzeit des modulierten Beleuchtungssignals zu messen. Die Laufzeit, die das modulierte Beleuchtungssignal benötigt, um auf das Ziel 31 zu treffen und zum Sensor 35 zurückreflektiert zu werden, wird gemessen, wenn es auf den Sensor 35 trifft. Auf diese Weise kann jedes erfasste Bildpixel einer Entfernung des entsprechenden Bildobjekts auf der Grundlage der gemessenen Laufzeit zugeordnet werden, die für das von dem Sensor 35 zu messende, reflektierte, modulierte Beleuchtungssignal 37 erforderlich ist. Genauere Einzelheiten bezüglich des Betriebs von TOF-Kameras sind in der Technik weit verbreitet, und aus diesem Grund ist eine detailliertere Diskussion für die vorliegenden Zwecke nicht notwendig. 4 is a schematic diagram illustrating the working principle of a TOF camera 27 represents. A modulated illumination source 29 is used to a desired destination 31 to illuminate. The incident lighting 33 gets through the goal 31 reflected and on a sensor 35 detected comprising an array of pixels. While the reflected modulated light 37 is detected, capture the pixels of the sensor 35 but at the same time also visible light, which is reflected by the target. Because the lighting signal 33 It can be modulated by the visible light coming from the target 31 is reflected, which makes it possible to measure the duration of the modulated illumination signal. The runtime, which requires the modulated illumination signal to reach the destination 31 to meet and to the sensor 35 Being reflected back is measured when it is on the sensor 35 meets. In this way, each captured image pixel may be assigned a distance of the corresponding image object based on the measured transit time for that of the sensor 35 to be measured, reflected, modulated illumination signal 37 is required. More details regarding the operation of TOF cameras are widely used in the art, and for this reason a more detailed discussion is not necessary for the present purposes.

Wenn die Kamera 7 von 1 eine TOF-Kamera 27 umfasst, ist es möglich, eine dreidimensionale Punktwolke der Hand des Fahrzeuginsassen zu erzeugen, die sich innerhalb des Sichtfelds 9 der Kamera befindet. Die 5a und 5b zeigen ein Beispiel einer dreidimensionalen Punktwolke 39 der Hand 17 des Fahrzeuginsassen, die unter Verwendung der TOF-Kamera 27 erzeugt wurde. Genauso kann gegebenenfalls auch eine dreidimensionale Punktewolke des im hinteren Fahrgastraum sitzenden Fahrzeuginsassen erzeugt werden. In bestimmten Ausführungsformen kann die Steuerung 19 konfiguriert sein, um die dreidimensionale Punktwolke unter Verwendung der von der TOF-Kamera 27 empfangenen Bilddaten und Bildobjektentfernungsinformationen zu erzeugen. 5a zeigt eine Punktwolke 39 der Hand 17 des Fahrzeuginsassen, wenn sie sich einer rechteckförmigen Steuerungsannäherungsgrenze 41 annähert. In 5b schneidet ein Teil der Punktwolke 39 der Hand 17 des Fahrzeuginsassen einen Teil der Steuerungsannäherungsgrenze 41. In diesem Fall und wie zuvor erwähnt, kann die Steuerung 19, abhängig davon, zu welchem Fahrzeuginsassen die Hand gehört, dazu konfiguriert sein, ein Steuersignal zur Ausgabe an die benutzerbetriebene Steuervorrichtung 15 zu erzeugen, um die Steuerung dieser benutzerbetriebenen Steuervorrichtung 15 zu ermöglichen.If the camera 7 from 1 a TOF camera 27 it is possible to generate a three-dimensional point cloud of the hand of the vehicle occupant, which is within the field of view 9 the camera is located. The 5a and 5b show an example of a three-dimensional point cloud 39 the hand 17 of the vehicle occupant using the TOF camera 27 was generated. Likewise, if appropriate, a three-dimensional point cloud of the vehicle occupant seated in the rear passenger compartment can also be generated. In certain embodiments, the controller may 19 be configured to use the three-dimensional point cloud using the TOF camera 27 received image data and image removal information. 5a shows a point cloud 39 the hand 17 of the vehicle occupant when approaching a rectangular control approach boundary 41 approaches. In 5b cuts a part of the point cloud 39 the hand 17 the vehicle occupant a part of the control approach limit 41 , In this case and as previously mentioned, the controller can 19 depending on which vehicle occupant owns the hand, configured to provide a control signal for output to the user-operated control device 15 to generate the control of this user-operated control device 15 to enable.

Um es zu ermöglichen, dass die Position der Hand 17 des Fahrzeuginsassen relativ zur benutzerbetriebenen Steuervorrichtung 15 bestimmt wird, kann die Position der benutzerbetriebenen Steuervorrichtung 15 relativ zu der TOF-Kamera bestimmt werden. Dies kann wiederum unter Verwendung einer Bilderkennungssoftware erfolgen. Da die Position der benutzerbetriebenen Steuervorrichtung 15 relativ zu der TOF-Kamera 27 bekannt ist und da die Position der Hand 17 des Fahrzeuginsassen relativ zu der TOF-Kamera 27 bekannt ist, kann die Position der Hand 17 des Fahrzeuginsassen relativ zu der benutzerbetriebenen Steuervorrichtung 15 unter Verwendung der Trigonometrie bestimmt werden. In bestimmten Ausführungsform und um die Berechnung während der Benutzung zu erleichtern, kann die Steuerung 19 im Rahmen einer anfänglichen Konfiguration der TOF-Kamera 27 mit Entfernungsinformationen über jede benutzerbetriebenen Steuervorrichtung 15 relativ zu der TOF-Kamera 27 ausgestattet sein. Diese Entfernungsinformationen können gespeichert und für die nachfolgende Verwendung abgerufen werden, wenn sie benötigt werden. Dies erleichtert eine nachfolgende Berechnung der Position der Hand relativ zu einer gewünschten benutzerbetriebenen Steuervorrichtung 15, da nur die Entfernung der Hand 17 des Fahrzeuginsassen relativ zu der TOF-Kamera 27 und die Position relativ zu der bekannten Position der benutzerbetriebenen Steuervorrichtung 15 berechnet werden muss, wobei beide aus Daten gewonnen werden können, die von der TOF-Kamera 27 erfasst werden.To make it possible for the position of the hand 17 the vehicle occupant relative to the user-operated control device 15 is determined, the position of the user-operated control device 15 relative to the TOF camera. This can in turn be done using an image recognition software. Since the position of the user-operated control device 15 relative to the TOF camera 27 is known and there the position of the hand 17 the vehicle occupant relative to the TOF camera 27 is known, the position of the hand can 17 the vehicle occupant relative to the user-operated control device 15 be determined using trigonometry. In certain embodiments and to facilitate calculation during use, the controller may 19 as part of an initial configuration of the TOF camera 27 with distance information about each user-operated control device 15 relative to the TOF camera 27 be equipped. This distance information can be stored and retrieved for subsequent use when needed. This facilitates subsequent calculation of the position of the hand relative to a desired user-operated control device 15 because only the removal of the hand 17 of the vehicle occupant relative to the TOF camera 27 and the position relative to the known position of the user-operated control device 15 must be calculated, both of which can be obtained from data obtained from the TOF camera 27 be recorded.

Wenn von der TOF-Kamera 27 erfasste Bilddaten ebenfalls verwendet werden, um zu erfassen, ob der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, kann die Steuerung 19 auch mit Entfernungsinformationen des Fahrgastsitzes relativ zu der TOF-Kamera 27 versehen sein. Es kann ermittelt werden, dass der Fahrzeuginsasse sitzt, wenn bestimmt wird, dass die Entfernung der Beine des Fahrzeuginsassen innerhalb einer Schwellenentfernung des Sitzes ist. In ähnlicher Weise kann bestimmt werden, dass der Fahrzeuginsasse in Abhängigkeit von der Position des Fahrzeuginsassen sitzt. Wenn beispielsweise festgestellt wird, dass sich der Fahrzeuginsasse in einer Position befindet, in der seine Beine in einer üblichen Sitzposition relativ zu seinem Oberkörper angewinkelt sind, kann ebenfalls festgestellt werden, dass der Fahrzeuginsasse sitzt.If from the TOF camera 27 detected image data can also be used to detect whether the vehicle occupant is sitting in the rear passenger compartment, the controller 19 also with distance information of the passenger seat relative to the TOF camera 27 be provided. It may be determined that the vehicle occupant is seated when it is determined that the distance of the legs of the vehicle occupant is within a threshold distance of the seat. Similarly, it may be determined that the vehicle occupant is seated depending on the position of the vehicle occupant. For example, if it is determined that the vehicle occupant is in a position where his legs are angled in a conventional seating position relative to his upper body, it can also be determined that the vehicle occupant is seated.

Die 6a und 6b zeigen ein beispielhaftes Anwendungsszenario, in dem eine benutzerbetriebene Steuervorrichtung 15, die sich auf der Rückseite eines vorderen Passagiersitzes befindet, in Übereinstimmung mit dem zuvor beschriebenen Verfahren gesteuert werden kann. Als Reaktion darauf, dass ein Passagier in einem hinteren Fahrgastraum einer Fahrzeugkabine 1 sitzt, sowie als Reaktion darauf, dass zumindest ein Teil einer Hand 17 eines Passagiers die Steuerungsannäherungsgrenze 601 schneidet, kann die benutzerbetriebene Steuervorrichtung 15, die der Steuerungsannäherungsgrenze 601 zugeordnet ist, so konfiguriert sein, dass sie aus ihrer verstauten Konfiguration ausgefahren wird. In dem veranschaulichten Beispiel kann die benutzerbetriebene Steuervorrichtung eine Berührungsbildschirmanzeige zum Steuern verschiedener, unterschiedlicher Fahrzeugsteuersysteme umfassen oder sich auf ein Infotainment-System beziehen. 6a zeigt das Szenario, bei dem sich die Hand 17 eines Fahrzeuginsassen in einer Entfernung befindet, die größer ist als die vorbestimmte Schwellenentfernung, und daher die Steuerungsannäherungsgrenze 601 nicht schneidet. Als Ergebnis verbleibt die zugehörige Anzeigeeinheit in ihrer verstauten Konfiguration 605, in der sich die Steuerkonsole in einem Aufbewahrungsfach auf der Rückseite des vorderen Passagiersitzes befindet und in dieser verstauten Konfiguration nicht betriebsfähig ist. 6b zeigt das Szenario, in dem sich die Hand 17 des Fahrzeuginsassen in einer Position befindet, in der mindestens ein Teil der Hand die Steuerungsannäherungsgrenze 601 schneidet. Als ein Ergebnis wird die Anzeigeeinheit von ihrer verstauten Konfiguration in ihre ausgefahrene Konfiguration 610 überführt. In der ausgefahrenen Konfiguration 610 ragt mindestens ein Teil der Steuerkonsole aus dem Aufbewahrungsfach heraus und ist durch den Fahrzeuginsassen bedienbar.The 6a and 6b show an exemplary application scenario in which a user-operated control device 15 located on the back of a front passenger seat, can be controlled in accordance with the method described above. In response to being a passenger in a rear passenger compartment of a vehicle cabin 1 sits, as well as in response to being at least part of a hand 17 of a passenger the control approach limit 601 cuts, the user-operated control device 15 , the control approach limit 601 is assigned to be extended from its stowed configuration. In the illustrated example, the user-operated control device may include a touch-screen display for controlling various different vehicle control systems or relating to an infotainment system. 6a shows the scenario in which the hand 17 of a vehicle occupant is located at a distance that is greater than the predetermined threshold distance, and therefore the control approach limit 601 does not cut. As a result, the associated display unit remains in its stowed configuration 605 where the control console is located in a storage compartment on the back of the front passenger seat and is inoperable in this stowed configuration. 6b shows the scenario in which the hand is 17 of the vehicle occupant is in a position where at least a portion of the hand is at the control approach limit 601 cuts. As a result, the display unit changes from its stowed configuration to its extended configuration 610 transferred. In the extended configuration 610 At least a part of the control console protrudes out of the storage compartment and can be operated by the vehicle occupant.

In bestimmten Ausführungsformen kann es mehr als eine Hand eines Fahrzeuginsassen innerhalb des Sichtfelds 9 der Kamera geben, beispielsweise wenn ein erster und ein zweiter Fahrzeuginsasse in dem hinteren Fahrgastraum sitzen. Sowohl der erste als auch der zweite Fahrzeuginsasse können wünschen, entweder verschiedene benutzerbetriebene Steuervorrichtungen, die sich in dem hinteren Fahrgastraum befinden, oder dieselbe benutzerbetriebene Steuervorrichtung gleichzeitig zu bedienen. Wenn sowohl eine erste Hand, die zu dem ersten Fahrzeuginsassen gehört, als auch eine zweite Hand, die zu dem zweiten Fahrzeuginsassen gehört, gleichzeitig in dem Sichtfeld 9 der Kamera erfasst werden, kann der Prozessor 25 konfiguriert sein, um zu identifizieren, welche Hand zu welchem Fahrzeuginsassen gehört. Der Prozessor 25 kann dann die Position jeder Hand in Bezug auf eine benutzerbetriebene Steuervorrichtung bestimmen. Die Steuerung der benutzerbetriebenen Steuervorrichtung 15 kann für den ersten Fahrzeuginsassen in Abhängigkeit davon aktiviert werden, dass mindestens ein Teil der ersten Hand innerhalb der Schwellenentfernung der benutzerbetriebenen Steuervorrichtung ist.In certain embodiments, there may be more than one hand of a vehicle occupant within the field of view 9 the camera, for example, when a first and a second vehicle occupant sitting in the rear passenger compartment. Both the first and second vehicle occupants may desire to operate either different user-operated control devices located in the rear passenger compartment or the same user-operated control device simultaneously. When both a first hand associated with the first vehicle occupant and a second hand associated with the second vehicle occupant simultaneously in the field of view 9 the camera can be detected, the processor 25 configured to identify which hand belongs to which vehicle occupant. The processor 25 may then determine the position of each hand with respect to a user-operated control device. The control of the user-operated control device 15 may be activated for the first vehicle occupant depending on at least a portion of the first hand being within the threshold distance of the user-operated control device.

In weiteren Ausführungsformen kann die Steuerung 19 zusätzlich zu dem Ermöglichen einer Steuerung einer benutzerbetriebenen Steuervorrichtung 15 für den ersten Benutzer verhindern, dass der zweite Fahrzeuginsasse die benutzerbetriebene Steuervorrichtung 15 verwendet, wenn sich die zweite Hand innerhalb der Schwellenentfernung der benutzerbetriebenen Steuervorrichtung 15 befindet. Auf diese Weise kann die Steuerung einer bestimmten benutzerbetriebenen Steuervorrichtung 15 nur einem ersten Fahrzeuginsassen ermöglicht werden, selbst in dem Szenario, in dem die Hand des zweiten Fahrzeuginsassen innerhalb der Annäherungsgrenze der benutzerbetriebenen Steuervorrichtung 15 vorhanden ist, und festgestellt wird, dass ein oder mehrere Fahrzeuginsassen in dem hinteren Fahrgastraum sitzen. Dies verbessert die Robustheit des Systems.In other embodiments, the controller 19 in addition to allowing control of a user-operated control device 15 for the first user, the second vehicle occupant prevents the user-operated control device 15 used when the second hand within the threshold distance of the user-operated control device 15 located. In this way, the control of a particular user-operated control device 15 only to a first vehicle occupant, even in the scenario where the hand of the second vehicle occupant is within the approach limit of the user-operated control device 15 is present, and it is determined that one or more vehicle occupants are seated in the rear passenger compartment. This improves the robustness of the system.

In bestimmten Ausführungsformen kann die Steuerung einer ersten benutzerbetriebenen Steuervorrichtung für einen ersten Fahrzeuginsassen ermöglicht werden und die Steuerung einer zweiten benutzerbetriebenen Steuervorrichtung kann für einen zweiten Fahrzeuginsassen ermöglicht werden, wenn festgestellt wird, dass sowohl eine erste Hand als auch eine zweite Hand, die zum ersten bzw. zum zweiten Fahrzeuginsassen gehören, innerhalb der Annäherungsgrenze einer ersten bzw. einer zweiten benutzerbetriebenen Steuervorrichtung erfasst werden.In certain embodiments, the control of a first user-operated control device may be enabled for a first vehicle occupant, and the control of a second user-operated control device may be enabled for a second vehicle occupant, when it is determined that both a first hand and a second hand corresponding to the first resp to the second vehicle occupant are detected within the approach boundary of a first and a second user-operated control device, respectively.

In bestimmten Ausführungsformen kann die benutzerbetriebene Steuervorrichtung eine Anzeigeeinheit umfassen, die sich in der Fahrzeugkabine befindet. Die Anzeigeeinheit kann eine Benutzerschnittstelle umfassen, die es einem Fahrzeuginsassen ermöglichen kann, verschiedene Fahrzeugeinstellungen zu ändern. In einem Beispiel kann die Steuerung der gesamten Anzeigeeinheit in Abhängigkeit davon aktiviert werden, dass eine Hand innerhalb der Annäherungsgrenze der Anzeigeeinheit erfasst wird, und in Abhängigkeit davon, dass ein sitzender Fahrzeuginsasse in dem hinteren Fahrgastraum des Fahrzeugs 43 erfasst wird. In anderen Ausführungsformen können unterschiedliche Funktionalitäten, die der Anzeigeeinheit zugeordnet sind, für unterschiedliche Benutzer in Abhängigkeit davon aktiviert werden, dass ihre Hand auf oder in der Nähe der Annäherungsgrenze liegt und dass sie in dem hinteren Fahrgastraum des Fahrzeugs sitzen. In certain embodiments, the user-operated control device may include a display unit located in the vehicle cabin. The display unit may include a user interface that may enable a vehicle occupant to change various vehicle settings. In one example, the control of the entire display unit may be activated in response to a hand being detected within the approaching limit of the display unit, and in response to a seated vehicle occupant in the rear passenger compartment of the vehicle 43 is detected. In other embodiments, different functionalities associated with the display unit may be activated for different users depending on their hand being at or near the approach limit and being seated in the rear passenger compartment of the vehicle.

In bestimmten Ausführungsformen können Sicherheitsgurtsensordaten verwendet werden, um festzustellen, ob ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt. Die Steuerung der benutzerbetriebenen Steuervorrichtung kann dann in Abhängigkeit von einem Sicherheitsgurtsensor aktiviert werden, der einem Sitz im hinteren Fahrgastraum zugeordnet ist und anzeigt, dass der Sicherheitsgurt in Eingriff gelangt ist, wobei der Eingriff des Sicherheitsgurts anzeigt, dass der Fahrzeuginsasse im hinteren Fahrgastraum sitzt. In solchen Ausführungsformen kann der Prozessor 25 der Steuerung so konfiguriert sein, dass er ein Eingangssignal von dem Sicherheitsgurtdetektionssystem empfängt. Wie zuvor beschrieben, kann dann die Steuerung der benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon aktiviert werden, dass sowohl der Sicherheitsgurt in Eingriff ist als auch die Hand des Fahrzeuginsassen in oder innerhalb der vordefinierten Schwellenentfernung angeordnet ist. Ein Vorteil dieser Ausführungsform besteht darin, dass sie die Verwendung des Sicherheitsgurts fördert, da der Betrieb der benutzerbetriebenen Steuervorrichtungen davon abhängt, dass der Sicherheitsgurt in Eingriff ist.In certain embodiments, seat belt sensor data may be used to determine if a vehicle occupant is seated in the rear passenger compartment. The control of the user operated control device may then be activated in response to a seat belt sensor associated with a seat in the rear passenger compartment indicating that the seat belt has engaged, wherein the engagement of the seat belt indicates that the vehicle occupant is seated in the rear passenger compartment. In such embodiments, the processor 25 the controller is configured to receive an input signal from the seatbelt detection system. As described above, then, the control of the user-operated control device may be activated in response to both the seat belt engaging and the vehicle occupant's hand being located within or within the predefined threshold distance. An advantage of this embodiment is that it promotes the use of the safety belt, as the operation of the user-operated control devices depends on the seatbelt being engaged.

In einer weiteren Ausführungsform kann die Steuerung 19 konfiguriert sein, um aus einer Analyse der empfangenen Kamerabilddaten zu bestimmen, ob die Hand 17 des Fahrzeuginsassen eine vordefinierte Geste ausführt. Die Steuerung 19 kann dann konfiguriert sein, um das Steuersignal in Abhängigkeit davon auszugeben, ob die Hand 17 die vordefinierte Geste ausführt. Auf diese Weise kann die Steuerung 19 den Betrieb der benutzerbetriebenen Steuervorrichtung 15 nicht nur in Abhängigkeit von der relativen Position der Hand in Bezug auf die benutzerbetriebene Steuervorrichtung und in Abhängigkeit davon, dass der Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt, beschränken, sondern auch in Abhängigkeit von der vordefinierten Geste. Dies hilft zu verhindern, dass die Steuerung der benutzerbetriebenen Steuervorrichtung versehentlich ermöglicht wird. Zum Beispiel kann ein unbeabsichtigtes Entfalten einer verstauten, benutzerbetriebenen Steuervorrichtung verhindert werden. Dieses Merkmal kann besonders dann wünschenswert sein, wenn eine zufällige Freigabe der Steuerung der benutzerbetriebenen Steuervorrichtung unter Umständen unerwünscht ist.In a further embodiment, the controller 19 be configured to determine from an analysis of the received camera image data, whether the hand 17 the vehicle occupant executes a predefined gesture. The control 19 can then be configured to output the control signal depending on whether the hand 17 performs the predefined gesture. That way the controller can 19 the operation of the user-operated control device 15 not only depending on the relative position of the hand with respect to the user-operated control device and in dependence on the vehicle occupant sitting in the rear passenger compartment, but also in dependence on the predefined gesture. This helps to prevent the control of the user-operated control device from being accidentally enabled. For example, inadvertent deployment of a stowed, user-operated control device can be prevented. This feature may be particularly desirable when accidental release of the control of the user-operated control device may be undesirable.

In noch einer weiteren Ausführungsform kann die Steuerung 19 konfiguriert sein, um ein Steuersignal zum Steuern einer benutzerbetriebenen Steuervorrichtung in Abhängigkeit davon auszugeben, dass eine vordefinierte Geste identifiziert wird. Zum Beispiel können verschiedene Funktionen oder Betriebsmodi der benutzerbetriebenen Steuervorrichtung unter Verwendung unterschiedlicher, vordefinierter Gesten aktiviert werden. In solchen Ausführungsformen kann das Ausgabesteuersignal auch von der spezifischen Geste abhängen, die von dem Fahrzeuginsassen ausgeführt wird. Unterschiedliche Steuersignale können für verschiedene identifizierte Gesten ausgegeben werden.In yet another embodiment, the controller may 19 configured to output a control signal for controlling a user-operated control device in response to a predefined gesture being identified. For example, various functions or modes of operation of the user-operated controller may be activated using different, predefined gestures. In such embodiments, the output control signal may also depend on the specific gesture being performed by the vehicle occupant. Different control signals can be output for different identified gestures.

In bestimmten Ausführungsformen ist vorgesehen, dass, damit die Steuerung der benutzerbetriebenen Steuervorrichtung 15 aktiviert werden kann, ein Teil der Hand 17 des Fahrzeuginsassen für eine vorbestimmte Zeitperiode innerhalb der vordefinierten Schwellenentfernung verbleiben muss, wie zuvor beschrieben. Die vordefinierte Zeitperiode kann sich auf jedwede beliebige Zeitperiode beziehen und sie kann von der spezifischen benutzerbetriebenen Steuervorrichtung abhängen. Diese Anforderung trägt dazu bei, eine unbeabsichtigte Aktivierung der benutzerbetriebenen Steuervorrichtung 15 zu verhindern, wenn ein Fahrzeuginsasse unbeabsichtigt seine Hand in eine Position bewegt, die innerhalb der vordefinierten Schwellenentfernung liegt.In certain embodiments, it is contemplated that in order to control the user-operated control device 15 can be activated, part of the hand 17 of the vehicle occupant must remain within the predefined threshold distance for a predetermined period of time, as previously described. The predefined time period may refer to any arbitrary time period and may depend on the specific user-operated control device. This requirement helps inadvertent activation of the user-operated control device 15 prevent a vehicle occupant inadvertently moving his hand to a position within the predefined threshold distance.

Während die vorhergehenden Ausführungsformen der Erfindung im Zusammenhang mit einer TOF-Kamera beschrieben wurden, gilt es zu beachten, dass alternative Kamerakonfigurationen gemäß den hierin beschriebenen Ausführungsformen verwendet werden können. Es kann jede beliebige Konfiguration von Kameras verwendet werden, die es ermöglicht, Bilddaten einer Hand relativ zu dem vorgesehenen Oberflächenbereich zu erfassen und die Position der Hand relativ zu dem vorgesehenen Oberflächenbereich zu bestimmen. Zum Beispiel kann auch eine Konfiguration von zwei oder mehr Kameras verwendet werden, die jeweils konfiguriert sind, um ein anderes perspektivisches Bild der Hand relativ zu dem zu erfassenden vorgesehenen Oberflächenbereich zu ermöglichen. Bei einer solchen Anordnung würden die verschiedenen perspektivischen Bilder der Hand relativ zu dem vorgesehenen Oberflächenbereich es der Steuerung ermöglichen, die Position der Hand in Bezug auf den vorgesehenen Oberflächenbereich durch Triangulation zu bestimmen. Eine solche Konfiguration von Kameras kann auch verwendet werden, um zu erkennen, ob ein Fahrzeuginsasse in dem hinteren Fahrgastraum sitzt.While the foregoing embodiments of the invention have been described in the context of a TOF camera, it is to be understood that alternative camera configurations may be used in accordance with the embodiments described herein. Any configuration of cameras may be used which allows image data of one hand to be detected relative to the intended surface area and to determine the position of the hand relative to the intended surface area. For example, a configuration of two or more cameras, each configured to provide a different perspective image of the hand relative to the intended surface area to be detected, may also be used. With such an arrangement, the various perspective images of the hand relative to the intended surface area would allow the controller to determine the position of the hand with respect to the intended surface area by triangulation. Such a configuration of cameras may also be used to detect if a vehicle occupant is seated in the rear passenger compartment.

Ähnlich kann in einer alternativen Ausführungsform die TOF-Kamera der vorhergehenden Ausführungsformen durch eine herkömmliche Kamera in Kombination mit einem optischen Lineal, wie beispielsweise einem Lidar, ersetzt werden. In einer solchen Ausführungsform liefert der Lidar die Bildobjektentfernungsinformationen, während die Kamera Bilddaten bereitstellt. Die Steuerung kann in solchen Ausführungsformen konfiguriert sein, um die Lidar-Daten in Kombination mit den erhaltenen Bilddaten zu analysieren, um die Position der Hand des Fahrzeuginsassen relativ zu dem vorgesehenen Oberflächenbereich zu bestimmen.Similarly, in an alternative embodiment, the TOF camera of the previous embodiments may be replaced by a conventional camera in combination with an optical ruler such as a lidar. In such an embodiment, the lidar provides the image object removal information while the camera provides image data. The controller, in such embodiments, may be configured to analyze the lidar data in combination with the obtained image data to determine the position of the hand of the vehicle occupant relative to the intended surface area.

Viele Änderungen können an den vorhergehenden Beispielen und Ausführungsformen vorgenommen werden, ohne vom Umfang der vorliegenden Erfindung nach der Definition in den beigefügten Patentansprüchen abzuweichen.Many changes may be made to the foregoing examples and embodiments without departing from the scope of the present invention as defined by the appended claims.

Claims

A method of enabling control of a user-operated control device (15) at least partially disposed in a rear passenger compartment within a vehicle cabin (1), the method comprising: Detecting that a vehicle occupant is seated in the rear passenger compartment; Detecting a hand (17) of the vehicle occupant within a volume of space within the rear passenger compartment; Determining a position of the hand (17) with respect to the user-operated control device (15); and Enabling control of the user-operated control device (15) in response to a distance between at least a portion of the hand (17) and the user-operated control device (15) being less than or equal to a predefined threshold distance, and depending on the vehicle occupant being in the rear Passenger room sits.

Method according to Claim 1 method comprising: determining the position of the hand (17) with respect to an approach limit associated with the user-operated control device (15), the approach limit defining a limit offset from the user-operated control device (15) by the predefined threshold distance; and allowing control of the user-operated control device (15) in response to the location of at least a portion of the hand (17) intersecting the approach limit.

Method according to one of the preceding claims, comprising: Determining whether the hand (17) is the left or right hand of the vehicle occupant; and allowing control of the user-operated control device (15) depending on whether the hand (17) is the left or right hand of the vehicle occupant, the method optionally comprising: Determining whether the hand (17) is aligned with the palm up or down with respect to the user-operated control device (15); and Determining whether the hand (17) is the left or right hand of the vehicle occupant, depending on whether the hand is aligned with the palm up or down.

Method according to one of the preceding claims, comprising: Determining whether the hand (17) holds the hand (17) of a first vehicle occupant or a second vehicle occupant; and allowing control of the user-operated control device (15) in dependence on which vehicle occupant the hand (17) belongs to; and / or wherein the method comprises: Determining the direction of entry of the hand (17) into the volume of space relative to the user-operated control device (15); Determining whether the hand (17) is the hand of a first vehicle occupant or a second vehicle occupant, depending on the direction of entry; and Enabling control of the user-operated control device (15) depending on which vehicle occupant the hand (17) belongs to.

Method according to one of the preceding claims, comprising: Obtaining image data of the hand (17) within the volume of space; Receiving a reflection signal reflected by the hand (17); Determining a distance of the hand (17) from a designated origin in response to the reflection signal; and Determining the relative position of the hand (17) with respect to the user-operated control device (15) in dependence on the distance of the hand (17) relative to the intended origin, the obtained image data, and a known distance of the user-operated control device (15) relative to the intended one Origin: optionally with the intended origin coinciding with a position of an image capture device.

Method according to one of the preceding claims, comprising: Detecting whether a seat belt connected to a seat located in the rear passenger compartment is engaged, the seat belt, when engaged, being arranged to secure the vehicle occupant to the seat; and allowing control of the user-operated control device (15) in response to the seatbelt being engaged.

Method according to one of the preceding claims, comprising: Extending the user-operated control device (15) from a stowed position in which the user-operated control device (15) is inoperative to an extended position in which the user-operated control device (15) is operable, depending on the distance between at least the Part of the hand (17) and the user-operated control device (15) is less than or equal to the predefined threshold distance.

A controller (19) for permitting control of a user-operated control device (15) at least partially disposed in a rear passenger compartment within a vehicle cabin (1), the controller (19) comprising: an input (21) configured to receive: Information indicating that a vehicle occupant is seated in the rear passenger compartment; and Image data obtained from an image capture device; a processor (25) configured in operation for: Recognizing a hand (17) of the vehicle occupant from the image data, the hand (17) being located within a volume of space within the rear passenger compartment within which image objects are captured by the image capture device; Determining a position of the hand (17) with respect to the user-operated control device (15); and an output (23), arranged in operation, for outputting a control signal for enabling control of the user-operated control device (15) to the user-operated control device (15) in response to a distance between at least a part of the hand (17 ) and the user-operated control device (15) is less than or equal to a predefined threshold distance, and in dependence on that the vehicle occupant is seated in the rear passenger compartment.

Control (19) after Claim 8 wherein the processor (25) is operatively configured to determine the position of the hand (17) with respect to an approach limit associated with the user-operated control device (15), the approach limit defining a limit imposed by the user-operated control device (15) is offset by the predefined threshold distance; and the output (23) is operatively arranged to output the control signal in response to the location of at least a portion of the hand (17) intersecting the approach limit.

Control (19) according to one of Claims 8 or 9 wherein the processor (25) is operatively arranged to determine whether the hand (17) is the left or right hand of the vehicle occupant; and the output (23) is operatively arranged to output the control signal in response to whether the hand (17) is the left or right hand of the vehicle occupant; optionally, wherein the processor (25) is operatively arranged to determine whether the hand (17) is aligned with the palm up or down within the volume of space relative to the user operated controller (15), and in response to Alignment of the hand (17) to determine whether the hand (17) is the left or right hand (17) of the vehicle occupant.

Control (19) according to one of Claims 8 to 10 wherein: the input (21) is operatively configured to receive data from a time of flight (TOF) image capture device including a sensor (35), the TOF image capture device (27) being operable to obtain image data of the hand (17) to illuminate the hand (17) within the volume of space and to measure a return time of a reflected illumination signal, wherein the return time of the reflected illumination signal is proportional to a distance of the hand (17) from the sensor (35), the data including the image data and the return timing of the reflected illumination signal; and wherein the processor (25) is operatively arranged to determine the position of the hand (17) with respect to the user-operated control device (15) in dependence on the determined distance of the hand (17) from the sensor (35), the obtained image data and a known distance of the user-operated control device (15) relative to the sensor (35), wherein the distance of the hand (17) from the sensor (35) is determined in dependence on the return time of the reflected illumination signal.

Control (19) according to one of Claims 8 to 11 wherein: the input (21) is operatively configured to receive data indicating whether a seatbelt connected to a seat located in the rear passenger compartment is engaged, the seat belt engaging, when engaged, arranged to secure the vehicle occupant to the seat; and the output (23) is operatively arranged to output the control signal in response to the seat belt engaging.

Control (19) according to one of Claims 8 to 12 wherein the output (23) is operatively arranged to output a control signal for extending the user-operated control device (15) from a stowed position to an extended position in which the user-operated control device (15) is operable, depending on the distance between at least a portion of the hand (17) and the user-operated control device (15) is less than or equal to the predefined threshold distance; optionally, the output (23) being configured to output the control signal to one of the following: a) an entertainment system; b) a ventilation system; c) a passenger table; d) one or more blinds; e) a vehicle window control; f) a sunroof controller; g) a drink holder; and h) a display unit.

Computer program product with instructions for carrying out the method according to one of Claims 1 to 7 ; and / or a computer-readable medium having instructions for performing the method according to any one of Claims 1 to 7 are stored.

Vehicle (43) configured in operation to perform the method of any of Claims 1 to 7 run; and / or the controller (19) according to one of Claims 8 to 13 includes.