DE102022121614A1 - METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE - Google Patents

METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE Download PDF

Info

Publication number
DE102022121614A1
DE102022121614A1 DE102022121614.4A DE102022121614A DE102022121614A1 DE 102022121614 A1 DE102022121614 A1 DE 102022121614A1 DE 102022121614 A DE102022121614 A DE 102022121614A DE 102022121614 A1 DE102022121614 A1 DE 102022121614A1
Authority
DE
Germany
Prior art keywords
vehicle
interior
configuration
view
movable component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022121614.4A
Other languages
German (de)
Inventor
Thomas Ewender
Florian Ober
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022121614.4A priority Critical patent/DE102022121614A1/en
Priority to PCT/EP2023/062742 priority patent/WO2024041766A1/en
Publication of DE102022121614A1 publication Critical patent/DE102022121614A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554Seat position sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Ein Verfahren zum Erkennen einer Konfiguration eines Innenraums (2) eines Fahrzeugs (1). Bei dem Verfahren werden mittels zumindest einer Bilderfassungseinrichtung (3) Bilddaten erfasst, wobei die Bilddaten eine Ansicht des Innenraums (2) des Fahrzeugs (1) repräsentieren, wobei die Ansicht zumindest einen feststehenden Teil (6, 7, 15) des Fahrzeugs (1) und zumindest eine bewegliche Komponente (9, 10, 11, 12, 13, 14) des Innenraums (2) des Fahrzeugs (1) jeweils zumindest teilweise enthält. Die Bilddaten werden ausgewertet. Dabei wird der zumindest eine feststehende Teil (6, 7, 15) des Fahrzeugs (1) erkannt, um die Ansicht einem entsprechenden Bereich des Innenraums (2) des Fahrzeugs (1) zuzuordnen. Außerdem wird eine Konfiguration der zumindest einen beweglichen Komponente (9, 10, 11, 12, 13, 14) des Innenraums (2) in dem der Ansicht zugeordneten Bereich des Innenraums (2) des Fahrzeugs (1) erkannt. A method for recognizing a configuration of an interior (2) of a vehicle (1). In the method, image data is captured using at least one image capture device (3), the image data representing a view of the interior (2) of the vehicle (1), the view representing at least a fixed part (6, 7, 15) of the vehicle (1). and at least partially contains at least one movable component (9, 10, 11, 12, 13, 14) of the interior (2) of the vehicle (1). The image data is evaluated. The at least one fixed part (6, 7, 15) of the vehicle (1) is recognized in order to assign the view to a corresponding area of the interior (2) of the vehicle (1). In addition, a configuration of the at least one movable component (9, 10, 11, 12, 13, 14) of the interior (2) is recognized in the area of the interior (2) of the vehicle (1) assigned to the view.

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie ein System zum Erkennen einer Konfiguration eines Innenraums eines Fahrzeugs. Insbesondere basiert die Erkennung der Innenraumkonfiguration auf Bilddaten, die mittels einer Bilderfassungseinrichtung, wie einer Kamera, im Innenraum des Fahrzeugs erfasst werden.The present invention relates to a method and a system for recognizing a configuration of an interior of a vehicle. In particular, the recognition of the interior configuration is based on image data that is captured in the interior of the vehicle using an image capture device, such as a camera.

Es kann in verschiedenen Situationen in einem Fahrzeug erforderlich oder wünschenswert sein, eine Konfiguration des Innenraums festzustellen. Insbesondere können die Sitze eines Fahrzeugs verstellt werden, es können die Sitzlehnen nach hinten gestellt werden oder es können Tische oder andere bewegliche Komponenten ausgeklappt oder ausgefahren werden. Mit der Umsetzung von Level 3 bis Level 5 Fahrerassistenzfunktionen (insbesondere bei Level 4 oder Level 5) können während der Fahrt auch weitere Variationen von Sitzeinstellungen möglich sein, beispielsweise könnten die Sitze zum Fahrzeuginneren gedreht werden. Dadurch bedingt müssen je nach Konfiguration der Innenraumkomponenten bestimmte Airbags ausgelöst bzw. unterdrückt werden. Zum Beispiel muss der Frontairbag bei gedrehten Vordersitzen deaktiviert werden. Bei zurückgelegter Sitzlehne muss beispielsweise ein anderer Airbag aktiviert werden als bei gerader Sitzlehneneinstellung. Die Erkennung dieser Fahrzeuginnenraumkonfiguration benötigt üblicherweise in jeder beweglichen Innenraumkomponente einen Sensor, wie einen Positionssensor (z.B. Hall-Sensor oder Potentiometer), um die Position der Innenraumkomponenten, wie auch ein Einrasten von Komponenten zu erkennen (z.B. bei Sitzdrehung, Umklappen von Lehnen etc.).It may be necessary or desirable to determine an interior configuration in various situations in a vehicle. In particular, the seats of a vehicle can be adjusted, the seat backs can be moved backwards, or tables or other movable components can be folded out or extended. With the implementation of Level 3 to Level 5 driver assistance functions (particularly at Level 4 or Level 5), further variations of seat settings may also be possible while driving, for example the seats could be turned towards the inside of the vehicle. As a result, certain airbags must be triggered or suppressed depending on the configuration of the interior components. For example, the front airbag must be deactivated when the front seats are turned. For example, when the seat back is reclined, a different airbag must be activated than when the seat back is set straight. The detection of this vehicle interior configuration usually requires a sensor in each movable interior component, such as a position sensor (e.g. Hall sensor or potentiometer), in order to detect the position of the interior components, as well as the locking of components (e.g. when the seat is rotated, the backrests are folded down, etc.) .

Eine Erkennung von Veränderungen im Innenraum eines Fahrzeugs, beispielweise auch eine Erkennung von Sitzplatzbelegungen kann kamerabasiert erfolgen. In vielen verschiedenen technischen Anwendungen stellt sich die Aufgabe, Bilddaten, also Daten die ein Bild oder eine Abfolge von Bildern, wie etwa ein Video, repräsentieren, dahingehend zu analysieren, ob und gegebenenfalls welche Objekte in dem bzw. den Bildern abgebildet sind. Auch das Erkennen von Bewegungen oder Veränderungen solcher Objekte auf Basis solcher Bilder bzw. Bilddaten sind regelmäßig von Interesse. Entsprechende Kameras können dazu fest im Innenraum eines Fahrzeugs moniert sein, um eine definierte Ansicht des Innenraums zu erfassen. Entsprechende Bilddaten können dann ausgewertet werden. Eine Kamera kann beispielsweise im Armaturenbrett vorgesehen sein, wo Teile des Innenraums jedoch durch Teile des Fahrzeugs oder Fahrzeuginsassen verdeckt sein können. Sichtbare, im Innenraum eines Fahrzeugs angebrachte Kameras sind jedoch oftmals kundenseitig nicht erwünscht.Detection of changes in the interior of a vehicle, for example detection of seat occupancy, can be camera-based. In many different technical applications, the task is to analyze image data, i.e. data that represents an image or a sequence of images, such as a video, to determine whether and, if so, which objects are depicted in the image(s). Detecting movements or changes in such objects based on such images or image data is also regularly of interest. Corresponding cameras can be permanently installed in the interior of a vehicle in order to capture a defined view of the interior. Corresponding image data can then be evaluated. For example, a camera can be provided in the dashboard, where parts of the interior can, however, be obscured by parts of the vehicle or vehicle occupants. However, visible cameras installed in the interior of a vehicle are often not desired by customers.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Erkennung einer Konfiguration eines Innenraums eines Fahrzeugs weiter zu verbessern. Insbesondere soll die Erkennung ohne spezielle Sensorik in den einzelnen beweglichen Komponenten im Innenraum des Fahrzeugs erfolgen.The present invention is based on the object of further improving the recognition of a configuration of an interior of a vehicle. In particular, the detection should take place without special sensors in the individual moving components in the interior of the vehicle.

Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.The solution to this problem is achieved in accordance with the teaching of the independent claims. Various embodiments and developments of the invention are the subject of the subclaims.

Ein erster Aspekt der Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Erkennen einer Konfiguration eines Innenraums eines Fahrzeugs. Bei dem Verfahren werden mittels zumindest einer Bilderfassungseinrichtung Bilddaten erfasst, wobei die Bilddaten eine Ansicht des Innenraums des Fahrzeugs repräsentieren, wobei die Ansicht zumindest einen feststehenden Teil des Fahrzeugs und zumindest eine bewegliche Komponente des Innenraums des Fahrzeugs jeweils zumindest teilweise enthält. Die Bilddaten werden ausgewertet. Dabei wird der zumindest eine feststehende Teil des Fahrzeugs erkannt, um die Ansicht einem entsprechenden Bereich des Innenraums des Fahrzeugs zuzuordnen. Außerdem wird eine Konfiguration der zumindest einen beweglichen Komponente des Innenraums in dem der Ansicht zugeordneten Bereich des Innenraums des Fahrzeugs erkannt.A first aspect of the invention relates to a method, in particular a computer-implemented one, for recognizing a configuration of an interior of a vehicle. In the method, image data is captured by means of at least one image capture device, the image data representing a view of the interior of the vehicle, the view each at least partially containing at least a fixed part of the vehicle and at least one movable component of the interior of the vehicle. The image data is evaluated. The at least one fixed part of the vehicle is recognized in order to assign the view to a corresponding area of the interior of the vehicle. In addition, a configuration of the at least one movable component of the interior is recognized in the area of the interior of the vehicle associated with the view.

Das vorgenannte Verfahren nach dem ersten Aspekt beruht folglich insbesondere darauf, dass Bilddaten ausgewertet werden, die mittels einer Bilderfassungseinrichtung, wie einer Kamera erfasst werden. Die Bilderfassungseinrichtung nimmt eine Ansicht des Innenraums auf, aus der eine Konfiguration einer beweglichen Komponente im Innenraum erkannt werden kann. Es kann eine zuverlässige Erkennung der Konfiguration der beweglichen Komponente erreicht werden, indem auch ein feststehender Teil des Fahrzeugs erkannt wird. Die Bildauswertung kann sich an dem feststehenden Teil des Fahrzeugs orientieren.The aforementioned method according to the first aspect is therefore based in particular on evaluating image data that is captured using an image capture device, such as a camera. The image capture device records a view of the interior from which a configuration of a movable component in the interior can be recognized. Reliable detection of the configuration of the moving component can be achieved by also detecting a stationary part of the vehicle. The image evaluation can be based on the stationary part of the vehicle.

Beim Auswerten der Bilddaten wird die von der Bilderfassungseinrichtung aufgenommene Ansicht verwendet, wobei z.B. mit einem Machine-Learning oder einem klassischen Bilderkennungsansatz die Konfiguration der einzelnen Komponenten erkannt werden kann. Dabei kann das Verfahren auf feststehende Teile des Fahrzeugs und damit unveränderliche Teile zurückgreifen und auf die Konfiguration der beweglichen Komponente(n) schließen. Es sind keine speziellen Sensoren (z.B. Hall-Sensoren) im Innenraum bzw. in den einzelnen beweglichen Komponenten des Innenraums, beispielsweise in den Sitzen notwendig. Da das Verfahren feststehende Teile des Fahrzeugs mit einbezieht, sind beispielsweise auch keine extra Messmarkierungen an den beweglichen Komponenten im Innenraum oder anderswo im Innenraum des Fahrzeugs notwendig.When evaluating the image data, the view recorded by the image capture device is used, with the configuration of the individual components being able to be recognized, for example using machine learning or a classic image recognition approach. The method can rely on fixed parts of the vehicle and thus unchangeable parts and draw conclusions about the configuration of the moving component(s). No special sensors (e.g. Hall sensors) are necessary in the interior or in the individual moving components of the interior, for example in the seats. Since the method involves fixed parts of the vehicle, there are no extra measurement marks, for example ments on the moving components in the interior or elsewhere in the interior of the vehicle are necessary.

Der hier verwendete Begriff „Fahrzeug“ bezieht sich insbesondere auf einen Pkw, einschließlich aller Arten von Kraftfahrzeugen, Hybrid- und batteriebetriebenen Elektrofahrzeugen sowie Fahrzeuge wie Vans, Busse, Lkw, Lieferwagen und dergleichen.As used herein, the term “vehicle” specifically refers to a passenger car, including all types of motor vehicles, hybrid and battery-powered electric vehicles, as well as vehicles such as vans, buses, trucks, delivery trucks and the like.

Unter dem Begriff „Konfiguration eines Innenraums eines Fahrzeugs“ (gleichbedeutend mit „Innenraumkonfiguration eines Fahrzeugs“, „Konfiguration eines Fahrzeuginnenraums“ oder „Fahrzeuginnenraumkonfiguration“), wie hierin verwendet, ist insbesondere eine Anordnung von Innenraumkomponenten, insbesondere einschließlich ihrer Position und Orientierung im Raum, d.h. in einem Fahrzeugkoordinatensystem, zu verstehen. Dies kann insbesondere ihre absolute Position und/oder Orientierung im Raum und ihre relative Position und/oder Orientierung bezüglich anderer Komponenten des Fahrzeugs bzw. des Fahrzeuginnenraums mit einschließen. Der Begriff kann die Konfiguration einer einzelnen Komponente sowie auch einer Mehrzahl von Komponenten beinhalten.The term “configuration of an interior of a vehicle” (equivalent to “interior configuration of a vehicle”, “configuration of a vehicle interior” or “vehicle interior configuration”), as used herein, is in particular an arrangement of interior components, in particular including their position and orientation in space, i.e. in a vehicle coordinate system. This can in particular include their absolute position and/or orientation in space and their relative position and/or orientation with respect to other components of the vehicle or the vehicle interior. The term can include the configuration of a single component as well as a plurality of components.

Der hier verwendete Begriff „Bilderfassungseinrichtung“ bezieht sich insbesondere auf eine Kamera, insbesondere eine Digitalkamera. Die Kamera kann Standbilder (Fotos) oder bewegte Bilder (Videos) aufnehmen. Die Bilderfassungseinrichtung kann ein derartiges Bild erfassen oder aufnehmen und entsprechende Bilddaten ausgeben.The term “image capture device” used here refers in particular to a camera, in particular a digital camera. The camera can capture still images (photos) or moving images (videos). The image capture device can capture or record such an image and output corresponding image data.

Der Begriff „Ansicht“, wie hierin verwendet, bezieht sich insbesondere auf ein Sichtfeld der Bilderfassungseinrichtung. Mit anderen Worten, die Ansicht zeigt denjenigen Bereich des Fahrzeuginnenraums, der mittels der Bilderfassungseinrichtung aufgenommen werden kann. Die Ansicht kann sich beispielsweise ändern, wenn die Bilderfassungs-einrichtung bewegt wird. Die Ansicht ist einem Bereich des Innenraums des Fahrzeugs zugeordnet, nämlich demjenigen Bereich, welcher in der Ansicht sichtbar ist. Die Ansicht kann zweidimensional oder dreidimensional sein.The term “view” as used herein refers in particular to a field of view of the image capture device. In other words, the view shows that area of the vehicle interior that can be recorded using the image capture device. The view can change, for example, when the image capture device is moved. The view is assigned to an area of the interior of the vehicle, namely the area that is visible in the view. The view can be two-dimensional or three-dimensional.

Der Begriff „feststehender Teil (des Fahrzeugs)“, wie hierin verwendet, bezieht sich insbesondere auf solche Teile des Fahrzeugs, die nicht verändert oder bewegt werden können. Dies können beispielsweise Teile der Karosserie des Fahrzeugs, wie die A-Säule oder B-Säule des Fahrzeugs sein. Auch können Teile des Innenraums feststehend sein, wie die Mittelkonsole oder auch feste Strukturen oder Elemente am Boden oder der Innenverkleidung.The term “fixed part (of the vehicle)” as used herein refers in particular to those parts of the vehicle that cannot be changed or moved. These can be, for example, parts of the vehicle body, such as the A-pillar or B-pillar of the vehicle. Parts of the interior can also be fixed, such as the center console or fixed structures or elements on the floor or the interior paneling.

Der Begriff „bewegliche Komponente (des Innenraums des Fahrzeugs)“, wie hierin verwendet, bezieht sich insbesondere auf Komponenten des Innenraums, welche insbesondere durch Bedienung oder Betätigung (manuell oder automatisch) im Innenraum bewegt werden können, d.h. deren Position und/oder Orientierung im Raum veränderbar ist, insbesondere relativ zu feststehenden Teilen des Fahrzeugs. Dies kann auch Veränderungen beinhalten, die die Form der Komponente betreffen.The term “movable component (of the interior of the vehicle)”, as used herein, refers in particular to components of the interior which can be moved in the interior in particular by operation or actuation (manually or automatically), i.e. their position and/or orientation in the interior Space can be changed, in particular relative to fixed parts of the vehicle. This may also include changes affecting the shape of the component.

Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.The terms “comprises,” “includes,” “includes,” “has,” “has,” “with,” or any other variation thereof, as may be used herein, are intended to cover non-exclusive inclusion. For example, a method or device that includes or has a list of elements is not necessarily limited to those elements, but may include other elements that are not expressly listed or that are inherent to such method or device.

Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).Furthermore, unless expressly stated to the contrary, “or” refers to an inclusive or and not an exclusive “or”. For example, a condition A or B is satisfied by one of the following conditions: A is true (or present) and B is false (or absent), A is false (or absent) and B is true (or present), and both A and B are true (or present).

Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe „ein anderer“ und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.The terms “a” or “an” as used herein are defined to mean “one or more”. The terms “another” and “another” as well as any other variant thereof are to be understood in the sense of “at least one further”.

Der Begriff „Mehrzahl“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.The term “plural” as used herein is to be understood in the sense of “two or more”.

Unter dem Begriff „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.For the purposes of the invention, the term “configured” or “set up” to fulfill a specific function (and respective modifications thereof) means that the corresponding device is already in a configuration or setting in which it can carry out the function or it is at least so adjustable - ie configurable - that it can carry out the function after the appropriate setting. The configuration can be carried out, for example, by appropriately setting parameters of a process flow or switches or the like to activate or deactivate functionalities or settings. In particular, the device can have several predetermined configurations or operating modes, so that configuring can be done by selecting one of these configurations or operating modes.

Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.Preferred embodiments of the method are described below, which can be combined in any way with each other and with the other aspects of the invention described, unless this is expressly excluded or is technically impossible.

Bei einigen Ausführungsformen umfasst die erkannte Konfiguration der zumindest einen beweglichen Komponente eine absolute Position und Orientierung der beweglichen Komponente in dem der Ansicht zugeordneten Bereich des Innenraums des Fahrzeugs bezüglich eines dreidimensionalen Koordinatensystems. Mit anderen Worten, eine bewegliche Komponente kann im Fahrzeuginnenraum bezüglich sechs Freiheitsgraden bestimmt werden. Dies umfasst Verschiebungen entlang dreier Achsen, beispielsweise einer x-, y- und z-Achse in einem orthogonalen Koordinatensystem, wie einem Fahrzeugkoordinatensystem, sowie Rotationen um diese drei Achsen. Es kann dadurch eine genaue Erkennung der Konfiguration der beweglichen Komponente bereitgestellt werden.In some embodiments, the recognized configuration of the at least one movable component includes an absolute position and orientation of the movable component in the area of the interior of the vehicle associated with the view with respect to a three-dimensional coordinate system. In other words, a moving component can be determined in the vehicle interior with respect to six degrees of freedom. This includes translations along three axes, such as an x, y, and z axis in an orthogonal coordinate system, such as a vehicle coordinate system, as well as rotations about these three axes. This can provide accurate recognition of the configuration of the movable component.

Bei einigen Ausführungsformen umfasst die erkannte Konfiguration der zumindest einen beweglichen Komponente eine relative Position und Orientierung der beweglichen Komponente bezüglich zumindest eines feststehenden Teils des Fahrzeugs. Eine vorteilhafte Erkennung der Konfiguration der beweglichen Komponente kann bereitgestellt werden, wenn die Konfiguration relativ zu feststehenden Teilen des Fahrzeugs erkannt wird. Beispielsweise kann so festgestellt werden, wie weit eine geneigte Sitzlehne von einer (geschlossenen) Tür, einer Innenverkleidung oder dem Armaturenbrett des Fahrzeugs entfernt ist.In some embodiments, the recognized configuration of the at least one movable component includes a relative position and orientation of the movable component with respect to at least a stationary part of the vehicle. Advantageous recognition of the configuration of the movable component can be provided when the configuration is recognized relative to stationary parts of the vehicle. For example, it can be determined how far a tilted seat back is from a (closed) door, an interior panel or the dashboard of the vehicle.

Bei einigen Ausführungsformen umfasst die bewegliche Komponente zumindest einen Sitz des Fahrzeugs, wobei die erkannte Konfiguration zumindest eines aus einer Sitzposition, Sitzrotation und einer Neigung (bzw. einem Neigungswinkel) einer Lehne des Sitzes umfasst. Die Sitze eines Fahrzeugs lassen sich üblicherweise verstellen. Dies betrifft insbesondere den Fahrersitz und den Beifahrersitz. Beispielsweise kann ein Sitz verschiebbar und in der Höhe verstellbar sein. Auch kann die Sitzlehne verstellt werden. Im Kontext des autonomen Fahrens kann es auch möglich sein, die Sitze, insbesondere den Fahrersitz und Beifahrersitz, zu drehen oder zu schwenken, so dass sie in Richtung der Fahrzeugmitte bzw. entgegen der Fahrtrichtung weisen. Das Erkennen einer solchen Konfiguration kann für gewisse Fahrzeugfunktionen, wie unten näher erläutert, von Bedeutung sein. Es kann auch von Interesse sein, zu erkennen, ob die Lehne einer Rückbank umgeklappt ist, sei es ganz oder teilweise. Wie die Vordersitze können in einigen Fahrzeugen auch die Rücksitze entsprechend verstellbar sein.In some embodiments, the movable component includes at least one seat of the vehicle, wherein the recognized configuration includes at least one of a seating position, seat rotation, and a tilt (or tilt angle) of a back of the seat. The seats of a vehicle can usually be adjusted. This particularly applies to the driver's seat and the passenger seat. For example, a seat can be movable and adjustable in height. The seat back can also be adjusted. In the context of autonomous driving, it may also be possible to rotate or pivot the seats, in particular the driver's seat and front passenger seat, so that they point towards the center of the vehicle or against the direction of travel. Detecting such a configuration may be important for certain vehicle functions, as explained in more detail below. It may also be of interest to see whether the backrest of a rear seat is folded down, either fully or partially. Like the front seats, the rear seats in some vehicles can also be adjusted accordingly.

Bei einigen Ausführungsformen umfasst die bewegliche Komponente zumindest ein Zubehörteil des Fahrzeugs, wobei die erkannte Konfiguration eine Position und/oder Orientierung des Zubehörteils im Innenraum des Fahrzeugs umfasst. Neben den Sitzen können auch weitere Komponenten im Innenraum beweglich sein, was ebenfalls für das Steuern einer Fahrzeugfunktion relevant sein kann, beispielsweise wenn die bewegliche Zubehörkomponente für eine bestimmte Fahrzeugfunktion im Weg sein kann. Es kann sich beispielsweise um Zubehörteile von Sitzen, wie eine Armlehne eines Sitzes oder eine bewegliche Fußstütze, einen schwenkbaren oder klappbaren Tisch, ein schwenkbares oder klappbares Display, oder andere bewegliche Zubehörteile handeln.In some embodiments, the movable component includes at least one accessory of the vehicle, wherein the recognized configuration includes a position and/or orientation of the accessory within the interior of the vehicle. In addition to the seats, other components in the interior can also be movable, which can also be relevant for controlling a vehicle function, for example if the movable accessory component can get in the way for a specific vehicle function. For example, they can be accessories of seats, such as an armrest of a seat or a movable footrest, a swivel or foldable table, a swivel or foldable display, or other movable accessories.

Bei einigen Ausführungsformen erfolgt durch das Erkennen des zumindest einen feststehenden Teils eine Kalibrierung der Bilderfassungseinrichtung. Dies ist insbesondere dann vorteilhaft, wenn die Bilderfassungseinrichtung beweglich ist und nicht über einen eigenen Positionssensor verfügt. Eine (Auto-)Kalibrierung kann dann einfach anhand des Bildes erfolgen, welches die Bilderfassungseinrichtung aufnimmt, da die Konfiguration von den feststehenden Teilen des Fahrzeugs unveränderlich und bekannt ist, beispielsweise die Position, Orientierung, Form und dergleichen.In some embodiments, the image capture device is calibrated by recognizing the at least one fixed part. This is particularly advantageous if the image capture device is movable and does not have its own position sensor. An (auto) calibration can then simply be carried out based on the image that the image capture device records, since the configuration of the stationary parts of the vehicle is unchangeable and known, for example the position, orientation, shape and the like.

Bei einigen Ausführungsformen wird durch das Erkennen des zumindest einen feststehenden Teils eine Position und/oder Orientierung der Bilderfassungseinrichtung im Innenraum des Fahrzeugs bestimmt. Dies kann auch der Kalibrierung dienen. Beispielsweise kann so auf einfache Weise eine Nullstellung der Bilderfassungseinrichtung bestimmt werden, um die Erkennung der Konfiguration der beweglichen Komponenten im Fahrzeuginnenraum zu erleichtern.In some embodiments, recognizing the at least one fixed part determines a position and/or orientation of the image capture device in the interior of the vehicle. This can also be used for calibration. For example, a zero position of the image capture device can be determined in a simple manner in order to make it easier to recognize the configuration of the movable components in the vehicle interior.

Bei einigen Ausführungsformen umfasst das Verfahren ein Abgleichen der Bilddaten mit (dreidimensionalen) Konstruktionsdaten Fahrzeugs, insbesondere des Innenraums des Fahrzeugs. Dies können beispielsweise CAD-Daten des Fahrzeugs sein. Diese Daten sind bekannt und können ein dreidimensionales Modell des Fahrzeugs repräsentieren. Durch einen Abgleich dieses bekannten Modells des Fahrzeugs mit den Bilddaten können auf einfache Weise feststehende Teile des Fahrzeugs und auch bewegliche Komponenten erkannt werden, auch wenn diese beispielsweise nicht vollständig in der Ansicht enthalten sind. Bei den beweglichen Komponenten kann insbesondere berücksichtigt werden, dass diese nicht beliebig beweglich sind, sondern nur in einem vorgegebenen Bereich. Beispielsweise lässt sich ein Sitz üblicherweise nicht beliebig verschieben, sondern nur über eine gewisse Strecke. Auch kann eine Sitzlehne üblicherweise nur in einem bestimmten Winkelbereich bewegt werden. Dies kann derartigen Konstruktionsdaten entnommen werden.In some embodiments, the method includes comparing the image data with (three-dimensional) construction data of the vehicle, in particular the interior of the vehicle. This can be, for example, CAD data of the vehicle. This data is known and can represent a three-dimensional model of the vehicle. By comparing this known model of the vehicle with the image data, stationary parts of the vehicle and also moving components can be easily recognized, even if these are not completely included in the view, for example. Particular consideration can be given to the moving components that these cannot be moved arbitrarily, but only within a specified area. For example, a seat usually cannot be moved arbitrarily, but only over a certain distance. A seat back can usually only be moved within a certain angular range. This can be seen from such design data.

Bei einigen Ausführungsformen wird abhängig von der erkannten Konfiguration der zumindest einen beweglichen Komponente zumindest eine Signalquelle angesteuert, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben. Dadurch kann eine Fahrzeugfunktion ausgeführt, aktiviert oder deaktiviert werden. Beispielsweise kann abhängig von der Konfiguration der zumindest einen beweglichen Komponente bestimmt werden, ob ein bestimmter Airbag im Crashfall ausgelöst bzw. unterdrückt wird. Beispielsweise kann ein Fahrerairbag deaktiviert werden, wenn der Fahrersitz gedreht wird. Es kann auch möglich sein, einen bestimmten Airbag zu deaktivieren, wenn beispielsweise ein Display ausgeklappt wird, sodass es in den Auslösebereich des Airbags gelangt. Umgekehrt kann ein solcher Airbag aktiviert werden, wenn das Display wieder eingeklappt wird. Ein weiteres Beispiel kann die Steuerung einer Fahrzeuglüftung sein, die abhängig von der Konfiguration der Sitze erfolgt.In some embodiments, at least one signal source is activated depending on the recognized configuration of the at least one movable component in order to cause the signal source to output a defined signal depending on the activation. This allows a vehicle function to be executed, activated or deactivated. For example, depending on the configuration of the at least one movable component, it can be determined whether a specific airbag is triggered or suppressed in the event of a crash. For example, a driver's airbag can be deactivated when the driver's seat is rotated. It may also be possible to deactivate a specific airbag, for example if a display is folded out so that it comes into the deployment area of the airbag. Conversely, such an airbag can be activated when the display is folded back in. Another example could be the control of vehicle ventilation, which depends on the configuration of the seats.

Bei einigen Ausführungsformen enthält die Ansicht mehrere bewegliche Komponenten des Innenraums des Fahrzeugs jeweils zumindest teilweise, wobei eine Konfiguration aller der in der Ansicht enthaltenen beweglichen Komponenten erkannt wird. Die beweglichen Komponenten können dabei ganz oder auch nur teilweise in der Ansicht enthalten sein. Auf diese Weise kann umfassend auf mehrere Änderungen der Konfiguration beweglicher Komponenten im Innenraum reagiert werden. Vorzugsweise enthält die Ansicht alle beweglichen Komponenten (jeweils zumindest teilweise), die für eine bestimmte Fahrzeugfunktion, beispielsweise für das Ansteuern von Airbags, relevant sind. So kann einfach eine gesamte Konfiguration des Fahrzeuginnenraums erkannt werden, ohne dass weitere Sensoren notwendig sind.In some embodiments, the view includes a plurality of movable components of the interior of the vehicle, each at least in part, recognizing a configuration of all of the movable components included in the view. The moving components can be completely or only partially included in the view. In this way, multiple changes in the configuration of moving components in the interior can be comprehensively responded to. The view preferably contains all moving components (each at least partially) that are relevant for a specific vehicle function, for example for activating airbags. This means that an entire configuration of the vehicle interior can be easily recognized without the need for additional sensors.

Ein zweiter Aspekt der Erfindung betrifft ein System zur Datenverarbeitung, aufweisend zumindest einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach dem ersten Aspekt der Erfindung ausführt. Das System weist des Weiteren zumindest eine Bilderfassungseinrichtung auf, welche in einem Innenraum eines Fahrzeugs angebracht und eingerichtet ist, eine Ansicht des Innenraums des Fahrzeugs zu erfassen.A second aspect of the invention relates to a system for data processing, comprising at least one processor configured to carry out the method according to the first aspect of the invention. The system further has at least one image capture device, which is mounted in an interior of a vehicle and is set up to capture a view of the interior of the vehicle.

Bei einigen Ausführungsformen ist die Bilderfassungseinrichtung in einer beweglichen Komponente des Innenraums des Fahrzeugs angeordnet. Dies erlaubt eine flexible Gestaltung des Innenraums. Die Bilderfassungseinrichtung muss nicht in einer festen Position angeordnet sein. Insbesondere durch die Bildauswertung wie oben beschrieben, kann eine Konfiguration einer beweglichen Komponente im Fahrzeuginnenraum auch zuverlässig erkannt werden, wenn die Bilderfassungseinrichtung beweglich ist.In some embodiments, the image capture device is arranged in a movable component of the interior of the vehicle. This allows flexible design of the interior. The image capture device does not have to be arranged in a fixed position. In particular, through the image evaluation as described above, a configuration of a movable component in the vehicle interior can also be reliably recognized if the image capture device is movable.

Bei einigen Ausführungsformen ist die Bilderfassungseinrichtung in einem Innenspiegel des Fahrzeugs angeordnet. Die Anordnung im Innenspiegel ist vorteilhaft, da so eine gute Übersicht über den Innenraum (von vorne oben) erreicht werden kann. Insbesondere wird der Sichtbereich nicht verdeckt, z.B. durch das Lenkrad oder Fahrzeuginsassen, wenn die Bilderfassungseinrichtung beispielsweise im Armaturenbrett angeordnet wäre. Auch kann die Bilderfassungseinrichtung so versteckt angeordnet werden und ist für die Fahrzeuginsassen nicht störend. Bei einer Bewegung des Innenspiegels kann das Verfahren dennoch zuverlässig ausgeführt werden, wie oben erläutert.In some embodiments, the image capture device is arranged in an interior mirror of the vehicle. The arrangement in the interior mirror is advantageous because it allows a good overview of the interior (from the front above). In particular, the viewing area is not obscured, for example by the steering wheel or vehicle occupants, if the image capture device were arranged, for example, in the dashboard. The image capture device can also be arranged hidden and is not disturbing for the vehicle occupants. If the interior mirror moves, the method can still be carried out reliably, as explained above.

Bei einigen Ausführungsformen ist die Bilderfassungseinrichtung eine 2D-Kamera oder eine 3D-Kamera. Entsprechend wird eine zweidimensionale bzw. dreidimensionale Ansicht erfasst. Es kann sich insbesondere um eine Infrarotkamera oder eine Time-of-Flight-Kamera (TOF-Kamera) handeln. Für eine Infrarotkamera (IR oder NIR) kann eine entsprechende Infrarot-Lichtquelle vorgesehen werden, so dass das Verfahren auch bei Dunkelheit zuverlässig ausgeführt werden kann. Bei Verwendung einer TOF-Kamera kann mittels eines Lichtlaufzeitverfahrens eine dreidimensionale Ansicht des Innenraums insbesondere mittels eines PMD-Sensors erfasst werden. Dadurch können Veränderungen der Konfiguration des Innenraums beispielsweise durch Bestimmen von Abständen auf genaue Weise erfasst werden. Es versteht sich, dass die Bilderfassungseinrichtung auch eine Kamera sein kann, welche mit sichtbarem Licht (Tageslicht), insbesondere im RGB-Farbraum arbeitet. Die Bilderfassungseinrichtung kann insbesondere eine Weitwinkelkamera sein, um einen möglichst großen Bereich des Innenraums als Ansicht zu erhalten.In some embodiments, the image capture device is a 2D camera or a 3D camera. Accordingly, a two-dimensional or three-dimensional view is captured. In particular, it can be an infrared camera or a time-of-flight camera (TOF camera). A corresponding infrared light source can be provided for an infrared camera (IR or NIR), so that the method can be carried out reliably even in the dark. When using a TOF camera, a three-dimensional view of the interior can be captured using a time-of-flight method, in particular using a PMD sensor. This allows changes in the configuration of the interior to be accurately recorded, for example by determining distances. It goes without saying that the image capture device can also be a camera that works with visible light (daylight), in particular in the RGB color space. The image capture device can in particular be a wide-angle camera in order to obtain a view of the largest possible area of the interior.

Ein dritter Aspekt der Erfindung betrifft ein Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach dem zweiten Aspekt dieses veranlassen, das Verfahren nach dem ersten Aspekt auszuführen.A third aspect of the invention relates to a computer program with instructions which, when executed on a system according to the second aspect, cause the system to carry out the method according to the first aspect.

Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen.The computer program can in particular be stored on a non-volatile data carrier. This is preferably a data carrier in the form an optical disk or a flash memory module. This can be advantageous if the computer program as such is to be handled independently of a processor platform on which the one or more programs are to be executed. In another implementation, the computer program can be present as a file on a data processing unit, in particular on a server, and can be downloaded via a data connection, for example the Internet or a dedicated data connection, such as a proprietary or local network. In addition, the computer program can have a plurality of interacting individual program modules.

Das System nach dem zweiten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.The system according to the second aspect can accordingly have a program memory in which the computer program is stored. Alternatively, the system can also be set up to access a computer program available externally, for example on one or more servers or other data processing units, via a communication connection, in particular in order to exchange data with it that are used during the course of the method or computer program or outputs of the computer program represent.

Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung. Dies gilt ebenso für die in Bezug auf den zweiten Aspekt der Erfindung erläuterten Merkmale und Vorteile.The features and advantages explained in relation to the first aspect of the invention also apply accordingly to the further aspects of the invention. This also applies to the features and advantages explained in relation to the second aspect of the invention.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Zeichnungen.Further advantages, features and possible applications of the present invention emerge from the following detailed description in conjunction with the drawings.

Dabei zeigt:

  • 1 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform; und
  • 2 eine Ansicht eines Fahrzeuginnenraums.
This shows:
  • 1 a flowchart of a method according to an embodiment; and
  • 2 a view of a vehicle interior.

In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente der Erfindung verwendet.In the figures, the same reference numerals are used throughout for the same or corresponding elements of the invention.

In 1 ist ein Verfahren 100 zur Erkennung einer Konfiguration eines Innenraums eines Fahrzeugs veranschaulicht. 2 zeigt beispielhaft einen Fahrzeuginnenraum 2 mit vier Sitzen 11, 12, 13, 14. Das Verfahren wird in einem Datenverarbeitungssystem des Fahrzeugs 1 ausgeführt, welches einen entsprechenden Prozessor 5 (z.B. ECU) und einen Speicher 6 aufweisen kann (schematisch angedeutet in 2).In 1 a method 100 for recognizing a configuration of an interior of a vehicle is illustrated. 2 shows an example of a vehicle interior 2 with four seats 11, 12, 13, 14. The method is carried out in a data processing system of the vehicle 1, which can have a corresponding processor 5 (e.g. ECU) and a memory 6 (schematically indicated in 2 ).

In einem Schritt S1 wird zunächst eine Ansicht des Innenraums 2 mit einer Kamera 3 aufgenommen und entsprechende Bilddaten zur weiteren Verarbeitung durch das System erfasst. Die Kamera kann eine Infrarotkamera mit einer entsprechenden Infrarotlichtquelle sein, was die Ausführung im Dunkeln ermöglicht. Die Kamera 3 kann auch eine 3D-Kamera, wie eine TOF-Kamera sein, welche eine dreidimensionale Ansicht des Fahrzeuginnenraums 2 liefert.In a step S1, a view of the interior 2 is first recorded with a camera 3 and corresponding image data is recorded for further processing by the system. The camera may be an infrared camera with a corresponding infrared light source, allowing execution in the dark. The camera 3 can also be a 3D camera, such as a TOF camera, which provides a three-dimensional view of the vehicle interior 2.

Die Kamera 3 kann in einem Innenspiegel 4 des Fahrzeugs 1 angeordnet sein. So kann die Kamera 3 diskret im Innenraum 2 angeordnet werden. Da der Innenspiegel 4 üblicherweise beweglich ist, erfolgt eine Kalibrierung der Kamera 3. Dazu ist vorgesehen, dass die aufgenommene Ansicht des Innenraums 2 auch feststehende Teile des Fahrzeugs erfasst. Dies können Teile der Karosserie oder Innenverkleidung sein, wie beispielsweise die A-Säule 7, die B-Säule 8 oder die Mittelkonsole 15.The camera 3 can be arranged in an interior mirror 4 of the vehicle 1. The camera 3 can thus be arranged discreetly in the interior 2. Since the interior mirror 4 is usually movable, the camera 3 is calibrated. For this purpose, it is provided that the recorded view of the interior 2 also captures stationary parts of the vehicle. These can be parts of the body or interior trim, such as the A-pillar 7, the B-pillar 8 or the center console 15.

Die Ansicht enthält zudem bewegliche Komponenten des Fahrzeuginnenraums 2, deren Konfiguration bestimmt werden soll. Dies können die Sitze des Fahrzeugs sein, wie der Fahrersitz 11, der Beifahrersitz 12, und Rücksitze 13, 14. Die Position und/oder Orientierung der Sitze 11, 12, 13, 14 kann veränderbar sein, einschließlich beispielsweise der Neigung der jeweiligen Sitzlehnen. Bewegliche Komponenten des Innenraums 2 können auch Zubehörteile im Innenraum 2 sein, wie beispielsweise ein klappbares Display 9 oder ein klappbarer Tisch 10.The view also contains movable components of the vehicle interior 2, the configuration of which is to be determined. These may be the seats of the vehicle, such as the driver's seat 11, the passenger seat 12, and rear seats 13, 14. The position and/or orientation of the seats 11, 12, 13, 14 may be changeable, including, for example, the inclination of the respective seat backs. Movable components of the interior 2 can also be accessories in the interior 2, such as a foldable display 9 or a foldable table 10.

In einem Schritt S2 werden die Bilddaten ausgewertet. Dabei werden die feststehenden Teile und beweglichen Komponenten in der Ansicht erkannt. Beispielsweise mit Hilfe von CAD-Daten kann anhand der feststehenden Teile, wie der A-Säule 7, der B-Säule 8 oder der Mittelkonsole 15 die Position und Orientierung der Kamera 3 im Fahrzeugkoordinatensystem auf einfache Weise bestimmt werden. Aus der Ansicht können dann durch weitere Bildauswertung, beispielsweise durch Computervision (d.h. maschinellem Sehen) oder durch einfache Bilderkennung, die Konfiguration der beweglichen Komponenten erkannt werden, d.h. der Sitze 11, 12, 13, 14 oder weiteren Komponenten, wie dem Display 9 oder dem Tisch 10 (Schritt S3).In a step S2, the image data is evaluated. The fixed parts and moving components are recognized in the view. For example, with the help of CAD data, the position and orientation of the camera 3 in the vehicle coordinate system can be determined in a simple manner based on the fixed parts, such as the A-pillar 7, the B-pillar 8 or the center console 15. From the view, the configuration of the movable components can then be recognized by further image evaluation, for example by computer vision (i.e. machine vision) or by simple image recognition, i.e. the seats 11, 12, 13, 14 or other components, such as the display 9 or the Table 10 (step S3).

Abhängig von der erkannten Innenraumkonfiguration können dann verschiedene Fahrzeugfunktionen angesteuert werden (Schritt S4). Insbesondere können bestimmte Airbags aktiviert oder deaktiviert werden.Depending on the detected interior configuration, various vehicle functions can then be controlled (step S4). In particular, certain airbags can be activated or deactivated.

Während vorhergehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorhergehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.While at least one exemplary embodiment has been described above, it should be noted that a large number of variations exist. It should also be noted that the exemplary embodiments described are only non-limiting examples and are not intended to limit the scope, applicability, or configuration of the devices and methods described herein. Rather, the foregoing description will provide guidance to those skilled in the art for implementing at least one exemplary embodiment, with the understanding that various changes in the operation and arrangement of the elements described in an exemplary embodiment may be made without departing from that set forth in the appended claims the specified subject matter and its legal equivalents are deviated from.

BEZUGSZEICHENLISTEREFERENCE SYMBOL LIST

100100
Verfahren zur Erkennung einer Fahrzeuginnenraumkonfiguration Method for recognizing a vehicle interior configuration
11
Fahrzeugvehicle
22
FahrzeuginnenraumVehicle interior
33
Kameracamera
44
InnenspiegelInterior mirror
55
Prozessorprocessor
66
SpeicherStorage
77
feststehender Fahrzeugteil (A-Säule)fixed vehicle part (A-pillar)
88th
feststehender Fahrzeugteil (B-Säule)fixed vehicle part (B-pillar)
99
klappbares Displayfoldable display
1010
klappbarer Tischfolding table
1111
FahrersitzDriver's seat
1212
BeifahrersitzPassenger seat
1313
Rücksitz linksBack seat on the left
1414
Rücksitz rechtsBack seat on the right
1515
MittelkonsoleCenter console

Claims (15)

Verfahren (100) zum Erkennen einer Konfiguration eines Innenraums (2) eines Fahrzeugs (1), wobei das Verfahren folgendes umfasst: - Erfassen von Bilddaten mittels zumindest einer Bilderfassungseinrichtung (3), wobei die Bilddaten eine Ansicht des Innenraums (2) des Fahrzeugs (1) repräsentieren, wobei die Ansicht zumindest einen feststehenden Teil (7, 8, 15) des Fahrzeugs (1) und zumindest eine bewegliche Komponente (9, 10, 11, 12, 13, 14) des Innenraums (2) des Fahrzeugs (1) jeweils zumindest teilweise enthält; - Auswerten der Bilddaten, wobei das Auswerten folgendes umfasst: - Erkennen des zumindest einen feststehenden Teils (7, 8, 15) des Fahrzeugs (1), um die Ansicht einem entsprechenden Bereich des Innenraums (2) des Fahrzeugs (1) zuzuordnen; - Erkennen einer Konfiguration der zumindest einen beweglichen Komponente (9, 10, 11, 12, 13, 14) des Innenraums (2) in dem der Ansicht zugeordneten Bereich des Innenraums (2) des Fahrzeugs (1).Method (100) for recognizing a configuration of an interior (2) of a vehicle (1), the method comprising the following: - Acquiring image data by means of at least one image capture device (3), the image data representing a view of the interior (2) of the vehicle (1), the view comprising at least a fixed part (7, 8, 15) of the vehicle (1) and at least each at least partially containing a movable component (9, 10, 11, 12, 13, 14) of the interior (2) of the vehicle (1); - Evaluating the image data, whereby the evaluation includes the following: - Detecting the at least one fixed part (7, 8, 15) of the vehicle (1) in order to assign the view to a corresponding area of the interior (2) of the vehicle (1); - Detecting a configuration of the at least one movable component (9, 10, 11, 12, 13, 14) of the interior (2) in the area of the interior (2) of the vehicle (1) assigned to the view. Verfahren nach Anspruch 1, wobei die erkannte Konfiguration der zumindest einen beweglichen Komponente (9, 10, 11, 12, 13, 14) eine absolute Position und Orientierung der beweglichen Komponente (9, 10, 11, 12, 13, 14) in dem der Ansicht zugeordneten Bereich des Innenraums (2) des Fahrzeugs (1) bezüglich eines dreidimensionalen Koordinatensystems umfasst.Procedure according to Claim 1 , wherein the recognized configuration of the at least one movable component (9, 10, 11, 12, 13, 14) represents an absolute position and orientation of the movable component (9, 10, 11, 12, 13, 14) in the area assigned to the view of the interior (2) of the vehicle (1) with respect to a three-dimensional coordinate system. Verfahren nach Anspruch 1 oder 2, wobei die erkannte Konfiguration der zumindest einen beweglichen Komponente (9, 10, 11, 12, 13, 14) eine relative Position und Orientierung der beweglichen Komponente (9, 10, 11, 12, 13, 14) bezüglich zumindest eines feststehenden Teils (7, 8, 15) des Fahrzeugs (1) umfasst.Procedure according to Claim 1 or 2 , wherein the recognized configuration of the at least one movable component (9, 10, 11, 12, 13, 14) represents a relative position and orientation of the movable component (9, 10, 11, 12, 13, 14) with respect to at least one fixed part ( 7, 8, 15) of the vehicle (1). Verfahren nach einem der vorhergehenden Ansprüche, wobei die bewegliche Komponente zumindest einen Sitz (11, 12, 13, 14) des Fahrzeugs (1) umfasst, wobei die erkannte Konfiguration zumindest eines aus einer Sitzposition, Sitzrotation und einer Neigung einer Lehne des Sitzes umfasst.Method according to one of the preceding claims, wherein the movable component comprises at least one seat (11, 12, 13, 14) of the vehicle (1), the recognized configuration comprising at least one of a sitting position, seat rotation and an inclination of a backrest of the seat. Verfahren nach einem der vorhergehenden Ansprüche, wobei die bewegliche Komponente zumindest ein Zubehörteil (9, 10) des Fahrzeugs (1) umfasst, wobei die erkannte Konfiguration eine Position und/oder Orientierung des Zubehörteils (9, 10) im Innenraum (2) des Fahrzeugs (1) umfasst.Method according to one of the preceding claims, wherein the movable component comprises at least one accessory (9, 10) of the vehicle (1), the recognized configuration being a position and/or orientation of the accessory (9, 10) in the interior (2) of the vehicle (1) includes. Verfahren nach einem der vorhergehenden Ansprüche, wobei durch das Erkennen des zumindest einen feststehenden Teils (7, 8, 15) eine Kalibrierung der Bilderfassungseinrichtung (3) erfolgt.Method according to one of the preceding claims, wherein the image capture device (3) is calibrated by recognizing the at least one fixed part (7, 8, 15). Verfahren nach einem der vorhergehenden Ansprüche, wobei durch das Erkennen des zumindest einen feststehenden Teils (7, 8, 15) eine Position und/oder Orientierung der Bilderfassungseinrichtung (3) im Innenraum (2) des Fahrzeugs (1) bestimmt wird.Method according to one of the preceding claims, wherein a position and/or orientation of the image capture device (3) in the interior (2) of the vehicle (1) is determined by detecting the at least one fixed part (7, 8, 15). Verfahren nach einem der vorhergehenden Ansprüche, des Weiteren umfassend ein Abgleichen der Bilddaten mit Konstruktionsdaten des Fahrzeugs (2).Method according to one of the preceding claims, further comprising comparing the image data with construction data of the vehicle (2). Verfahren einem der vorhergehenden Ansprüche, wobei abhängig von der erkannten Konfiguration der zumindest einen beweglichen Komponente (9, 10, 11, 12, 13, 14) zumindest eine Signalquelle angesteuert wird, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben.Method according to one of the preceding claims, wherein depending on the recognized configuration of the at least one movable component (9, 10, 11, 12, 13, 14), at least one signal source is controlled in order to cause the signal source to produce a defined signal depending on the control to spend. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Ansicht mehrere bewegliche Komponenten (9, 10, 11, 12, 13, 14) des Innenraums (2) des Fahrzeugs (1) jeweils zumindest teilweise enthält, wobei eine Konfiguration aller der in der Ansicht enthaltenen beweglichen Komponenten (9, 10, 11, 12, 13, 14) erkannt wird.Method according to one of the preceding claims, wherein the view contains a plurality of movable components (9, 10, 11, 12, 13, 14) of the interior (2) of the vehicle (1), each at least partially, a configuration of all of those contained in the view movable components (9, 10, 11, 12, 13, 14) is recognized. System zur Datenverarbeitung, aufweisend zumindest einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach einem der vorhergehenden Ansprüche ausführt, sowie zumindest eine Bilderfassungseinrichtung (3), welche in einem Innenraum (2) eines Fahrzeugs (1) angebracht ist und eingerichtet ist, eine Ansicht des Innenraums (2) des Fahrzeugs (1) zu erfassen.System for data processing, comprising at least one processor which is configured so that it carries out the method according to one of the preceding claims, and at least one image capture device (3), which is mounted and set up in an interior (2) of a vehicle (1). to capture a view of the interior (2) of the vehicle (1). System nach Anspruch 11, wobei die Bilderfassungseinrichtung (3) in einer beweglichen Komponente des Innenraums (2) des Fahrzeugs (1) angeordnet ist.System after Claim 11 , wherein the image capture device (3) is arranged in a movable component of the interior (2) of the vehicle (1). System nach Anspruch 11 oder 12, wobei die Bilderfassungseinrichtung (3) in einem Innenspiegel (4) des Fahrzeugs (1) angeordnet ist.System after Claim 11 or 12 , wherein the image capture device (3) is arranged in an interior mirror (4) of the vehicle (1). System nach einem der Ansprüche 10 bis 12, wobei die Bilderfassungseinrichtung (3) eine Infrarot-Kamera oder eine Time-of-Flight-Kamera ist.System according to one of the Claims 10 until 12 , wherein the image capture device (3) is an infrared camera or a time-of-flight camera. Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach einem der Ansprüche 11 bis 14 dieses veranlassen, das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen.Computer program with instructions that, when executed on a system, follow one of the Claims 11 until 14 cause this to carry out the procedure according to one of the Claims 1 until 10 to carry out.
DE102022121614.4A 2022-08-26 2022-08-26 METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE Pending DE102022121614A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022121614.4A DE102022121614A1 (en) 2022-08-26 2022-08-26 METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE
PCT/EP2023/062742 WO2024041766A1 (en) 2022-08-26 2023-05-12 Method and system for identifying an interior space configuration of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022121614.4A DE102022121614A1 (en) 2022-08-26 2022-08-26 METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE

Publications (1)

Publication Number Publication Date
DE102022121614A1 true DE102022121614A1 (en) 2024-02-29

Family

ID=86424796

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022121614.4A Pending DE102022121614A1 (en) 2022-08-26 2022-08-26 METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE

Country Status (2)

Country Link
DE (1) DE102022121614A1 (en)
WO (1) WO2024041766A1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19904737A1 (en) 1999-02-05 2000-08-10 Volkswagen Ag Interior sensing arrangement for position parameters in motor vehicle has relatively large light generator/evaluation unit mounted separately from sensor elements in suitably large vol.
WO2002040320A1 (en) 2000-11-14 2002-05-23 Siemens Aktiengesellschaft Method and device for determining whether the interior of a vehicle is occupied
EP1323591A2 (en) 2001-11-29 2003-07-02 DaimlerChrysler AG Method of monitoring the interior of a vehicle and vehicle with at least one camera in the interior
WO2007003556A1 (en) 2005-07-05 2007-01-11 Robert Bosch Gmbh Vehicle system
DE102010044174A1 (en) 2010-08-12 2012-02-16 Johnson Controls Gmbh Method for seat load detection in vehicle interior, involves recording image that is deposited as reference image of vehicle seats arranged in vehicle interior in unoccupied state by image capturing unit
DE102012208644A1 (en) 2011-11-23 2013-05-23 Johnson Controls Gmbh Device and method for adjusting a seating position
DE102015010243A1 (en) 2015-08-04 2016-03-17 Daimler Ag Seat system for a vehicle, in particular a passenger car
DE102018106687A1 (en) 2017-03-22 2018-09-27 Ford Global Technologies, Llc MONITORING A VEHICLE CABIN
DE102020203147A1 (en) 2019-07-22 2021-01-28 Brose Fahrzeugteile SE & Co. Kommanditgesellschaft, Coburg Vehicle with an electronic detection device for positioning an adjustable interior object on an interior surface of the vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008001136A (en) * 2006-06-20 2008-01-10 Takata Corp Vehicle occupant seat detection system, operating device control system, and vehicle
US20190299895A1 (en) * 2018-03-31 2019-10-03 Veoneer Us Inc. Snapshot of interior vehicle environment for occupant safety
US10726310B2 (en) * 2018-03-31 2020-07-28 Veoneer Us Inc. Deployment zone definition and associated restraint control
US11281209B2 (en) * 2019-12-19 2022-03-22 Zf Friedrichshafen Ag Vehicle vision system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19904737A1 (en) 1999-02-05 2000-08-10 Volkswagen Ag Interior sensing arrangement for position parameters in motor vehicle has relatively large light generator/evaluation unit mounted separately from sensor elements in suitably large vol.
WO2002040320A1 (en) 2000-11-14 2002-05-23 Siemens Aktiengesellschaft Method and device for determining whether the interior of a vehicle is occupied
EP1323591A2 (en) 2001-11-29 2003-07-02 DaimlerChrysler AG Method of monitoring the interior of a vehicle and vehicle with at least one camera in the interior
WO2007003556A1 (en) 2005-07-05 2007-01-11 Robert Bosch Gmbh Vehicle system
DE102010044174A1 (en) 2010-08-12 2012-02-16 Johnson Controls Gmbh Method for seat load detection in vehicle interior, involves recording image that is deposited as reference image of vehicle seats arranged in vehicle interior in unoccupied state by image capturing unit
DE102012208644A1 (en) 2011-11-23 2013-05-23 Johnson Controls Gmbh Device and method for adjusting a seating position
DE102015010243A1 (en) 2015-08-04 2016-03-17 Daimler Ag Seat system for a vehicle, in particular a passenger car
DE102018106687A1 (en) 2017-03-22 2018-09-27 Ford Global Technologies, Llc MONITORING A VEHICLE CABIN
DE102020203147A1 (en) 2019-07-22 2021-01-28 Brose Fahrzeugteile SE & Co. Kommanditgesellschaft, Coburg Vehicle with an electronic detection device for positioning an adjustable interior object on an interior surface of the vehicle

Also Published As

Publication number Publication date
WO2024041766A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
DE102015103279B4 (en) Autonomous vehicle with reconfigurable interior
DE102009031809B4 (en) Method and device for measuring the environment of a motor vehicle
DE102018204053A1 (en) Method for operating an interior of a motor vehicle
DE102017117243A1 (en) ENVIRONMENT MONITORING DEVICE
DE102018108060A1 (en) VEHICLE SIDE MIRROR AUTOMATION
DE10158415A1 (en) Method for monitoring the interior of a vehicle, as well as a vehicle with at least one camera in the vehicle interior
DE112018007120B4 (en) physique determination device and physique determination method
DE102014223098A1 (en) AUTONOMOUS VEHICLE WITH RECONFIGURABLE SITTING
DE102014223094A1 (en) AUTONOMOUS VEHICLE WITH RECONFIGURABLE SITTING
DE102019125627B4 (en) interior monitoring device
DE102017200287A1 (en) Vehicle seat arrangement and stowage procedure
DE102017206295B3 (en) Method, apparatus and computer program for calibrating a vehicle camera of a vehicle
DE102014223192A1 (en) Autonomous vehicle with reconfigurable seats
DE102018109136A1 (en) Shielded camera surveillance of wheels using reflectors from the underside of the vehicle
EP3167427A1 (en) Merging of partial images to form an image of surroundings of a mode of transport
DE102012203491A1 (en) Electronic rearview mirror system for viewing rear region behind motor car by vehicle driver, has computer evaluating image of rear region to determine portion of mirror image picture, and electronic display displaying evaluated image
DE102013217081B4 (en) Device and method for position detection
DE102018220146A1 (en) VEHICLE AND METHOD FOR CONTROLLING THE SAME
DE102018117548A1 (en) SAFETY ILLUSTRATION FOR RESETTING A VEHICLE
DE102016210088B3 (en) Method and device for representing an environment of a motor vehicle
DE102016217037B4 (en) Method for operating a display device of a motor vehicle with a digital display surface and motor vehicle
DE102020100879A1 (en) VEHICLE FOOT REFLECTOR
DE102022121614A1 (en) METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE
DE10234824B4 (en) Device for monitoring a person or an object in the vehicle interior
DE102021112630B4 (en) Vision-based airbag release

Legal Events

Date Code Title Description
R163 Identified publications notified