DE102016011016A1 - Method for operating an assistance system - Google Patents

Method for operating an assistance system Download PDF

Info

Publication number
DE102016011016A1
DE102016011016A1 DE102016011016.3A DE102016011016A DE102016011016A1 DE 102016011016 A1 DE102016011016 A1 DE 102016011016A1 DE 102016011016 A DE102016011016 A DE 102016011016A DE 102016011016 A1 DE102016011016 A1 DE 102016011016A1
Authority
DE
Germany
Prior art keywords
camera
vehicle
target area
partial
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016011016.3A
Other languages
German (de)
Inventor
Jürgen Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102016011016.3A priority Critical patent/DE102016011016A1/en
Publication of DE102016011016A1 publication Critical patent/DE102016011016A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0023—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for detection of driver fatigue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0022—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for sensing anthropometric parameters, e.g. heart rate or body temperature
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0025—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat by using weight measurement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/26—Ultrasonic, e.g. sonar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug (1) mit zumindest einer Kamera (4), mittels welcher ein Bereich innerhalb und/oder außerhalb eines Fahrzeuges (1) erfasst wird. Erfindungsgemäß ist vorgesehen, dass – anhand einer Bildauswertung und einer Datenanalyse eine teilweise oder vollständige Verdeckung eines Zielbereiches der zumindest einen Kamera (4) erfasst wird, – wobei bei Vorhandensein einer teilweisen oder vollständigen Verdeckung anhand eines Vergleiches einer erfassten Form der teilweisen oder vollständigen Verdeckung und einer hinterlegten Vorlage ermittelt wird, um welches Objekt es sich bei der teilweisen oder vollständigen Verdeckung des Zielbereiches handelt, – wobei der teilweise oder vollständig verdeckte Zielbereich bei der Bildverarbeitung und Datenanalyse unberücksichtigt bleibt.The invention relates to a method for operating an assistance system for a vehicle (1) with at least one camera (4), by means of which an area inside and / or outside a vehicle (1) is detected. According to the invention, it is provided that a partial or complete occlusion of a target area of the at least one camera is recorded on the basis of an image analysis and a data analysis, wherein in the presence of a partial or complete occlusion on the basis of a comparison of a detected form of partial or complete occlusion and a template is found, which object is the partial or complete obscuration of the target area, - whereby the partially or completely hidden target area in the image processing and data analysis is disregarded.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Assistenzsystems mit zumindest einer Kamera, mittels welcher ein Bereich innerhalb und/oder außerhalb des Fahrzeuges erfasst wird.The invention relates to a method for operating an assistance system with at least one camera, by means of which an area within and / or outside of the vehicle is detected.

Im Allgemeinen ist ein Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug mit zumindest einer Kamera bekannt. Beispielsweise ist die zumindest eine Kamera zur Insassenbeobachtung vorgesehen. Ist ein Sichtbereich in Bezug auf ein Zielbereich der zumindest einen Kamera teilweise oder vollständig verdeckt, können Analysen sowie Einstellungen von Sicherheits- und/oder Komfortfunktionen nicht einem tatsächlichen Zustand entsprechend und somit fehlerhaft sein. Vergleichsweise starke Einbußen in Bezug auf die Sicherheit, insbesondere eines Fahrers des Fahrzeuges, und/oder den Komfort können die Folge sein.In general, a method for operating an assistance system for a vehicle with at least one camera is known. For example, the at least one camera is provided for occupant observation. If a viewing area is partially or completely obscured with respect to a target area of the at least one camera, analyzes as well as settings of safety and / or comfort functions may not correspond to an actual state and thus be faulty. Relatively severe losses in terms of safety, in particular of a driver of the vehicle, and / or comfort may result.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug anzugeben.The invention has for its object to provide a comparison with the prior art improved method for operating an assistance system for a vehicle.

Die Aufgabe wird erfindungsgemäß durch die in Anspruch 1 angegebenen Merkmale gelöst.The object is achieved by the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Ein Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug mit zumindest einer Kamera sieht vor, dass mittels der zumindest einen Kamera ein Bereich innerhalb und/oder außerhalb des Fahrzeuges erfasst wird. Erfindungsgemäß wird anhand einer Bildauswertung und einer Datenanalyse eine teilweise oder vollständige Verdeckung eines Zielbereiches der Kamera erfasst, wobei bei Vorhandensein einer teilweisen oder vollständigen Verdeckung anhand eines Vergleiches einer erfassten Form der teilweisen oder vollständigen Verdeckung und einer hinterlegten Vorlage ermittelt wird, um welches Objekt es sich bei der teilweisen oder vollständigen Verdeckung des Zielbereiches handelt, wobei der teilweise oder vollständig verdeckte Zielbereich bei der Bildverarbeitung und Datenanalyse unberücksichtigt bleibt.A method for operating an assistance system for a vehicle with at least one camera provides that an area within and / or outside of the vehicle is detected by means of the at least one camera. According to the invention, a partial or complete occlusion of a target area of the camera is detected based on an image analysis and a data analysis, which is determined in the presence of a partial or complete occlusion on the basis of a comparison of a detected form of partial or complete occlusion and a stored template, which object it is in the partial or complete obscuration of the target area, whereby the partially or completely hidden target area in the image processing and data analysis is disregarded.

Durch Anwendung des Verfahrens wird eine teilweise oder vollständige Verdeckung der zumindest einen Kamera erfasst und ermittelt, um welches Objekt es sich handelt, durch welches der Zielbereich teilweise oder vollständig verdeckt ist.By using the method, a partial or complete obscuration of the at least one camera is detected and determined, which object is concerned, by which the target area is partially or completely hidden.

Dadurch, dass der teilweise oder vollständig verdeckte Zielbereich der zumindest einen Kamera bei der Bildverarbeitung und Datenanalyse nicht berücksichtig wird, wird das Risiko einer Beeinflussung der Verdeckung bei einer Ermittlung vergleichsweise wichtiger Eingangsgrößen des Assistenzsystems wesentlich verringert.Due to the fact that the partially or completely concealed target area of the at least one camera is not taken into account in the image processing and data analysis, the risk of influencing the occlusion when determining comparatively important input variables of the assistance system is substantially reduced.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt die:It shows:

1 schematisch einen Ausschnitt eines Fahrzeuges mit einem Insassen auf einem Fahrzeugsitz. 1 schematically a section of a vehicle with an occupant on a vehicle seat.

In der einzigen Figur ist ein Ausschnitt eines Fahrzeuges 1 mit einem Insassen 2 auf einem Fahrzeugsitz 3 dargestellt.In the single figure is a section of a vehicle 1 with an inmate 2 on a vehicle seat 3 shown.

Das Fahrzeug 1 verfügt über ein Assistenzsystem, bei welchem beispielsweise ein Zustand des Insassen 2, bei welchem es sich insbesondere um einen Fahrer des Fahrzeuges 1 handelt, überwacht wird. Beispielsweise ist das Assistenzsystem als Müdigkeitsassistent ausgeführt, wobei das Assistenzsystem zumindest ein Kamerasystem mit einer Mehrzahl von Kameras 4 umfasst, wobei in dem vorliegenden Ausführungsbeispiel nur eine Kamera 4 gezeigt ist.The vehicle 1 has an assistance system in which, for example, a state of the occupant 2 in which it is in particular a driver of the vehicle 1 is being monitored. For example, the assistance system is designed as a fatigue assistant, wherein the assistance system at least one camera system with a plurality of cameras 4 in the present embodiment, only one camera 4 is shown.

Alternativ dazu kann es sich auch um ein anderes Assistenzsystem handeln, welches zumindest eine Kamera 4 umfasst, die einen Bereich innerhalb und/oder außerhalb des Fahrzeuges 1 erfasst.Alternatively, it may also be another assistance system, which is at least one camera 4 includes an area inside and / or outside the vehicle 1 detected.

In dem vorliegenden Ausführungsbeispiel ist die Kamera 4 derart im Fahrzeug 1 angeordnet, dass sich ein Kopf des Insassen 2 im Erfassungsbereich der Kamera 4 befindet. Gemäß 1 ist die Kamera 4 in einen Innenspiegel 5 des Fahrzeuges 1 integriert. Alternativ dazu kann sich die Kamera 4 entsprechend einer Funktion des Assistenzsystems auch an einer anderen geeigneten Position befinden.In the present embodiment, the camera is 4 such in the vehicle 1 arranged that a head of the occupant 2 in the detection range of the camera 4 located. According to 1 is the camera 4 in an interior mirror 5 of the vehicle 1 integrated. Alternatively, the camera may 4 according to a function of the assistance system also in another suitable position.

Durch die Anordnung der Kamera 4 und/oder beispielsweise aufgrund unterschiedlicher Körpergrößen von Insassen 2, insbesondere von unterschiedlichen Fahrern des Fahrzeuges 1, besteht die Gefahr, dass ein Sichtbereich der Kamera 4 in Bezug auf einen geforderten Zielbereich teilweise oder vollständig verdeckt ist.By the arrangement of the camera 4 and / or for example due to different body sizes of occupants 2 , in particular of different drivers of the vehicle 1 , there is a risk that a field of view of the camera 4 is partially or completely obscured in relation to a required target area.

Aufgrund der teilweisen oder vollständigen Verdeckung des Zielbereiches und darauf basierenden Analysen und Bildauswertungen können Sicherheits- und/oder Komfortfunktionen fehlerhaft eingestellt werden. Aus den fehlerhaften Einstellungen können vergleichsweise große Einbußen der Sicherheit und/oder des Komforts, insbesondere in Bezug auf den Insassen 2, d. h. den Fahrer, resultieren.Due to the partial or complete occlusion of the target area and based on this analysis and image analysis security and / or comfort functions can be set incorrectly. From the erroneous settings can be comparatively large losses of safety and / or comfort, especially with respect to the occupant 2 ie the driver, result.

Ein Kamerasystem, deren Bestandteil die Kamera 4 ist, ermittelt auf Basis von Bildauswertungen und Datenanalysen, dass ein Raum zwischen der Kamera 4 und dem Zielobjekt oder Zielbereich, gemäß dem vorliegenden Ausführungsbeispiel der Insasse 2, teilweise oder vollständig blockiert ist, so dass der Insasse 2 teilweise oder vollständig verdeckt ist. A camera system that includes the camera 4 is determined on the basis of image analysis and data analysis that a space between the camera 4 and the target object or area, according to the present embodiment, the occupant 2 , partially or completely blocked, leaving the occupant 2 partially or completely obscured.

Die Bildauswertung und Datenanalyse kann auch in Kombination ausgewerteter Signale weiterer im oder am Fahrzeug 1 angeordneter Sensoren erfolgen. Hierzu eignen sich insbesondere erfasste Signale einer sogenannten Time-of-flight-Kamera, einer ultraschallbasierten, einer laserbasierten und/oder einer radarbasierten Erfassungseinheit.The image analysis and data analysis can also be used in combination of evaluated signals in or on the vehicle 1 arranged sensors are made. Detected signals of a so-called time-of-flight camera, an ultrasound-based, a laser-based and / or a radar-based detection unit are particularly suitable for this purpose.

Handelt es sich um ein anderes Assistenzsystem, so kann das Zielobjekt oder kann der Zielbereich auch eine Straße und/oder eine Fahrzeugumgebung sein.If it is another assistance system, the target object or the target area can also be a road and / or a vehicle environment.

Um das Risiko einer Beeinträchtigung der Sicherheits- und/oder Komfortfunktion aufgrund der teilweisen oder vollständigen Verdeckung des Zielbereiches der Kamera 4, insbesondere des Insassen 2, zumindest zu verringern, ist ein weiter unten beschriebenes Verfahren vorgesehen.To the risk of compromising the safety and / or comfort function due to the partial or complete occlusion of the target area of the camera 4 , in particular of the occupant 2 To reduce, at least, a method described below is provided.

In einem ersten Schritt wird ermittelt, ob sich auf dem Fahrzeugsitz 3 ein mittels der Kamera 4 zu überwachender Insasse 2 als Zielbereich befindet.In a first step it is determined whether on the vehicle seat 3 one by means of the camera 4 to be monitored inmate 2 is located as a target area.

Ob sich ein Insasse 2 auf dem Fahrzeugsitz 3 befindet, wird beispielsweise mittels erfasster Signale eines Gurtschlossschalters erfasst, welcher betätigt wird, wenn eine Gurtschlosszunge eines Sicherheitsgurtes eines dem Fahrzeugsitz 3 zugeordneten Gurtschlosses eingesteckt wird.Whether an inmate 2 on the vehicle seat 3 is detected, for example, by means of detected signals of a buckle switch, which is actuated when a Gurtschlosszunge a seat belt of the vehicle seat 3 assigned belt buckle is inserted.

Alternativ oder zusätzlich kann die Belegung des Fahrzeugsitzes 3 durch den Insassen 2 mittels erfasster Signale eines im Fahrzeugsitz 3 angeordneten Gewichtssensors und/oder Temperatursensors ermittelt werden.Alternatively or additionally, the occupancy of the vehicle seat 3 by the occupant 2 by means of detected signals one in the vehicle seat 3 arranged weight sensor and / or temperature sensor can be determined.

Wiederum alternativ oder zusätzlich kann durch eine erfasste Betätigung einer Fahrzeugtür im Bereich des Fahrzeugsitzes 3 und/oder anhand einer erfassten Betätigung von Bedienelementen und/oder von Pedalen ermittelt werden, dass sich ein Insasse 2, insbesondere der Fahrer, auf dem Fahrzeugsitz 3 befindet.Again alternatively or additionally, by a detected actuation of a vehicle door in the region of the vehicle seat 3 and / or based on a detected actuation of controls and / or pedals are determined that an occupant 2 , in particular the driver, on the vehicle seat 3 located.

Denkbar ist auch, dass Körperteile des Insassen 2 mittels erfasster Signale der Kamera 4 und/oder eines anderen Sensors, beispielsweise einer ultraschallbasierten Erfassungseinheit erfasst werden, wodurch auf die Belegung des Fahrzeugsitzes 3 durch den Insassen 2 geschlossen wird.It is also conceivable that body parts of the occupant 2 by means of detected signals of the camera 4 and / or another sensor, for example an ultrasound-based detection unit, whereby the occupancy of the vehicle seat is detected 3 by the occupant 2 is closed.

Des Weiteren kann vorgesehen sein, dass der Insasse 2 anhand erfasster Tonsignale eines im Fahrzeug 1 vorhandenen Mikrofons und/oder einem Fahrzeugzustand, insbesondere einem Fahrbetrieb des Fahrzeuges 1, erfasst wird. Insbesondere befindet sich das Fahrzeug 1 im Fahrbetrieb, wenn ein Fahrer auf dem Fahrersitz sitzt.Furthermore, it can be provided that the occupant 2 on the basis of detected sound signals in the vehicle 1 existing microphone and / or a vehicle condition, in particular a driving operation of the vehicle 1 , is recorded. In particular, the vehicle is located 1 while driving, when a driver sits in the driver's seat.

Darüber hinaus kann die Insassenerfassung zusätzlich oder alternativ mittels anderer geeigneter Verfahren und Vorrichtungen erfolgen.In addition, occupant detection may additionally or alternatively be done by other suitable methods and devices.

In einem zweiten Schritt wird ermittelt, woraus die teilweise oder vollständige Verdeckung des Zielbereiches, insbesondere des Insassen 2, resultiert.In a second step, it is determined what the partial or complete obscuration of the target area, in particular the occupant 2 , results.

Signale, d. h. erfasste Bilddaten in Bezug auf die teilweise oder vollständige Verdeckung, werden mittels Bildverarbeitungsverfahren, mittels Mustererkennung, mittels Klassifikation und einer Signalverarbeitung und Interpretation der genannten Verfahren ermittelt.Signals, d. H. acquired image data relating to the partial or total occlusion are determined by means of image processing methods, by means of pattern recognition, by means of classification and by signal processing and interpretation of said methods.

Die erfassten Signale, insbesondere die Bilddaten, werden mit gespeicherten Mustern von Fahrzeugbauteilen, z. B. Lenkradformen, Pralltopfformen, Armlehnformen, Blendformen, Innenspiegelformen und Formen jeglicher, insbesondere beweglicher, Fahrzeugbauteile im Fahrzeuginnenraum verglichen. Anhand dieses Vergleiches wird ermittelt, ob eines dieser Fahrzeugbauteile der Grund für die Verdeckung des Zielbereiches der Kamera 4 ist.The detected signals, in particular the image data are stored with stored patterns of vehicle components, eg. As steering wheel shapes, Impalltopfformen, Armlehnformen, dazzling shapes, inner mirror shapes and shapes of any, in particular movable, vehicle components in the vehicle interior compared. On the basis of this comparison it is determined whether one of these vehicle components is the reason for the masking of the target area of the camera 4 is.

Beispielsweise wird das Fahrzeugbauteil, sofern dieses ansteuerbar ist, automatisch angesteuert und derart positioniert, dass der Zielbereich der Kamera 4, insbesondere der Insasse 2, nicht mehr durch das Fahrzeugbauteil verdeckt ist. Das Fahrzeugbauteil wird also außerhalb eines optischen Pfades der Kamera 4 positioniert.For example, the vehicle component, if it is controllable, automatically controlled and positioned so that the target area of the camera 4 especially the inmate 2 , is no longer covered by the vehicle component. The vehicle component is therefore outside an optical path of the camera 4 positioned.

Ist vorgesehen, dass das automatisch verstellbare Fahrzeugbauteil nicht automatisch verstellt werden soll, kann eine Aufforderung an den Insassen 2 ausgegeben werden, dass dieser das Fahrzeugbauteil manuell außerhalb des optischen Pfades der Kamera 4 positioniert.If it is provided that the automatically adjustable vehicle component should not be adjusted automatically, may be a request to the occupants 2 issued that this, the vehicle component manually outside the optical path of the camera 4 positioned.

Handelt es sich um ein ausschließlich manuell verstellbares Fahrzeugbauteil, wie beispielsweise eine Sonnenblende 6, wird ein Hinweis mit einer Aufforderung zur Verstellung, insbesondere Positionierung, des Fahrzeugbauteiles an den Insassen 2 ausgegeben.Is it an exclusively manually adjustable vehicle component, such as a sun visor 6 , A note with a request for adjustment, in particular positioning, of the vehicle component to the occupant 2 output.

Der Hinweis in Bezug auf die Verstellung wird optisch, akustisch und/oder haptisch ausgegeben. Dabei erfolgt die Verstellung mit Hilfestellung in Form von Text und/oder aufleuchtender Leuchteinheiten und/oder visueller Informationen, in Form einer Sprachnachricht und/oder durch Andeutung einer Verstellrichtung über eine vergleichsweise zeitlich kurze Verstellung des Fahrzeugbauteiles in die erforderliche Verstellrichtung, beispielsweise durch Wippen und/oder Vibration.The reference regarding the adjustment is output optically, acoustically and / or haptically. The adjustment is done with assistance in the form of text and / or flashing light units and / or visual information, in the form of a voice message and / or by suggesting an adjustment over a comparatively short time adjustment of the vehicle component in the required adjustment direction, for example by rockers and / or vibration.

Zusätzlich zur Verstellung des Fahrzeugbauteiles und/oder zur Ausgabe des Hinweises mit der Aufforderung kann vorgesehen sein, dass eine Änderung einer Sitzposition des Fahrzeugsitzes 3 in Bezug auf die Kamera 4 vorgeschlagen, angezeigt und/oder automatisch durchgeführt wird.In addition to the adjustment of the vehicle component and / or the output of the hint with the request can be provided that a change of a seat position of the vehicle seat 3 in relation to the camera 4 suggested, displayed and / or performed automatically.

Die Ermittlung einer Position des Fahrzeugbauteiles kann alternativ oder zusätzlich zu der oben beschriebenen Alternative auch auf Basis erfasster Signale der Kamera 4 in Bezug zu einer Sitzposition, erkannter Körperdaten und/oder Körperteilen des Insassen 2 erfolgen.The determination of a position of the vehicle component may alternatively or in addition to the alternative described above also based on detected signals of the camera 4 with respect to a sitting position, recognized body data and / or body parts of the occupant 2 respectively.

Alternativ oder zusätzlich zu der oben beschriebenen Methode zur Ermittlung der teilweisen oder vollständigen Verdeckung des Zielbereiches der Kamera 4 kann diese auf Basis einer momentanen Position des Fahrzeugbauteiles im Fahrzeug 1 und einer personalisierten Erfassung eines spezifischen Insassen 2 und/oder durch Abruf von Daten zu dessen Körpergröße und/oder üblichen Kopfpositionen und einer momentanen Verdeckung eines bestimmten Bereiches des Insassen 2 erfolgen.Alternatively or in addition to the method described above for determining the partial or complete occlusion of the target area of the camera 4 This can be based on a current position of the vehicle component in the vehicle 1 and a personalized capture of a specific occupant 2 and / or by retrieving data on its body size and / or usual head positions and a current occlusion of a particular area of the occupant 2 respectively.

Wird erfasst, dass die teilweise oder vollständige Verdeckung des Zielbereiches der Kamera 4 nicht aus einer momentanen Position des Fahrzeugbauteiles, welche anhand der Mustererkennung ermittelt werden kann, resultiert, wird auf eine andere Ursache der teilweisen oder vollständigen Verdeckung geschlossen. Beispielsweise wird die Sicht der Kamera 4 auf den Insassen 2, insbesondere seinen Kopfbereich, durch ein Mobiltelefon, eine Zeitung, eine Videokamera, ein Spielzeug und/oder eine Hand teilweise oder vollständig verdeckt.Is detected that the partial or complete occlusion of the target area of the camera 4 does not result from a current position of the vehicle component, which can be determined based on the pattern recognition results, is closed to another cause of the partial or complete occlusion. For example, the view of the camera 4 on the inmates 2 , in particular its head area, partially or completely obscured by a mobile telephone, a newspaper, a video camera, a toy and / or a hand.

Wird ermittelt, dass es sich nicht um ein Fahrzeugbauteil handelt und das Fahrzeug 1 befindet sich im Fahrbetrieb, wird, wie oben beschrieben, ein entsprechender Hinweis an den Insassen 2 ausgegeben.Determines that it is not a vehicle component and the vehicle 1 is in driving, as described above, a corresponding note to the occupants 2 output.

Bei einer Bildauswertung mit Bildanalyse und Datenverarbeitungsmitteln wird die teilweise oder vollständige Verdeckung des Zielbereiches dieser Kamera 4, insbesondere bei Vorhandensein mehrerer Kameras 4, nicht berücksichtigt.In an image analysis with image analysis and data processing means, the partial or complete obscuration of the target area of this camera 4 especially in the presence of multiple cameras 4 , not considered.

Durch die Nichtberücksichtigung der teilweisen oder vollständigen Verdeckung dieser Kamera 4 hat die Verdeckung keinen Einfluss, insbesondere keinen negativen Einfluss, auf die Genauigkeit bei der Detektion des Zielbereiches, z. B. ein Auge, das Gesicht des Insassen 2 oder eine Spurmarkierung.By ignoring the partial or complete occlusion of this camera 4 the occlusion has no influence, in particular no negative influence, on the accuracy in the detection of the target area, z. An eye, the face of the occupant 2 or a lane marker.

Die Analyse, ob sich ein Insasse 2 als Zielbereich auf dem Fahrzeugsitz 3 befindet und ob der Zielbereich teilweise oder vollständig verdeckt ist und um welche Art Verdeckung es sich handelt, wird für jede einzelne Kamera 4 des Kamerasystems fortlaufend durchgeführt.The analysis of whether an inmate 2 as a target area on the vehicle seat 3 and whether the target area is partially or completely obscured and what kind of obscurity it is for each individual camera 4 of the camera system continuously performed.

Diese Analyse erfolgt auf der Basis der Kenntnis des optischen Pfades jeder Kamera 4 im Verbund und einer Bild- und Datenanalyse einzelner Kamerabilder.This analysis is based on the knowledge of the optical path of each camera 4 in combination and an image and data analysis of individual camera images.

Durch den Ausschluss eines teilweise oder vollständig verdeckten Zielbereiches einer oder mehrerer Kameras 4 des Kamerasystems bei der Analyse der Kamerabilder, insbesondere der Bildverarbeitung und Datenanalyse, wird eine Beeinflussung dieser Analyse bei der Ermittlung verhältnismäßig wichtiger Eingangsgrößen für das Assistenzsystem oder für mehrere Assistenzsysteme, beispielsweise zur Überwachung des Insassen 2, insbesondere seiner Augenlidbewegungen, oder eines Fahrspurassistenten, bei welchem eine Fahrbahnmarkierung erfasst wird, weitestgehend ausgeschlossen.By excluding a partially or completely hidden target area of one or more cameras 4 the camera system in the analysis of the camera images, in particular image processing and data analysis, an influencing this analysis in the determination of relatively important input variables for the assistance system or for several assistance systems, for example, to monitor the occupant 2 , in particular its eyelid movements, or a lane assistant in which a lane marking is detected, as far as possible excluded.

Durch die Anwendung des Verfahrens wird das Risiko von fehlerhaften Einstellungen in Bezug auf Sicherheits- und/oder Komfortfunktionen des Fahrzeuges 1 wesentlich verringert.The application of the method increases the risk of erroneous adjustments with respect to safety and / or comfort functions of the vehicle 1 significantly reduced.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
22
Insasseinmate
33
Fahrzeugsitzvehicle seat
44
Kameracamera
55
InnenspiegelRear View mirror
66
Sonnenblendelens hood

Claims (3)

Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug (1) mit zumindest einer Kamera (4), mittels welcher ein Bereich innerhalb und/oder außerhalb eines Fahrzeuges (1) erfasst wird, dadurch gekennzeichnet, dass – anhand einer Bildauswertung und einer Datenanalyse eine teilweise oder vollständige Verdeckung eines Zielbereiches der zumindest einen Kamera (4) erfasst wird, – wobei bei Vorhandensein einer teilweisen oder vollständigen Verdeckung anhand eines Vergleiches einer erfassten Form der teilweisen oder vollständigen Verdeckung und einer hinterlegten Vorlage ermittelt wird, um welches Objekt es sich bei der teilweisen oder vollständigen Verdeckung des Zielbereiches handelt, – wobei der teilweise oder vollständig verdeckte Zielbereich bei der Bildverarbeitung und Datenanalyse unberücksichtigt bleibt.Method for operating an assistance system for a vehicle ( 1 ) with at least one camera ( 4 ), by means of which an area inside and / or outside of a vehicle ( 1 ) is detected, characterized in that - based on an image analysis and a data analysis, a partial or complete masking of a target area of the at least one camera ( 4 ) is detected, - in the presence of a partial or complete occlusion, it is determined by means of a comparison of a detected form of partial or complete occlusion and a stored template, which object is the partial or complete obscuration of the target area, - The partially or completely hidden target area in the image processing and data analysis is disregarded. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ermittelt wird, ob es sich bei dem Objekt um ein verstellbares Fahrzeugbauteil handelt.A method according to claim 1, characterized in that it is determined whether the object is an adjustable vehicle component. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass nach einer Verstellung des Fahrzeugbauteiles erneut überprüft wird, ob der Zielbereich der zumindest einen Kamera (4) teilweise oder vollständig verdeckt ist.A method according to claim 2, characterized in that after an adjustment of the vehicle component is checked again whether the target area of the at least one camera ( 4 ) is partially or completely obscured.
DE102016011016.3A 2016-09-10 2016-09-10 Method for operating an assistance system Withdrawn DE102016011016A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016011016.3A DE102016011016A1 (en) 2016-09-10 2016-09-10 Method for operating an assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016011016.3A DE102016011016A1 (en) 2016-09-10 2016-09-10 Method for operating an assistance system

Publications (1)

Publication Number Publication Date
DE102016011016A1 true DE102016011016A1 (en) 2017-04-13

Family

ID=58405867

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016011016.3A Withdrawn DE102016011016A1 (en) 2016-09-10 2016-09-10 Method for operating an assistance system

Country Status (1)

Country Link
DE (1) DE102016011016A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111186433A (en) * 2018-11-13 2020-05-22 罗伯特·博世有限公司 Method for selecting and accelerating an implementation action response
CN111465972A (en) * 2017-12-21 2020-07-28 大陆汽车有限公司 System for calculating error probability of vehicle sensor data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111465972A (en) * 2017-12-21 2020-07-28 大陆汽车有限公司 System for calculating error probability of vehicle sensor data
US11657707B2 (en) 2017-12-21 2023-05-23 Continental Automotive Gmbh System for calculating an error probability of vehicle sensor data
CN111186433A (en) * 2018-11-13 2020-05-22 罗伯特·博世有限公司 Method for selecting and accelerating an implementation action response

Similar Documents

Publication Publication Date Title
DE102012021249B4 (en) A method for securing an exit procedure of a person from a vehicle
DE102008019731B4 (en) Method and device for driver-passenger differentiation
DE102011010594A1 (en) Method, apparatus and computer program product for driving a functional unit of a vehicle
DE102011112578A1 (en) Method and device for an assistance system in a vehicle for carrying out an autonomous or semi-autonomous driving maneuver
DE102017207788A1 (en) motor vehicle
DE102015005222A1 (en) Method for determining at least one traffic light relevant to a vehicle
DE102005023697A1 (en) Motor vehicle`s interior e.g. driver area, lighting controlling device, has video camera detecting line of vision, positions and movements of passenger, and controller using output of camera to produce control signals for lighting units
DE102004057947A1 (en) Driver assistance system performance testing method for motor vehicle, involves providing sensor signal in dependence of simulated virtual traffic condition to electronic control unit that sets system into operation if necessary
DE102012022321A1 (en) Method for operating a vehicle and vehicle
DE102019004822A1 (en) Device for performing a vehicle function and associated method
DE102014012723A1 (en) display system
WO2021023468A1 (en) Device and method for controlling a passenger seat in a vehicle
DE102013003059A1 (en) Method for controlling functional unit of motor vehicle, involves automatically detecting whether view of vehicle occupant to given area is directed by view detection unit
EP3688515A1 (en) Method for operating a head-mounted electronic display device, and display system for displaying a virtual content
DE102014118387A1 (en) Detecting device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle by synchronous control of lighting units, operating arrangement, motor vehicle and method
EP3254172A1 (en) Determination of a position of a non-vehicle object in a vehicle
DE102020105196A1 (en) Method for operating data glasses in a motor vehicle and a system with a motor vehicle and data glasses
DE102015010421A1 (en) Three-dimensional detection of the vehicle interior
DE102016011016A1 (en) Method for operating an assistance system
DE102017103391A1 (en) Method for improving the user-friendliness of a vehicle
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle
DE102018217634A1 (en) Method for operating a vehicle and vehicle
DE102016001054A1 (en) Method for entering a command in a control unit of a vehicle
DE102016011141A1 (en) A method of monitoring a condition of at least one occupant of a vehicle
DE102015209902A1 (en) Method and device for controlling an interior lighting of a motor vehicle

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee