EP1532015A1 - Method and device for detecting the occupancy state of a seat - Google Patents

Method and device for detecting the occupancy state of a seat

Info

Publication number
EP1532015A1
EP1532015A1 EP03722193A EP03722193A EP1532015A1 EP 1532015 A1 EP1532015 A1 EP 1532015A1 EP 03722193 A EP03722193 A EP 03722193A EP 03722193 A EP03722193 A EP 03722193A EP 1532015 A1 EP1532015 A1 EP 1532015A1
Authority
EP
European Patent Office
Prior art keywords
seat
occupancy
shape model
image
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03722193A
Other languages
German (de)
French (fr)
Inventor
Hans-Dieter Bothe
Hoang Trinh
Heiko Freienstein
Thomas Engelberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP1532015A1 publication Critical patent/EP1532015A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556—Child-seat detection systems

Definitions

  • the invention relates to a method for detecting the occupancy state of a seat, in particular in a vehicle and for use in the occupancy-dependent control of restraint means associated with the seat, in which a 3D image of the seat is acquired by means of an image acquisition system and with regard to the occupancy state, if applicable. also the type of occupancy is evaluated, as well as an arrangement for performing the method.
  • Restraint devices which can be controlled irreversibly, in particular pyrotechnically ignitable restraint devices, such as airbags or belt tensioners, have meanwhile become standard in vehicles.
  • these restraint devices are triggered in order to protect the person from dangerous injuries.
  • triggering should not take place if the seat is not occupied.
  • triggering should not take place if there is an object in the seat rather than a person.
  • triggering should be avoided if the item is a baby carrier.
  • it is desirable to be able to trigger triggering processes which are adapted to the person's stature.
  • -Learning or training phase is necessary because empirically determined training data must be made available for each type of condition to be recorded, especially if a distinction is to be made between objects and people, and this training data must first be determined and then also entered.
  • a classification is then carried out on the basis of this training data and the data obtained by means of the image and corresponding algorithms, ' first according to the state of occupancy and then according to the type of occupancy.
  • This approach has serious flaws. For example, occupancy types that are in the training data were not provided, nor are they recorded, which can lead to serious misinterpretations, i.e. incorrect classifications. Furthermore, changing lighting situations, as they often occur in daily traffic, can also lead to incorrect classifications.
  • Sitting parameters that have not been trained in the training phase can also lead to incorrect classifications.
  • a new initialization must be carried out, whereby the corresponding training data are not available for all commercially available seats.
  • the known procedure based on the determination of a 3D image is not only extremely complex, but also unreliable to a large extent.
  • the invention is therefore based on the object of improving the known procedure described above in such a way that, with less effort, greater security can be achieved in the detection of the occupancy state and, if appropriate, also the occupancy type.
  • the basic idea of the invention is to see that a 3D shape model of the seat can be created as a reference for an unoccupied seat, whereby for most seats such 3D shape models are already available from the factory or from the supplier, for example because the seat is by means of CAD technology has been developed, for example in the form of a so-called wireframe model.
  • the 3D image determined during operation by the image acquisition system can be With regard to the 3D shape model, now evaluate 'at least serious and / or specific deviations. A complex training phase for the evaluation is not necessary.
  • partial areas of the seat such as the seat surface, backrest, headrest and also sections thereof, such as the upper section of the backrest and lower section of the backrest, can be evaluated with regard to the conformity of the 3D image with the 3D shape model, so that in the event of detection of a Occupancy of the seat also certain classifications with regard to the type of the object causing the occupancy, and indeed iteratively, can be carried out.
  • Fig. 1 shows the basic structure of an arrangement for
  • FIG. 2 is a front view of seats in a vehicle
  • Fig. 3 shows schematically the various
  • FIG. 4 shows an arrangement in which separate image acquisition systems are provided for front and rear seats
  • FIG. 5 shows the possibility of arranging a single one
  • Image acquisition system for both front and .
  • FIG. 6 schematically shows the basic appearance of a
  • FIG. 7 schematically shows the basic structure of the hierarchical evaluation option in the present invention
  • FIG. 8 schematically shows a simple one that can be used for seats
  • FIG. 9 schematically shows a flow chart for detecting the
  • FIG. 10 schematically shows a flow diagram of a further development in which the occupancy status is determined separately for certain partial areas.
  • Fig. 1 shows schematically a seat 1 with a seat 2, backrest 3 and headrest 4 in a vehicle 5, namely a passenger seat.
  • a baby carrier 6 as the object occupying this front passenger seat 1.
  • a pyrotechnically ignitable airbag 8 opposite the front passenger seat 1 as an example of a restraint means.
  • the airbag 8 is assigned a release unit 9, which can be controlled by a control unit 10 for triggering or non-triggering, possibly for a predetermined type of triggering.
  • control unit 10 receives a series of input signals 11, at least one of which is a signal which indicates whether the vehicle 5 is subjected to an acceleration corresponding to a dangerous impact with an obstacle ...
  • control unit 10 also receives one Occupancy state of the front passenger seat 1 descriptive input signal 12.
  • This occupancy status input signal 12 is generated by an evaluation circuit 13 in the given case, the control unit 10 being able to control the triggering unit 9 only when the occupancy status input signal 12 is present. I.e. If the front passenger seat 1 is not occupied, the airbag 8 is prevented from being deployed.
  • the evaluation circuit 13 carries out the evaluation on the one hand based on a 3D shape model of the front passenger seat 1, the corresponding 3D shape model data 14 being stored in an internal but also external memory (not shown in detail) which may be internal and, on the other hand, from 3D image data 15, which are determined by an image acquisition system 16.
  • the image capturing system 16 is installed in the vehicle headlining 17 and is able to capture the passenger seat 1 completely, which is symbolized by a capturing cone 18 shown in dashed lines.
  • the image capture system 16 expediently has two video cameras 19 and 20, as shown in FIG. 2, in order to be able to capture a 3D image in a simple manner and to be able to generate corresponding data 15 therefrom. 2 further shows that by means of the image acquisition system 16 not
  • Coordinate system is possible.
  • stereo camera systems, multi-camera systems are suitable
  • the evaluation circuit 13 can supply further signals, namely occupancy type input signals 22, to the control unit 10 if the evaluation circuit 13 is designed in a corresponding manner, as will be explained in more detail below.
  • the invention is basically applicable to all restraint means associated with a seat, for actuating the occupancy state of the seat and possibly also the type the occupancy of the seat is used, e.g. B. pyrotechnically ignitable belt tensioner, electromotively controlled belt tensioner, side airbag, knee airbag, head airbag, adjustment mechanisms to bring the parts of the seat (seat, backrest, headrest) into a favorable situation for the expected impact, etc.
  • the invention is also basically applicable to the control of restraint devices for the driver's seat 21.
  • the invention not only can be used to generate the occupancy state input signal 12 indicating an occupancy state for the control unit 10 in a favorable manner, but also at least one input signal 22 which defines and discriminates in terms of the occupancy type.
  • the occupancy status input signal 12 it is only detected whether the seat 1 is occupied, which may also include an object such as the baby carrier 6.
  • the airbag 8 should not be deployed, in particular in the case of objects such as baby carriers 6, it is advisable to discriminate when a seat 1 is occupied as to whether the seat 1 is occupied by a person or an object. This discrimination can be done in a manner known per se using conventional signals in the context of
  • Input signals 11 take place. As will be explained in more detail below, this discrimination can also take place with the aid of the invention and the generation of the at least one occupancy type input signal 22.
  • a one-time status can be faulty, so that it is extremely useful to verify an evaluation result that has been determined once with a time interval, especially since a change in the occupancy status and a change in the occupancy type during a journey is rare, and possibly. is carried out at considerable time intervals, while the determination of the 3D image data (“scanning ! i ) is repeated with significantly shorter time intervals.
  • the evaluation circuit 13 expediently carries out a temporal filtering of successively obtained evaluation results, for example by forming a moving average or a median value or the like.
  • the signals 12 and 22 can be designed to be very robust, ie very reliable in terms of their interpretation content.
  • FIG. 3 shows, in a representation similar to FIG. 1, the extent to which the various partial areas of the seat 1, seat surface 2, backrest 3, headrest 4, can be adjustable relative to one another or against one another and can be adjustable relative to the vehicle 5.
  • the 3D image will correspond to the actual position of the different partial areas 2, 3, 4 of the seat 1, specifically (for example) in the coordinate directions x, y and z.
  • the 3D image data 15 can be evaluated to discriminate the deviation of the actual position of the different partial areas from a desired position.
  • a misinterpretation is the existence of an occupancy status or even a non- Avoidance of occupancy status avoided.
  • FIG. 4 shows schematically that the invention can also be used with rear seats 23.
  • a separate image acquisition system 24 is provided for the rear seats 23.
  • a common image acquisition system 25 can be provided for both front passenger seat 1 in the front area of vehicle 5 and rear seats 23.
  • the invention can also be used in vehicles 5 which have more than 2 rows of seats and / or in which more than two seats are arranged next to one another. I.e. , The invention is applicable wherever, depending on the occupancy of a seat and, if applicable, the type of occupancy of the seat, facilities associated with the seat to be triggered, to be triggered in a certain way and / or to be prevented from triggering.
  • the image capturing systems 16, "- 24 and / or 26 can also be provided at other points in the vehicle 5, for example the vehicle console, the A, B and / or C pillar, etc. What is essential is that which is as uncovered or uncoverable as possible Acquisition of the 3D image data 15 of a seat 1, 21, 23 under consideration.
  • FIG. 6 shows, in a 3-dimensional coordinate system, a so-called wire mesh model 30 for a seat having a seat surface 36 and a backrest 37
  • Seat recess 31 with bulges 32 and the bulges 34 with lateral boundaries 34 and the less pronounced upper bulge 35 are clearly recognizable.
  • the area of the seat surface 36 and the area of the seat back 37 of the wire mesh model 30 of a seat well separable from each other and thus are also discriminated.
  • Such a wire frame model 30 of a seat is already produced by the manufacturer during development using CAD in currently customary manufacturing processes, so that the corresponding data can be supplied with the delivery of the seat to a vehicle manufacturer, so that SD shape model data 14 (FIG. 1 ) do not have to be generated separately.
  • this also applies to retrofitted special models of seats, insofar as they are manufactured in a certain series by the respective manufacturer.
  • the 3D image of a seat is captured by means of a video image capturing system
  • the corresponding 3D image data 15 are available in a different format than the 3D shape model data 14, for example if it starts out have been generated by a wire frame model 30. It is then necessary to carry out a format transformation such that the evaluation circuit 13 can use data of the same data format for the evaluation.
  • the 3D shape model data 14 itself in an initialization step, namely by capturing this seat 1 with the image acquisition system 16 of the vehicle 5 with a seat 1 guaranteed to be unoccupied, and possibly the data determined here Are subjected to abstraction, and these are then stored as the 3D shape model data 14 in a memory for the evaluation circuit 13, ie be rubbed in.
  • Such an acquisition or scanning is expediently carried out under defined environmental conditions, that is to say before delivery of the vehicle 5. If a seat is newly installed, this initialization may have to be carried out again.
  • the zero-order shape model 42 contains a plurality of first-order shape models 44, which as a whole have a specific positional relationship 43 with respect to the zero-order shape model 42.
  • the first-order shape models 44 in turn have a predetermined positional relationship 45 to one another.
  • the shape models , first Order 44 again includes several second-order shape models 46, which in their entirety have a predefined positional relationship 49 to the first-order shape model 44 and which in turn have a predefined positional relationship 47 with one another.
  • the second-order shape model 46 can in turn, as indicated, have third-order shape models 48, etc.
  • a highly hierarchical structure is possible here.
  • the shape model 51 of the seat again represented by a circle, has a predefined positional relationship 50 to the vehicle 5.
  • the shape model of the backrest as a shape model of the first order and the shape model 55 of the seat, also as a shape model of the first order, on the one hand have a predetermined positional relationship 54 to one another.
  • the shape model 53 of the backrest has a specific positional relationship 52 to the shape model 51, the shape model 55 of the seat surface also having a specific positional relationship 56 to the shape model 51 of the entire seat.
  • This hierarchical structure allows the evaluation to be terminated depending on the result of the evaluation with respect to a lower-order shape model when the method according to the invention is used, for example if it has been determined that the seat is not occupied, or for further evaluations to be carried out with regard to shape models of a higher order Order, possibly selected ones thereof, are carried out, for example to determine whether the occupancy is determined by an object or a person when the seat is found to be occupied, etc.
  • the evaluation circuit 13 receives SD form model data 14 from a memory, for example data corresponding to the wire frame model 30, and 3D image data 15, for example from an image acquisition system 16 determined data, or also 3D image data determined by any other vehicle-side measuring system, which are able to reproduce the current state.
  • these data 14 and 15 are generally not in the same data format.
  • a step S1 a hierarchical adaptation of the 3D shape model data 14 and the 3D image data 15 takes place.
  • this criterion 26 specifies the type and scope of the necessary transformation and also abstraction.
  • the transformation then takes place in a step S12, specifically a transformation of the 3D shape model data into the format of the 3D image data in the exemplary embodiment.
  • the 3D image data can also be transformed into the format of the 3D shape model data, or both the SD shape model data and the 3D image data can be transformed into a third data format.
  • the extent of a necessary or meaningful abstraction of the data for the purpose of evaluation can also be determined.
  • the determination is made as to whether there are deviations between the 3D shape model 1 data and the 3D image data and, if appropriate, to what extent or to what extent.
  • step S3 The determination of whether the. detected deviations exceed a predetermined threshold 27 or not. If the 'established deviations below the threshold 27, then this is interpreted to mean that the corresponding seat 1 is empty, that is not assigned (step S3). If the deviation determined in step S2 exceeds the threshold 27, this is interpreted to mean that the seat is occupied (step S4).
  • the output signal 12 of the Evaluation circuit 13 reproduces one or the other state.
  • the definition of the threshold 27 is necessary because, due to measurement inaccuracies and conversion inaccuracies during the transformation, deviations can be ascertained, although there are in fact none.
  • the threshold 27 can also be set such that the placement of small objects on the seat is not recorded as occupancy of the seat, such as the placement of magazines or items of clothing.
  • the threshold 27 is expediently determined such that an occupancy state is assumed when larger objects are deposited. The value of the relevant threshold 27 for
  • Front seats and rear seats can be quite different
  • Step S5 simulates further method steps which are provided for generating signals 22 which characterize the type of occupancy, in the sense of a hierarchical application of the basic idea of the present invention. This will be explained schematically using the flow diagram according to FIG. 10.
  • step S6 in the event that the occupancy of the seat has been determined in step S4, a selection is first made with regard to the subareas to be considered (seat surface, backrest, headrest). or also sub-areas thereof, e.g. B. lower section and upper section of the backrest, corresponding to step S61.
  • step S63 the deviation determined for the subarea or the subarea with a corresponding threshold is compared and, in the given case, it is determined in accordance with step S64 or in accordance with step S65 whether the partial area of the seat or the subarea of the partial area of the seat can be regarded as occupied or as not occupied or empty. This can be done step by step or in parallel for different sub-areas and sub-areas of sub-areas. In order to take up the example of the baby carrier 6 according to FIG. 1, it is first determined using the procedure according to the flow diagram according to FIG. 9 whether the seat 1 is occupied at all.
  • seat surface 2, backrest 3, headrest 4 are first examined with regard to occupancy, it being established, for example with the baby carrier 6, that the seat surface 6 is to be regarded as occupied and that the headrest 4 is to be regarded as empty, it being assumed that the backrest 3 can also be regarded as occupied due to a threshold being exceeded.
  • z. B. discriminate against the presence of a child seat.
  • Such statements can be used to classify the object in the seat.
  • step S61 ⁇ separation or segmentation can also object-based, that is, based imaging in a known manner in a step S7 to calculate object characteristics in a step S71, and corresponding classification are used in a step S72.
  • object-based that is, based imaging in a known manner in a step S7 to calculate object characteristics in a step S71, and corresponding classification are used in a step S72.
  • This allows the volume of an object, the area occupied by an object and the like to be calculated in a manner known per se, that is to say criteria which enable classification in a conventional manner, this classification being the reaction, i. H. , which enables suitable generation of control signals in the control unit 10 for the triggering unit 9.
  • the invention initially allows the occupancy status to be determined in a simple manner and, based on the same basic idea, also the assessment or classification of the type of occupancy of a seat.

Abstract

The invention relates to a method for detecting the occupancy state of a seat (1), especially in a motor vehicle (5), used with respect to retaining means (8) which are allocated to said seat (1)according to occupancy-state-dependent control, wherein a 3D image (15) of said seat (1) is detected using an image detection system (16) and is evaluated with respect to the occupancy state, optionally also in respect to the type of occupancy. The invention further relates to a device for carrying out said method. According to the invention, a 3D form model (14) is used, said model being provided externally or being generated internally in an initialization step. A hierarchically structured evaluation according to the assessment of the occupancy state also enables classification of the respective occupancy.

Description

Verfahren und Anordnung zur Erfassung des Method and arrangement for recording the
Belegungssustandes eines SitzesOccupancy of a seat
Stand der TechnikState of the art
Die Erfindung betrifft ein Verfahren zur Erfassung des Belegungszustandes eines Sitzes, insbesondere in einem Fahrzeug und zur Verwendung bei der belegungszustandsabhangigen Ansteuerung von dem Sitz zugeordneten Rückhaltemitteln, bei dem mittels eines Bilderfassungssystems ein 3D-Abbild des Sitzes erfasst und hinsichtlich des Belegungszustandes, gfs . auch der Art der Belegung, ausgewertet wird, sowie eine Anordnung zur Durchführung des Verfahrens .The invention relates to a method for detecting the occupancy state of a seat, in particular in a vehicle and for use in the occupancy-dependent control of restraint means associated with the seat, in which a 3D image of the seat is acquired by means of an image acquisition system and with regard to the occupancy state, if applicable. also the type of occupancy is evaluated, as well as an arrangement for performing the method.
Irreversibel ansteuerbare Rückhaltemittel, insbesondere pyrotechnisch zündbare Rückhaltemittel, wie Airbags oder Gurtstrammer, sind in Fahrzeugen inzwischen Standard geworden. Bei Erfassung einer für eine Person im Sitz gefährlichen Situation, insbesondere eines Aufpralls auf ein Hindernis, werden diese Rückhaltemittel ausgelöst, um die Person vor gefährlichen Verletzungen zu schützen. Aus Kostengründen soll eine Auslösung nicht erfolgen, wenn der Sitz nicht belegt ist. Ferner soll eine Auslösung nicht erfolgen, falls sich nicht eine Person sondern ein Gegenstand im Sitz befindet. Insbesondere ist eine Auslösung zu vermeiden, falls es sich bei dem Gegenstand um eine Babytrage handelt. Ferner ist es erwünscht, abhängig ' von der Statur der Person angepasste Auslösevorgänge auslösen zu können. Zur Vermeidung höchst unsicherer nur manuell betätigbarer Schalter sind daher Verfahren und Anordnung erforderlich, die mit möglichst hoher Sicherheit zum .einen den Belegungszustand als solchen erfassen können. Darüber hinaus sollten diese Verfahren und Anordnungen u. U. auch zusammen mit Anderen es auch erlauben, zumindest zwischen Gegenständen und Personen zu unterscheiden, wenn möglich auch zwischen unterschiedlichen Gegenstände und insbesondere unterschiedlichen Personen bzw. Typen von Personen.Restraint devices which can be controlled irreversibly, in particular pyrotechnically ignitable restraint devices, such as airbags or belt tensioners, have meanwhile become standard in vehicles. When a dangerous situation is detected for a person in the seat, in particular an impact with an obstacle, these restraint devices are triggered in order to protect the person from dangerous injuries. For cost reasons, triggering should not take place if the seat is not occupied. Furthermore, triggering should not take place if there is an object in the seat rather than a person. In particular, triggering should be avoided if the item is a baby carrier. Furthermore, it is desirable to be able to trigger triggering processes which are adapted to the person's stature. To avoid the most Unsafe switches that can only be actuated manually therefore require a method and arrangement which, on the one hand, can record the occupancy status as such with the greatest possible certainty. In addition, these procedures and arrangements should U. also together with others also allow to at least differentiate between objects and people, if possible also between different objects and in particular different people or types of people.
Aus der US 5,570,903 ist es beispielsweise bekannt, der Sitzfläche eines Sitzes eine Matte zuzuordnen, mittels • der das auf den Sitz wirkende Gewicht eines Objektes ermittelbar ist . Durch eine matrixartige Anordnung von Sensoren kann auch eine Druckverteilung ermittelt werden, etwa auch der Abstand von Sitzhöckern einer Person. Zwar kann der Belegungszustand gut ermittelt werden, jedoch ist diese Vorgehensweise außerordentlich aufwändig und, da spezielle Sitze erforderlich sind, auch kostspielig.From US 5,570,903 it is known, for example, to assign a mat to the seat surface of a seat, by means of which the weight of an object acting on the seat can be determined. A matrix-like arrangement of sensors can also be used to determine a pressure distribution, for example the distance from a person's seat bumps. The occupancy status can be determined well, but this procedure is extremely complex and, because special seats are required, also expensive.
Aus der US 5,983,147 ist es bekannt, zumindest für den Beifahrer-Sitz mittels einer Stereo-Videokamera ein Abbild zu erstellen. Das jeweilige Abbild kann daraufhin ausgewertet werden, ob der Sitz überhaupt belegt ist und ob sich im gegebenen Fall eine Person oder ein Gegenstand dort befindet. Für die Initialisierung dieserIt is known from US Pat. No. 5,983,147 to create an image, at least for the front passenger seat, using a stereo video camera. The respective image can then be evaluated as to whether the seat is occupied and whether there is a person or an object in the given case. For the initialization of this
Vorgehens eise ist eine sehr aufwändige und langwierigeProcedure is a very complex and lengthy process
-Lern- bzw. Trainingsphase erforderlich, da für jede Art eines zu erfassenden Zustandes, insbesondere wenn zwischen Gegenständen und Personen unterschieden werden soll , empirisch ermittelte Trainingsdaten zur Verfügung gestellt werden müssen, und diese Trainingsdaten zunächst ermittelt und dann auch eingegeben werden müssen. Bei der Anwendung wird dann auf der Grundlage dieser Trainingsdaten und durch das Abbild erhaltener Daten sowie entsprechender Algorithmen eine Klassifizierung,' zunächst nach Belegungszustand und sodann nach Belegungsart durchgeführt . Diese Vorgehensweise hat gravierende Machteile. Beispielsweise können Belegungsarten, die bei den Trainingsdaten nicht vorgesehen waren, auch nicht erfasst werden, was zu unter Umständen gravierenden Fehlinterpretationen, also fehlerhaften Klassifizierungen führen kann. Ferner können sich ändernde Beleuchtungssituationen, wie sie im täglichen Verkehr häufig auftreten, ebenfalls zu fehlerhaften Klassifizierungen führen. Auch können in der Trainingsphase nichttrainierte Sitzparameter zu fehlerhaften Klassifizierungen führen. Schließlich muss bei Tausch eines Sitzes eine erneute Initialisierung durchgeführt werden, wobei entsprechende Trainingsdaten nicht für alle handelsüblichen Sitze zur Verfügung stehen. Somit ist die auf der Ermittlung eines 3D-Abbildes beruhende bekannte Vorgehensweise nicht nur äußerst aufwändig, sondern auch in großem Umfang auch unzuverlässig .-Learning or training phase is necessary because empirically determined training data must be made available for each type of condition to be recorded, especially if a distinction is to be made between objects and people, and this training data must first be determined and then also entered. In the application, a classification is then carried out on the basis of this training data and the data obtained by means of the image and corresponding algorithms, ' first according to the state of occupancy and then according to the type of occupancy. This approach has serious flaws. For example, occupancy types that are in the training data were not provided, nor are they recorded, which can lead to serious misinterpretations, i.e. incorrect classifications. Furthermore, changing lighting situations, as they often occur in daily traffic, can also lead to incorrect classifications. Sitting parameters that have not been trained in the training phase can also lead to incorrect classifications. Finally, when replacing a seat, a new initialization must be carried out, whereby the corresponding training data are not available for all commercially available seats. Thus, the known procedure based on the determination of a 3D image is not only extremely complex, but also unreliable to a large extent.
Der Erfindung liegt demnach die Aufgabe zugrunde, die vorstehend beschriebene bekannte Vorgehensweise dahingehend zu verbessern, dass bei geringerem Aufwand höhere Sicherheit bei der Erfassung des Belegungszustandes und gegebenenfalls auch der Belegungsart erzielbar ist.The invention is therefore based on the object of improving the known procedure described above in such a way that, with less effort, greater security can be achieved in the detection of the occupancy state and, if appropriate, also the occupancy type.
Vorteile der ErfindungAdvantages of the invention
Die Aufgabe wird durch das Verfahren gemäß dem Anspruch 1 bzw. durch die Anordnung gemäß dem Anspruch 13 gelöst. Die Erfindung wird durch die Merkmale der abhängigen Ansprüche weitergebildet .The object is achieved by the method according to claim 1 or by the arrangement according to claim 13. The invention is developed by the features of the dependent claims.
Der Grundgedanke der Erfindung ist darin, zu sehen, , dass für einen unbelegten Sitz ein 3D-Formmodell des Sitzes als Referenz erstellt werden kann, wobei jedenfalls für die meisten Sitze solche 3D-Formmodelle bereits werksseitig bzw. zuliefererseitig vorliegen, etwa weil der Sitz mittels CAD-Technologie -entwickelt worden ist, beispielsweise in Form eines sogenannten Drahtgittermodells. Das im Betrieb durch das Bilderfassungssystem ermittelte 3D-Abbild läss sich hinsichtlich dem 3D-Formmodell nun auf ' zumindest gravierende und/oder spezifische Abweichungen auswerten. Eine aufwändige Trainingsphase für die Auswertung ist nicht erforderlich. In Weiterbildung können Teilbereiche des Sitzes, wie Sitzfläche, Rücklehne, Kopfstütze und auch Abschnitte davon, etwa oberer Abschnitt der Rücklehne und unterer Abschnitt der Rücklehne hinsichtlich Übereinstimmung, des 3D-Abbildes mit dem 3D-Formmodell ausgewertet werden, so dass im Falle der Erfassung einer Belegung des Sitzes auch bestimmte Klassifizierungen hinsichtlich der Art des die Belegung verursachenden Objektes, und zwar durchaus iterativ, durchgeführt werden könne .The basic idea of the invention is to see that a 3D shape model of the seat can be created as a reference for an unoccupied seat, whereby for most seats such 3D shape models are already available from the factory or from the supplier, for example because the seat is by means of CAD technology has been developed, for example in the form of a so-called wireframe model. The 3D image determined during operation by the image acquisition system can be With regard to the 3D shape model, now evaluate 'at least serious and / or specific deviations. A complex training phase for the evaluation is not necessary. In a further development, partial areas of the seat, such as the seat surface, backrest, headrest and also sections thereof, such as the upper section of the backrest and lower section of the backrest, can be evaluated with regard to the conformity of the 3D image with the 3D shape model, so that in the event of detection of a Occupancy of the seat also certain classifications with regard to the type of the object causing the occupancy, and indeed iteratively, can be carried out.
Zeichnungendrawings
Die Erfindung wird anhand der in der Zeichnung dargestellten Ausführungsbeispiele näher erläutet. Es zeigen:The invention is explained in more detail using the exemplary embodiments shown in the drawing. Show it:
Fig. 1 den grundsätzlichen Aufbau einer Anordnung zurFig. 1 shows the basic structure of an arrangement for
Durchführung des erfindungsgemäßen Verfahrens beiImplementation of the method according to the invention
Seitenansicht eines Sitzes, Fig. 2 eine Frontansicht von Sitzen in einem Fahrzeug, Fig. 3 schematisch die verschiedenenSide view of a seat, Fig. 2 is a front view of seats in a vehicle, Fig. 3 shows schematically the various
Bewegungsmöglichkeiten der Teile eines Sitzes zueinander, Fig. 4 eine Anordnung, bei der für Front- und Rücksitze getrennte Bilderfassungssysteme vorgesehen sind, Fig. 5 die Möglichkeit einer Anordnung eines einzigenPossibilities of movement of the parts of a seat relative to one another, FIG. 4 shows an arrangement in which separate image acquisition systems are provided for front and rear seats, FIG. 5 shows the possibility of arranging a single one
Bilderfassungssystems für sowohl Front- als auch. Image acquisition system for both front and .
Rücksitze, Fig. 6 schematisch das grundsätzliche Aussehen einesRear seats, Fig. 6 schematically shows the basic appearance of a
Drahtgittermodells eines Sitzes, Fig. 7 schematisch den grundsätzlichen Aufbau der hierarchischen AusWertemöglichkeit bei der vorliegenden Erfindung, Fig. 8 schematisch ein einfaches für Sitze verwendbaresWire mesh model of a seat, FIG. 7 schematically shows the basic structure of the hierarchical evaluation option in the present invention, FIG. 8 schematically shows a simple one that can be used for seats
Modell des hierarchischen Aufbaus, Fig. 9 schematisch ein Fließdiagramm zur Erfassung desHierarchical structure model, Fig. 9 schematically shows a flow chart for detecting the
Belegungszustandes eines Sitzes, Fig. 10 schematisch ein Fließdiagramm einer Weiterbildung, bei der der Belegungszustand für bestimmte Teilbereiche getrennt ermittelt wird.Occupancy status of a seat, FIG. 10 schematically shows a flow diagram of a further development in which the occupancy status is determined separately for certain partial areas.
Beschreibung eines AusführungsbeispielsDescription of an embodiment
Fig. 1 zeigt schematisch einen Sitz 1 mit Sitzfläche 2, Rücklehne 3 und Kopfstütze 4 in einem Fahrzeug 5, und zwar einem Beifahrersitz. In dem Beifahrersitz 1 befindet sich beispielhaft als diesen Beifahrersitz 1 belegendes Objekt eine Babytrage 6. Im Bereich des Armaturenbrettes 7 im Fahrzeug 5 befindet sich dem Beifahrersitz 1 gegenüberliegend als Beispiel eines Rückhaltemittels ein pyrotechnisch zündbarer Airbag 8. Dem Airbag 8 ist eine Auslöseeinheit 9 zugeordnet, die von einer Ansteuereinheit 10 zur Auslösung oder Nicht -Auslösung, gegebenenfalls zu einer vorgegebenen Art einer Auslösung, ansteuerbar ist. Zu diesem Zweck empfängt die AnSteuereinheit 10 eine Reihe von Eingangssignalen 11, von denen mindestens eines ein Signal ist, das wiedergibt, ob das Fahrzeug 5 einer einem gefährlichen Aufprall auf ein Hindernis entsprechenden Beschleunigung ausgesetzt ist... Insbesondere empfängt die Ansteuereinheit 10 ferner ein den Belegungszustand des Beifahrersitzes 1 beschreibendes Eingangssignal 12.Fig. 1 shows schematically a seat 1 with a seat 2, backrest 3 and headrest 4 in a vehicle 5, namely a passenger seat. In the front passenger seat 1 there is, for example, a baby carrier 6 as the object occupying this front passenger seat 1. In the area of the dashboard 7 in the vehicle 5 there is a pyrotechnically ignitable airbag 8 opposite the front passenger seat 1 as an example of a restraint means. The airbag 8 is assigned a release unit 9, which can be controlled by a control unit 10 for triggering or non-triggering, possibly for a predetermined type of triggering. For this purpose, the control unit 10 receives a series of input signals 11, at least one of which is a signal which indicates whether the vehicle 5 is subjected to an acceleration corresponding to a dangerous impact with an obstacle ... In particular, the control unit 10 also receives one Occupancy state of the front passenger seat 1 descriptive input signal 12.
Dieses Belegungszustand-Eingangssignal 12 wird von einer Auswerteschaltung 13 im gegebenen Fall generiert , wobei die Ansteuereinheit 10 die Auslöseeinheit 9 nur ansteuern kann, wenn das Belegungszustand-Eingangssignal 12 vorliegt. D. h. , wenn der Beifahrersitz 1 nicht belegt ist, wird verhindert, dass der Airbag 8 ausgelöst wird.This occupancy status input signal 12 is generated by an evaluation circuit 13 in the given case, the control unit 10 being able to control the triggering unit 9 only when the occupancy status input signal 12 is present. I.e. If the front passenger seat 1 is not occupied, the airbag 8 is prevented from being deployed.
Die Auswerteschaltung 13 führt die Auswertung durch aufgrund zum einen eines 3D-Formmodells des Beifahrersitzes 1, wobei entsprechende 3D-Formmodell -Daten 14 in einem gegebenenfalls internen, jedoch auch externen Speicher (nicht im einzelnen dargestellt) gespeichert sind, und aufgrund zum anderen von 3D-Abbild-Daten 15, die von einem Bilderf ssungssystem 16 ermittelt werden. Beim Ausführungsbeispiel ist das Bilderfassungssystem 16 im Fahrzeughimmel 17 eingebaut und ist in der Lage, den Beifahrersitz 1 vollständig zu erfassen, was durch einen in Strichlinien dargestellten Erfassungs-Kegel 18 symbolisiert ist.The evaluation circuit 13 carries out the evaluation on the one hand based on a 3D shape model of the front passenger seat 1, the corresponding 3D shape model data 14 being stored in an internal but also external memory (not shown in detail) which may be internal and, on the other hand, from 3D image data 15, which are determined by an image acquisition system 16. In the exemplary embodiment, the image capturing system 16 is installed in the vehicle headlining 17 and is able to capture the passenger seat 1 completely, which is symbolized by a capturing cone 18 shown in dashed lines.
Zweckmäßig weist das Bilderfassungssystem 16 zwei Videokameras 19 und 20 auf, wie in Fig. 2 dargestellt, um auf einfache Weise ein 3D-Abbild erfassen und daraus entsprechende Daten 15 erzeugen zu können. Fig. 2 zeigt ferner, dass mittels des Bilderfassungssystems 16 nichtThe image capture system 16 expediently has two video cameras 19 and 20, as shown in FIG. 2, in order to be able to capture a 3D image in a simple manner and to be able to generate corresponding data 15 therefrom. 2 further shows that by means of the image acquisition system 16 not
. nur der Beifahrersitz 1 sondern auch ein Fahrersitz 21 erfasst werden kann. Allerdings ist die zur Vermeidung unnötiger . Reparaturkosten erwünschte Vermeidung einer Auslösung der dem Fahrersitz 21 zugeordneten irreversibel ansteuerbaren Rückhaltemittel bei einer Nicht-Belegung des Fahrersitzes 21' von eher untergeordneter Bedeutung, da bei einem fahrenden Fahrzeug grundsätzlich von einem - Belegungszustand (und zwar auch durch eine Person) ausgegangen werden kann. Allerdings kann eine Klassifizierung der Belegungsart für die Auslösung sinnvoll sein., only the front passenger seat 1 but also a driver seat 21 can be detected. However, this is unnecessary to avoid. Repair costs desired avoidance of triggering of the irreversibly controllable restraint means assigned to the driver's seat 21 when the driver's seat 21 'is not occupied is of minor importance, since a traveling condition can generally be assumed to be in a state of occupancy (and also by a person). However, a classification of the type of occupancy can be useful for triggering.
Unter 3D-Abbild Daten 15 im Sinne der Erfindung sind jedoch alle die reale Situation eines Sitzes beschreibenden Daten verwendbar. Sie ' können durch ansich beliebige entfernungsmessende Sensoren ermittelt werden, aufgrund deren ein Abbild in einem räumlichenUnder 3D image data 15 in the sense of the invention, however, all data describing the real situation of a seat can be used. You 'can be determined by ansich any distance measuring sensors under which an image in a spatial
Koordinatensystem möglich ist. Es eignen sich beispielsweise Stereokamera-Systeme, Mehrkamera-SystemeCoordinate system is possible. For example, stereo camera systems, multi-camera systems are suitable
(aus mindestens 2 Kameras), sog. Range- Image-Systeme, die nach einem Laufzeitprinzip auswerten, Laser-Scanner, Radar-Systeme, Sensoren, die mit strukturierter Beleuchtung arbeiten, etc.. Zweckmäßig sind ohnehin im betrachtetem Fahrzeug 5 verwendete Systeme. Fig. 1 zeigt ferner, dass die Auswerteschaltung 13 weitere Signale, nämlich Belegungsart-Eingangssignale 22 der Ansteuereinheit 10 zuzuführen vermag, wenn die Auswerteschaltung 13 in entsprechender Weise ausgebildet ist, wie das weiter unten näher erläutert wird.(from at least 2 cameras), so-called range image systems that evaluate according to a runtime principle, laser scanners, radar systems, sensors that work with structured lighting, etc. 5 systems used in the vehicle under consideration are expedient anyway. 1 also shows that the evaluation circuit 13 can supply further signals, namely occupancy type input signals 22, to the control unit 10 if the evaluation circuit 13 is designed in a corresponding manner, as will be explained in more detail below.
Wenn auch die Erfindung anhand der Ansteuerung eines dem Beifahrersitz 1 zugeordneten Airbags 8 als irreversibel ansteuerbares Rückhaltemittel erläutert wird, so zeigt sich, dass die Erfindung grundsätzlich bei allen einem Sitz zugeordneten Rückhaltemitteln anwendbar ist, zu deren Ansteuerung der Belegungszustand des Sitzes und gegebenenfalls auch die Art der Belegung des Sitzes herangezogen wird, z. B. pyrotechnisch zündbare Gurtstraffer, elektromotorisch ansteuerbare Gurtstrammer, Seitenairbag, Knieairbag, Kopfairbag, Verstellmechanismen, um die Teile des Sitzes (Sitzfläche, Rücklehne, Kopfstütze) in eine für den zu erwartenden Aufprall günstige Situation zu bringen, usw.. Jedenfalls soweit die Belegungsart erfasst wird, was weiter unten näher erläutert wird, ist die Erfindung auch bei der Ansteuerung von Rückhaltemitteln für den Fahrersitz 21 grundsätzlich anwendbar .If the invention is also explained on the basis of the actuation of an airbag 8 assigned to the front passenger seat 1 as an irreversibly actuatable restraint means, it can be seen that the invention is basically applicable to all restraint means associated with a seat, for actuating the occupancy state of the seat and possibly also the type the occupancy of the seat is used, e.g. B. pyrotechnically ignitable belt tensioner, electromotively controlled belt tensioner, side airbag, knee airbag, head airbag, adjustment mechanisms to bring the parts of the seat (seat, backrest, headrest) into a favorable situation for the expected impact, etc. In any case, as far as the type of occupancy recorded What will be explained in more detail below, the invention is also basically applicable to the control of restraint devices for the driver's seat 21.
Wie weiter unten näher erläutert wird, kann mittels der Erfindung nicht nur in günstiger Weise das einen Belegungszustand anzeigende Belegungszustand- Eingangssignal 12 für die Ansteuereinheit 10 erzeugt werden, sondern auch mindestens ein hinsichtlich der Belegungsart definierendes und diskriminierendes Eingangssignal 22. D. h. , mittels des Belegungszustand- Eingangssignals 12 wird lediglich erfasst, ob der Sitz 1 belegt ist, wozu auch ein Gegenstand wie die Babytrage 6 gehören kann. Da jedoch der Airbag 8 insbesondere bei Gegenständen wie Babytragen 6 nicht ausgelöst werden soll, sind zweckmäßig bei Erfassung eines belegten Sitzes 1 noch Diskriminierungen dahingehend vorzunehmen, ob der Sitz 1 von einer Person oder einem Objekt belegt ist. Diese Diskriminierung kann in an sich bekannter Weise mittels herkömmlicher Signale im Rahmen derAs will be explained in more detail below, the invention not only can be used to generate the occupancy state input signal 12 indicating an occupancy state for the control unit 10 in a favorable manner, but also at least one input signal 22 which defines and discriminates in terms of the occupancy type. By means of the occupancy status input signal 12, it is only detected whether the seat 1 is occupied, which may also include an object such as the baby carrier 6. However, since the airbag 8 should not be deployed, in particular in the case of objects such as baby carriers 6, it is advisable to discriminate when a seat 1 is occupied as to whether the seat 1 is occupied by a person or an object. This discrimination can be done in a manner known per se using conventional signals in the context of
Eingangssignale 11 erfolgen. Diese Diskriminierung kann, wie weiter unten näher erläutert wird, auch mit Hilfe der Erfindung erfolgen und der Erzeugung des mindestens einen Belegungsart-Eingangssignals 22.Input signals 11 take place. As will be explained in more detail below, this discrimination can also take place with the aid of the invention and the generation of the at least one occupancy type input signal 22.
Ein einmaliger Zustand kann fehlerhaft sein, so dass es äußerst zweckmäßig ist ein einmal ermitteltes Auswerteergebnis mit zeitlichem Abstand zu verifizieren, zumal eine Änderung des Belegungszustandes und eine Änderung der Belegungsart während einer Fahrt nur selten, und gfs. mit erheblichen Zeitabständen erfolgen wird, während die Ermittlung der 3D-Abbild-Daten (" Abtastung!i ) mit demgegenüber wesentlich geringeren Zeitabständen wiederholt wird. Zweckmäßig führt die Auswerteschaltung 13 eine zeitliche Filterung nacheinander erhaltener Auswerteergebnisse durch z. B. durch Bilden eines gleitenden Mittelwertes oder eines Medianwertes oder dgl .. Hierdurch können die Signale 12 und 22 sehr robust, d. h. in ihrem Interpretationsinhalt sehr sicher, gestaltet werden.A one-time status can be faulty, so that it is extremely useful to verify an evaluation result that has been determined once with a time interval, especially since a change in the occupancy status and a change in the occupancy type during a journey is rare, and possibly. is carried out at considerable time intervals, while the determination of the 3D image data (“scanning ! i ) is repeated with significantly shorter time intervals. The evaluation circuit 13 expediently carries out a temporal filtering of successively obtained evaluation results, for example by forming a moving average or a median value or the like. As a result, the signals 12 and 22 can be designed to be very robust, ie very reliable in terms of their interpretation content.
Fig. 3 zeigt zunächst, in ähnlicher Darstellung wie Fig. 1 , in welchem Umfang die verschiedenen Teilbereiche des Sitzes 1, Sitzfläche 2, Rücklehne 3, Kopfstütze 4, zueinander bzw. gegeneinander verstellbar sein können sowie gegenüber dem Fahrzeug 5 verstellbar sein können. Mittels des Bilderfassungssystems 16 wird das 3D-Abbild der Ist-Lage der verschiedenen Teilbereiche 2, 3 , 4 des Sitzes 1 entsprechen und zwar (z.B.) in den Koordinatenrichtungen x, y bzw. z. Jedenfalls bei geeigneter die gegenseitige Zuordnung dieser Teilbereiche entsprechender Aufbereitung der Daten 14 des 3D- Formmodells ist zum einen eine Auswertung der 3D- Abbilddaten 15 zur Diskriminierung der Abweichung der Ist- Lage der verschiedenen Teilbereiche zu einer erwünschten Lage durchführbar. Zum anderen ist eine Fehlinterpretation als Vorliegen eines Belegungszustandes oder gar als Nicht- Vorliegen eines Belegungszustandes vermieden. Schließlich lässt sich für jeden der .Teilbereiche durch getrennteFIG. 3 shows, in a representation similar to FIG. 1, the extent to which the various partial areas of the seat 1, seat surface 2, backrest 3, headrest 4, can be adjustable relative to one another or against one another and can be adjustable relative to the vehicle 5. By means of the image acquisition system 16, the 3D image will correspond to the actual position of the different partial areas 2, 3, 4 of the seat 1, specifically (for example) in the coordinate directions x, y and z. In any case, if the data 14 of the 3D shape model are appropriately processed and mutually assigned to one another, the 3D image data 15 can be evaluated to discriminate the deviation of the actual position of the different partial areas from a desired position. On the other hand, a misinterpretation is the existence of an occupancy status or even a non- Avoidance of occupancy status avoided. Finally, for each of the
Auswertung und Beiziehung der entsprechenden Daten desEvaluation and reference of the corresponding data of the
Formmodells für die verschiedenen Teilbereiche, Sitzfläche 2, -Rücklehne 3 und Kopfstütze 4, ein jeweiligerShape model for the different sections, seat 2, backrest 3 and headrest 4, each one
Belegungszustand getrennt bestimmen, woraus zürn Zweck einer Klassifizierung auf eine bestimmte Art der Belegung geschlossen werden kann. Sind beispielsweise Sitzffläche 2 und Rücklehne 3 als belegt erfasst, jedoch die Kopfstütze 3 als nicht belegt erfasst, kann dies als Vorliegen derDetermine occupancy status separately, from which a certain type of occupancy can be inferred for the purpose of classification. If, for example, the seat surface 2 and the backrest 3 are recorded as occupied, but the headrest 3 is recorded as not occupied, this may be the case
Belegung des Sitzes 1 durch einen Gegenstand oder eine kleine Person interpretiert -werden. In, hierarchischer,Occupancy of the seat 1 by an object or a small person. In hierarchical
Weiterbildung können bei den verschiedenen Teilbereichen wiederum Unterbereiche definiert werden, die einer Auswertung hinsichtlich entsprechender Unterbereiche im Formmodell zugeführt werden, beispielsweise kann das Vorliegen eines Belegungszustandes in . dem unteren Abschnitt der Rücklehne 3 und das Nicht-Vorliegen eines Belegungszustandes in dem oberen Abschnitt der Rücklehne 3 als Vorliegen eines Gegenstandes, wie etwa der Babytrage 6 interpretiert werden und zur Verhinderung einer Auslösung der irreversiblen Rückhaltemittel trotz ermitteltem Belegungszustand des Sitzes 1 herangezogen werden.Further training can in turn be defined for the various sub-areas, which are then subjected to an evaluation with regard to corresponding sub-areas in the form model, for example the presence of an occupancy status in. the lower section of the backrest 3 and the non-existence of an occupancy state in the upper section of the backrest 3 are interpreted as the presence of an object, such as the baby carrier 6, and are used to prevent triggering of the irreversible restraint device despite the determined occupancy state of the seat 1.
Fig. 4 zeigt schematisch, dass die Erfindung auch bei Rücksitzen 23 anwendbar ist. Zu diesem Zweck ist bei der Ausführungsform gemäß Fig. 4 für die Rücksitze 23 ein gesondertes Bilderfassungssystem 24 vorgesehen. Alternativ kann, wie in Fig. 5 dargestellt, für sowohl Beifahrersitz 1 im Frontbereich des Fahrzeuges 5 als auch Rücksitze 23 ein gemeinsames Bilderfassungssystem 25 vorgesehen sein. Ohne dass dies einer näheren Erläuterung bedarf, ist die Erfindung auch bei Fahrzeugen 5 anwendbar, die mehr als 2 Reihen von Sitzen besitzen, und/oder bei denen mehr als zwei Sitze nebeneinander angeordnet sind. D. h. , die Erfindung ist überall dort anwendbar, wo abhängig vom Belegungszustand eines Sitzes und gegebenenfalls der Art der Belegung des Sitzes dem Sitz zugeordnete Einrichtungen auszulösen sind, in bestimmter Weise auszulösen sind und/oder an der Auslösung zu hindern sind.FIG. 4 shows schematically that the invention can also be used with rear seats 23. For this purpose, in the embodiment according to FIG. 4, a separate image acquisition system 24 is provided for the rear seats 23. Alternatively, as shown in FIG. 5, a common image acquisition system 25 can be provided for both front passenger seat 1 in the front area of vehicle 5 and rear seats 23. Without requiring any further explanation, the invention can also be used in vehicles 5 which have more than 2 rows of seats and / or in which more than two seats are arranged next to one another. I.e. , The invention is applicable wherever, depending on the occupancy of a seat and, if applicable, the type of occupancy of the seat, facilities associated with the seat to be triggered, to be triggered in a certain way and / or to be prevented from triggering.
Die Bilderfassüngssysteme 16,"- 24 und/oder 26 können auch an anderen Stellen im Fahrzeug 5 vorgesehen sein z. B. der Fahrzeugkonsole, der A- , B- und/oder C-Säule u.s.w.. Wesentlich ist die möglichst unverdeckte bzw. unverdeckbare Erfassung der 3D-Abbild-Daten 15 eines betrachteten Sitzes 1, 21, 23.The image capturing systems 16, "- 24 and / or 26 can also be provided at other points in the vehicle 5, for example the vehicle console, the A, B and / or C pillar, etc. What is essential is that which is as uncovered or uncoverable as possible Acquisition of the 3D image data 15 of a seat 1, 21, 23 under consideration.
Ein Beispiel, wie Daten hinsichtlich des Formmodells eines Sitzes entwickelt werden können, ergibt sich aus Fig. 6. Fig. 6 zeigt in einem 3-dimensionalen Koordinatensystem schematisch ein sogenanntes Drahtgittermodell 30 für einen eine Sitzfläche 36 und eine Rücklehne 37 aufweisenden Sitz. Die die Sitzmulde 31 berandenden Wulste 32 und die die Rückenmulde 33 seitliche berandenden Wulste 34 sowie der weniger stark ausgeprägte obere Wulst 35 sind deutlich erkennbar. Es ' ist auch deutlich erkennbar, dass der Bereich der Sitzfläche 36 und der Bereich der Rücklehne 37 dieses Drahtgittermodels 30 eines Sitzes gut voneinander separierbar und damit auch diskriminierbar sind. Ein solches Drahtgittermodel 30 eines Sitzes wird bei derzeit üblichen Herstellungsprozessen schon beim Hersteller bei der Entwicklung mittels CAD erzeugt, so dass die entsprechenden Daten bei der Lieferung des Sitzes an einen Fahrzeughersteller mitgeliefert werden können, so dass SD- Formmodell -Daten 14 (Fig. 1) nicht gesondert generiert werden müssen. Dies trifft grundsätzlich auch für nachträglich eingebaute Sondermodelle von Sitzen zu, soweit diese in einer gewissen Serie von dem jeweiligen Hersteller gefertigt werden.An example of how data relating to the shape model of a seat can be developed is shown in FIG. 6. FIG. 6 shows, in a 3-dimensional coordinate system, a so-called wire mesh model 30 for a seat having a seat surface 36 and a backrest 37 Seat recess 31 with bulges 32 and the bulges 34 with lateral boundaries 34 and the less pronounced upper bulge 35 are clearly recognizable. There 'is also clear that the area of the seat surface 36 and the area of the seat back 37 of the wire mesh model 30 of a seat well separable from each other and thus are also discriminated. Such a wire frame model 30 of a seat is already produced by the manufacturer during development using CAD in currently customary manufacturing processes, so that the corresponding data can be supplied with the delivery of the seat to a vehicle manufacturer, so that SD shape model data 14 (FIG. 1 ) do not have to be generated separately. In principle, this also applies to retrofitted special models of seats, insofar as they are manufactured in a certain series by the respective manufacturer.
Es zeigt sich, dass mit geringem Aufwand auch Unterbereiche der erwähnten Art, etwa unterer Abschnitt der Rücklehne und oberer Abschnitt der Rücklehne voneinander separierbar sind und damit für eine Auswertung gemäß der vorliegenden Erfindung herangezogen werden können . Wenn, wie beim Ausführungsbeispiel , das 3D-Abbild eines Sitzes mittels eines Videobilderfassungs-Systems erfasst wird, liegen die entsprechenden 3D-Abbild-Daten 15 in - einem anderen Format zur Verfügung, als die 3D-Forrnmodell- Daten 14, wenn diese beispielsweise ausgehend von einem Drahtgittermodell 30 generiert worden sind. Es ist dann erforderlich, eine Formattransformation durchzuführen derart, dass die Auswerteschaltung 13 Daten gleichen Datenformates für die Auswertung heranziehen kann.It can be seen that subareas of the type mentioned, for example the lower section of the backrest and the upper section of the backrest, can be separated from one another with little effort and can thus be used for an evaluation according to the present invention. If, as in the exemplary embodiment, the 3D image of a seat is captured by means of a video image capturing system, the corresponding 3D image data 15 are available in a different format than the 3D shape model data 14, for example if it starts out have been generated by a wire frame model 30. It is then necessary to carry out a format transformation such that the evaluation circuit 13 can use data of the same data format for the evaluation.
Es ist im Rahmen der Erfindung auch möglich in einem Initialisierungsschritt die 3D-Formmodell-Daten 14 selbst zu generieren, nämlich dadurch, dass mit dem Bilderfassungssystem 16 des Fahrzeuges 5 bei garantiert unbelegtem Sitz 1 dieser Sitz 1 erfasst wird, gegebenenfalls die hier ermittelten Daten eine Abstraktion unterzogen werden, und diese dann als die 3D-Formmodell - Daten 14 in einem Speicher für die Auswerteschaltung 13 hinterlegt, d.h. eingesehrieben werden. Zweckmäßig erfolgt eine solche Erfassung bzw. Abtastung unter definierten Umgebungsbedingungen, also vor Auslieferung des Fahrzeuges 5. Bei Neueinbau eines Sitzes müsste gegebenenfalls diese Initialisierung erneut durchgeführt werden.It is also possible within the scope of the invention to generate the 3D shape model data 14 itself in an initialization step, namely by capturing this seat 1 with the image acquisition system 16 of the vehicle 5 with a seat 1 guaranteed to be unoccupied, and possibly the data determined here Are subjected to abstraction, and these are then stored as the 3D shape model data 14 in a memory for the evaluation circuit 13, ie be rubbed in. Such an acquisition or scanning is expediently carried out under defined environmental conditions, that is to say before delivery of the vehicle 5. If a seat is newly installed, this initialization may have to be carried out again.
Anhand Fig. 7 wird das modellbasierte Verfahren gemäß der vorliegenden Erfindung gemäß dem Grundsatz nach allgemein erläutert .7, the model-based method according to the present invention is generally explained according to the principle.
Ein dem Formmodell eines Sitzes 1 entsprechendes Formmodell nullter Ordnung 42, dass durch einen großen Kreis dargestellt ist, hat eine vorgegebene Lagebeziehung 41 zu dem Fahrzeug 5, in dem der Sitz 1 eingebaut ist. Das Formmodell nullter Ordnung 42 beinhaltet mehrere Formmodelle erster Ordnung 44, die als Gesamtheit eine bestimmte Lagebeziehung 43 gegenüber dem Formmodell nullter Ordnung 42 besitzen. Die Formmodelle erster Ordnung 44 besitzen untereinander wiederum eine vorgegebene Lagebeziehung 45. Die Formmodelle, erster Ordnung 44 beinhalten wieder mehrere Formmodelle zweiter Ordnung 46, die in ihrer Gesamtheit eine vorgegebene Lagebeziehung 49 zum Formmodell erster Ordnung 44 besitzen und die wiederum untereinander eine vorgegebene Lagebeziehung 47 besitzen. Das Formmodell zweiter Ordnung 46 kann wiederum, wie angedeutet, Formmodelle dritter Ordnung 48 aufweisen, usw.. Es ist also hier eine stark hierarchische Gliederung möglich.A zero-order shape model 42 corresponding to the shape model of a seat 1, which is represented by a large circle, has a predefined positional relationship 41 to the vehicle 5 in which the seat 1 is installed. The zero-order shape model 42 contains a plurality of first-order shape models 44, which as a whole have a specific positional relationship 43 with respect to the zero-order shape model 42. The first-order shape models 44 in turn have a predetermined positional relationship 45 to one another. The shape models , first Order 44 again includes several second-order shape models 46, which in their entirety have a predefined positional relationship 49 to the first-order shape model 44 and which in turn have a predefined positional relationship 47 with one another. The second-order shape model 46 can in turn, as indicated, have third-order shape models 48, etc. A highly hierarchical structure is possible here.
Für einen Sitz 1 ohne Kopfstütze 4 sei dies kurz anhand Fig. 8 präzisiert. Das Formmodell 51 des Sitzes 1, wiederum durch einen Kreis dargestellt, weist eine vorgegebene Lagebeziehung 50 zum Fahrzeug 5 auf. Das Formmodell der Rücklehne als Formmodell erster Ordnung und das Formmodell 55 der Sitzfläche, ebenfalls als Formmodell erster Ordnung, weisen zum einen eine vorgegebene •Lagebeziehung 54 untereinander auf. Ferner weist das Formmodell 53 der Rückenlehne eine bestimmte Lagebeziehung 52 zum Formmodell 51 auf, wobei auch das Formmodell- 55 der Sitzfläche eine bestimmte Lagebeziehung 56 zum Formmodell 51 des gesamten Sitzes aufweist.For a seat 1 without a headrest 4, this is briefly specified with reference to FIG. 8. The shape model 51 of the seat 1, again represented by a circle, has a predefined positional relationship 50 to the vehicle 5. The shape model of the backrest as a shape model of the first order and the shape model 55 of the seat, also as a shape model of the first order, on the one hand have a predetermined positional relationship 54 to one another. Furthermore, the shape model 53 of the backrest has a specific positional relationship 52 to the shape model 51, the shape model 55 of the seat surface also having a specific positional relationship 56 to the shape model 51 of the entire seat.
Diese hierarchische Struktur erlaubt es bei der Anwendung des erfindungsgemäßen Verfahrens abhängig von dem Ergebnis der Auswertung hinsichtlich eines Formmodells niedrigerer Ordnung die Auswertung zu beenden, etwa wenn festgestellt worden ist, dass der Sitz nicht belegt ist, oder zu veranlassen, dass weitere Auswertungen hinsichtlich Formmodellen höherer Ordnung, gegebenenfalls Ausgewählten davon, durchgeführt werden, etwa zur Ermittlung, ob bei als belegt festgestelltem Sitz die Belegung durch einen Gegenstand oder eine Person erfolgt, usw..This hierarchical structure allows the evaluation to be terminated depending on the result of the evaluation with respect to a lower-order shape model when the method according to the invention is used, for example if it has been determined that the seat is not occupied, or for further evaluations to be carried out with regard to shape models of a higher order Order, possibly selected ones thereof, are carried out, for example to determine whether the occupancy is determined by an object or a person when the seat is found to be occupied, etc.
Die erfindungsgemäße Vorgehensweise wird zunächst anhand des Fließdiagramms gemäß Fig. 9 erläutert. Wie bereits erwähnt, empfängt die Auswerteschaltung 13 zum einen SD- Formmodell-Daten 14 aus einem Speicher, beispielsweise dem Drahtgittermodell 30 entsprechende Daten, sowie 3D-Abbild- Daten 15, beispielsweise von einem Bilderfassungssystem 16 ermittelte Daten, oder auch von irgendeinem anderem fahrzeugseitigen Messsystem ermittelte 3D-Abbild-Daten, die in der Lage sind, den Ist-Zustand wiederzugeben. Wie erwähnt, liegen diese Daten 14 und 15 im allgemeinen nicht im gleichen Datenformat vor. In einem Schritt Sl erfolgt zunächst eine, hierarchische, Anpassung der 3D-Formmodell- Daten 14 und der 3D-Abbild-Daten 15. Um den Umfang der notwendigen Anpassung eindeutig festzulegen, ist es zunächst erforderlich, ein Kriterium 26 vorzugeben, aufgrund dessen die Auswertung erfolgen soll, beispielsweise kann die Auswertung auf der Grundlage der Quadratsumme von Abweichungen erfolgen. Dieses Kriterium 26 legt in einem Schritt Sll die Art und den Umfang der notwendigen Transformation und auch Abstraktion fest. In einem Schritt S12 erfolgt dann die Transformation, und zwar beim Ausführungsbeispiel eine Transformation der 3D- Formmodell-Daten in das Format der 3D-Abbild-Daten. Selbstverständlich kann auch eine Transformation der 3D- Abbild-Daten in das Format der 3D-Formmodell -Daten erfolgen oder kann auch eine Transformation sowohl der SD- Formmodell-Daten als auch der 3D-Abbild-Daten in ein drittes Datenformat erfolgen. Abhängig von dem Kriterium 26 ist auch das Maß einer notwendigen oder sinnvollen Abstraktion der Daten zum Zwecke der Auswertung bestimmbar. In einem Schritt S13 erfolgt ausgehend von den nun im gleichen Datenformat vorliegenden Daten die Bestimmung, ob Abweichungen zwischen den 3D-Formmodel1- Daten und den 3D-Abbild-Daten vorliegen und gegebenenfalls in welchem Umfang bzw. in welchem Ausmaß.The procedure according to the invention is first explained using the flow diagram according to FIG. 9. As already mentioned, the evaluation circuit 13 receives SD form model data 14 from a memory, for example data corresponding to the wire frame model 30, and 3D image data 15, for example from an image acquisition system 16 determined data, or also 3D image data determined by any other vehicle-side measuring system, which are able to reproduce the current state. As mentioned, these data 14 and 15 are generally not in the same data format. In a step S1, a hierarchical adaptation of the 3D shape model data 14 and the 3D image data 15 takes place. In order to clearly define the scope of the necessary adaptation, it is first necessary to specify a criterion 26 on the basis of which the evaluation should take place, for example, the evaluation can be based on the sum of squares of deviations. In a step S11, this criterion 26 specifies the type and scope of the necessary transformation and also abstraction. The transformation then takes place in a step S12, specifically a transformation of the 3D shape model data into the format of the 3D image data in the exemplary embodiment. Of course, the 3D image data can also be transformed into the format of the 3D shape model data, or both the SD shape model data and the 3D image data can be transformed into a third data format. Depending on the criterion 26, the extent of a necessary or meaningful abstraction of the data for the purpose of evaluation can also be determined. In a step S13, on the basis of the data now available in the same data format, the determination is made as to whether there are deviations between the 3D shape model 1 data and the 3D image data and, if appropriate, to what extent or to what extent.
In einem Schritt S2 erfolgt dann die Bestimmung ob die. festgestellten Abweichungen eine festgelegte Schwelle 27 überschreiten oder nicht . Liegen die' festgestellten Abweichungen unter der Schwelle 27, so wird dies dahingehend interpretiert, dass der entsprechende Sitz 1 leer, also nicht belegt ist (Schritt S3) . Überschreitet die in Schritt S2 festgestellte Abweichung die Schwelle 27, so wird dies dahingehend interpretiert, dass der Sitz belegt ist (Schritt S4) . Das Ausgangssignal 12 der AuswerteSchaltung 13 gibt den einen oder den anderen Zustand wieder.The determination of whether the. detected deviations exceed a predetermined threshold 27 or not. If the 'established deviations below the threshold 27, then this is interpreted to mean that the corresponding seat 1 is empty, that is not assigned (step S3). If the deviation determined in step S2 exceeds the threshold 27, this is interpreted to mean that the seat is occupied (step S4). The output signal 12 of the Evaluation circuit 13 reproduces one or the other state.
Die Festlegung der Schwelle 27 ist schon deshalb erforderlich, da es aufgrund Messungenauigkeiten und Umrechnungs-Ungenauigkeiten bei der Transformation zur Feststellung von Abweichungen kommen kann, obwohl tatsächlich keine vorliegen. Die Schwelle 27 kann ferner auch so festgelegt sein, dass die Ablage von Kleingegenständen auf den Sitz nicht als Belegung des Sitzes erfasst wird, etwa die Ablage von Zeitschriften oder Kleidungsstücken. Andererseits ist die Schwelle 27 zweckmäßig so bestimmt, dass bei Ablage größerer Gegenstände von einem Belegungszustand ausgegangen wird. Dabei kann der Wert der relevanten Schwelle 27 fürThe definition of the threshold 27 is necessary because, due to measurement inaccuracies and conversion inaccuracies during the transformation, deviations can be ascertained, although there are in fact none. The threshold 27 can also be set such that the placement of small objects on the seat is not recorded as occupancy of the seat, such as the placement of magazines or items of clothing. On the other hand, the threshold 27 is expediently determined such that an occupancy state is assumed when larger objects are deposited. The value of the relevant threshold 27 for
Frontsitze und Rücksitze durchaus unterschiedlich seinFront seats and rear seats can be quite different
(eine auf dem Rücksitz abgelegte Aktentasche kann im(A briefcase stored in the back seat can be placed in the
Falles eines Unfalles für Personen auf Frontsitzen ein gefährliches Geschoss darstellen) .Represent a dangerous projectile for people in front seats).
Durch einen Schritt S5 sind weitergehende Verfahrensschritte simuliert, die zur Erzeugung von die Art einer Belegung bezeichnenden Signalen 22 vorgesehen sind, im Sinne einer hierarchischen Anwendung der Grundidee der vorliegenden Erfindung. Dies sei anhand des Fließdiagramms gemäß Fig. 10 schematisch erläutert.Step S5 simulates further method steps which are provided for generating signals 22 which characterize the type of occupancy, in the sense of a hierarchical application of the basic idea of the present invention. This will be explained schematically using the flow diagram according to FIG. 10.
Im Schritt S6 erfolgt für den Fall, dass in Schritt S4 die Belegung des Sitzes festgestellt worden ist, zunächst eine Auswahl hinsichtlich der zu betrachtenden Teilbereiche (Sitzfläche, Rücklehne, Kopfstütze) . oder auch Unterbereichen davon, z. B. unterer Abschnitt und oberer Abschnitt der Rücklehne, entsprechend Schritt S61.In step S6, in the event that the occupancy of the seat has been determined in step S4, a selection is first made with regard to the subareas to be considered (seat surface, backrest, headrest). or also sub-areas thereof, e.g. B. lower section and upper section of the backrest, corresponding to step S61.
Gegebenenfalls muss eine erneute Transformation bzw. Anpassung im Sinne des Schrittes Sl und deren Unterschritte Sll und S12 erfolgen. Im Schritt S63 wird nun die für den Teilbereich bzw. den Unterbereich festgestellte Abweichung mit einer entsprechenden Schwelle verglichen und wird im gegebenen Fall entsprechend Schritt S64 oder entsprechend Schritt S65 festgestellt, ob der Teilbereich des Sitzes oder der Unterbereich des Teilbereiches des Sitzes als belegt oder als nicht-belegt bzw. leer angesehen werden kann. Dies kann schrittweise oder auch parallel für verschiedene Teilbereiche und Unterbereiche von Teilbereichen erfolgen. Um das Beispiel der Babytrage 6 gemäß Fig. 1 aufzugreifen, wird zunächst unter Anwendung der Vorgehensweise gemäß dem Fließdiagramm nach Fig. 9 festgestellt, ob der Sitz 1 überhaupt belegt ist. Bejahendenfalls werden zunächst Teilbereiche, Sitzfläche 2, Rücklehne 3, Kopfstütze 4, hinsichtlich Belegung untersucht, wobei festgestellt wird, beim Beispiel der Babytrage 6, dass die Sitzfläche 6 als belegt anzusehen ist und dass die Kopfstütze 4 als leer anzusehen ist, wobei davon auszugehen ist, dass auch die Rücklehne 3 wegen Überschreitung einer Schwelle als belegt anzusehen ist. In diesem Fall ist es zweckmäßig und sinnvoll Unterbereiche der Rücklehne 3 daraufhin zu untersuchen, ob sie als belegt angesehen werden müssen oder nicht . Bei dieser entsprechenden Auswertung wird festgestellt werden, dass der obere Abschnitt der Kücklehne 3 als nicht-belegt anzusehen ist, während der untere Abschnitt der Rücklehne als belegt anzusehen ist. In ähnlicher Weise läßt sich z. B. das Vorliegen eines Kindersitzes diskriminieren.If necessary, a new transformation or adaptation in the sense of step S1 and its sub-steps S11 and S12 must take place. In step S63, the deviation determined for the subarea or the subarea with a corresponding threshold is compared and, in the given case, it is determined in accordance with step S64 or in accordance with step S65 whether the partial area of the seat or the subarea of the partial area of the seat can be regarded as occupied or as not occupied or empty. This can be done step by step or in parallel for different sub-areas and sub-areas of sub-areas. In order to take up the example of the baby carrier 6 according to FIG. 1, it is first determined using the procedure according to the flow diagram according to FIG. 9 whether the seat 1 is occupied at all. In the affirmative, partial areas, seat surface 2, backrest 3, headrest 4, are first examined with regard to occupancy, it being established, for example with the baby carrier 6, that the seat surface 6 is to be regarded as occupied and that the headrest 4 is to be regarded as empty, it being assumed that the backrest 3 can also be regarded as occupied due to a threshold being exceeded. In this case, it is expedient and sensible to examine sub-areas of the backrest 3 to determine whether they have to be regarded as occupied or not. In this corresponding evaluation it will be determined that the upper section of the backrest 3 is to be regarded as not occupied, while the lower section of the backrest is to be regarded as occupied. Similarly, z. B. discriminate against the presence of a child seat.
Solche Feststellungen können zur Klassifizierung des Objektes im Sitz herangezogen werden.Such statements can be used to classify the object in the seat.
Die im Schritt S61 vorgenommene ■ Separierung bzw. Segmentierung kann auch objektbezogen, d. h., abbildbezogen in an sich bekannter Weise in einem Schritt S7 zur Berechnung von Objektmerkmalen in einem Schritt S71 und entsprechender Klassifizierung in einem Schritt S72 herangezogen werden. Hierdurch lassen sich in an sich bekannter Weise das Volumen eines Objektes, die durch ein Objekt belegte Fläche und dergleichen berechnen, also Kriterien, die in herkömmlicher Weise die Klassifizierung ermöglichen, wobei diese Klassifizierung die Reaktion, d. h. , die geeignete Erzeugung von Ansteuersignalen in der Ansteuereinheit 10 für die Auslöseeinheit 9 ermöglicht.The analysis in step S61 ■ separation or segmentation can also object-based, that is, based imaging in a known manner in a step S7 to calculate object characteristics in a step S71, and corresponding classification are used in a step S72. This allows the volume of an object, the area occupied by an object and the like to be calculated in a manner known per se, that is to say criteria which enable classification in a conventional manner, this classification being the reaction, i. H. , which enables suitable generation of control signals in the control unit 10 for the triggering unit 9.
Zusammenfassend erlaubt die Erfindung zunächst die Erfassung des Belegungszustandes auf einfache Weise und aufbauend auf dem gleichen Grundgedanken auch die Beurteilung bzw. Klassifizierung der Art der Belegung eines Sitzes. In summary, the invention initially allows the occupancy status to be determined in a simple manner and, based on the same basic idea, also the assessment or classification of the type of occupancy of a seat.

Claims

Patentansprüche claims
1. Verfahren zur Erfassung des Belegungszustandes eines1. Procedure for recording the occupancy status of a
Sitzes, insbesondere in einem Fahrzeug und zur Verwendung bei der belegungszustandsabhangigen Ansteuerung von demSeat, in particular in a vehicle and for use in the occupancy-dependent control of the
Sitz zugeordneten Rückhaltemitteln, bei dem mittels eines Bilderfassungssystems ein 3D-Abbild des Sitzes erfasst und hinsichtlich desRestraint means associated with the seat, in which a 3D image of the seat is captured by means of an image acquisition system and with respect to
Belegungszustandes, gegebenenfalls auch der Art derOccupancy, possibly also the type of
Belegung ausgewertet wird, dadurch gekennzeichnet, dass zur Auswertung ein 3D-Formmodell des Sitzes verwendet wird.Occupancy is evaluated, characterized in that a 3D shape model of the seat is used for evaluation.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das 3D-Formmodell des Sitzes in Teilbereiche des Sitzes wie Sitzfläche, Rücklehne, Kopfstütze oder Abschnitte davon aufgeteilt wird und die Auswertung teilbereichsweise bzw. abschnittsweise erfolgt.2. The method according to claim 1, characterized in that the 3D shape model of the seat is divided into partial areas of the seat such as the seat surface, backrest, headrest or sections thereof and the evaluation is carried out in sections or in sections.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ferner die gegenseitige Beziehung der Teilbereiche zueinander bzw. der Abschnitte zueinander bei der Auswertung herangezogen wird.3. The method according to claim 2, characterized in that the mutual relationship of the partial areas to one another or the sections to one another is also used in the evaluation.
4. Verfahren nach einem der Ansprüche 1 bis 3 , dadurch gekennzeichnet, dass das 3D-Formmodell des Sitzes eine Annäherung der realen Sitzform ist, wie ein Drahtgittermodell .4. The method according to any one of claims 1 to 3, characterized in that the 3D shape model of the seat Approximation of the real seat shape is like a wireframe model.
5". Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das 3D-Formmodell des Sitzes aus den Konstruktionsunterlagen des Sitzes abgeleitet wird.5 " . Method according to one of claims 1 to 4, characterized in that the 3D shape model of the seat is derived from the construction documents of the seat.
6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das 3D-Formmodell des Sitzes in einem Initialisierungsschritt aus einem 3D-Abbild des unbelegten Sitzes unter vorgegebenen Umgebungsbedingungen abgeleitet wird.6. The method according to any one of claims 1 to 4, characterized in that the 3D shape model of the seat is derived in an initialization step from a 3D image of the unoccupied seat under predetermined environmental conditions.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass bei ein Mindestmass (Schwelle 27) überschreitenden /Abweichungen zwischen 3D-Abbild und SD- Formmodell auf einen belegten Sitz geschlossen wird.7. The method according to any one of claims 1 to 6, characterized in that in the event of a minimum dimension (threshold 27) exceeding / deviations between the 3D image and SD shape model, an occupied seat is concluded.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass aus dem Vorliegen und Nicht-Vorliegen von ein Mindestmass überschreitenden Abweichungen in zumindest bestimmten ausgewählten Teilbereichen bzw. Abschnitten auf die Art des den Sitz belegenden Objektes geschlossen wird-.8. The method according to any one of claims 1 to 7, characterized in that the existence and non-existence of deviations exceeding a minimum in at least certain selected partial areas or sections is used to infer the type of object occupying the seat.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ferner auf bestimmte Sitzparameter des Objektes geschlossen wird.9. The method according to claim 8, characterized in that further conclusions are drawn about certain seating parameters of the object.
' 10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der Belegungszustand erst als erfasst gilt, wenn das im wesentlichen identische Auswerteergebnis mehrfach zeitlich nacheinander ermittelt worden ist.10. The method according to any one of claims 1 to 9, characterized in that the occupancy status is only considered to be recorded when the essentially identical evaluation result has been determined several times in succession.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass eine zeitliche Filterung durchgeführt wird, wie die Ermittlung eines gleitenden Mittelwertes oder eines Medianwertes der Abweichung. 11. The method according to claim 10, characterized in that a temporal filtering is carried out, such as the determination of a moving average or a median value of the deviation.
12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass für die Auswertung die dem 3D-Abbild entsprechenden gemessenen Daten und/oder die dem SD- Formmodell entsprechenden Daten zur Anpassung aneinander transformiert werden.12. The method according to any one of claims 1 to 11, characterized in that for the evaluation, the measured data corresponding to the 3D image and / or the data corresponding to the SD shape model are transformed for adaptation to one another.
13. Anordnung zur Erfassung des Belegungszustand s eines Sitzes (1, 23) insbesondere in einem Fahrzeug (5) und zur Verwendung bei der belegungszustandsabhangigen Ansteuerung (10) von dem Sitz (1, 23) zugeordneten Rückhaltemitteln13. Arrangement for detecting the occupancy status of a seat (1, 23), in particular in a vehicle (5) and for use in the occupancy-dependent control (10) of the seat (1, 23) associated with restraining means
(8), mit einem Bilderfassungssystem (16, 24, 25) zur Erfassung eines 3D-Abbildes des Sitzes (1) und einer(8), with an image capturing system (16, 24, 25) for capturing a 3D image of the seat (1) and one
Auswerteschaltung zur Auswertung des 3D-Abbildes hinsichtlich des Belegungszustandes des Sitzes, gegebenenfalls auch der Art ider Belegung des Sitzes, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Auswerteschaltung (13) ein 3D-Formmodell des SitzesEvaluation circuit for evaluating the 3D image with regard to the occupancy state of the seat, possibly also the type of occupancy of the seat, in particular for carrying out the method according to one of claims 1 to 12, characterized in that the evaluation circuit (13) is a 3D shape model of the seat
(1, 23) mit dem 3D-Abbild dieses Sitzes (1, 23) zur(1, 23) with the 3D image of this seat (1, 23) for
Auswertung vergleicht.Compares evaluation.
14. Anordnung nach Anspruch 13, dadurch gekennzeichnet, dass die Auswerteschaltung (13) die Auswertung ferner hinsichtlich von Teilbereichen des Sitzes, wie Sitzfläche (2), Rücklehne (3), Kopfstütze (4) oder Unterbereichen davon getrennt durchführt .14. Arrangement according to claim 13, characterized in that the evaluation circuit (13) also carries out the evaluation with respect to partial areas of the seat, such as seat surface (2), backrest (3), headrest (4) or sub-areas thereof.
15. Anordnung nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass der Auswεrteschaltung (13) das SD- Formmodell in Form von dieses beschreibenden Daten (14) beispielsweise in Form eines Drahtgittermodells (30) gespeichert enthält.15. The arrangement as claimed in claim 13 or 14, characterized in that the evaluation circuit (13) contains the SD shape model in the form of data (14) describing it, for example in the form of a wire frame model (30).
16 . Anordnung nach Anspruch 15 , dadurch gekennzeichnet , dass die Formmodell -Daten ( 14 ) extern zuführbar sind . 16. Arrangement according to claim 15, characterized in that the shape model data (14) can be supplied externally.
17. Anordnung nach Anspruch 15, dadurch gekennzeichnet, dass die Formmodell-Daten (14) in einem Initialisierungsschritt aus 3D-Abbild-Daten (15) des unbelegten - Sitzes (1, 23) unter vorgegebenen Umgebungsbedingungen ableitbar und speicherbar sind.17. The arrangement as claimed in claim 15, characterized in that the shape model data (14) can be derived and stored in an initialization step from 3D image data (15) of the unoccupied seat (1, 23) under predetermined environmental conditions.
18. Anordnung nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass die Auswerteschaltung (13) eine Filterschaltung zur zeitlichen Filterung mehrerer zeitlich aufeinander erhaltener Auswerteergebnisse enthält. 18. Arrangement according to one of claims 13 to 17, characterized in that the evaluation circuit (13) contains a filter circuit for temporal filtering of a plurality of evaluation results obtained over time.
EP03722193A 2002-08-21 2003-02-24 Method and device for detecting the occupancy state of a seat Withdrawn EP1532015A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10238222 2002-08-21
DE10238222A DE10238222A1 (en) 2002-08-21 2002-08-21 Method and arrangement for recording the occupancy of a seat
PCT/DE2003/000566 WO2004020242A1 (en) 2002-08-21 2003-02-24 Method and device for detecting the occupancy state of a seat

Publications (1)

Publication Number Publication Date
EP1532015A1 true EP1532015A1 (en) 2005-05-25

Family

ID=31197163

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03722193A Withdrawn EP1532015A1 (en) 2002-08-21 2003-02-24 Method and device for detecting the occupancy state of a seat

Country Status (5)

Country Link
US (1) US7492923B2 (en)
EP (1) EP1532015A1 (en)
CN (1) CN100443329C (en)
DE (1) DE10238222A1 (en)
WO (1) WO2004020242A1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1498328A1 (en) * 2003-07-15 2005-01-19 IEE International Electronics & Engineering S.A.R.L. Safety belt warning device
DE102004013598A1 (en) * 2004-03-19 2005-10-06 Robert Bosch Gmbh Device for adjusting seat components
DE102004032473B4 (en) * 2004-07-05 2008-12-18 Continental Automotive Gmbh Evaluation method and evaluation device for a system for seat occupancy recognition
DE102005022678A1 (en) * 2005-05-17 2006-11-23 Robert Bosch Gmbh Security system for a vehicle
US20070143065A1 (en) * 2005-12-05 2007-06-21 Griffin Dennis P Scanned laser-line sensing apparatus for a vehicle occupant
US9598037B2 (en) * 2014-09-03 2017-03-21 GM Global Technology Operations LLC Sensor based occupant protection system
LU92671B1 (en) * 2015-02-27 2016-08-29 Iee Int Electronics & Eng Sa Weight-responsive vehicle seat occupant detection and classification method and system
WO2019076732A1 (en) * 2017-10-17 2019-04-25 Signify Holding B.V. Occupancy sensor calibration and occupancy estimation
CN107826070B (en) * 2017-10-31 2019-12-03 奇瑞汽车股份有限公司 The method and apparatus for monitoring interior environment
KR102506860B1 (en) * 2017-11-22 2023-03-08 현대자동차주식회사 Apparatus and method for detecting object in vehicle
JP7059682B2 (en) * 2018-02-21 2022-04-26 株式会社デンソー Crew detection device
CN113103937A (en) * 2021-04-30 2021-07-13 东风汽车集团股份有限公司 Method and system for controlling active headrest in rear-end collision and vehicle

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US6553296B2 (en) * 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US5482314A (en) * 1994-04-12 1996-01-09 Aerojet General Corporation Automotive occupant sensor system and method of operation by sensor fusion
US5570903A (en) * 1995-02-21 1996-11-05 Echlin, Inc. Occupant and infant seat detection in a vehicle supplemental restraint system
US7386372B2 (en) * 1995-06-07 2008-06-10 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
US6116640A (en) * 1997-04-01 2000-09-12 Fuji Electric Co., Ltd. Apparatus for detecting occupant's posture
JP3286219B2 (en) * 1997-09-11 2002-05-27 トヨタ自動車株式会社 Seat usage status determination device
KR20020029128A (en) * 1999-09-10 2002-04-17 칼 하인쯔 호르닝어 Method and device for controlling the operation of an occupant-protection device allocated to a seat, in particular, in a motor vehicle
JP4188680B2 (en) * 2000-05-26 2008-11-26 オートモーティブ システムズ ラボラトリー インコーポレーテッド Occupant sensor
DE50014307D1 (en) * 2000-11-14 2007-06-14 Siemens Ag METHOD AND SYSTEM FOR DETERMINING THE OCCUPANCY OF THE INTERIOR OF A VEHICLE
DE10063697B4 (en) * 2000-12-20 2006-07-13 Siemens Ag Method and device for detecting the position of an element in a vehicle, in particular for occupant protection systems
GB0106355D0 (en) * 2001-03-14 2001-05-02 Hall Effect Technologies Ltd Magnetic scanning apparatus
DE10358911B3 (en) * 2003-12-16 2005-07-28 Friwo Mobile Power Gmbh Flexible flat conductor with integrated output filter

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004020242A1 *

Also Published As

Publication number Publication date
DE10238222A1 (en) 2004-03-04
US20060161321A1 (en) 2006-07-20
US7492923B2 (en) 2009-02-17
CN1675086A (en) 2005-09-28
CN100443329C (en) 2008-12-17
WO2004020242A1 (en) 2004-03-11

Similar Documents

Publication Publication Date Title
DE60101853T2 (en) CIRCUIT-FREE TRANSFORMATION OF SENSOR CONFIGURATIONS FOR THE CLASSIFICATION OF PERSONS
EP2492152B1 (en) Motor vehicle
DE10215386B4 (en) A method and apparatus for controlling an actuatable restraint that uses switched thresholds based on lateral acceleration
DE69917562T2 (en) Method and apparatus for determining the ignition timing of an occupant restraint using occupant sensor inputs
EP1210250B1 (en) Method and device for controlling the operation of an occupant-protection device allocated to a seat, in particular, in a motor vehicle
DE102007025702A1 (en) Device for protection and method for protecting a vehicle occupant in a motor vehicle
DE112005002996B4 (en) airbag control
DE10125871A1 (en) Method and device for detecting a rollover in a motor vehicle
DE10007014C2 (en) Method and device for seat occupancy detection
DE102005059255A1 (en) Method and apparatus for determining symmetric and asymmetric crash events with improved malfunction tolerances
EP1532015A1 (en) Method and device for detecting the occupancy state of a seat
DE102019209740A1 (en) Device for adjusting a vehicle seat
DE102006021822B4 (en) Method and apparatus for controlling an actuatable restraint using XY crush zone satellite accelerometers
DE10239604A1 (en) Seat occupation detection method for vehicle passenger seat identifying seated person or object for corresponding control of airbag device
DE102018218168A1 (en) Method and control device for controlling at least one occupant protection device for a vehicle in the event of a collision and system for occupant protection for a vehicle
EP1334009B1 (en) Method and device for determining whether the interior of a vehicle is occupied
DE102019005448A1 (en) Device and method for controlling a passenger seat in a vehicle
DE19856129A1 (en) Driving safety devices in motor vehicle involves determining age/gender from image acquisition data for particular occupant by pattern comparison, triggering safety systems accordingly
DE102008005159A1 (en) Method for actuating personal protection unit for vehicle, involves recognizing lateral collision in connection of sensor signal
WO2003055724A1 (en) Device for occupant classification and method for occupant classification
DE102006044085A1 (en) Collision and / or personal protection system for a motor vehicle
DE10037220B4 (en) Method and device for situation-specific control
DE102021201487A1 (en) Occupant protection system for a vehicle with a plurality of seats and an airbag in the roof of the vehicle
DE102006019712B4 (en) Method and device for classifying passengers in a means of transport
DE102019005454A1 (en) Device for the interactive support of a vehicle user

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050321

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT SE SI SK TR

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

17Q First examination report despatched

Effective date: 20080715

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110301