EP1297511B1 - Method and device for surveying the interior and the surrounding area of a vehicle - Google Patents
Method and device for surveying the interior and the surrounding area of a vehicle Download PDFInfo
- Publication number
- EP1297511B1 EP1297511B1 EP00941906A EP00941906A EP1297511B1 EP 1297511 B1 EP1297511 B1 EP 1297511B1 EP 00941906 A EP00941906 A EP 00941906A EP 00941906 A EP00941906 A EP 00941906A EP 1297511 B1 EP1297511 B1 EP 1297511B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- vehicle
- interior
- camera device
- driver
- sensed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
Definitions
- the invention is based on a method of the type of the main claim.
- page 8 is in the article "The new Eyes of the car, limousines learn to read "a procedure shown in which the space in front of the driver in the vicinity of the Vehicle is monitored by two video cameras. The image determined by the cameras is then regarding traffic signs recognizable in the picture evaluated by the driver in a display unit are then displayed.
- a Road map captured to the headlight alignment such to control that the light cone is on the road. For in the event that the car gets to the side of the road, a acoustic and / or visual warning triggered.
- the Brain activity especially of a driver measure and in the event of a deviation from the normal waking state to trigger an alarm. The measurement is carried out via on Electrodes attached to the driver's head.
- the inventive method with the features of The main claim has the advantage that both the Interior as well as the environment of a vehicle with only one Camera device is detected. This is particularly because of this possible that a detection of the interior and the environment takes place alternately. With a sufficiently quick change between capturing the interior and the environment on the one hand a loss of information due to the change be neglected while on the other hand only one Camera device and not two for the interior and that Environment of the vehicle are required. Likewise, there is only one Computing unit for processing the obtained Image information required.
- the interior of the Vehicle is illuminated with a radiation source that is suitable for the human eye is at least largely invisible.
- a radiation source that is suitable for the human eye is at least largely invisible.
- Infrared radiation source preferably one or more Infrared light emitting diodes to use. This will counter interference from the driver is avoided.
- a first Process step only the visible part of the environment
- a second process step only the visible part of the Capture interior.
- a mathematical separation from Images of the interior and the surroundings are therefore not required, which meets the requirements for a Computing unit in which the image information is evaluated be lowered.
- switching between capturing for the camera visible part of the environment to capture the for the Camera visible part of the interior through a make electro-optical light valve, in particular by a liquid crystal cell, depending on one applied signal between a transparent and a absorbing mode is switchable.
- the driver's brain waves too monitor is the observation by the camera Do not attach electrodes to the driver's body required. Because such electrodes are not only a hindrance can, since it gives the driver freedom of movement limit, but also by the driver before starting the journey forgot to attach or intentionally for convenience cannot be carried out, the use of a Falling asleep warning is easier and more pleasant for the driver be designed.
- the method according to the invention also has the advantage that in addition to observing the interior a detection of the traffic signs around the vehicle is possible and thus the driver e.g. on warning signs or on top speeds through an optical or acoustic output unit can be specifically pointed out.
- This information can e.g. to control a chassis be used by an uneven load of the vehicle can be compensated if e.g. only on the left side of the vehicle seated people, the driver and a person behind the driver.
- a seat heating can be controlled only then is activated when someone actually uses the seat used.
- it is a determination of whether a seat occupied or occupied with a child seat, to that extent advantageous that the deployment of an airbag is blocked, if a seat is unoccupied or occupied with a child seat is. On the one hand, this can cause unnecessary triggering of a Airbags in an unoccupied seat as well as one Injury to a child caused by an airbag during the occupation a seat with a child seat can be avoided.
- the lip movement of one predeterminable person in the vehicle preferably the person of the Driver to support a voice input.
- a voice e.g. as a consequence of Driving noise ambiguities on which command entered has been
- an evaluation of the Lips movements of the driver by the camera device be recorded, a check of a voice input respectively.
- This is e.g. possible by the lip movements thereupon be analyzed whether in the Voice command unit also understood the syllables are included, the detected lip movements correspond.
- Can the voice input unit work from the Understand no clear assignment, so this is possibly by comparing it to lip movements possible.
- a device of this type to provide that a detection of the vehicle environment and the Vehicle interior is possible.
- a camera device in such a way that a beam path towards the interior and a Beam path points in the direction of the road, preferably in Driving direction as the most important for a driver Information about the vehicle's environment is usually the road or the edge of the lane and objects in your own lane represent.
- a deflecting mirror in the camera device that is semi-transparent.
- a beam path can enter the camera device, for example, from the interior through reflection and another beam path through transmission through the semitransparent mirror. This eliminates the need for mechanical adjustment between the two beam paths.
- At least one deflecting mirror concave or convex it is also advantageous to have at least one deflecting mirror concave or convex, as this depends on Use of the device a restriction or a Expansion of the area observable by the camera is possible.
- the camera is also advantageous to use the camera as a CCD or a Run CMOS camera.
- the invention This allows the camera device to be particularly inexpensive be carried out. It is also advantageous that To equip the camera device with at least two cameras, because stereoscopic image acquisition is possible also conclusions about the distances of objects from one Vehicle or distances within the interior the evaluation of a distance-dependent image offset make it accessible.
- the camera device in one to attach the upper area of the windshield or the Integrate camera device into the roof of the vehicle.
- the overview of the vehicle environment is on the one hand the overview of the vehicle interior guaranteed particularly well.
- At least one deflecting mirror is designed such that it can be aligned via an adjusting device, that at least the driver’s eyes and / or lips of the camera are detectable. This is particularly the case with changing drivers advantageous, on the one hand a have different heights and on the other hand one may prefer different seat settings. Further are also movements of the driver while driving too note.
- a deflecting mirror is designed such that the captured field of view can be tracked especially a driver's eyes and / or lips kept constantly in the detection range of the camera device become. Especially when driving, there is both a Function of sleep control, as well as a control guaranteed a voice input.
- FIG. 1 shows an arrangement of the Device according to the invention in a motor vehicle
- figure 2 shows a flowchart of the method according to the invention
- FIGS. 2a and 2b details of the method according to the invention
- 2c shows an evaluation method according to the invention
- FIG. 3 a flowchart for a further execution of the inventive method
- Figure 4 shows an embodiment of the device according to the invention
- Figure 5 is another Execution of the device according to the invention
- Figure 6 a another embodiment of the device according to the invention
- FIG. 7 a further embodiment of the device according to the invention
- FIG. 1 shows a camera device according to the invention 10 in a motor vehicle at the upper edge 11 of a Windshield 12 arranged.
- the camera device points a first optical opening 13, a first Beam path 14 leads to a driver 15 of the vehicle.
- the Center beam of the beam path is shown.
- the camera device 10 has a second optical one Opening 16, which on the first optical opening 13th facing away from the camera device 10 and is therefore not visible from the perspective shown.
- the second optical opening 16 is therefore only dashed characterized.
- There is also a second beam path 17 outlines that of the second optical opening 16 of the Camera device 10 through the windshield 12 leads into the vehicle surroundings in the area in front of the vehicle.
- the driver's gaze leads in the same direction, which is outlined as a third beam path 18.
- the display unit 21 is preferably designed as an instrument cluster, in which a variety of advertisements become an electronic Unit are integrated.
- one is also free programmable instrument cluster possible, in which one Representation of various display instruments in one Screen e.g. in the form of a liquid crystal display he follows.
- One is not shown separately in the figure Computing unit through which the camera device 10 recorded image information are processed.
- the Computing unit can either in the housing shown Camera device 10, in the roof of the vehicle beyond upper edge 11 of the windshield or in the cockpit 19 of the Be arranged vehicle.
- the embodiment is the computing unit in one for the Driver 15 not visible area of the display unit 21 arranged.
- Image information is based on the computing unit, e.g. at if the driver threatens to fall asleep or if The speed limit may be exceeded long data transmission paths can thus be avoided.
- the camera device 10 is not so close to that shown vehicle roof in the upper area of the Windshield 12 arranged that monitoring the Vehicle interior and monitoring of the road ahead Vehicle is possible.
- the Camera device therefore in the middle of the vehicle with respect to the Arranged sides of the vehicle.
- the first and second optical openings 13, 16 can open be carried out in different ways. It is an execution as a filter, as an aperture, as a lens or one Combination in the form of a series connection of the mentioned components possible.
- FIG. 2 shows a sequence of the method according to the invention shown.
- an initialization step 30 becomes a first in a first method step 31
- Image information 32 of the vehicle surroundings is captured and by the Processing unit evaluated, with a first output 33 on optical and / or acoustic output media depending from the first image information 32.
- the first edition takes place depending on the vehicle environment.
- second method step 34 is made a second image information 35, in which one Image information of the vehicle surroundings and the Vehicle interior is detected superimposed under Taking into account the previously determined first Image information 32 of the vehicle surroundings by subtraction the first image information 32 from the second Image information 35 image information of the Vehicle interior determined so that depending on a second output 36 of the determined image information also via optical and / or acoustic output media takes place, the second edition in particular from the Image information of the vehicle interior is dependent.
- a subsequent decision step 37 takes place Cancellation of the procedure if the camera device is deactivated, especially if the vehicle is turned off. This decision-making process is in the Drawing marked with the letter "Y”. In this The case ends with a deactivation of the Camera device in a final process step 38. If the vehicle is not deactivated, it becomes branched back first method step 31. This Decision path is in Figure 2 with the letter "N" characterized.
- the first method step 31 is in FIG. 2a presented in detail.
- a first sub-step 40 the camera device is activated and the first one Image information 32 recorded.
- a second step 41 is the first image information 32 to the computing unit submitted for further processing.
- the second method step 34 is shown in FIG. 2b Sub-steps subdivided.
- a first sub-step 42 becomes the one not visible to the human eye Radiation source activated by using an electrical Voltage is supplied.
- a second sub-step 43 the camera device 10 is activated and an overlaid image of the interior and the vehicle surroundings is considered a second Image information 35 captured.
- the lighting is regulated by exposure, e.g. a variable aperture or regulation of the light-sensitive sensors of the camera device current.
- the second image information after successful image acquisition 35 stored and sent to the computing unit for further Processing submitted.
- a fourth sub-step 45 becomes the one not visible to the human eye Radiation source deactivated. An identification of the image of the The interior then takes place in one in FIG. 2b not shown calculation step in the computing unit.
- FIG. 2c shows an evaluation method by Computing unit shown that is from processing the image information captured by the camera device and the first edition 33 and the second edition 36, respectively consists.
- a Warning of falling asleep by observing the driver 15 with an observation of the vehicle interior is required and consequently the second edition 36 he follows.
- a method for Vehicle environment detection can be carried out, e.g. for the detection of Traffic signs and / or road markings, the first edition 33 takes place.
- a first initialization step 50 the first and second image information 32 and 35 an image the driver's eye area by the computing unit determined.
- a first decision step 52 captured image with a previously saved one Image information 51 of the driver's eye area compared.
- the image information 51 is an empty image, if that Vehicle just started and none yet Image information has been saved. If it is found that the driver’s eyes are open, so the driver’s not is sleeping, or if the image information 51 is the empty image, see above the decision path N is followed and in one Method step 53 becomes the newly recorded partial image is stored in another memory filed that the driver awake at the time of recording is.
- a final step 54 the evaluation process completed. The next time the first and second image information 32 or 35 to the computing unit the evaluation process started again. The restart takes place moreover, each time the evaluation process ends, if the vehicle or camera device is not is deactivated.
- the computing unit determines that the eyes of the Are closed, the decision path Y of the first decision step 52 from a second Decision step 55 followed. Here it is checked whether the driver's eyes at the last shot were closed. If this is not the case, it becomes one Branch 56 branches in which it is stored that the Driver's eyes at the time of the current shot are closed. In a final step 57 Evaluation process ended. Were the driver's eyes already closed at the last recording so the Decision path Y from the second decision step 55 continued to a first warning step 58.
- This Warning is an acoustic or visual warning Warning, preferably via the display unit 21. that only a warning after a second shot and thus takes place after the second decision step 55 avoided a warning from accidental Simultaneous blinking of the driver and one The driver's eyes are therefore closed the camera device 10 is largely avoided.
- a third Decision step 59 in which image information 67 another shot of the driver's face is taken into account.
- decision path Y becomes a Method step 60 branches by the newly added one Image information 67 is stored.
- the Evaluation process ended.
- the third Decision step 59 is a decision path N to one followed second warning step 62.
- the second warning step 62 there is an acoustic warning much louder than in the first warning step 58.
- a fourth Decision step 63 becomes image information again 68 of the driver's face and the condition 69 queried a switch.
- a first Sub-step 64 is now saved that the eyes of the Driver are open, and the evaluation procedure is in a final step 65 ends. If neither is found that the driver 's eyes are open, nor that the Switch is triggered, so in decision path N to a third warning step 66 branches. It now follows another loud, acoustic warning, and the vehicle is switched on with the hazard lights and the Brake lights delayed, making a driverless drive is avoided. Because there are opportunities where one Identification of the driver's eyes via the Camera device is not possible, for example if the driver wearing sunglasses is a deactivation of the sequence shown in Figure 2c possible.
- the method shown in FIG. 2c can also be transferred to the monitoring position of the vehicle for a road marking if the detection of the image information in the driver's face area is replaced by a detection of the image information of the road marking and the position of the vehicle relative to the road marking is evaluated.
- FIG. 3 shows another method according to the invention for monitoring the surroundings of the interior of a motor vehicle.
- the same reference numerals stand for the same method elements as in FIG. 2.
- first image information 81 of the vehicle surroundings is determined in a first method step 80, forwarded to the arithmetic unit, and depending on the first image information 81, the first output 33 occurs.
- second image information 83 of the interior is captured by the camera device and forwarded to the computing unit.
- the second output 36 occurs as a function of the captured image information.
- an electro-optical light valve is opened in the direction of the vehicle surroundings.
- an electronic light valve to the vehicle interior is opened.
- the second method step 82 there is a decision step 37. If the camera device is deactivated, the decision path Y is followed and in a final method step 38 the camera device is deactivated. Otherwise, the decision path labeled N is branched back to the first method step 80.
- the respective light valve is only opened for 90% of the duration of the respective method step both during the first and during the second method step 80, 82. This avoids an overlap of the two pieces of image information to be recorded. This is because an overlap of the image information to be recorded is avoided in particular at low temperatures, which can make the switching behavior of the liquid crystal sluggish.
- the evaluation method described in FIG. 2c can be transferred directly to the first edition or the second edition 36 in FIG. 3.
- FIG. 4 shows an embodiment of a Camera device 10 with a computing unit 110 shown.
- the camera device 10 is in one Housing in which a camera 100 that acts as a CCD or a CMOS camera is designed with a first lens 101 is arranged.
- Light from strikes the first lens 101 a first deflecting mirror 102.
- the first deflecting mirror 102 is semi-transparent, so that on the one hand first beam path 103 from the vehicle surroundings through a Opening 109 in the housing of the camera device 10 through the first deflecting mirror 102 and the first objective 101 Camera 100 runs.
- a second beam path 108 from a second deflecting mirror 104 to the first deflecting mirror 102.
- the second beam path 108 becomes the camera 100 through the first deflecting mirror 102 diverted.
- the second beam path 108 goes from that Vehicle interior and passes through a second lens 107 into the camera device 10. Before the second Deflecting mirror 104 reached, it crosses one Infrared filter 106.
- the camera 100 is over a first one Data connection 111 connected to the computing unit 110.
- the Computing unit 110 consists of a control unit 112 and an evaluation unit 113, which has a second Data link 114 are interconnected.
- the Evaluation unit 113 is via a third data connection 117 with sensors 116 and via a fourth data connection 118 at least with acoustic and / or optical Display elements 119 connected.
- the control unit 112 is also via a fifth data connection 120 with the camera 100 and via a sixth data connection 122 with a Radiation source 121 connected to the human eye invisible radiation is emitted.
- the radiation source 121 is arranged in a housing, which is preferably as a reflector 123 is executed.
- the first beam path 103 and the second beam path 108 are each determined by the optical axis of the Marked beam path.
- the optical axis for runs in front of the first objective 101 both beam paths are the same.
- the better clarity for the sake of drawing the two beam paths are in the Figure 4 and in the following figures on this stele drawn in parallel.
- the computing unit 110 and the camera device 10 can also in a single housing near the vehicle roof or the upper limit of the windshield 12 may be arranged. However, it is also possible to use the computing unit 110 and the Camera device 10 at various points in the vehicle to arrange. In a preferred embodiment, the Computing unit 110 integrated in the display unit 21.
- an image is generated of the vehicle surroundings via the first beam path 103 the camera 100 detects.
- the captured image is both from the arrangement of the camera device 10 in the vehicle, 'as well of the size of the opening 109 of the housing Camera device 10 as well as from the setting of the first Objective 101 dependent.
- the opening 109 is there preferably with a transparent cover, e.g. one provided transparent plastic disc.
- a third lens it is possible to arrange a third lens here.
- Will the second method step 34 is carried out in the first Sub-step 42 by the control unit 112 via the sixth Data connection 122 the radiation source 121 for the Activated period of capturing the image of the interior, by applying a voltage to the radiation source 121 becomes. There is no voltage source in FIG. 4 shown.
- the Radiation emitted into the interior of the vehicle is not for a human being visible.
- the radiation source is as one Infrared radiation diode or as a Infrared radiation diode array from a variety of Infrared radiation diodes executed.
- Will the interior of the Vehicle is consequently illuminated by the radiation source 121, so occurs the reflected inside the vehicle.
- Infrared radiation through the second lens 107 along the a second beam path 108 into the camera device 10 and reaches the infrared filter 106. Through this filter only infrared radiation can pass through, so that visible Light from inside the vehicle cannot reach camera 100 can.
- the second Deflecting mirror 104 is provided with an adjusting device 30 Mistake. There is only one bracket of this actuator 130 shown in the figure. One electric motor and one Control and a power supply are not located. With the actuator is the second Deflecting mirror 104 about an axis of rotation 131 in a certain Angular range rotatable. This allows the area of Interior can be changed by the second lens 107 and into the camera 100 via the second deflecting mirror is mapped. This is particularly advantageous if a Driver changes his seating position while driving and nevertheless his face part from the camera device 10 to be recorded.
- the sensors 116 are e.g. To list seat sensors that provide information about whether a seat is occupied is. A seat sensor reports that a seat is unoccupied can be checked via the camera whether this is really is the case or whether on the seat e.g. a movement takes place and for this reason the seat is occupied is. In this case, deactivation of a Airbags and / or deactivation of the seat heating. Input elements are also included among the sensors understand with whom e.g. a sleep warning is deactivated if the driver wears sunglasses that his eyes are not visible to the camera 100. The output units include acoustic and / or optical Understand warning elements as speakers, warning lamp or liquid crystal display can be executed.
- the Evaluation unit 113 and control unit 112 can also be used in be integrated into a device. Also controls the control unit 112 via a not shown Connect the position of the second deflecting mirror 104 in Dependency of the second data connection 114 on the Evaluation unit 113 transmitted instructions. Threatens Object that is observed by the camera device 10, to move out of the visible area, so the Computing unit in this way on the regulation of the second Deflect the mirror to adjust the visible area.
- a Connection between the camera device 10 and the Computing unit 110 takes place via the first data connection 111 and the fifth data link 120.
- the first serves Data connection 111 for the transmission of image information from the camera 100 to the computing unit 110, in particular to the evaluation unit 113.
- the fifth data connection 120 is used to control the camera 100 by the computing unit 110, in particular by the control unit 112.
- the first Data link 111 and the fifth data link 120 can also be combined in one data line.
- FIG. 5 shows another one according to the invention Embodiment of the device for monitoring the Vehicle environment and the vehicle interior shown.
- the second beam path 108 the housing of the Camera device 10 already after infrared filter 106.
- this is Housing of the camera device 10 in FIG. 5 only shown in dashed lines.
- Execution allows, on the one hand, the camera device with the cutting plane parallel, but also perpendicular to Arrange the vehicle roof in the vehicle.
- the embodiment is thus one for the vehicle roof vertical arrangement of the camera device 10 of the area the camera except for the opening 109 in the vehicle roof housed while the area of the second Deflecting mirror protrudes into the vehicle interior, i.e. the Cutting plane of the drawing perpendicular to the vehicle roof is arranged. Except for hiring the second Deflecting mirror 104 are used to generate an image in the camera 100 essentially the optical ones Properties of the first lens 101 used.
- FIG. 6 shows a further embodiment of the Device for monitoring the environment of a Vehicle interior shown.
- the camera 100 is in this Embodiment on another side of the first Deflecting mirror 102 arranged as in Figures 4 and 5. In In this case, it follows the first beam path 103 Light through the first deflecting mirror 102 to the camera 100 reflected.
- the second beam path 108 following radiation through the second deflecting mirror 104 deflected such that the radiation the first Deflecting mirror 102, which acts as a semi-transparent mirror is executed, and finally crosses the camera 100 reached.
- the Reflector 123 in the housing of the camera device 10 integrated, which saves space.
- the Radiation source 121 however, also on a cheap one Space far from the camera device 10 in Motor vehicle can be arranged. There are also several Radiation sources possible in the vehicle to ensure optimal To ensure lighting of the vehicle interior.
- FIG. 7 shows a device for carrying out the in of the method described in FIG. 3 shown.
- opening 109 is in the first Beam path 103 an electro-optical light valve in the Execution of a first liquid crystal cell 151 inserted.
- the first liquid crystal cell 151 is via a Drive line 150 from the control unit 112 in the manner controllable that between a transmissive and absorbing state of the first liquid crystal cell 151 can be switched.
- a detailed structure of the Liquid crystal cell and a power supply are in not shown in the drawing.
- the first Liquid crystal cell 151 can be designed in this way be that between two transparent electrodes Liquid crystal is arranged between two glass substrates, depending on an applied electric field the direction of polarization of the light is different affected.
- the glass substrates is therefore dependent on the Transparent electrodes applied voltage absorption or one through the glass substrate, the polarizers and the Liquid crystal predetermined maximum transmission of the Light possible.
- a second liquid crystal cell 153 executed via a control line 152 from the Control unit 112 is switchable and in the second Beam path 108 is arranged.
- the first Method step 31 is now the first liquid crystal cell 151 transparent and the second liquid crystal cell 153 switched absorbent. In this case only that comes out the vehicle surroundings along the first beam path 103 passing light into the camera 100.
- the second Method step 34 is now the first liquid crystal cell 151 absorbent and the second liquid crystal cell 153 switched transmissively.
- FIGS. 8a and 8b show exemplary embodiments of the second deflecting mirror 104 shown.
- a second deflection mirror 1041 concave
- a second deflecting mirror 1042 is convex.
- Either the deflecting mirror 1041 and the deflecting mirror 1042 can can be used as a second deflecting mirror 104.
- Figure 8b one reaches an expansion
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Description
Die Erfindung geht aus von einem Verfahren nach der Gattung des Hauptanspruches. In der Druckschrift Bosch-Zünder, Ausgabe Oktober 1998, Seite 8 ist in dem Artikel "Die neuen Augen des Autos, Limousinen lernen lesen" ein Verfahren dargestellt, in dem der Raum vor dem Fahrer im Umfeld des Fahrzeugs mittels zweier Videokameras überwacht wird. Das von den Kameras ermittelte Bild wird anschließend hinsichtlich in dem Bild erkennbarer Verkehrsschilder ausgewertet, die dem Fahrer in einer Anzeigeeinheit anschließend angezeigt werden. Ferner wird ein Straßenverlauf erfaßt, um die Scheinwerferausrichtung derart zu steuern, daß der Lichtkegel auf der Fahrbahn liegt. Für den Fall, daß das Auto an den Straßenrand gerät, wird ein akustischer und/oder optischer Warner ausgelöst. Aus der WO 93/21615 ist ferner ein Verfahren bekannt, die Gehirnaktivitäten, insbesondere eines Fahrzeugführers, zu messen und bei einer Abweichung von dem normalen Wachzustand einen Alarm auszulösen. Die Messung erfolgt dabei über am Kopf des Fahrers angebrachte Elektroden. The invention is based on a method of the type of the main claim. In Bosch-Zünder, October 1998 edition, page 8 is in the article "The new Eyes of the car, limousines learn to read "a procedure shown in which the space in front of the driver in the vicinity of the Vehicle is monitored by two video cameras. The image determined by the cameras is then regarding traffic signs recognizable in the picture evaluated by the driver in a display unit are then displayed. Furthermore, a Road map captured to the headlight alignment such to control that the light cone is on the road. For in the event that the car gets to the side of the road, a acoustic and / or visual warning triggered. From the WO 93/21615 a method is also known, the Brain activity, especially of a driver measure and in the event of a deviation from the normal waking state to trigger an alarm. The measurement is carried out via on Electrodes attached to the driver's head.
Das erfindungsgemäße Verfahren mit den Merkmalen des Hauptanspruchs hat demgegenüber den Vorteil, daß sowohl der Innenraum als auch das Umfeld eines Fahrzeuges mit nur einer Kameravorrichtung erfaßt wird. Dies ist insbesondere dadurch möglich, daß eine Erfassung des Innenraums und des Umfeldes abwechselnd erfolgt. Bei einem hinreichend schnellen Wechsel zwischen der Erfassung des Innenraums und des Umfeldes kann einerseits ein Informationsverlust durch das Wechseln vernachlässigt werden, während andererseits nur eine einzige Kameravorrichtung und nicht zwei für den Innenraum und das Umfeld des Fahrzeugs erforderlich sind. Ebenso ist nur eine Recheneinheit zur Verarbeitung der gewonnenen Bildinformationen erforderlich.The inventive method with the features of The main claim has the advantage that both the Interior as well as the environment of a vehicle with only one Camera device is detected. This is particularly because of this possible that a detection of the interior and the environment takes place alternately. With a sufficiently quick change between capturing the interior and the environment on the one hand a loss of information due to the change be neglected while on the other hand only one Camera device and not two for the interior and that Environment of the vehicle are required. Likewise, there is only one Computing unit for processing the obtained Image information required.
Besonders vorteilhaft ist es ferner, daß der Innenraum des Fahrzeuges mit einer Strahlungsquelle erhellt wird, die für das menschliche Auge zumindest weitgehend unsichtbar ist. Dies hat den Vorteil, daß bei einer nächtlichen Fahrt, bei der in der Regel der Innenraum in einem Fahrzeug nicht oder nur schwach beleuchtet ist, der Innenraum trotzdem mit einer Kamera beobachtet werden kann, welche für die von der Strahlungsquelle ausgesandte Strahlung empfindlich ist. Insbesondere ist es hier vorteilhaft, eine Infrarotstrahlungsquelle, vorzugsweise eine oder mehrere Infrarotleuchtdioden, zu verwenden. Hierdurch wird gegenüber einer sichtbaren Quelle eine Störung des Fahrers vermieden.It is also particularly advantageous that the interior of the Vehicle is illuminated with a radiation source that is suitable for the human eye is at least largely invisible. This has the advantage that when driving at night, which is usually not the interior of a vehicle or is only dimly lit, the interior nevertheless with a Camera can be observed which for which of the Radiation source emitted radiation is sensitive. In particular, it is advantageous here Infrared radiation source, preferably one or more Infrared light emitting diodes to use. This will counter interference from the driver is avoided.
Weiterhin ist es vorteilhaft, ein Bild des Innenraums aus einer Überlagerung eines Bildes des Umfeldes und des Innenraums zu gewinnen, indem von dieser Überlagerung durch eine Recheneinheit ein Bild lediglich des Außenraums subtrahiert wird. Dadurch kann bei einer abwechselnden Erfassung des Umfeldes und des Innenraums auf eine Unterbrechung der Aufnahme des Außenraumes verzichtet werden, während lediglich eine Unterbrechung der Aufnahme des Innenraums erfolgt. Dadurch können Elemente zur optischen Unterbrechung, insbesondere mechanische Verschlüsse oder Spiegel eingespart werden. Insbesondere bei einer Beleuchtung des Innenraumes mit einer Infrarotstrahlungsquelle und einer Erfassung des Bildes des Innenraums durch einen Infrarotfilter wird ein Bild des Innenraumes im wesentlichen nur bei einer Aktivierung der Infrarotstrahlungsquelle erfaßt. Eine abwechselnde Beobachtung des Innenraumes und des Umfeldes ist somit durch ein Aufeinanderfolgen des Aus- und Einschaltens der Infrarotstrahlungsquelle möglich, wenn die Kameravorrichtung über einen weiteren Strahlengang verfügt, der in das Umfeld des Fahrzeuges führt und das Umfeld erfassen kann.It is also advantageous to take a picture of the interior an overlay of an image of the environment and the Interior by winning from this overlay by a computing unit takes a picture of only the exterior is subtracted. This can result in an alternating Detection of the environment and the interior on one Interruption of the recording of the outside space waived be while merely pausing the recording of the interior. This allows elements for optical interruption, especially mechanical Closures or mirrors can be saved. Especially at lighting the interior with a Infrared radiation source and a capture of the image of the Interior through an infrared filter becomes a picture of the Essentially only when the interior is activated Infrared radiation source detected. An alternating one Observation of the interior and the environment is thus through a sequence of switching the on and off Infrared radiation source possible when the camera device has another beam path that goes into the environment of the vehicle and can capture the environment.
Weiterhin ist es vorteilhaft, bei einem ersten Verfahrensschritt nur den sichtbaren Teil des Umfeldes, bei einem zweiten Verfahrensschritt nur den sichtbaren Teil des Innenraumes zu erfassen. Eine rechnerische Trennung von Bildern des Innenraumes und des Umfeldes ist somit nicht erforderlich, wodurch die Anforderungen an eine Recheneinheit, in der die Bildinformationen ausgewertet werden, gesenkt werden. Dabei ist es besonders vorteilhaft, die Umschaltung zwischen der Erfassung des für die Kamera sichtbaren Teils des Umfeldes zu der Erfassung des für die Kamera sichtbaren Teils des Innenraums durch ein elektrooptisches Lichtventil vorzunehmen, insbesondere durch eine Flüssigkristallzelle, die in Abhängigkeit von einem angelegten Signal zwischen einem transparenten und einem absorbierenden Modus umschaltbar ist.It is also advantageous for a first Process step only the visible part of the environment, at a second process step only the visible part of the Capture interior. A mathematical separation from Images of the interior and the surroundings are therefore not required, which meets the requirements for a Computing unit in which the image information is evaluated be lowered. It is particularly advantageous switching between capturing for the camera visible part of the environment to capture the for the Camera visible part of the interior through a make electro-optical light valve, in particular by a liquid crystal cell, depending on one applied signal between a transparent and a absorbing mode is switchable.
Weiterhin ist es vorteilhaft, bei einem Wechsel zwischen einer Erfassung von Bildsignalen aus dem Umfeld des Fahrzeugs und aus dem Innenraum jeweils bereits nach der Erfassung von Teilbereichen des von der Kameravorrichtung maximal erfaßbaren Bildes zu wechseln. Insbesondere kann ein Wechsel nach jeweils der Erfassung von Bildspalten bzw. Bildzeilen oder nach Gruppen von Bildpunktew erfolgen. Da die Bildinformationen auch an die Recheneinheit übermittelt und dort verarbeitet werden muß, hat diese Vorgehensweise den Vorteil, daß ein schnellerer Wechsel zwischen einer Erfassung des Innenraums und des Außenraums möglich ist, so daß die Verschiebung zwischen zwei erfaßten Bildern z.B. des Außenraums, die auf der Fahrzeugbewegung beruht, vermindert wird.It is also advantageous to switch between acquisition of image signals from the environment of the Vehicle and from the interior already after the Detection of partial areas of the camera device to switch the maximum detectable image. In particular, a Change after each acquisition of image columns or Picture lines or by groups of pixels. There the image information is also transmitted to the computing unit and has to be processed there has this procedure the advantage that a faster change between one Detection of the interior and exterior is possible, so that the shift between two captured images e.g. of Outside space, which is based on the movement of the vehicle becomes.
Es ist weiterhin von Vorteil, sowohl das Gesicht des Fahrers, insbesondere die Augen, als auch die Straßenmarkierungen bzw. die Lage des Fahrzeuges zu den Straßenmarkierungen zu erfassen, denn aus diesen Informationen kann ermittelt werden, ob der Fahrer möglicherweise eingeschlafen ist, das Fahrzeug somit unkontrolliert fährt und eine Warneinrichtung aktiviert wird, die den Fahrer weckt. Gegenüber dem Stand der Technik, in dem mit einer Kameravorrichtung lediglich die Straßenmarkierungen erfaßt werden, erhält man so eine zusätzliche Sicherheit, da auch das Gesicht des Fahrers erfaßt wird. Zum Beispiel bei langen Geradeausstrecken kann das Fahrzeug geraume Zeit innerhalb der Straßenmarkierungen laufen, während der Fahrer schon mehrere Sekunden schläft. Mit dem erfindungsgemäßen Verfahren kann auch in solch einem Fall ein Einschlafen des Fahrers erkannt werden.It is still beneficial to both the face of the Driver, especially the eyes, as well Road markings or the location of the vehicle to the To record road markings, because of these Information can be used to determine whether the driver the vehicle may have fallen asleep drives uncontrolled and a warning device is activated that wakes up the driver. Compared to the state of the art, where with a camera device only that Road markings are detected, you get one additional security as the face of the driver is detected. For example, with long straight lines the vehicle spends a lot of time within the road markings run while the driver has been sleeping for several seconds. With the method according to the invention can also in such a If the driver falls asleep.
Gegenüber dem Verfahren, Gehirnströme des Fahrers zu überwachen, ist bei der Beobachtung durch die Kamera das Anbringen von Elektroden am Körper des Fahrers nicht erforderlich. Da solche Elektroden nicht nur hinderlich sein können, da sie die Bewegungsfreiheit des Fahrers einschränken, sondern auch vom Fahrer vor Beginn der Fahrt das Anbringen vergessen oder aus Bequemlichkeit absichtlich nicht durchgeführt werden kann, kann somit die Nutzung einer Einschlafwarnung erleichtert und für den Fahrer angenehmer gestaltet werden. Das erfindungsgemäße Verfahren hat zudem den Vorteil, daß neben der Beobachtung des Innenraumes auch eine Erfassung der Verkehrszeichen im Umfeld des Fahrzeugs möglich ist und somit der Fahrer z.B. auf Warnschilder oder auf Höchstgeschwindigkeiten durch eine optische oder akustische Ausgabeeinheit besonders hingewiesen werden kann.Compared to the process, the driver's brain waves too monitor, is the observation by the camera Do not attach electrodes to the driver's body required. Because such electrodes are not only a hindrance can, since it gives the driver freedom of movement limit, but also by the driver before starting the journey forgot to attach or intentionally for convenience cannot be carried out, the use of a Falling asleep warning is easier and more pleasant for the driver be designed. The method according to the invention also has the advantage that in addition to observing the interior a detection of the traffic signs around the vehicle is possible and thus the driver e.g. on warning signs or on top speeds through an optical or acoustic output unit can be specifically pointed out.
Weiterhin ist es vorteilhaft, die Anzahl der Personen in einem Fahrzeug bzw. die Sitzplatzbelegung zu ermitteln. Diese Information kann z.B. zur Regelung eines Fahrwerks verwendet werden, durch das eine ungleichmäßige Belastung des Fahrzeugs ausgeglichen werden kann, wenn z.B. nur auf der linken Seite des Fahrzeuges Personen sitzen, der Fahrer und eine Person hinter dem Fahrer. Weiterhin kann über diese Information eine Sitzheizung gesteuert werden, die nur dann aktiviert wird, wenn jemand den Sitz auch tatsächlich benutzt. Insbesondere ist eine Ermittlung, ob ein Sitzplatz besetzt oder mit einem Kindersitz belegt ist, dahingehend vorteilhaft, daß die Auslösung eines Airbags gesperrt wird, fall ein Sitz unbelegt oder mit einem Kindersitz besetzt ist. Hierdurch kann einerseits das unnötige Auslösen eines Airbags bei einem unbesetzten Sitzplatz sowie auch eine Verletzung eines Kindes durch einen Airbag bei der Besetzung eines Sitzplatzes mit einem Kindersitz vermieden werden.It is also advantageous to count the number of people in to determine a vehicle or the seat occupancy. This information can e.g. to control a chassis be used by an uneven load of the vehicle can be compensated if e.g. only on the left side of the vehicle seated people, the driver and a person behind the driver. Furthermore, about this Information a seat heating can be controlled only then is activated when someone actually uses the seat used. In particular, it is a determination of whether a seat occupied or occupied with a child seat, to that extent advantageous that the deployment of an airbag is blocked, if a seat is unoccupied or occupied with a child seat is. On the one hand, this can cause unnecessary triggering of a Airbags in an unoccupied seat as well as one Injury to a child caused by an airbag during the occupation a seat with a child seat can be avoided.
Weiterhin ist es sinnvoll, auch die Lippenbewegung einer vorgebbaren Person im Fahrzeug, vorzugsweise der Person des Fahrers zur Unterstützung einer Spracheingabe zu erfassen. Treten bei einer Spracheingabe z.B. in Folge von Fahrgeräuschen Unklarheiten auf, welcher Befehl eingegeben worden ist, so kann anhand einer Auswertung der Lippenbewegungen des Fahrers, die von der Kameravorrichtung erfaßt werden, eine Überprüfung einer Spracheingabe erfolgen. Dies ist z.B. möglich, indem die Lippenbewegungen daraufhin analysiert werden, ob in dem von der Spracheingabeeinheit verstandenen Befehl auch die Silben enthalten sind, die den erfaßten Lippenbewegungen entsprechen. Kann die Spracheingabeeinheit allein aus dem Verstandenen keine eindeutige Zuordnung treffen, so ist dies möglicherweise durch den Vergleich mit den Lippenbewegungen möglich.Furthermore, it makes sense to include the lip movement of one predeterminable person in the vehicle, preferably the person of the Driver to support a voice input. When entering a voice e.g. as a consequence of Driving noise ambiguities on which command entered has been, an evaluation of the Lips movements of the driver by the camera device be recorded, a check of a voice input respectively. This is e.g. possible by the lip movements thereupon be analyzed whether in the Voice command unit also understood the syllables are included, the detected lip movements correspond. Can the voice input unit work from the Understand no clear assignment, so this is possibly by comparing it to lip movements possible.
Weiterhin ist es vorteilhaft, eine Vorrichtung derart vorzusehen, daß eine Erfassung des Fahrzeugumfeldes und des Fahrzeuginnenraumes möglich ist. Insbesondere ist es vorteilhaft, eine Kameravorrichtung derartig auszuführen, daß ein Strahlengang in Richtung des Innenraumes und ein Strahlengang in Richtung der Fahrbahn weist, vorzugsweise in Fahrtrichtung, da die für einen Fahrer wichtigsten Informationen des Fahrzeugumfeldes in der Regel die Fahrbahn bzw. der Fahrbahnrand sowie Objekte in der eigenen Fahrspur darstellen.It is also advantageous to have a device of this type to provide that a detection of the vehicle environment and the Vehicle interior is possible. In particular it is advantageous to implement a camera device in such a way that a beam path towards the interior and a Beam path points in the direction of the road, preferably in Driving direction as the most important for a driver Information about the vehicle's environment is usually the road or the edge of the lane and objects in your own lane represent.
Weiterhin ist es vorteilhaft, in der Kameravorrichtung einen
Umlenkspiegel vorzusehen, der halb durchlässig ist.
Hierdurch kann ein Strahlengang z.B. aus dem Innenraum durch
Reflektion und ein anderer Strahlengang durch Transmission
durch den halbdurchlässigen Spiegel in die Kameravorrichtung
eintreten. Eine mechanische Verstellung zwischen den beiden
Strahlengängen kann hierdurch entfallen.Furthermore, it is advantageous to provide a deflecting mirror in the camera device that is semi-transparent.
As a result, a beam path can enter the camera device, for example, from the interior through reflection and another beam path through transmission through the semitransparent mirror. This eliminates the need for mechanical adjustment between the two beam paths.
Ferner ist es vorteilhaft, mindestens einen Umlenkspiegel konkav oder konvex auszuführen, da hierdurch je nach Verwendung der Vorrichtung eine Einschränkung bzw. eine Aufweitung des durch die Kamera beobachtbaren Bereiches möglich ist.It is also advantageous to have at least one deflecting mirror concave or convex, as this depends on Use of the device a restriction or a Expansion of the area observable by the camera is possible.
Es ist ferner vorteilhaft, die Kamera als eine CCD oder eine CMOS-Kamera auszuführen. Die erfindungsgemäße Kameravorrichtung kann hierdurch besonders günstig ausgeführt werden. Ferner ist es vorteilhaft, die Kameravorrichtung mit mindestens zwei Kameras auszustatten, da so eine stereoskopische Bilderfassung möglich ist, die auch Rückschlüsse auf Entfernungen von Objekten zu einem Fahrzeug bzw. Entfernungen innerhalb des Innenraumes durch die Auswertung eines entfernungsabhängigen Bildversatzes erschließbar machen.It is also advantageous to use the camera as a CCD or a Run CMOS camera. The invention This allows the camera device to be particularly inexpensive be carried out. It is also advantageous that To equip the camera device with at least two cameras, because stereoscopic image acquisition is possible also conclusions about the distances of objects from one Vehicle or distances within the interior the evaluation of a distance-dependent image offset make it accessible.
Es ist außerdem vorteilhaft, die Kameravorrichtung in einem oberen Bereich der Windschutzscheibe anzubringen oder die Kameravorrichtung in das Dach des Fahrzeuges zu integrieren. Zu einer Position zumindest in der Nähe des Fahrzeugdaches ist zum einen die Übersicht über das Fahrzeugumfeld, als auch zum anderen die Übersicht über den Fahrzeuginnenraum besonders gut gewährleistet.It is also advantageous to have the camera device in one to attach the upper area of the windshield or the Integrate camera device into the roof of the vehicle. To a position at least near the vehicle roof is on the one hand the overview of the vehicle environment, as also the overview of the vehicle interior guaranteed particularly well.
Weiterhin ist es vorteilhaft, zumindest einen Umlenkspiegel über eine Stellvorrichtung derart ausrichtbar auszuführen, daß zumindest die Augen und/oder die Lippen des Fahrers von der Kamera erfaßbar sind. Dies ist insbesondere bei wechselnden Fahrern vorteilhaft, die einerseits eine unterschiedliche Körpergröße aufweisen und andererseits eine unterschiedliche Sitzeinstellung bevorzugen können. Ferner sind auch Bewegungen des Fahrers während der Fahrt zu beachten. Indem ein Umlenkspiegel derart ausgeführt ist, daß der erfaßte Sichtbereich nachführbar ist, können insbesondere die Augen und/oder die Lippen eines Fahrers ständig im Erfassungsbereich der Kameravorrichtung gehalten werden. Vor allem während der Fahrt ist somit sowohl eine Funktion der Einschlafkontrolle, als auch eine Kontrolle einer Spracheingabe gewährleistet.It is also advantageous to have at least one deflecting mirror to be designed such that it can be aligned via an adjusting device, that at least the driver’s eyes and / or lips of the camera are detectable. This is particularly the case with changing drivers advantageous, on the one hand a have different heights and on the other hand one may prefer different seat settings. Further are also movements of the driver while driving too note. By a deflecting mirror is designed such that the captured field of view can be tracked especially a driver's eyes and / or lips kept constantly in the detection range of the camera device become. Especially when driving, there is both a Function of sleep control, as well as a control guaranteed a voice input.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen Figur 1 eine Anordnung der erfindungsgemäßen Vorrichtung in einem Kraftfahrzeug, Figur 2 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens, die Figuren 2a und 2b Details des erfindungsgemäßen Verfahrens, Figur 2c ein erfindungsgemäßes Auswerteverfahren, Figur 3 ein Ablaufdiagramm für eine weitere Ausführung des erfindungsgemäßen Verfahrens, Figur 4 eine Ausführung der erfindungsgemäßen Vorrichtung, Figur 5 eine andere Ausführung der erfindungsgemäßen Vorrichtung, Figur 6 eine andere Ausführung der erfindungsgemäßen Vorrichtung, Figur 7 eine weitere Ausführung der erfindungsgemäßen Vorrichtung und die Figuren 8a und 8b Ausführungen eines erfindungsgemäßen Umlenkspiegels.Embodiments of the invention are in the drawing shown and in the description below explained. 1 shows an arrangement of the Device according to the invention in a motor vehicle, figure 2 shows a flowchart of the method according to the invention FIGS. 2a and 2b details of the method according to the invention, 2c shows an evaluation method according to the invention, FIG. 3 a flowchart for a further execution of the inventive method, Figure 4 shows an embodiment of the device according to the invention, Figure 5 is another Execution of the device according to the invention, Figure 6 a another embodiment of the device according to the invention, FIG. 7 a further embodiment of the device according to the invention and FIGS. 8a and 8b implementations of a Deflecting mirror according to the invention.
In der Figur 1 ist eine erfindungsgemäße Kameravorrichtung
10 in einem Kraftfahrzeug an der oberen Kante 11 einer
Windschutzscheibe 12 angeordnet. Die Kameravorrichtung weist
eine erste optische Öffnung 13 auf, wobei ein erster
Strahlengang 14 zu einem Fahrer 15 des Fahrzeugs führt. Der
Mittelpunktsstrahl des Strahlengangs ist eingezeichnet.
Ferner besitzt die Kameravorrichtung 10 eine zweite optische
Öffnung 16, die auf der der ersten optischen Öffnung 13
abgewandten Seite der Kameravorrichtung 10 angeordnet und
daher aus der dargestellten Perspektive nicht sichtbar ist.
Die zweite optische Öffnung 16 ist daher nur gestrichelt
gekennzeichnet. Ferner ist ein zweiter Strahlengang 17
skizziert, der von der zweiten optischen Öffnung 16 der
Kameravorrichtung 10 durch die Windschutzscheibe 12 hindurch
in das Fahrzeugumfeld in den Bereich vor dem Fahrzeug führt.
In die gleiche Richtung führt auch der Blick des Fahrers,
der als ein dritter Strahlengang 18 skizziert ist. Ferner
ist das Cockpit 19 des Fahrzeugs mit einem Lenkrad 20 und
einer Anzeigeeinheit 21 dargestellt. Die Anzeigeeinheit 21
ist dabei vorzugsweise als ein Kombiinstrument ausgeführt,
bei dem eine Vielzahl von Anzeigen zu einer elektronischen
Einheit integriert sind. Insbesondere ist auch ein frei
programmierbares Kombiinstrument möglich, bei dem eine
Darstellung verschiedener Anzeigeinstrumente in einem
Bildschirm z.B. in Form einer Flüssigkristallanzeige
erfolgt. In der Figur nicht gesondert dargestellt ist eine
Recheneinheit, durch die die von der Kameravorrichtung 10
aufgenommenen Bildinformationen verarbeitet werden. Die
Recheneinheit kann entweder in dem dargestellten Gehäuse der
Kameravorrichtung 10, in dem Dach des Fahrzeugs jenseits der
oberen Kante 11 der Windschutzscheibe oder im Cockpit 19 des
Fahrzeuges angeordnet sein. In einem bevorzugten
Ausführungsbeispiel ist die Recheneinheit in einem für den
Fahrer 15 nicht sichtbaren Bereich der Anzeigeeinheit 21
angeordnet. Da die Anzeigeeinheit 21 für die Ausgabe von
optischen Warnsignalen verwendet wird, die auf der
Auswertung der durch die Kameravorrichtung 10 aufgenommenen
Bildinformationen durch die Recheneinheit beruhen, z.B. bei
einem drohenden Einschlafen des Fahrers oder bei einer
Überschreitung der zulässigen Höchstgeschwindigkeit, können
lange Datenübertragungswege somit vermieden werden.1 shows a camera device according to the
Die Kameravorrichtung 10 ist so nah an dem nicht
dargestellten Fahrzeugdach im oberen Bereich der
Windschutzscheibe 12 angeordnet, daß eine Überwachung des
Fahrzeuginnenraums und eine Überwachung der Fahrbahn vor dem
Fahrzeug gut möglich ist. Vorzugsweise ist die
Kameravorrichtung daher in der Fahrzeugmitte bezüglich der
Seiten des Fahrzeuges angeordnet. Möglich ist auch eine
Anordnung im linken, oberen Bereich der Windschutzscheibe 12
bei einem links gesteuerten Fahrzeug, da somit sowohl der
Fahrer, als auch die gesamte Fahrbahn für die
Kameravorrichtung gut erfaßbar ist. Bei einem rechts
gesteuerten Auto ist die Kamera dann in einem rechten,
oberen Bereich der Windschutzscheibe 12 anzuordnen. The
Die erste und zweite optische Öffnung 13,16 können auf
verschiedene Weise ausgeführt sein. Es ist eine Ausführung
als ein Filter, als eine Öffnung, als ein Objektiv oder eine
Kombination in Form einer Hintereinanderschaltung der
genannten Bauteile möglich.The first and second
In Figur 2 ist ein Ablauf des erfindungsgemäßen Verfahrens
dargestellt. Von einem Initialisierungsschritt 30 ausgehend
wird in einem ersten Verfahrensschritt 31 eine erste
Bildinformation 32 des Fahrzeugumfeldes erfaßt und durch die
Recheneinheit ausgewertet, wobei eine erste Ausgabe 33 über
optische und/oder akustische Ausgabemedien in Abhängigkeit
von der ersten Bildinformation 32 erfolgt. Die erste Ausgabe
erfolgt also in Abhängigkeit von dem Fahrzeugumfeld. In
einem anschließenden, zweiten Verfahrensschritt 34 wird aus
einer zweiten Bildinformation 35, bei der eine
Bildinformation des Fahrzeugumfeldes und des
Fahrzeuginnenraumes überlagert erfaßt wird, unter
Berücksichtigung der zuvor ermittelten ersten
Bildinformation 32 des Fahrzeugumfeldes durch Subtraktion
der ersten Bildinformation 32 von der zweiten
Bildinformation 35 eine Bildinformation des
Fahrzeuginnenraumes ermittelt, so daß in Abhängigkeit von
der ermittelten Bildinformation eine zweite Ausgabe 36
ebenfalls über optische und/oder akustische Ausgabemedien
erfolgt, wobei die zweite Ausgabe insbesondere von der
Bildinformation des Fahrzeuginnenraums abhängig ist. In
einem anschließenden Entscheidungsschritt 37 erfolgt ein
Abbruch des Verfahrens, falls die Kameravorrichtung
deaktiviert wird, also insbesondere wenn das Fahrzeug
abgestellt wird. Dieser Entscheidungsweg ist in der
Zeichnung mit dem Buchstaben "Y" gekennzeichnet. In diesem
Fall endet das Verfahren mit einer Deaktivierung der
Kameravorrichtung in einem abschließenden Verfahrensschritt
38. Wird das Fahrzeug nicht deaktiviert, so wird zu dem
ersten Verfahrensschritt 31 zurückverzweigt. Dieser
Entscheidungsweg ist in der Figur 2 mit dem Buchstaben "N"
gekennzeichnet.FIG. 2 shows a sequence of the method according to the invention
shown. Starting from an
In der Figur 2a ist der erste Verfahrensschritt 31
detailliert dargestellt. In einem ersten Teilschritt 40 wird
die Kameravorrichtung aktiviert und die erste
Bildinformation 32 aufgenommen. In einem zweiten Teilschritt
41 wird die erste Bildinformation 32 an die Recheneinheit
zur weiteren Bearbeitung übermittelt.The
In der Figur 2b ist der zweite Verfahrensschritt 34 in
Teilschritte untergliedert. In einem ersten Teilschritt 42
wird die für das menschliche Auge nicht sichtbare
Strahlungsquelle aktiviert, indem sie mit einer elektrischen
Spannung versorgt wird. In einem zweiten Teilschritt 43 wird
die Kameravorrichtung 10 aktiviert und ein überlagertes Bild
des Innenraums und des Fahrzeugumfelds wird als eine zweite
Bildinformation 35 erfaßt. Hierzu muß in Abhängigkeit von
den Lichtverhältnissen eine Belichtungsregulierung erfolgen,
z.B. eine veränderliche Blendenöffnung oder eine Regulierung
des an die lichtempfindlichen Sensoren der Kameravorrichtung
anliegenden Stromes. In einem dritten Teilschritt 44 wird
nach erfolgreicher Bildaufnahme die zweite Bildinformation
35 gespeichert und an die Recheneinheit zur weiteren
Verarbeitung übermittelt. In einem vierten Teilschritt 45
wird die für das menschliche Auge nicht sichtbare
Strahlungsquelle deaktiviert. Eine Ermittlung des Bildes des
Innenraumes erfolgt anschließend in einem in der Figur 2b
nicht dargestellten Berechnungsschritt in der Recheneinheit.The
In der Figur 2c ist ein Auswerteverfahren durch die
Recheneinheit dargestellt, das aus einer Verarbeitung der
durch die Kameravorrichtung aufgenommenen Bildinformationen
und der ersten Ausgabe 33 bzw. der zweiten Ausgabe 36
besteht. Als Beispiel für ein Auswerteverfahren wird eine
Einschlafwarnung mittels Beobachtung des Fahrers 15
angeführt, wobei eine Beobachtung des Fahrzeuginnenraums
erforderlich ist und wobei folglich die zweite Ausgabe 36
erfolgt. Vergleichbar ist auch ein Verfahren zur
Fahrzeugumfelderkennung ausführbar, z.B. zur Erkennung von
Verkehrszeichen und/oder von Straßenmarkierungen, wobei die
erste Ausgabe 33 erfolgt.FIG. 2c shows an evaluation method by
Computing unit shown that is from processing the
image information captured by the camera device
and the
In einem ersten Initialisierungsschritt 50 wird aus der
ersten und der zweiten Bildinformation 32 und 35 ein Bild
der Augenpartie des Fahrers durch die Recheneinheit
ermittelt. In einem ersten Entscheidungsschritt 52 wird das
aufgenommene Bild mit einer zuvor gespeicherten
Bildinformation 51 der Augenpartie des Fahrers verglichen.
Die Bildinformation 51 ist dabei ein leeres Bild, falls das
Fahrzeug gerade erst gestartet und noch keine
Bildinformation gespeichert wurde. Wird dabei festgestellt,
daß die Augen des Fahrers offen sind, der Fahrer also nicht
schläft, oder ist die Bildinformation 51 das leere Bild, so
wird der Entscheidungsweg N verfolgt und in einem
Verfahrensschritt 53 wird das neu aufgenommene Teilbild
abgespeichert In einem anderen Speicher wird ferner
abgelegt, daß der Fahrer zum Zeitpunkt der Aufnahme wach
ist. In einem Abschlußschritt 54 wird das Auswerteverfahren
beendet. Bei der nächsten Übermittlung der ersten und
zweiten Bildinformation 32 bzw. 35 an die Recheneinheit wird
das Auswerteverfahren erneut gestartet. Der Neustart erfolgt
im übrigen bei jeder Beendigung des Auswerteverfahrens,
falls das Fahrzeug oder die Kameravorrichtung nicht
deaktiviert wird.In a
Wird von der Recheneinheit festgestellt, daß die Augen des
Fahrers geschlossen sind, so wird der Entscheidungsweg Y von
dem ersten Entscheidungsschritt 52 aus zu einem zweiten
Entscheidungsschritt 55 verfolgt. Hier wird nun geprüft, ob
die Augen des Fahrers bereits bei der letzten Aufnahme
geschlossen waren. Ist dies nicht der Fall, so wird zu einem
Teilschritt 56 verzweigt, in dem abgespeichert wird, daß die
Augen des Fahrers zu dem Zeitpunkt der momentanen Aufnahme
geschlossen sind. In einem Abschlußschritt 57 wird das
Auswerteverfahren beendet. Waren die Augen des Fahrers
bereits bei der letzten Aufnahme geschlossen so wird der
Entscheidungsweg Y von dem zweiten Entscheidungsschritt 55
aus zu einem ersten Warnschritt 58 weiterverfolgt. Diese
Warnung ist eine akustische Warnung bzw. eine optische
Warnung, vorzugsweise über die Anzeigeeinheit 21. Dadurch,
daß erst eine Warnung nach einer zweiten Aufnahme und damit
nach dem zweiten Entscheidungsschritt 55 erfolgt, wird
vermieden, daß eine Warnung bereits durch zufällige
Zeitgleichheit von einem Blinzeln des Fahrers und einer
Aufnahme der deshalb geschlossenen Augen des Fahrers durch
die Kameravorrichtung 10 weitgehend vermieden wird.If the computing unit determines that the eyes of the
Are closed, the decision path Y of
the
Nach dem ersten Warnschritt 58 erfolgt ein dritter
Entscheidungsschritt 59, bei dem eine Bildinformation 67
einer weiteren Aufnahme der Gesichtspartie des Fahrers
berücksichtigt wird. Sind die Augen des Fahrers nun wieder
geöffnet, so wird in den Entscheidungsweg Y zu einem
Verfahrensschritt 60 verzweigt, indem die neu aufgenommene
Bildinformation 67 gespeichert wird. Ferner wird in einem
Speicher abgelegt, daß die Augen des Fahrers geöffnet sind.
In einem anschließenden Abschlußschritt 61 wird das
Auswerteverfahren beendet. Sind die Augen des Fahrers jedoch
weiter geschlossen, so wird in dem dritten
Entscheidungsschritt 59 ein Entscheidungsweg N zu einem
zweiten Warnschritt 62 verfolgt. In dem zweiten Warnschritt
62 erfolgt eine akustische Warnung deutlich lauter als in
dem ersten Warnschritt 58. In einem vierten
Entscheidungsschritt 63 wird nochmals eine Bildinformation
68 der Gesichtspartie des Fahrers erfaßt sowie der Zustand
69 eines Schalters abgefragt. Wird entweder festgestellt,
daß die Augen des Fahrers nunmehr geöffnet sind, oder wird
von dem Fahrer der Schalter betätigt, so wird der
Entscheidungsweg Y weiterverfolgt. In einem ersten
Teilschritt 64 wird nun gespeichert, daß die Augen des
Fahrers geöffnet sind, und das Auswerteverfahren wird in
einem Abschlußschritt 65 beendet. Wird weder festgestellt,
daß die Augen des Fahrers geöffnet sind, noch daß der
Schalter ausgelöst ist, so wird in den Entscheidungsweg N zu
einem dritten Warnschritt 66 verzweigt. Es folgt nun
nochmals eine laute, akustische Warnung, und das Fahrzeug
wird unter Einschaltung der Warnblinkanlage und der
Bremsleuchten verzögert, so daß eine führerlose Fahrt
vermieden wird. Da Möglichkeiten bestehen, bei denen eine
Identifikation der Augen des Fahrers über die
Kameravorrichtung nicht möglich ist, so zum Beispiel wenn
der Fahrer eine Sonnenbrille trägt, ist eine Deaktivierung
des in der Figur 2c dargestellten Ablaufes möglich. After the
Weiterhin ist es möglich, die Anzahl der Abfragen der
Bildinformation von der Augenpartie des Fahrers bis zu der
Durchführung eines jeweiligen Warnschritts zu erhöhen, um
versehentliche Warnungen zu vermeiden. Die Anzahl der
Abfragen ist dabei von der Frequenz der Erfassung einer
Bildinformation des Innenraums abhängig.
Das in der Figur 2c dargestellte Verfahren kann ferner auf
die Überwachungslage des Fahrzeugs zu einer
Straßenmarkierung übertragen werden, wenn die Erfassung der
Bildinformation in der Gesichtspartie des Fahrers durch eine
Erfassung der Bildinformation der Straßenmarkierung ersetzt
und die Lage des Fahrzeugs zu den Straßenmarkierungen
ausgewertet wird.It is also possible to increase the number of queries of the image information from the driver's eye area to the execution of a respective warning step in order to avoid accidental warnings. The number of queries depends on the frequency of the acquisition of image information of the interior.
The method shown in FIG. 2c can also be transferred to the monitoring position of the vehicle for a road marking if the detection of the image information in the driver's face area is replaced by a detection of the image information of the road marking and the position of the vehicle relative to the road marking is evaluated.
In der Figur 3 ist ein weiteres erfindungsgemäßes Verfahren
zur Überwachung des Umfeldes des Innenraumes eines
Kraftfahrzeuges dargestellt. Gleiche Bezugszeichen stehen
für gleiche Verfahrenselemente wie in der Figur 2. Nach
einem Initialisierungsschritt 30 wird in einem ersten
Verfahrensschritt 80 eine erste Bildinformation 81 des
Fahrzeugumfeldes ermittelt, an die Recheneinheit
weitergeleitet und in Abhängigkeit von der ersten
Bildinformation 81 kommt es zu der ersten Ausgabe 33. In
einem zweiten Verfahrensschritt 82 wird eine zweite
Bildinformation 83 des Innenraumes von der Kameravorrichtung
erfaßt und an die Recheneinheit weitergeleitet. Es kommt zu
der zweiten Ausgabe 36 in Abhängigkeit von der erfaßten
Bildinformation. Während des ersten Verfahrensschrittes 80
ist ein elektrooptisches Lichtventil in Richtung des
Fahrzeugumfeldes geöffnet. In dem zweiten Verfahrensschritt
82 ist ein elektronisches Lichtventil zum Fahrzeuginnenraum
geöffnet. Nach dem zweiten Verfahrensschritt 82 kommt es zu
einem Entscheidungsschritt 37. Wird die Kameravorrichtung
deaktiviert, so wird der Entscheidungsweg Y verfolgt und in
einem abschließenden Verfahrensschritt 38 wird die
Kameravorrichtung deaktiviert. Ansonsten wird der mit N
bezeichnete Entscheidungsweg zu dem ersten Verfahrensschritt
80 zurückverzweigt. Sowohl während des ersten als auch
während des zweiten Verfahrensschrittes 80, 82 ist dabei in
einem bevorzugten Ausführungsbeispiel das jeweilige
Lichtventil nur für 90% der Dauer des jeweiligen
Verfahrensschrittes geöffnet. Hierdurch wird eine
Überschneidung der beiden aufzunehmenden Bildinformationen
vermieden. Denn insbesondere bei niedrigen Temperaturen,
durch die das Schaltverhalten des Flüssigkristalls träge
werden kann, wird somit eine Überschneidung der
aufzunehmenden Bildinformationen vermieden.
Das in der Figur 2c beschriebene Auswerteverfahren ist
direkt auf die Erste Ausgabe bzw. die zweite Ausgabe 36 in
der Figur 3 übertragbar.FIG. 3 shows another method according to the invention for monitoring the surroundings of the interior of a motor vehicle. The same reference numerals stand for the same method elements as in FIG. 2. After an
The evaluation method described in FIG. 2c can be transferred directly to the first edition or the
In der Figur 4 ist eine erfindungsgemäße Ausführung einer
Kameravorrichtung 10 mit einer Recheneinheit 110
dargestellt. Die Kameravorrichtung 10 befindet sich in einem
Gehäuse, in dem eine Kamera 100, die als eine CCD- oder eine
CMOS-Kamera ausgeführt ist, mit einem ersten Objektiv 101
angeordnet ist. In das erste Objektiv 101 trifft Licht von
einem ersten Umlenkspiegel 102. Der erste Umlenkspiegel 102
ist halb transparent ausgeführt, so daß einerseits ein
erster Strahlengang 103 aus dem Fahrzeugumfeld durch eine
Öffnung 109 in dem Gehäuse der Kameravorrichtung 10 durch
den ersten Umlenkspiegel 102 und das erste Objektiv 101 zur
Kamera 100 verläuft. Ferner verläuft andererseits ein
zweiter Strahlengang 108 von einem zweiten Umlenkspiegel 104
zu dem ersten Umlenkspiegel 102. Der zweite Strahlengang 108
wird durch den ersten Umlenkspiegel 102 zu der Kamera 100
umgelenkt. Der zweite Strahlengang 108 geht von dem
Fahrzeuginnenraum aus und tritt durch ein zweites Objektiv
107 in die Kameravorrichtung 10 ein. Bevor er den zweiten
Umlenkspiegel 104 erreicht, durchquert er einen
Infrarotfilter 106. Die Kamera 100 ist über eine erste
Datenverbindung 111 mit der Recheneinheit 110 verbunden. Die
Recheneinheit 110 besteht aus einer Steuereinheit 112 und
einer Auswerteeinheit 113, die über eine zweite
Datenverbindung 114 miteinander verbunden sind. Die
Auswerteeinheit 113 ist über eine dritte Datenverbindung 117
mit Sensoren 116 und über eine vierte Datenverbindung 118
zumindest mit akustischen und/oder optischen
Anzeigeelementen 119 verbunden. Die Steuereinheit 112 ist
ferner über eine fünfte Datenverbindung 120 mit der Kamera
100 und über eine sechste Datenverbindung 122 mit einer
Strahlungsquelle 121 verbunden, die für das menschliche Auge
nicht sichtbare Strahlung emittiert. Die Strahlungsquelle
121 ist in einem Gehäuse angeordnet, das vorzugsweise als
ein Reflektor 123 ausgeführt ist.FIG. 4 shows an embodiment of a
Der erste Strahlengang 103 und der zweite Strahlengang 108
werden jeweils durch die optische Achse des
Strahlenverlaufes gekennzeichnet. Hier und in den folgenden
Figuren 5-7 ist jeweils nur dieser Mittelpunktsstrahl
stellvertretend für den gesamten Strahlengang eingezeichnet.
Vor dem ersten Öbjektiv 101 verläuft die optische Achse für
beide Strahlengänge gleich. Der besseren Übersichtlichkeit
der Zeichnung halber sind die beiden Strahlengänge in der
Figur 4 und in den folgenden Figuren an dieser Stele jedoch
parallel eingezeichnet. The
Die Recheneinheit 110 und die Kameravorrichtung 10 können
auch in einem einzigen Gehäuse nahe des Fahrzeugdaches bzw.
der oberen Grenze der Windschutzscheibe 12 angeordnet sein.
Es ist jedoch auch möglich, die Recheneinheit 110 und die
Kameravorrichtung 10 an verschiedenen Stellen des Fahrzeugs
anzuordnen. In einem bevorzugten Ausführungsbeispiel ist die
Recheneinheit 110 in die Anzeigeeinheit 21 integriert.The
In dem ersten Verfahrensschritt 31 in Figur 2 wird ein Bild
des Fahrzeugumfelds über den ersten Strahlengang 103 durch
die Kamera 100 erfaßt. Das erfaßte Bild ist dabei sowohl von
der Anordnung der Kameravorrichtung 10 im Fahrzeug,'als auch
von der Größe der Öffnung 109 des Gehäuses der
Kameravorrichtung 10 wie auch von der Einstellung des ersten
Objektives 101 abhängig. Die Öffnung 109 ist dabei
vorzugsweise mit einer transparenten Abdeckung, z.B. einer
transparenten Kunststoffscheibe versehen. Ferner ist es
möglich, hier ein drittes Objektiv anzuordnen. Wird der
zweite Verfahrensschritt 34 ausgeführt, so ist in dem ersten
Teilschritt 42 durch die Steuereinheit 112 über die sechste
Datenverbindung 122 die Strahlungsquelle 121 für den
Zeitraum der Erfassung des Bildes des Innenraumes aktiviert,
indem eine Spannung an die Strahlungsquelle 121 angelegt
wird. Eine Spannungsquelle ist in der Figur 4 nicht
dargestellt. Durch den Reflektor 123 gebündelt, wird die
Strahlung in den Innenraum des Fahrzeugs abgestrahlt. Die
abgestrahlte Strahlung ist für einen Menschen nicht
sichtbar. Vorzugsweise ist die Strahlungsquelle als eine
Infrarotstrahlungsdiode bzw. als ein
Infrarotstrahlungsdiodenarray aus einer Vielzahl von
Infrarotstrahlungsdioden ausgeführt. Wird der Innenraum des
Fahrzeuges folglich durch die Strahlungsquelle 121 erhellt,
so tritt die im Fahrzeuginnern reflektierte.
Infrarotstrahlung durch das zweite Objektiv 107 entlang des
zweiten Strahlenganges 108 in die Kameravorrichtung 10 ein
und erreicht das Infrarotfilter 106. Durch diesen Filter
kann nur Infrarotstrahlung hindurchtreten, so daß sichtbares
Licht aus dem Fahrzeuginnern nicht zur Kamera 100 gelangen
kann. Somit ist es insbesondere möglich, daß eine Erfassung
des Fahrzeuginnenraums unabhängig von sichtbarem Licht
möglich ist. Die Erhellung des Innenraumes ist vielmehr nur
von der Helligkeit der Strahlungsquelle 121 abhängig.
Weiterhin trifft die gefilterte Infrarotstrahlung auf den
zweiten Umlenkspiegel 104, den ersten Umlenkspiegel 102, das
erste Objektiv 101 und die Kamera 100. Der zweite
Umlenkspiegel 104 ist mit einer Stellvorrichtung 30
versehen. Von dieser Stellvorrichtung ist nur eine Halterung
130 in der Figur dargestellt. Ein Elektromotor und eine
Steuerung sowie eine Stromversorgung sind nicht
eingezeichnet. Mit der Stellvorrichtung ist der zweite
Umlenkspiegel 104 um eine Drehachse 131 in einem gewissen
Winkelbereich drehbar. Hierdurch kann der Bereich des
Innenraums verändert werden, der durch das zweite Objektiv
107 und über den zweiten Umlenkspiegel in die Kamera 100
abgebildet wird. Dies ist insbesondere vorteilhaft, wenn ein
Fahrer während der Fahrt seine Sitzposition ändert und
trotzdem seine Gesichtspartie von der Kameravorrichtung 10
erfaßt werden soll.In the
Als Sensoren 116 sind z.B. Sitzplatzsensoren anzuführen, die
eine Information darüber liefern, ob ein Sitzplatz besetzt
ist. Meldet ein Sitzplatzsensor, daß ein Sitzplatz unbesetzt
ist, kann über die Kamera überprüft werden, ob dies wirklich
der Fall ist oder ob auf dem Sitzplatz z.B. eine Bewegung
stattfindet und aus diesem Grunde der Sitzplatz doch besetzt
ist. In diesem Fall unterbleibt eine Deaktivierung eines
Airbags und/oder eine Deaktivierung der Sitzplatzheizung.
Ferner sind unter den Sensoren auch Eingabeelemente zu
verstehen, mit denen z.B. eine Einschlafwarnung deaktiviert
werden kann, wenn der Fahrer eine Sonnenbrille trägt, die
seine Augen für die Kamera 100 nicht sichtbar werden läßt.
Unter den Ausgabeeinheiten sind akustische und/oder optische
Warnelemente zu verstehen, die als Lautsprecher, Warnlampe
oder Flüssigkristalldisplay ausgeführt sein können. Die
Auswerteeinheit 113 und die Steuereinheit 112 können auch in
einer Vorrichtung integriert ausgeführt sein. Ferner steuert
die Steuereinheit 112 über eine nicht eingezeichnete
Verbindung die Stellung des zweiten Umlenkspiegels 104 in
Abhängigkeit von über die zweite Datenverbindung 114 von der
Auswerteeinheit 113 übermittelte Anweisungen. Droht ein
Objekt, daß durch die Kameravorrichtung 10 beobachtet wird,
sich aus dem sichtbaren Bereich zu bewegen, so kann die
Recheneinheit auf diese Weise über die Regelung des zweiten
Umlenkspiegels den sichtbaren Bereich anpassen. Eine
Verbindung zwischen der Kameravorrichtung 10 und der
Recheneinheit 110 erfolgt über die erste Datenverbindung 111
und die fünfte Datenverbindung 120. Dabei dient die erste
Datenverbindung 111 zur Übermittlung von Bildinformationen
von der Kamera 100 zu der Recheneinheit 110, insbesondere zu
der Auswerteeinheit 113. Die fünfte Datenverbindung 120
dient der Steuerung der Kamera 100 durch die Recheneinheit
110, insbesondere durch die Steuereinheit 112. Die erste
Datenverbindung 111 und die fünfte Datenverbindung 120 kann
auch in einer Datenleitung zusammengefaßt sein. The
In der Figur 5 ist ein weiteres erfindungsgemäßes
Ausführungsbeispiel der Vorrichtung zur Überwachung des
Fahrzeugumfeldes und des Fahrzeuginnenraumes dargestellt.
Hier und in den folgenden Abbildungen bezeichnen gleiche
Bezugszeichen auch gleiche Bauteile. In der Figur 5 verläßt
der zweite Strahlengang 108 das Gehäuse der
Kameravorrichtung 10 bereits nach dem Infrarotfilter 106.
Zur Unterscheidung von dem Infrarotfilter 106 ist das
Gehäuse der Kameravorrichtung 10 in der Figur 5 lediglich
gestrichelt dargestellt. Die in der Figur 5 dargestellte
Ausführung erlaubt es, einerseits die Kameravorrichtung mit
der Schnittebene parallel, aber auch senkrecht zum
Fahrzeugdach im Fahrzeug anzuordnen. In einem bevorzugten
Ausführungsbeispiel ist damit bei einer zum Fahrzeugdach
senkrechten Anordnung der Kameravorrichtung 10 der Bereich
der Kamera bis auf die Öffnung 109 völlig im Fahrzeugdach
untergebracht, während der Bereich des zweiten
Umlenkspiegels in den Fahrzeuginnenraum hineinragt, also die
Schnittebene der Zeichnung senkrecht zum Fahrzeugdach
angeordnet ist. Abgesehen von der Einstellung des zweiten
Umlenkspiegels 104 werden für die Erzeugung einer Abbildung
in der Kamera 100 im wesentlichen die optischen
Eigenschaften des ersten Objektivs 101 genutzt.FIG. 5 shows another one according to the invention
Embodiment of the device for monitoring the
Vehicle environment and the vehicle interior shown.
Here and in the following illustrations designate the same
Reference numerals also the same components. In Figure 5 leaves
the
In Figur 6 ist eine weitere erfindungsgemäße Ausführung der
Vorrichtung zur Überwachung des Umfeldes eines
Fahrzeuginnenraums dargestellt. Die Kamera 100 ist in diesem
Ausführungsbeispiel auf einer anderen Seite des ersten
Umlenkspiegels 102 angeordnet als in den Figuren 4 und 5. In
diesem Fall wird das dem ersten Strahlengang 103 folgende
Licht durch den ersten Umlenkspiegel 102 zur Kamera 100
reflektiert. Dagegen wird die dem zweiten Strahlengang 108
folgende Strahlung durch den zweiten Umlenkspiegel 104
derartig umgelenkt, daß die Strahlung den ersten
Umlenkspiegel 102, der als ein halbdurchlässiger Spiegel
ausgeführt ist, durchquert und schließlich die Kamera 100
erreicht. Ferner ist in diesem Ausführungsbeispiel der
Reflektor 123 in das Gehäuse der Kameravorrichtung 10
integriert, wodurch Platz gespart werden kann. Die
Strahlungsquelle 121 jedoch ebenfalls an einem günstigen
Platz weit entfernt von der Kameravorrichtung 10 im
Kraftfahrzeug anordbar. Außerdem sind mehrere
Strahlungsquellen im Fahrzeug möglich, um eine optimale
Ausleuchtung des Fahrzeuginnern zu gewährleisten.FIG. 6 shows a further embodiment of the
Device for monitoring the environment of a
Vehicle interior shown. The
In der Figur 7 ist eine Vorrichtung zur Durchführung des in
der Figur 3 beschriebenen erfindungsgemäßen Verfahrens
dargestellt. Anstelle der Öffnung 109 ist in den ersten
Strahlengang 103 ein elektrooptisches Lichtventil in der
Ausführung einer ersten Flüssigkristallzelle 151 eingefügt.
Die erste Flüssigkristallzelle 151 ist über eine
Ansteuerleitung 150 von der Steuereinheit 112 in der Weise
ansteuerbar, daß zwischen einem transmissiven und
absorbierenden Zustand der ersten Flüssigkristallzelle 151
umgeschaltet werden kann. Eine Detailstruktur der
Flüssigkristallzelle sowie eine Spannungsversorgung sind in
der Zeichnung nicht dargestellt. Die erste
Flüssigkristallzelle 151 kann dabei derartig ausgeführt
sein, daß zwischen zwei transparenten Elektroden ein
Flüssigkristall zwischen zwei Glassubstraten angeordnet ist,
der in Abhängigkeit von einem angelegten elektrischen Feld
die Polarisationsrichtung des Lichtes unterschiedlich
beeinflußt. Durch eine Anordnung von Polarisationsfolien auf
den Glassubstraten ist damit in Abhängigkeit von der an die
transparenten Elektroden angelegten Spannung eine Absorption
bzw. eine durch das Glassubstrat, die Polarisatoren und den
Flüssigkristall vorgegebene maximale Transmission des
Lichtes möglich. Ebenso ist eine zweite Flüssigkristallzelle
153 ausgeführt, die über eine Steuerleitung 152 von der
Steuereinheit 112 schaltbar ist und die in dem zweiten
Strahlengang 108 angeordnet ist. In dem ersten
Verfahrensschritt 31 ist nun die erste Flüssigkristallzelle
151 transparent und die zweite Flüssigkristallzelle 153
absorbierend geschaltet. In diesem Fall tritt nur das aus
dem Fahrzeugumfeld entlang des ersten Strahlenganges 103
verlaufende Licht in die Kamera 100 ein. Im zweiten
Verfahrensschritt 34 ist nun die erste Flüssigkristallzelle
151 absorbierend und die zweite Flüssigkristallzelle 153
transmissiv geschaltet. Entlang des zweiten Strahlengangs
108 tritt nun Licht durch ein drittes Objektiv 154 über den
zweiten Umlenkspiegel 104 und den ersten Umlenkspiegel 102
in die Kamera 100 ein. Um Überschneidungen zu vermeiden,
kann zwischen den beiden Verfahrensschritten ein
Zwischenschritt eingefügt werden, bei dem beide
Flüssigkristallzellen 151 und 153 absorbierend geschaltet
sind. Dies ist insbesondere bei niedrigen Temperaturen
empfehlenswert, da in diesem Fall eine Schaltung des
Flüssigkristalls verzögert sein kann und eine maximale
Absorption bzw. Transmission erst erreicht wird, nachdem das
elektrische Feld für einige Zeit anliegt. Im Gegensatz zu
den in den Figuren 4 bis 6 dargestellten
Ausführungsbeispielen tritt bei der Vorrichtung in Figur 7
auch entlang des zweiten Strahlengangs 108 sichtbares Licht
, in die Kamera 100 ein. FIG. 7 shows a device for carrying out the in
of the method described in FIG. 3
shown. Instead of opening 109 is in the
Weiterhin ist es bei allen genannten Ausführungsbeispielen
möglich, anstelle der einen Kamera 100 zwei eng
beieinanderliegende Kameras anzuordnen, deren erste und
zweite Strahlengänge jeweils leicht versetzt gegeneinander
verschoben sind. Hierdurch ist eine stereoskopische
Erfassung des Bildes möglich. Durch eine geeignete
Berechnung durch die Auswerteeinheit 113 kann aus der
stereoskopischen Bilderfassung ein Rückschluß auf
Entfernungen einzelner Objekte ermöglicht werden. Dies ist
z.B. bei der Erkennung von Objekten, z.B. von
Verkehrsschildern, von Vorteil.It is also the case with all the exemplary embodiments mentioned
possible, instead of one
In den Figuren 8a und 8b sind Ausführungsbeispiele für den
zweiten Umlenkspiegel 104 dargestellt. In der Figur 8a ist
ein zweiter Umlenkspiegel 1041 konkav und in der Figur 8b
ist ein zweiter Umlenkspiegel 1042 konvex ausgeführt. Sowohl
der Umlenkspiegel 1041 als auch der Umlenkspiegel 1042 kann
als ein zweiter Umlenkspiegel 104 verwendet werden. Durch
eine derartige Ausführung ist es möglich, den für die Kamera
sichtbaren Bereich zu verändern. In Figur 8b erreicht man
eine Aufweitung, in Figur 8a eine Einschränkung des
Strahlenbereiches durch die unterschiedliche Krümmung des
Spiegels.FIGS. 8a and 8b show exemplary embodiments of the
Claims (25)
- Method for monitoring an interior and a surrounding area of a vehicle, at least part of the surrounding area of the vehicle being sensed in a first method step, and at least part of the interior of the vehicle being sensed in a second method step with a single camera device (10), in that the first and second method steps are carried out alternately, and in that image information which is acquired as a result of this is passed on to a computing unit (110) and processed there.
- Method according to Claim 1, characterized in that, in the second method step, the interior of the vehicle is illuminated by means of a radiation source (121) which is at least largely invisible to the human eye, preferably an infrared radiation source.
- Method according to Claim 2, characterized in that, in the second method step, the part of the interior which is visible to the camera device (10) is superimposed on the part of the surrounding area of the vehicle which is visible to the camera device (10), and the image of the interior is determined by subtracting the image of the exterior from the first method step.
- Method according to Claim 1, characterized in that in the first method step, only the part of the surrounding area which is visible to the camera device (10) is sensed, and in the second method step only the part of the interior which is visible to the camera device (10) is sensed.
- Method according to Claim 4, characterized in that the method switches over between sensing the interior and sensing the surrounding area by means of at least one light valve which is preferably an electro-optical light valve (151, 153).
- Method according to one of the preceding claims, characterized in that a sensed image is in each case only a region of the image which can be sensed at maximum by the camera, in particular image rows, image columns, or image dots, in that the method switches over between sensing the interior and sensing the surrounding area for these regions, in that the sensed regions are processed by the computing unit (110), and in that a subsequent region is then sensed.
- Method according to one of the preceding claims, characterized in that the driver's face, in particular the eyes are sensed.
- Method according to one of the preceding claims, characterized in that road markings and/or the position of the vehicle with respect to the road markings are sensed.
- Method according to one of Claims 7 and 8, characterized in that the driver's face is evaluated and/or the position of the vehicle with respect to the road markings is evaluated in each case to determine whether the driver's eyes are opened and/or whether the vehicle leaves a predefined region of the markings, and in that a visual and/or audible warning is issued as a function of the evaluation.
- Method according to one of the preceding claims, characterized in that road signs are sensed.
- Method according to one of the preceding claims, characterized in that the number of persons in the vehicle and/or the occupation of the seats are determined.
- Method according to Claim 11, characterized in that, when a seat is empty and when a seat is occupied by a child's seat, triggering of an associated airbag and/or a seat heater are disabled.
- Method according to one of the preceding claims, characterized in that lip movements of a predefinable person in the vehicle, preferably of the driver, are sensed in order to support a speech input.
- Device for carrying out the method according to one of the preceding claims characterized in that a vehicle, preferably a motor vehicle, has a camera device (10) and a computing unit (110, 112, 113), at least part of the interior and at least part of the surrounding area of a vehicle being capable of being sensed by means of the same camera device (10), in that the camera device (10) is connected to the computing unit (110, 112), and in that the sensed images can be transmitted to the computing unit (110, 113).
- Device according to Claim 14, characterized in that a first beam path (103) of the camera device points in the direction of the carriageway in front of the vehicle, and a second beam path (108) points in the direction of the interior, preferably of the driver.
- Device according to one of Claims 14 and 15, characterized in that an illumination unit (121) is provided which emits radiation which is at least largely invisible to the eye, in particular infrared radiation, and which can be controlled by means of the computing unit (110, 112).
- Device according to one of Claims 14 to 16, characterized in that an infrared filter (106) is arranged in the camera device (10), preferably in the second beam path (108) in the direction of the interior of the vehicle.
- Device according to one of Claims 14 and 15, characterized in that at least one light valve (151, 153), preferably a liquid crystal cell, is arranged in the camera device (10).
- Device according to one of Claims 14 to 18, characterized in that at least one deflection mirror (102), which is preferably semitransparent, is arranged in the camera device (10).
- Device according to one of Claims 14 to 19, characterized in that at least one deflection mirror (104) is embodied as a concave mirror (1041) or convex mirror (1042).
- Device according to one of Claims 14 to 20, characterized in that the camera device has a single camera (100) which is preferably embodied as a CCD camera or as a CMOS camera.
- Device according to one of Claims 14 to 20, characterized in that the camera device (10) has at least two cameras for capturing images stereoscopically.
- Device according to one of Claims 14 to 22, characterized in that the computing unit (110, 113) is connected to optical output units and/or acoustic output units (119, 21) in order to warn the driver, in particular when the driver's eyes are closed and there is a risk of the vehicle leaving a marked course on the road.
- Device according to one of Claims 14 to 23, characterized in that the camera device (10) is arranged in an upper region of the windscreen (12) or is integrated into the roof of the vehicle.
- Device according to one of Claims 14 to 24, characterized in that at least one deflection mirror (104, 1041, 1042) can be oriented by means of an actuating device (130) in such a way that at least the eyes and/or the lips of the driver can be recognized in an image of the interior of the vehicle which is captured by the camera device (10).
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19921488 | 1999-05-08 | ||
DE19921488A DE19921488A1 (en) | 1999-05-08 | 1999-05-08 | Method and device for monitoring the interior and surroundings of a vehicle |
PCT/DE2000/001426 WO2000068910A1 (en) | 1999-05-08 | 2000-05-05 | Method and device for surveying the interior and the surrounding area of a vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1297511A1 EP1297511A1 (en) | 2003-04-02 |
EP1297511B1 true EP1297511B1 (en) | 2004-09-15 |
Family
ID=7907575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP00941906A Expired - Lifetime EP1297511B1 (en) | 1999-05-08 | 2000-05-05 | Method and device for surveying the interior and the surrounding area of a vehicle |
Country Status (5)
Country | Link |
---|---|
US (1) | US6920234B1 (en) |
EP (1) | EP1297511B1 (en) |
JP (1) | JP2002544043A (en) |
DE (2) | DE19921488A1 (en) |
WO (1) | WO2000068910A1 (en) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10036875A1 (en) | 2000-07-28 | 2002-02-28 | Mekra Lang Gmbh & Co Kg | Rearview mirror for vehicle, has monitor connected to camera which captures fields before, laterally and behind vehicle |
US6583730B2 (en) | 2000-07-28 | 2003-06-24 | Lang-Mekra North America, Llc | Surveillance apparatus for a vehicle |
US20030202097A1 (en) | 2000-10-26 | 2003-10-30 | Autoliv Development Ab | Night vision arrangement |
DE10062977A1 (en) | 2000-12-16 | 2002-06-27 | Bayerische Motoren Werke Ag | Method for monitoring the interior of a motor vehicle |
JP2004530202A (en) * | 2001-03-05 | 2004-09-30 | シーメンス アクチエンゲゼルシヤフト | Method and apparatus for removing image distortion for occupant protection systems, for example |
US7995095B2 (en) | 2001-10-18 | 2011-08-09 | Autoliv Development Ab | Night vision device for a vehicle |
DE10216111B4 (en) * | 2002-04-12 | 2009-12-03 | GM Global Technology Operations, Inc., Detroit | Vehicle with a child seat arranged in the rear or front area |
JP2005523200A (en) * | 2002-04-23 | 2005-08-04 | オートリブ ディヴェロプメント アクチボラゲット | Night vision device |
DE10353001A1 (en) * | 2003-11-13 | 2005-06-16 | Conti Temic Microelectronic Gmbh | Device and method for object recognition for a motor vehicle safety device |
DE102004005163B3 (en) * | 2004-02-02 | 2005-06-02 | Braun, Uwe Peter, Dipl.-Ing. | Alertness detection device for vehicle driver using intermittent illumination of eye and evaluation of pupil reaction |
FR2885860B1 (en) * | 2005-05-20 | 2007-08-17 | Valeo Vision Sa | DEVICE FOR DETECTING OBSTACLES COMPRISING AN IMAGING SYSTEM FOR A MOTOR VEHICLE |
US7597489B2 (en) * | 2005-09-12 | 2009-10-06 | Honeywell International Inc. | Apparatus and method for providing pointing capability for a fixed camera |
US20070115343A1 (en) * | 2005-11-22 | 2007-05-24 | Sony Ericsson Mobile Communications Ab | Electronic equipment and methods of generating text in electronic equipment |
DE102006004260A1 (en) | 2006-01-31 | 2007-08-02 | Bayerische Motoren Werke Ag | Camera system for a motor vehicle |
JP4882499B2 (en) * | 2006-05-10 | 2012-02-22 | 株式会社デンソー | Speed information providing apparatus and program |
SE532317C2 (en) * | 2007-07-05 | 2009-12-15 | Svenska Utvecklings Entrepreno | Device for waking up drivers and operators |
DE102008040149A1 (en) | 2008-07-03 | 2010-01-07 | Robert Bosch Gmbh | Device and method for releasing an automatic guidance of a vehicle |
US20110317015A1 (en) * | 2008-10-29 | 2011-12-29 | Kyocera Corporation | Vehicle-mounted camera module |
DE102012205012A1 (en) * | 2011-07-12 | 2013-01-17 | Robert Bosch Gmbh | Camera system for use in a vehicle and vehicle with such a camera system |
DE102012018345A1 (en) | 2012-09-17 | 2014-03-20 | Volkswagen Aktiengesellschaft | Method for monitoring vehicle, involves activating process by actuation of operating element of vehicle, where sensor of vehicle is activated, with which start-up of vehicle is detected |
JP5590747B2 (en) * | 2012-11-29 | 2014-09-17 | 株式会社ホンダアクセス | Driver dangerous driving notification device |
US9128354B2 (en) | 2012-11-29 | 2015-09-08 | Bendix Commercial Vehicle Systems Llc | Driver view adapter for forward looking camera |
DE102012023941A1 (en) * | 2012-12-06 | 2014-06-12 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Motor vehicle cockpit with a display unit and a shadow area |
DE102013002686B4 (en) * | 2013-02-15 | 2017-03-23 | Audi Ag | Method for operating a motor vehicle and motor vehicles |
DE102013010019B3 (en) * | 2013-06-14 | 2014-10-23 | Audi Ag | A method of operating a traffic sign detecting system of a motor vehicle and a motor vehicle having a traffic sign detecting system |
KR102381140B1 (en) | 2015-02-25 | 2022-03-31 | 엘지전자 주식회사 | Digital device and method for monitering driver thereof |
DE102015117610A1 (en) * | 2015-10-16 | 2017-04-20 | Connaught Electronics Ltd. | A method for checking a perception of a visual warning by a vehicle user, driver assistance system and motor vehicle |
DE102016001054A1 (en) | 2016-01-30 | 2016-07-21 | Daimler Ag | Method for entering a command in a control unit of a vehicle |
DE102016225518A1 (en) | 2016-12-20 | 2018-06-21 | Robert Bosch Gmbh | A camera arrangement for a monitoring device for monitoring an interior space and an exterior area, monitoring device with the camera arrangement and use of the camera arrangement for recording an exterior area and interior space |
US10272807B2 (en) | 2017-05-02 | 2019-04-30 | Ford Global Technologies, Llc | Efficient control of temperature altering systems within a vehicle seating assembly |
US20190012552A1 (en) * | 2017-07-06 | 2019-01-10 | Yves Lambert | Hidden driver monitoring |
JP7247499B2 (en) * | 2018-09-20 | 2023-03-29 | いすゞ自動車株式会社 | Vehicle monitoring device |
DE102018217869A1 (en) | 2018-10-18 | 2020-04-23 | Robert Bosch Gmbh | Interior detection system |
DE102019200099A1 (en) * | 2019-01-07 | 2020-07-09 | Conti Temic Microelectronic Gmbh | Sensor device for an ego vehicle, driver assistance device and vehicle with such a sensor device |
CN111722609B (en) * | 2019-03-18 | 2021-12-21 | 纬湃科技投资(中国)有限公司 | Diagnostic method for vehicle environment signals |
WO2020251996A1 (en) * | 2019-06-13 | 2020-12-17 | Gentex Corporation | Switchable multi-view imaging system |
DE102019210144A1 (en) * | 2019-07-10 | 2021-01-14 | Zf Friedrichshafen Ag | Combination of sensor systems in the vehicle to improve the recognition of user commands |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5845000A (en) * | 1992-05-05 | 1998-12-01 | Automotive Technologies International, Inc. | Optical identification and monitoring system using pattern recognition for use with vehicles |
GB8825446D0 (en) * | 1988-10-31 | 1988-11-30 | Lawrence M J | Vehicle security camera |
DE4013125A1 (en) * | 1989-06-19 | 1990-12-20 | Iveco Magirus | Measuring physical value by fibre=optic sensor - using two sensor leads alternatively used as send and receive fibres and useful and reference light beams |
DE4022055C2 (en) * | 1990-07-11 | 1994-03-10 | Wolfgang Caspar | Device for color and brightness control |
US5065236A (en) * | 1990-11-02 | 1991-11-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects |
JP2522859B2 (en) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | Eye position detection device |
DE4115202C2 (en) * | 1991-05-10 | 1994-01-20 | Duerrwaechter E Dr Doduco | Method and device for arming the trigger circuit of an airbag or a seat belt tensioner in a vehicle |
FR2679357B1 (en) * | 1991-07-19 | 1997-01-31 | Matra Sep Imagerie Inf | ON-BOARD DEVICE AND METHOD FOR TRACKING AND MONITORING THE POSITION OF A VEHICLE ON THE ROAD AND DRIVING AID DEVICE INCLUDING APPLICATION. |
JPH05155291A (en) * | 1991-12-03 | 1993-06-22 | Mitsubishi Electric Corp | Warning device for vehicle |
TW333368U (en) | 1992-04-21 | 1998-06-01 | Toshiba Co Ltd | Image tube apparatus |
JP3214195B2 (en) * | 1993-11-11 | 2001-10-02 | 三菱電機株式会社 | Driver photography device |
JPH08167100A (en) | 1994-12-12 | 1996-06-25 | Hisaji Nakamura | Steering device |
US5642093A (en) * | 1995-01-27 | 1997-06-24 | Fuji Jukogyo Kabushiki Kaisha | Warning system for vehicle |
JP3316725B2 (en) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | Face image pickup device |
JPH1035320A (en) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | Vehicle condition recognition method, on-vehicle image processor, and memory medium |
JP3702978B2 (en) * | 1996-12-26 | 2005-10-05 | ソニー株式会社 | Recognition device, recognition method, learning device, and learning method |
DE19736774A1 (en) * | 1997-08-23 | 1999-02-25 | Bosch Gmbh Robert | Information display method in vehicle |
US6337683B1 (en) * | 1998-05-13 | 2002-01-08 | Imove Inc. | Panoramic movies which simulate movement through multidimensional space |
US6690374B2 (en) * | 1999-05-12 | 2004-02-10 | Imove, Inc. | Security camera system for tracking moving objects in both forward and reverse directions |
-
1999
- 1999-05-08 DE DE19921488A patent/DE19921488A1/en not_active Ceased
-
2000
- 2000-05-05 EP EP00941906A patent/EP1297511B1/en not_active Expired - Lifetime
- 2000-05-05 JP JP2000617420A patent/JP2002544043A/en not_active Withdrawn
- 2000-05-05 DE DE50007823T patent/DE50007823D1/en not_active Expired - Fee Related
- 2000-05-05 WO PCT/DE2000/001426 patent/WO2000068910A1/en active IP Right Grant
- 2000-05-05 US US09/743,305 patent/US6920234B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1297511A1 (en) | 2003-04-02 |
DE19921488A1 (en) | 2000-11-16 |
JP2002544043A (en) | 2002-12-24 |
WO2000068910A1 (en) | 2000-11-16 |
US6920234B1 (en) | 2005-07-19 |
DE50007823D1 (en) | 2004-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1297511B1 (en) | Method and device for surveying the interior and the surrounding area of a vehicle | |
EP3475755B1 (en) | Display projecting a virtual image into the field of view of a user | |
EP1182089B1 (en) | Vehicle driver warning procedure | |
EP1711364B1 (en) | Device for recording the driving capacity of a driver in a vehicle | |
DE102015219111B4 (en) | Driver assistance system and method for adjusting the lighting of control elements in motor vehicles | |
EP1022190A2 (en) | Rear view mirror | |
DE60300919T2 (en) | Image pickup device of the vehicle occupants in a vehicle | |
EP3296796A2 (en) | Driver assistance device for a vehicle and method for visualising the vicinity of a vehicle | |
EP1508476B1 (en) | Drive assist system for motor vehicles | |
WO2014079567A1 (en) | Object representation on head-up displays depending on the gaze of a user | |
DE112015001200T5 (en) | Light emitting vehicle display device and vehicle display system | |
DE19802220A1 (en) | Information display device used with computer or onboard automobile | |
DE102018213820A1 (en) | Method for operating a field of view display device for a motor vehicle | |
DE10318741A1 (en) | Driver assistant system | |
EP3790768A1 (en) | Device and method for operating an object detection system for the passenger compartment of a motor vehicle, and a motor vehicle | |
DE112019007195T5 (en) | DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND DISPLAY CONTROL PROGRAM | |
DE10360176A1 (en) | Optical monitoring system observing vehicle drivers eyes e.g. for signs of tiredness, is positioned to avoid obstruction to beam path during driving | |
DE102019004692B3 (en) | Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle | |
DE102015007362B4 (en) | Combination instrument for a motor vehicle and motor vehicle | |
DE4304005A1 (en) | Monitoring device for vehicles | |
EP1394756B1 (en) | System to watch over and influence the wakefullness of a driver | |
EP3682431B1 (en) | Method for operating a motor vehicle having at least one exterior camera and motor vehicle having at least one exterior camera | |
DE102020210055A1 (en) | Method and device for monitoring the interior of a vehicle | |
DE10062783A1 (en) | Infrared sight system has infrared detector(s) for detecting foreign infrared pulse connected to controller for controlling infrared pulse transmitted by system's infrared light source(s) | |
EP1544640B1 (en) | Device for improving the visibilities in a motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20001028 |
|
AK | Designated contracting states |
Designated state(s): DE FR GB IT Kind code of ref document: A1 Designated state(s): DE FR GB IT |
|
17Q | First examination report despatched |
Effective date: 20031230 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): DE FR GB IT |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: GERMAN |
|
REF | Corresponds to: |
Ref document number: 50007823 Country of ref document: DE Date of ref document: 20041021 Kind code of ref document: P |
|
GBT | Gb: translation of ep patent filed (gb section 77(6)(a)/1977) |
Effective date: 20050115 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
ET | Fr: translation filed | ||
26N | No opposition filed |
Effective date: 20050616 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20080526 Year of fee payment: 9 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20080728 Year of fee payment: 9 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20080522 Year of fee payment: 9 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20090505 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20100129 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20090602 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20080519 Year of fee payment: 9 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20090505 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20091201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20090505 |