EP1297511A1 - Method and device for surveying the interior and the surrounding area of a vehicle - Google Patents

Method and device for surveying the interior and the surrounding area of a vehicle

Info

Publication number
EP1297511A1
EP1297511A1 EP00941906A EP00941906A EP1297511A1 EP 1297511 A1 EP1297511 A1 EP 1297511A1 EP 00941906 A EP00941906 A EP 00941906A EP 00941906 A EP00941906 A EP 00941906A EP 1297511 A1 EP1297511 A1 EP 1297511A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
interior
camera device
driver
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP00941906A
Other languages
German (de)
French (fr)
Other versions
EP1297511B1 (en
Inventor
Winfried Koenig
Bernd Hürtgen
Werner Pöchmüller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP1297511A1 publication Critical patent/EP1297511A1/en
Application granted granted Critical
Publication of EP1297511B1 publication Critical patent/EP1297511B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle

Definitions

  • the invention is based on a method according to the preamble of the main claim.
  • Bosch-Zünder, October 1998 edition, page 8 the article "The new eyes of the car, learn to read limousines" describes a process in which the space in front of the driver in the vehicle's surroundings is monitored by two video cameras The image determined by the cameras is then evaluated with respect to traffic signs recognizable in the image, which are then displayed to the driver in a display unit
  • the method according to the invention with the features of the main claim has the advantage that both the interior and the surroundings of a vehicle are captured with only one camera device. This is possible, in particular, by alternately detecting the interior and the surroundings. In the case of a sufficiently rapid change between the detection of the interior and the surroundings, on the one hand a loss of information due to the change can be neglected, while on the other hand only a single camera device and not two are required for the interior and the surroundings of the vehicle. Likewise, only one computing unit is required to process the image information obtained.
  • the interior of the vehicle is illuminated with a radiation source that is at least largely invisible to the human eye.
  • a radiation source that is at least largely invisible to the human eye.
  • an infrared radiation source preferably one or more infrared light-emitting diodes. This prevents the driver from being disturbed compared to a visible source.
  • Infrared radiation source and a detection of the image of the interior by an infrared filter an image of the interior is essentially only detected when the infrared radiation source is activated. An alternate observation of the interior and the surroundings is thus possible by successively switching the infrared radiation source on and off if the camera device has a further beam path which leads into the surroundings of the vehicle and can detect the surroundings.
  • Image lines or by groups of pixels occur because the image information must also be transmitted to the processing unit and processed there, this procedure has the advantage that a faster change between a detection of the interior and the exterior is possible, so that the shift between two captured images eg the outside space, which is based on the vehicle movement, is reduced
  • the observation by the camera does not require the application of electrodes to the driver's body. Since such electrodes can not only be a hindrance since they restrict the freedom of movement of the driver, but can also be forgotten by the driver before the start of the journey or cannot be intentionally carried out for convenience, the use of a sleep warning can thus be facilitated and made more pleasant for the driver become.
  • the method according to the invention also has the advantage that, in addition to observing the interior, it is also possible to detect the traffic signs in the vicinity of the vehicle, and thus the driver e.g. warning signs or maximum speeds can be specifically indicated by an optical or acoustic output unit.
  • This information can be used, for example, to regulate a chassis, by means of which an uneven load on the vehicle can be compensated if, for example, there are only people on the left side of the vehicle, the driver and one person behind the driver.
  • This information can also be used to control a seat heater that is only activated when someone is actually using the seat.
  • a determination as to whether a seat is occupied or occupied by a child seat is advantageous in that the deployment of an airbag is blocked. if a seat is unoccupied or occupied by a child seat. In this way, on the one hand, the unnecessary deployment of an airbag in an unoccupied seat and also an injury to a child by an airbag when occupying a seat with a child seat can be avoided.
  • a voice input can be checked on the basis of an evaluation of the driver's lip movements, which are recorded by the camera device. This is e.g. possible by analyzing the lip movements to determine whether the command understood by the voice input unit also contains the syllables that correspond to the detected lip movements. If the speech input unit cannot make an unambiguous assignment based solely on what is understood, this may be possible through a comparison with the lip movements.
  • a device in such a way that the surroundings of the vehicle and the interior of the vehicle can be detected.
  • a camera device in such a way that a beam path points in the direction of the interior and a beam path points in the direction of the roadway, preferably in the direction of travel, since these are the most important for a driver
  • Information about the vehicle's environment is usually the road or the lane edge as well as objects in your own lane.
  • a beam path e.g. enter the camera device from the interior through reflection and another beam path through transmission through the semi-transparent mirror. This eliminates the need for mechanical adjustment between the two beam paths.
  • the camera is also advantageous to design the camera as a CCD or a CMOS camera.
  • the camera device according to the invention can hereby be carried out particularly cheaply.
  • Integrate camera device into the roof of the vehicle To a position at least near the vehicle roof on the one hand, the overview of the vehicle surroundings, and on the other hand, the overview of the vehicle interior is particularly well guaranteed.
  • At least one deflecting mirror so that it can be aligned by means of an adjusting device such that at least the driver's eyes and / or lips can be detected by the camera.
  • This is particularly advantageous for changing drivers who on the one hand have a different body size and on the other hand can prefer a different seat setting.
  • movements of the driver while driving are to be observed.
  • a deflecting mirror in such a way that the detected visual range can be tracked, in particular the eyes and / or lips of a driver can be kept constantly in the detection range of the camera device. A function of the sleep control as well as a control of a voice input is thus guaranteed, especially while driving.
  • FIG. 1 shows an arrangement of the device according to the invention in a motor vehicle
  • FIG. 2 shows a flowchart of the method according to the invention
  • FIGS. 2a and 2b show details of the method according to the invention
  • FIG. 2c shows an evaluation method according to the invention
  • FIG. 3 shows a flowchart for a further embodiment of the method according to the invention
  • FIG 4 an embodiment of the device according to the invention
  • FIG. 5 another Implementation of the device according to the invention
  • FIG. 6 shows another embodiment of the device according to the invention
  • FIG. 7 shows another embodiment of the device according to the invention
  • FIG. 1 shows a camera device 10 according to the invention in a motor vehicle on the upper edge 11
  • Windshield 12 arranged.
  • the camera device has a first optical opening 13, a first beam path 14 leading to a driver 15 of the vehicle.
  • the center beam of the beam path is shown.
  • the camera device 10 has a second optical opening 16, which is arranged on the side of the camera device 10 facing away from the first optical opening 13 and is therefore not visible from the perspective shown.
  • the second optical opening 16 is therefore only shown in broken lines.
  • a second beam path 17 is outlined, which leads from the second optical opening 16 of the camera device 10 through the windshield 12 into the vehicle surroundings into the area in front of the vehicle.
  • the driver's gaze which is outlined as a third beam path 18, also leads in the same direction.
  • the cockpit 19 of the vehicle is shown with a steering wheel 20 and a display unit 21.
  • the display unit 21 is preferably designed as an instrument cluster, in which a large number of displays are integrated into an electronic unit.
  • a freely programmable instrument cluster is also possible, in which a display of different display instruments in one Screen, for example in the form of a liquid crystal display.
  • a computing unit by which the image information recorded by the camera device 10 is processed is not shown separately in the figure.
  • the computing unit can either be arranged in the housing of the camera device 10 shown, in the roof of the vehicle beyond the upper edge 11 of the windshield or in the cockpit 19 of the vehicle.
  • the computing unit is arranged in an area of the display unit 21 which is not visible to the driver 15. Since the display unit 21 is used for the output of optical warning signals, which are based on the evaluation of the image information recorded by the camera device 10 by the computing unit, for example if the driver threatens to fall asleep or if the driver falls asleep
  • the camera device 10 is so close to the vehicle roof, not shown, in the upper region of the
  • Windshield 12 arranged that monitoring the vehicle interior and monitoring the road ahead of the vehicle is well possible.
  • the camera device is therefore preferably arranged in the center of the vehicle with respect to the sides of the vehicle.
  • the first and second optical openings 13, 16 can be designed in different ways.
  • An embodiment as a filter, as an opening, as an objective or a combination in the form of a series connection of the named components is possible.
  • FIG. 1 A sequence of the method according to the invention is shown in FIG.
  • first image information 32 of the vehicle surroundings is acquired and evaluated by the computing unit, with a first output 33 taking place via optical and / or acoustic output media as a function of the first image information 32.
  • the first output is therefore dependent on the vehicle environment.
  • second method step 34 image information is obtained from second image information 35, in which image information of the vehicle environment and the vehicle interior is superimposed, taking into account the previously determined first image information 32 of the vehicle environment by subtracting the first image information 32 from the second image information 35 of the vehicle interior is determined, so that, depending on the image information determined, a second output 36 also takes place via optical and / or acoustic output media, the second output being dependent in particular on the image information of the vehicle interior.
  • the method is terminated if the camera device is deactivated, in particular if the vehicle is parked. This decision-making path is marked in the drawing with the letter "Y".
  • the method ends with a deactivation of the camera device in a final method step 38. If the vehicle is not deactivated, the method branches back to the first method step 31. This decision-making path is identified in FIG. 2 with the letter “N”.
  • the first method step 31 is shown in detail in FIG. 2a.
  • a first sub-step 40 the camera device is activated and the first
  • Image information 32 recorded.
  • the first image information 32 is transmitted to the computing unit for further processing.
  • the second method step 34 is shown in FIG. 2b
  • a first sub-step 42 the radiation source which is not visible to the human eye is activated by being supplied with an electrical voltage.
  • the camera device 10 is activated and an overlaid image of the interior and the vehicle surroundings is acquired as second image information 35.
  • exposure must be regulated, e.g. a variable aperture or regulation of the current applied to the light-sensitive sensors of the camera device.
  • the second image information 35 is stored and transmitted to the computing unit for further processing.
  • a fourth sub-step 45 that which is not visible to the human eye is shown
  • FIG. 2c shows an evaluation method by the computing unit, which consists of processing the image information recorded by the camera device and the first output 33 and the second output 36, respectively.
  • a sleep warning by observation of the driver 15 is given, an observation of the vehicle interior being necessary and consequently the second output 36 taking place.
  • a method for vehicle surroundings recognition can also be carried out in a comparable manner, e.g. for recognizing traffic signs and / or road markings, the first output 33 taking place.
  • a first initialization step 50 an image of the driver's eye area is determined from the first and second image information 32 and 35 by the computing unit.
  • a first decision step 52 the recorded image is compared with previously stored image information 51 of the driver's eye area.
  • the image information 51 is an empty image if the vehicle has just started and no image information has yet been stored. If it is determined that the driver's eyes are open, that is to say the driver is not sleeping, or if the image information 51 is the empty image, the decision path N is followed and the newly recorded partial image is stored in a method step 53 filed that the driver is awake at the time of recording.
  • a final step 54 the evaluation process completed. The evaluation process is started again the next time the first and second image information 32 and 35 are transmitted to the computing unit. The restart takes place every time the evaluation process is ended, unless the vehicle or the camera device is not deactivated.
  • the decision path Y becomes a second from the first decision step 52
  • Step 55 it is checked whether the driver's eyes were already closed when the last picture was taken. If this is not the case, a branch is made to a sub-step 56 in which it is stored that the driver's eyes are closed at the time of the current recording. The evaluation process is ended in a final step 57. If the driver's eyes were already closed when the last picture was taken, the decision path Y is followed from the second decision step 55 to a first warning step 58. This warning is an acoustic warning or a visual warning, preferably via the display unit 21. The fact that only a warning is given after a second recording and thus after the second decision step 55 prevents a warning from being given by accidental ones
  • Step 59 in which image information 67 of a further image of the driver's face area is taken into account. If the driver's eyes are now open again, a branch is made in decision path Y to a method step 60 in which the newly recorded image information 67 is stored. It is also stored in a memory that the driver's eyes are open. In a subsequent final step 61, the evaluation process is ended. However, if the driver's eyes are still closed, a decision path N to a second warning step 62 is followed in the third decision step 59. In the second warning step 62, an acoustic warning is given clearly louder than in the first warning step 58.
  • a fourth decision step 63 image information 68 of the part of the driver's face is recorded again and the state 69 of a switch is queried. If it is ascertained that the driver's eyes are now open, or if the driver actuates the switch, the decision path Y is continued. In a first sub-step 64, it is now stored that the driver's eyes are open, and the evaluation process is ended in a final step 65. If it is not ascertained that the driver's eyes are open or that the switch has been triggered, a branch is made in decision path N to a third warning step 66. A loud, acoustic warning now follows, and the vehicle is decelerated by switching on the hazard warning lights and the brake lights, so that driverless driving is avoided.
  • the sequence shown in FIG. 2c can be deactivated. It is also possible to increase the number of queries of the image information from the driver's eye area to the implementation of a respective warning step in order to avoid accidental warnings. The number of queries depends on the frequency of the acquisition of image information of the interior.
  • the method shown in FIG. 2c can also be based on the monitoring position of the vehicle
  • Road markings are transmitted if the detection of the image information of the part of the driver's face is replaced by a detection of the image information of the road marking and the position of the vehicle relative to the road markings is evaluated.
  • FIG. 3 shows a further method according to the invention for monitoring the surroundings of the interior of a motor vehicle.
  • the same reference numerals stand for the same method elements as in FIG. 2.
  • a first method step 80 determines a first image information 81 of the vehicle's surroundings, forwards it to the computing unit and, depending on the first image information 81, the first output 33 occurs second method step 82, second image information 83 of the interior is captured by the camera device and forwarded to the computing unit.
  • the second output 36 occurs depending on the captured image information.
  • an electro-optical light valve is opened in the direction of the vehicle surroundings.
  • an electronic light valve to the vehicle interior is opened.
  • the second method step 82 After the second method step 82, it comes to a decision step 37. If the camera device is deactivated, the decision path Y is followed and in a final method step 38 the camera device is deactivated. Otherwise, the decision path labeled N is branched back to the first method step 80. In a preferred exemplary embodiment, the respective light valve is only opened for 90% of the duration of the respective method step both during the first and during the second method step 80, 82. This will create a
  • the evaluation method described in FIG. 2c can be transferred directly to the first edition or the second edition 36 in FIG. 3.
  • FIG. 4 shows an embodiment of a camera device 10 according to the invention with a computing unit 110.
  • the camera device 10 is located in a housing in which a camera 100, which is designed as a CCD or a CMOS camera, is arranged with a first lens 101.
  • a first deflecting mirror 102 strikes the first lens 101.
  • the first deflecting mirror 102 is designed to be semi-transparent, so that on the one hand a first beam path 103 from the vehicle surroundings through an opening 109 in the housing of the camera device 10 through the first deflecting mirror 102 and the first Objective 101 runs to camera 100.
  • a second beam path 108 runs from a second deflecting mirror 104 to the first deflecting mirror 102.
  • the second beam path 108 is deflected by the first deflecting mirror 102 to the camera 100.
  • the second beam path 108 starts from the vehicle interior and enters the camera device 10 through a second lens 107. Before it reaches the second deflecting mirror 104, it crosses an infrared filter 106.
  • the camera 100 is connected to the computing unit 110 via a first data connection 111.
  • the computing unit 110 consists of a control unit 112 and an evaluation unit 113, which uses a second
  • Data connection 114 are interconnected.
  • the evaluation unit 113 is connected to sensors 116 via a third data connection 117 and at least to acoustic and / or optical display elements 119 via a fourth data connection 118.
  • the control unit 112 is also connected via a fifth data connection 120 to the camera 100 and via a sixth data connection 122 to a radiation source 121 which emits radiation which is not visible to the human eye.
  • the radiation source 121 is arranged in a housing, which is preferably designed as a reflector 123.
  • the first beam path 103 and the second beam path 108 are each characterized by the optical axis of the beam path. Here and in the following FIGS. 5-7, only this center beam is shown as representative of the entire beam path. In front of the first objective 101, the optical axis runs the same for both beam paths. For better clarity of the drawing, the two beam paths are in the
  • the computing unit 110 and the camera device 10 can also be arranged in a single housing near the vehicle roof or the upper limit of the windshield 12. However, it is also possible to arrange the computing unit 110 and the camera device 10 at different locations on the vehicle. In a preferred exemplary embodiment, the computing unit 110 is integrated in the display unit 21.
  • an image of the vehicle surroundings is captured by the camera 100 via the first beam path 103.
  • the captured image is dependent both on the arrangement of the camera device 10 in the vehicle and on the size of the opening 109 of the housing of the camera device 10 and on the setting of the first lens 101.
  • the opening 109 is preferably covered with a transparent cover, e.g. provided with a transparent plastic disc. It is also possible to arrange a third lens here.
  • the radiation source 121 is activated by the control unit 112 via the sixth data connection 122 for the period of the acquisition of the image of the interior by applying a voltage to the radiation source 121.
  • a voltage source is not shown in FIG. 4.
  • the radiation is emitted into the interior of the vehicle.
  • the radiation emitted is not visible to a person.
  • the radiation source is preferably in the form of an infrared radiation diode or an infrared radiation diode array of a multiplicity of
  • Infrared radiation diodes executed. If the interior of the vehicle is consequently illuminated by the radiation source 121, so occurs the reflected in the vehicle interior
  • the filtered infrared radiation strikes the second deflecting mirror 104, the first deflecting mirror 102, the first objective 101 and the camera 100.
  • the second deflecting mirror 104 is provided with an adjusting device 30. Only one holder 130 of this actuating device is shown in the figure. An electric motor and a controller as well as a power supply are not shown. With the adjusting device, the second deflecting mirror 104 can be rotated about an axis of rotation 131 within a certain angular range. This allows the area of
  • the interior can be changed, which is imaged into the camera 100 by the second lens 107 and via the second deflection mirror. This is particularly advantageous if a driver changes his seating position while driving and nevertheless his face area is to be captured by the camera device 10.
  • Seat sensors are to be mentioned as sensors 116, which provide information as to whether a seat is occupied. If a seat sensor reports that a seat is unoccupied, the camera can be used to check whether this is really the case or whether there is movement in the seat, for example takes place and for this reason the seat is occupied. In this case, the airbag is not deactivated and / or the seat heating is deactivated.
  • the sensors are also to be understood as input elements with which, for example, a sleep warning can be deactivated when the driver is wearing sunglasses that do not make his eyes visible to the camera 100.
  • the output units are to be understood as acoustic and / or optical warning elements which can be designed as loudspeakers, warning lamps or liquid crystal displays.
  • Evaluation unit 113 and control unit 112 can also be embodied integrated in one device.
  • the control unit 112 controls the position of the second deflecting mirror 104 via a connection (not shown) as a function of instructions transmitted by the evaluation unit 113 via the second data connection 114. If an object that is being observed by the camera device 10 threatens to move out of the visible area, the computing unit can adjust the visible area in this way by regulating the second deflection mirror.
  • a connection between the camera device 10 and the computing unit 110 takes place via the first data connection 111 and the fifth data connection 120.
  • the first data connection 111 is used to transmit image information from the camera 100 to the computing unit 110, in particular to the evaluation unit 113.
  • the fifth data connection 120 is used to control the camera 100 by the computing unit 110, in particular by the control unit 112.
  • the first data connection 111 and the fifth data connection 120 can also be combined in one data line.
  • FIG. 5 shows a further exemplary embodiment of the device according to the invention for monitoring the vehicle surroundings and the vehicle interior.
  • the same reference symbols also denote the same components.
  • the second beam path 108 already leaves the housing of the camera device 10 after the infrared filter 106. To distinguish it from the infrared filter 106, the housing of the camera device 10 is only shown in broken lines in FIG. The one shown in Figure 5
  • Design allows the camera device with the cutting plane to be arranged in parallel on the one hand, but also perpendicular to the vehicle roof in the vehicle.
  • the area of the camera is completely accommodated in the vehicle roof except for the opening 109, while the area of the second deflecting mirror projects into the vehicle interior, that is to say the sectional plane of the drawing is arranged perpendicular to the vehicle roof .
  • Deflecting mirror 104 essentially uses the optical properties of the first lens 101 to generate an image in the camera 100.
  • FIG. 6 shows another embodiment of the device according to the invention for monitoring the surroundings of a vehicle interior.
  • the camera 100 is arranged on a different side of the first deflecting mirror 102 than in FIGS. 4 and 5.
  • the light following the first beam path 103 is reflected by the first deflecting mirror 102 to the camera 100.
  • the second beam path 108 following radiation deflected by the second deflecting mirror 104 in such a way that the radiation crosses the first deflecting mirror 102, which is designed as a semi-transparent mirror, and finally reaches the camera 100.
  • the reflector 123 is integrated in the housing of the camera device 10, as a result of which space can be saved.
  • the radiation source 121 can also be arranged in a favorable place far away from the camera device 10 in the motor vehicle.
  • Radiation sources possible in the vehicle to ensure optimal illumination of the vehicle interior.
  • FIG. 7 shows a device for carrying out the method according to the invention described in FIG. 3.
  • an electro-optical light valve in the form of a first liquid crystal cell 151 is inserted into the first beam path 103.
  • the first liquid crystal cell 151 can be controlled by the control unit 112 via a control line 150 in such a way that it is possible to switch between a transmissive and absorbing state of the first liquid crystal cell 151.
  • a detailed structure of the liquid crystal cell and a power supply are not shown in the drawing.
  • the first liquid crystal cell 151 can be controlled by the control unit 112 via a control line 150 in such a way that it is possible to switch between a transmissive and absorbing state of the first liquid crystal cell 151.
  • a detailed structure of the liquid crystal cell and a power supply are not shown in the drawing.
  • Liquid crystal cell 151 can be designed in such a way that a liquid crystal is arranged between two glass substrates between two transparent electrodes and influences the direction of polarization of the light differently depending on an applied electric field. By arranging polarizing foils on the glass substrates, depending on the transparent electrodes applied an absorption or a maximum transmission of the light predetermined by the glass substrate, the polarizers and the liquid crystal possible.
  • a second liquid crystal cell 153 is also designed, which can be switched by the control unit 112 via a control line 152 and which is arranged in the second beam path 108.
  • the first liquid crystal cell 151 is now transparent and the second liquid crystal cell 153 is switched to be absorbent. In this case, only the light extending from the vehicle surroundings along the first beam path 103 enters the camera 100.
  • the second method step 34 the first liquid crystal cell 151 is now absorbent and the second liquid crystal cell 153 is switched transmissively.
  • the second method step 34 the first liquid crystal cell 151 is now absorbent and the second liquid crystal cell
  • Liquid crystal cells 151 and 153 are connected to be absorbent. This is particularly advisable at low temperatures, since in this case a switching of the liquid crystal can be delayed and maximum absorption or transmission is only achieved after the electric field has been applied for some time. In contrast to those shown in Figures 4 to 6
  • visible light also enters the camera 100 along the second beam path 108.
  • a suitable calculation by the evaluation unit 113 can be used to draw conclusions about the distances of individual objects from the stereoscopic image acquisition. This is advantageous, for example, when recognizing objects, such as traffic signs.
  • FIGS. 8a and 8b Exemplary embodiments for the second deflecting mirror 104 are shown in FIGS. 8a and 8b.
  • a second deflection mirror 1041 is concave in FIG. 8a and a second deflection mirror 1042 is convex in FIG. 8b. Both the deflecting mirror 1041 and the deflecting mirror 1042 can be used as a second deflecting mirror 104.
  • Such a design makes it possible to change the area visible to the camera. In FIG. 8b, widening is achieved, and in FIG. 8a, the beam area is restricted by the different curvature of the mirror.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The invention relates to a method and to a device that are used for detecting the surrounding area and the interior of a motor vehicle. The device for carrying out the method comprises a camera device (10) with an optical path that lies in the direction of the surrounding area (103) of the vehicle, especially the road, and an optical path that lies in the direction of the vehicle interior (108). An arithmetic unit (110) is used to control and evaluate the image information that is determined.

Description

Verfahren und Vorrichtung zur Überwachung des Innenraums und des Umfeldes eines FahrzeugsMethod and device for monitoring the interior and surroundings of a vehicle
Stand der TechnikState of the art
Die Erfindung geht aus von einem Verfahren nach der Gattung des Hauptanspruches. In der Druckschrift Bosch-Zünder, Ausgabe Oktober 1998, Seite 8 ist in dem Artikel „Die neuen Augen des Autos, Limousinen lernen lesen" ein Verfahren dargestellt, in dem der Raum vor dem Fahrer im Umfeld des Fahrzeugs mittels zweier Videokameras überwacht wird. Das von den Kameras ermittelte Bild wird anschließend hinsichtlich in dem Bild erkennbarer Verkehrsschilder ausgewertet, die dem Fahrer in einer Anzeigeeinheit anschließend angezeigt werden. Ferner wird einThe invention is based on a method according to the preamble of the main claim. In the publication Bosch-Zünder, October 1998 edition, page 8, the article "The new eyes of the car, learn to read limousines" describes a process in which the space in front of the driver in the vehicle's surroundings is monitored by two video cameras The image determined by the cameras is then evaluated with respect to traffic signs recognizable in the image, which are then displayed to the driver in a display unit
Straßenverlauf erfaßt, um die Scheinwerferausrichtung derart zu steuern, daß der Lichtkegel auf der Fahrbahn liegt. Für den Fall, daß das Auto an den Straßenrand gerät, wird ein akustischer und/oder optischer Warner ausgelöst. Aus der WO 93/21615 ist ferner ein Verfahren bekannt, dieThe course of the road is detected in order to control the headlight alignment in such a way that the light cone lies on the road. In the event that the car comes to the side of the road, an acoustic and / or visual warning is triggered. A method is also known from WO 93/21615 which
Gehirnaktivitäten, insbesondere eines Fahrzeugführers, zu messen und bei einer Abweichung von dem normalen Wachzustand einen Alarm auszulösen. Die Messung erfolgt dabei über am Kopf des Fahrers angebrachte Elektroden. Vorteile der ErfindungTo measure brain activity, in particular of a driver, and to trigger an alarm if there is a deviation from the normal waking state. The measurement is carried out using electrodes attached to the driver's head. Advantages of the invention
Das erfindungsgemäße Verfahren mit den Merkmalen des Hauptanspruchs hat demgegenüber den Vorteil, daß sowohl der Innenraum als auch das Umfeld eines Fahrzeuges mit nur einer Kameravorrichtung erfaßt wird. Dies ist insbesondere dadurch möglich, daß eine Erfassung des Innenraums und des Umfeldes abwechselnd erfolgt. Bei einem hinreichend schnellen Wechsel zwischen der Erfassung des Innenraums und des Umfeldes kann einerseits ein Informationsverlust durch das Wechseln vernachlässigt werden, während andererseits nur eine einzige Kameravorrichtung und nicht zwei für den Innenraum und das Umfeld des Fahrzeugs erforderlich sind. Ebenso ist nur eine Recheneinheit zur Verarbeitung der gewonnenen Bildinformationen erforderlich.The method according to the invention with the features of the main claim has the advantage that both the interior and the surroundings of a vehicle are captured with only one camera device. This is possible, in particular, by alternately detecting the interior and the surroundings. In the case of a sufficiently rapid change between the detection of the interior and the surroundings, on the one hand a loss of information due to the change can be neglected, while on the other hand only a single camera device and not two are required for the interior and the surroundings of the vehicle. Likewise, only one computing unit is required to process the image information obtained.
Besonders vorteilhaft ist es ferner, daß der Innenraum des Fahrzeuges mit einer Strahlungsquelle erhellt wird, die für das menschliche Auge zumindest weitgehend unsichtbar ist. Dies hat den Vorteil, daß bei einer nächtlichen Fahrt, bei der in der Regel der Innenraum in einem Fahrzeug nicht oder nur schwach beleuchtet ist, der Innenraum trotzdem mit einer Kamera beobachtet werden kann, welche für die von der Strahlungsquelle ausgesandte Strahlung empfindlich ist. Insbesondere ist es hier vorteilhaft, eine Infrarotstrahlungsquelle, vorzugsweise eine oder mehrere Infrarotleuchtdioden, zu verwenden. Hierdurch wird gegenüber einer sichtbaren Quelle eine Störung des Fahrers vermieden.It is also particularly advantageous that the interior of the vehicle is illuminated with a radiation source that is at least largely invisible to the human eye. This has the advantage that when driving at night, when the interior of a vehicle is usually not or only dimly lit, the interior can still be observed with a camera that is sensitive to the radiation emitted by the radiation source. In particular, it is advantageous here to use an infrared radiation source, preferably one or more infrared light-emitting diodes. This prevents the driver from being disturbed compared to a visible source.
Weiterhin ist es vorteilhaft, ein Bild des Innenraums aus einer Überlagerung eines Bildes des Umfeldes und des Innenraums zu gewinnen, indem von dieser Überlagerung durch eine Recheneinheit ein Bild lediglich des Außenraums subtrahiert wird. Dadurch kann bei einer abwechselnden Erfassung des Umfeldes und des Innenraums auf eine Unterbrechung der Aufnahme des Außenraumes verzichtet werden, während lediglich eine Unterbrechung der Aufnahme des Innenraums erfolgt. Dadurch können Elemente zur optischen Unterbrechung, insbesondere mechanische Verschlüsse oder Spiegel eingespart werden. Insbesondere bei einer Beleuchtung des Innenraumes mit einerFurthermore, it is advantageous to create an image of the interior from a superimposition of an image of the surroundings and the To gain interior space by subtracting an image of only the exterior space from this overlay by a computing unit. As a result, when the surroundings and the interior are recorded alternately, there is no need to interrupt the recording of the exterior, while only interrupting the recording of the interior. This can save on elements for optical interruption, in particular mechanical closures or mirrors. Especially when the interior is illuminated with a
Infrarotstrahlungsquelle und einer Erfassung des Bildes des Innenraums durch einen Infrarotfilter wird ein Bild des Innenraumes im wesentlichen nur bei einer Aktivierung der Infrarotstrahlungsquelle erfaßt. Eine abwechselnde Beobachtung des Innenraumes und des Umfeldes ist somit durch ein Aufeinanderfolgen des Aus- und Einschaltens der Infrarotstrahlungsquelle möglich, wenn die Kameravorrichtung über einen weiteren Strahlengang verfügt, der in das Umfeld des Fahrzeuges führt und das Umfeld erfassen kann.Infrared radiation source and a detection of the image of the interior by an infrared filter, an image of the interior is essentially only detected when the infrared radiation source is activated. An alternate observation of the interior and the surroundings is thus possible by successively switching the infrared radiation source on and off if the camera device has a further beam path which leads into the surroundings of the vehicle and can detect the surroundings.
Weiterhin ist es vorteilhaft, bei einem ersten Verfahrensschritt nur den sichtbaren Teil des Umfeldes, bei einem zweiten Verfahrensschritt nur den sichtbaren Teil des Innenraumes zu erfassen. Eine rechnerische Trennung von Bildern des Innenraumes und des Umfeldes ist somit nicht erforderlich, wodurch die Anforderungen an eine Recheneinheit, in der die Bildinformationen ausgewertet werden, gesenkt werden. Dabei ist es besonders vorteilhaft, die Umschaltung zwischen der Erfassung des für die Kamera sichtbaren Teils des Umfeldes zu der Erfassung des für die Kamera sichtbaren Teils des Innenraums durch ein elektrooptisches Lichtventil vorzunehmen, insbesondere durch eine Flussigkristallzelle, die m Abhängigkeit von einem angelegten Signal zwischen einem transparenten und einem absorbierenden Modus umschaltbar istFurthermore, it is advantageous to detect only the visible part of the surroundings in a first method step and only the visible part of the interior in a second method step. A computational separation of images of the interior and the surroundings is therefore not necessary, as a result of which the requirements for a computing unit in which the image information is evaluated are reduced. It is particularly advantageous to switch between the detection of the part of the environment visible to the camera to the detection of the part of the interior visible to the camera by means of an electro-optical light valve, in particular by a liquid crystal cell which can be switched between a transparent and an absorbing mode as a function of an applied signal
Weiterhin ist es vorteilhaft, bei einem Wechsel zwischen einer Erfassung von Bildsignalen aus dem Umfeld des Fahrzeugs und aus dem Innenraum jeweils bereits nach der Erfassung von Teilbereichen des von der Kameravorrichtung maximal erfaßbaren Bildes zu wechseln Insbesondere kann ein Wechsel nach jeweils der Erfassung von Bildspalten bzw.Furthermore, it is advantageous to change when a change is made between image signals from the surroundings of the vehicle and from the interior, in each case after the acquisition of partial areas of the maximum image that can be captured by the camera device. In particular, a change after the acquisition of image columns or
Bildzeilen oder nach Gruppen von Bildpunkten erfolgen Da die Bildinformationen auch an die Recheneinheit übermittelt und dort verarbeitet werden muß, hat diese Vorgehensweise den Vorteil, daß ein schnellerer Wechsel zwischen einer Erfassung des Innenraums und des Außenraums möglich ist, so daß die Verschiebung zwischen zwei erfaßten Bildern z.B des Außenraums, die auf der Fahrzeugbewegung beruht, vermindertImage lines or by groups of pixels occur because the image information must also be transmitted to the processing unit and processed there, this procedure has the advantage that a faster change between a detection of the interior and the exterior is possible, so that the shift between two captured images eg the outside space, which is based on the vehicle movement, is reduced
Es ist weiterhin von Vorteil, sowohl das Gesicht des Fahrers, insbesondere die Augen, als auch die Straßenmarkierungen bzw. die Lage des Fahrzeuges zu den Straßenmarkierungen zu erfassen, denn aus diesen Informationen kann ermittelt werden, ob der Fahrer möglicherweise eingeschlafen ist, das Fahrzeug somit unkontrolliert fahrt und eine Warneinrichtung aktiviert wird, die den Fahrer weckt Gegenüber dem Stand der Technik, m dem mit einer Kameravorrichtung lediglich die Straßenmarkierungen erfaßt werden, erhalt man so eine zusätzliche Sicherheit, da auch das Gesicht des Fahrers erfaßt wird. Zum Beispiel bei langen Geradeausstrecken kann das Fahrzeug geraume Zeit innerhalb der Straßenmarkierungen laufen, während der Fahrer schon mehrere Sekunden schläft. Mit dem erfindungsgemäßen Verfahren kann auch in solch einem Fall ein Einschlafen des Fahrers erkannt werden.It is also advantageous to record both the driver's face, in particular the eyes, and the road markings or the position of the vehicle with respect to the road markings, since this information can be used to determine whether the driver may have fallen asleep, and thus the vehicle driving in an uncontrolled manner and activating a warning device which wakes the driver Compared to the prior art, in which only the road markings are detected with a camera device, additional security is obtained since the driver's face is also detected. For example, on long straight stretches, the vehicle can spend considerable time within the road markings run while the driver has been sleeping for several seconds. In such a case, the method according to the invention can also be used to identify the driver falling asleep.
Gegenüber dem Verfahren, Gehirnströme des Fahrers zu überwachen, ist bei der Beobachtung durch die Kamera das Anbringen von Elektroden am Körper des Fahrers nicht erforderlich. Da solche Elektroden nicht nur hinderlich sein können, da sie die Bewegungsfreiheit des Fahrers einschränken, sondern auch vom Fahrer vor Beginn der Fahrt das Anbringen vergessen oder aus Bequemlichkeit absichtlich nicht durchgeführt werden kann, kann somit die Nutzung einer Einschlafwarnung erleichtert und für den Fahrer angenehmer gestaltet werden. Das erfindungsgemäße Verfahren hat zudem den Vorteil, daß neben der Beobachtung des Innenraumes auch eine Erfassung der Verkehrszeichen im Umfeld des Fahrzeugs möglich ist und somit der Fahrer z.B. auf Warnschilder oder auf Höchstgeschwindigkeiten durch eine optische oder akustische Ausgabeeinheit besonders hingewiesen werden kann.Compared to the method of monitoring the driver's brain waves, the observation by the camera does not require the application of electrodes to the driver's body. Since such electrodes can not only be a hindrance since they restrict the freedom of movement of the driver, but can also be forgotten by the driver before the start of the journey or cannot be intentionally carried out for convenience, the use of a sleep warning can thus be facilitated and made more pleasant for the driver become. The method according to the invention also has the advantage that, in addition to observing the interior, it is also possible to detect the traffic signs in the vicinity of the vehicle, and thus the driver e.g. warning signs or maximum speeds can be specifically indicated by an optical or acoustic output unit.
Weiterhin ist es vorteilhaft, die Anzahl der Personen in einem Fahrzeug bzw. die Sitzplatzbelegung zu ermitteln. Diese Information kann z.B. zur Regelung eines Fahrwerks verwendet werden, durch das eine ungleichmäßige Belastung des Fahrzeugs ausgeglichen werden kann, wenn z.B. nur auf der linken Seite des Fahrzeuges Personen sitzen, der Fahrer und eine Person hinter dem Fahrer. Weiterhin kann über diese Information eine Sitzheizung gesteuert werden, die nur dann aktiviert wird, wenn jemand den Sitz auch tatsächlich benutzt. Insbesondere ist eine Ermittlung, ob ein Sitzplatz besetzt oder mit einem Kindersitz belegt ist, dahingehend vorteilhaft, daß die Auslösung eines Airbags gesperrt wird, fall ein Sitz unbelegt oder mit einem Kindersitz besetzt ist. Hierdurch kann einerseits das unnötige Auslösen eines Airbags bei einem unbesetzten Sitzplatz sowie auch eine Verletzung eines Kindes durch einen Airbag bei der Besetzung eines Sitzplatzes mit einem Kindersitz vermieden werden.It is also advantageous to determine the number of people in a vehicle or the seat occupancy. This information can be used, for example, to regulate a chassis, by means of which an uneven load on the vehicle can be compensated if, for example, there are only people on the left side of the vehicle, the driver and one person behind the driver. This information can also be used to control a seat heater that is only activated when someone is actually using the seat. In particular, a determination as to whether a seat is occupied or occupied by a child seat is advantageous in that the deployment of an airbag is blocked. if a seat is unoccupied or occupied by a child seat. In this way, on the one hand, the unnecessary deployment of an airbag in an unoccupied seat and also an injury to a child by an airbag when occupying a seat with a child seat can be avoided.
Weiterhin ist es sinnvoll, auch die Lippenbewegung einer vorgebbaren Person im Fahrzeug, vorzugsweise der Person des Fahrers zur Unterstützung einer Spracheingabe zu erfassen. Treten bei einer Spracheingabe z.B. in Folge vonFurthermore, it makes sense to also record the lip movement of a predefinable person in the vehicle, preferably the person of the driver, to support voice input. When entering a voice e.g. as a consequence of
Fahrgeräuschen Unklarheiten auf, welcher Befehl eingegeben worden ist, so kann anhand einer Auswertung der Lippenbewegungen des Fahrers, die von der Kameravorrichtung erfaßt werden, eine Überprüfung einer Spracheingabe erfolgen. Dies ist z.B. möglich, indem die Lippenbewegungen daraufhin analysiert werden, ob in dem von der Spracheingabeeinheit verstandenen Befehl auch die Silben enthalten sind, die den erfaßten Lippenbewegungen entsprechen. Kann die Spracheingabeeinheit allein aus dem Verstandenen keine eindeutige Zuordnung treffen, so ist dies möglicherweise durch den Vergleich mit den Lippenbewegungen möglich.If driving noises are unclear as to which command has been entered, a voice input can be checked on the basis of an evaluation of the driver's lip movements, which are recorded by the camera device. This is e.g. possible by analyzing the lip movements to determine whether the command understood by the voice input unit also contains the syllables that correspond to the detected lip movements. If the speech input unit cannot make an unambiguous assignment based solely on what is understood, this may be possible through a comparison with the lip movements.
Weiterhin ist es vorteilhaft, eine Vorrichtung derart vorzusehen, daß eine Erfassung des Fahrzeugumfeldes und des Fahrzeuginnenraumes möglich ist . Insbesondere ist es vorteilhaft, eine Kameravorrichtung derartig auszuführen, daß ein Strahlengang in Richtung des Innenraumes und ein Strahlengang in Richtung der Fahrbahn weist, vorzugsweise in Fahrtrichtung, da die für einen Fahrer wichtigstenFurthermore, it is advantageous to provide a device in such a way that the surroundings of the vehicle and the interior of the vehicle can be detected. In particular, it is advantageous to design a camera device in such a way that a beam path points in the direction of the interior and a beam path points in the direction of the roadway, preferably in the direction of travel, since these are the most important for a driver
Informationen des Fahrzeugumfeldes in der Regel die Fahrbahn bzw. der Fahrbahnrand sowie Objekte in der eigenen Fahrspur darstellen.Information about the vehicle's environment is usually the road or the lane edge as well as objects in your own lane.
Weiterhin ist es vorteilhaft, in der Kameravorrichtung einen Umlenkspiegel vorzusehen, der halb durchlässig ist.Furthermore, it is advantageous to provide a deflecting mirror in the camera device that is semi-transparent.
Hierdurch kann ein Strahlengang z.B. aus dem Innenraum durch Reflektion und ein anderer Strahlengang durch Transmission durch den halbdurchlässigen Spiegel in die Kameravorrichtung eintreten. Eine mechanische Verstellung zwischen den beiden Strahlengängen kann hierdurch entfallen.This allows a beam path e.g. enter the camera device from the interior through reflection and another beam path through transmission through the semi-transparent mirror. This eliminates the need for mechanical adjustment between the two beam paths.
Ferner ist es vorteilhaft, mindestens einen Umlenkspiegel konkav oder konvex auszuführen, da hierdurch je nach Verwendung der Vorrichtung eine Einschränkung bzw. eine Aufweitung des durch die Kamera beobachtbaren Bereiches möglich ist .Furthermore, it is advantageous to have at least one deflecting mirror concave or convex, since this makes it possible, depending on the use of the device, to restrict or expand the area observable by the camera.
Es ist ferner vorteilhaft, die Kamera als eine CCD oder eine CMOS-Kamera auszuführen. Die erfindungsgemäße Kameravorrichtung kann hierdurch besonders günstig ausgeführt werden. Ferner ist es vorteilhaft, die Kameravorrichtung mit mindestens zwei Kameras auszustatten, da so eine stereoskopische Bilderfassung möglich ist, die auch Rückschlüsse auf Entfernungen von Objekten zu einem Fahrzeug bzw. Entfernungen innerhalb des Innenraumes durch die Auswertung eines entfernungsabhängigen Bildversatzes erschließbar machen.It is also advantageous to design the camera as a CCD or a CMOS camera. The camera device according to the invention can hereby be carried out particularly cheaply. Furthermore, it is advantageous to equip the camera device with at least two cameras, since stereoscopic image acquisition is possible, which also enables conclusions to be drawn about distances from objects to a vehicle or distances within the interior by evaluating a distance-dependent image offset.
Es ist außerdem vorteilhaft, die Kameravorrichtung in einem oberen Bereich der Windschutzscheibe anzubringen oder dieIt is also advantageous to mount the camera device in an upper region of the windshield or the
KameraVorrichtung in das Dach des Fahrzeuges zu integrieren. Zu einer Position zumindest in der Nähe des Fahrzeugdaches ist zum einen die Übersicht über das Fahrzeugumfeld, als auch zum anderen die Übersicht über den Fahrzeuginnenraum besonders gut gewährleistet.Integrate camera device into the roof of the vehicle. To a position at least near the vehicle roof on the one hand, the overview of the vehicle surroundings, and on the other hand, the overview of the vehicle interior is particularly well guaranteed.
Weiterhin ist es vorteilhaft, zumindest einen Umlenkspiegel über eine Stellvorrichtung derart ausrichtbar auszuführen, daß zumindest die Augen und/oder die Lippen des Fahrers von der Kamera erfaßbar sind. Dies ist insbesondere bei wechselnden Fahrern vorteilhaft, die einerseits eine unterschiedliche Körpergröße aufweisen und andererseits eine unterschiedliche Sitzeinstellung bevorzugen können. Ferner sind auch Bewegungen des Fahrers während der Fahrt zu beachten. Indem ein Umlenkspiegel derart ausgeführt ist, daß der erfaßte Sichtbereich nachführbar ist, können insbesondere die Augen und/oder die Lippen eines Fahrers ständig im Erfassungsbereich der Kameravorrichtung gehalten werden. Vor allem während der Fahrt ist somit sowohl eine Funktion der Einschlafkontrolle, als auch eine Kontrolle einer Spracheingabe gewährleistet .Furthermore, it is advantageous to design at least one deflecting mirror so that it can be aligned by means of an adjusting device such that at least the driver's eyes and / or lips can be detected by the camera. This is particularly advantageous for changing drivers who on the one hand have a different body size and on the other hand can prefer a different seat setting. Furthermore, movements of the driver while driving are to be observed. By designing a deflecting mirror in such a way that the detected visual range can be tracked, in particular the eyes and / or lips of a driver can be kept constantly in the detection range of the camera device. A function of the sleep control as well as a control of a voice input is thus guaranteed, especially while driving.
Zeichnungendrawings
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen Figur 1 eine Anordnung der erfindungsgemäßen Vorrichtung in einem Kraftfahrzeug, Figur 2 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens, die Figuren 2a und 2b Details des erfindungsgemäßen Verfahrens, Figur 2c ein erfindungsgemäßes Auswerteverfahren, Figur 3 ein Ablaufdiagramm für eine weitere Ausführung des erfindungsgemäßen Verfahrens, Figur 4 eine Ausführung der erfindungsgemäßen Vorrichtung, Figur 5 eine andere Ausführung der erfindungsgemäßen Vorrichtung, Figur 6 eine andere Ausführung der erfindungsgemäßen Vorrichtung, Figur 7 eine weitere Ausführung der erfindungsgemäßen Vorrichtung und die Figuren 8a und 8b Ausführungen eines erfindungsgemäßen Umlenkspiegels.Embodiments of the invention are shown in the drawing and explained in more detail in the following description. 1 shows an arrangement of the device according to the invention in a motor vehicle, FIG. 2 shows a flowchart of the method according to the invention, FIGS. 2a and 2b show details of the method according to the invention, FIG. 2c shows an evaluation method according to the invention, FIG. 3 shows a flowchart for a further embodiment of the method according to the invention, FIG 4 an embodiment of the device according to the invention, FIG. 5 another Implementation of the device according to the invention, FIG. 6 shows another embodiment of the device according to the invention, FIG. 7 shows another embodiment of the device according to the invention and FIGS. 8a and 8b implementations of a deflecting mirror according to the invention.
Beschreibung der AusführungsbeispielsDescription of the embodiment
In der Figur 1 ist eine erfindungsgemäße Kameravorrichtung 10 in einem Kraftfahrzeug an der oberen Kante 11 einer1 shows a camera device 10 according to the invention in a motor vehicle on the upper edge 11
Windschutzscheibe 12 angeordnet. Die Kameravorrichtung weist eine erste optische Öffnung 13 auf, wobei ein erster Strahlengang 14 zu einem Fahrer 15 des Fahrzeugs führt. Der Mittelpunktsstrahl des Strahlengangs ist eingezeichnet. Ferner besitzt die Kameravorrichtung 10 eine zweite optische Öffnung 16, die auf der der ersten optischen Öffnung 13 abgewandten Seite der Kameravorrichtung 10 angeordnet und daher aus der dargestellten Perspektive nicht sichtbar ist. Die zweite optische Öffnung 16 ist daher nur gestrichelt gekennzeichnet. Ferner ist ein zweiter Strahlengang 17 skizziert, der von der zweiten optischen Öffnung 16 der Kameravorrichtung 10 durch die Windschutzscheibe 12 hindurch in das Fahrzeugumfeld in den Bereich vor dem Fahrzeug führt . In die gleiche Richtung führt auch der Blick des Fahrers, der als ein dritter Strahlengang 18 skizziert ist. Ferner ist das Cockpit 19 des Fahrzeugs mit einem Lenkrad 20 und einer Anzeigeeinheit 21 dargestellt. Die Anzeigeeinheit 21 ist dabei vorzugsweise als ein Kombiinstrument ausgeführt, bei dem eine Vielzahl von Anzeigen zu einer elektronischen Einheit integriert sind. Insbesondere ist auch ein frei programmierbares Kombiinstrument möglich, bei dem eine Darstellung verschiedener Anzeigeinstrumente in einem Bildschirm z.B. in Form einer Flüssigkristallanzeige erfolgt. In der Figur nicht gesondert dargestellt ist eine Recheneinheit, durch die die von der Kameravorrichtung 10 aufgenommenen Bildinformationen verarbeitet werden. Die Recheneinheit kann entweder in dem dargestellten Gehäuse der Kameravorrichtung 10, in dem Dach des Fahrzeugs jenseits der oberen Kante 11 der Windschutzscheibe oder im Cockpit 19 des Fahrzeuges angeordnet sein. In einem bevorzugten Ausführungsbeispiel ist die Recheneinheit in einem für den Fahrer 15 nicht sichtbaren Bereich der Anzeigeeinheit 21 angeordnet. Da die Anzeigeeinheit 21 für die Ausgabe von optischen Warnsignalen verwendet wird, die auf der Auswertung der durch die Kameravorrichtung 10 aufgenommenen Bildinformationen durch die Recheneinheit beruhen, z.B. bei einem drohenden Einschlafen des Fahrers oder bei einerWindshield 12 arranged. The camera device has a first optical opening 13, a first beam path 14 leading to a driver 15 of the vehicle. The center beam of the beam path is shown. Furthermore, the camera device 10 has a second optical opening 16, which is arranged on the side of the camera device 10 facing away from the first optical opening 13 and is therefore not visible from the perspective shown. The second optical opening 16 is therefore only shown in broken lines. Furthermore, a second beam path 17 is outlined, which leads from the second optical opening 16 of the camera device 10 through the windshield 12 into the vehicle surroundings into the area in front of the vehicle. The driver's gaze, which is outlined as a third beam path 18, also leads in the same direction. Furthermore, the cockpit 19 of the vehicle is shown with a steering wheel 20 and a display unit 21. The display unit 21 is preferably designed as an instrument cluster, in which a large number of displays are integrated into an electronic unit. In particular, a freely programmable instrument cluster is also possible, in which a display of different display instruments in one Screen, for example in the form of a liquid crystal display. A computing unit by which the image information recorded by the camera device 10 is processed is not shown separately in the figure. The computing unit can either be arranged in the housing of the camera device 10 shown, in the roof of the vehicle beyond the upper edge 11 of the windshield or in the cockpit 19 of the vehicle. In a preferred exemplary embodiment, the computing unit is arranged in an area of the display unit 21 which is not visible to the driver 15. Since the display unit 21 is used for the output of optical warning signals, which are based on the evaluation of the image information recorded by the camera device 10 by the computing unit, for example if the driver threatens to fall asleep or if the driver falls asleep
Überschreitung der zulässigen Höchstgeschwindigkeit, können lange Datenübertragungswege somit vermieden werden.Exceeding the permissible maximum speed, long data transmission paths can be avoided.
Die Kameravorrichtung 10 ist so nah an dem nicht dargestellten Fahrzeugdach im oberen Bereich derThe camera device 10 is so close to the vehicle roof, not shown, in the upper region of the
Windschutzscheibe 12 angeordnet, daß eine Überwachung des Fahrzeuginnenraums und eine Überwachung der Fahrbahn vor dem Fahrzeug gut möglich ist. Vorzugsweise ist die Kameravorrichtung daher in der Fahrzeugmitte bezüglich der Seiten des Fahrzeuges angeordnet. Möglich ist auch eineWindshield 12 arranged that monitoring the vehicle interior and monitoring the road ahead of the vehicle is well possible. The camera device is therefore preferably arranged in the center of the vehicle with respect to the sides of the vehicle. One is also possible
Anordnung im linken, oberen Bereich der Windschutzscheibe 12 bei einem links gesteuerten Fahrzeug, da somit sowohl der Fahrer, als auch die gesamte Fahrbahn für die Kameravorrichtung gut erfaßbar ist. Bei einem rechts gesteuerten Auto ist die Kamera dann in einem rechten, oberen Bereich der Windschutzscheibe 12 anzuordnen. Die erste und zweite optische Öffnung 13,16 können auf verschiedene Weise ausgeführt sein. Es ist eine Ausführung als ein Filter, als eine Öffnung, als ein Objektiv oder eine Kombination in Form einer Hintereinanderschaltung der genannten Bauteile möglich.Arrangement in the upper left area of the windshield 12 in a vehicle controlled on the left, since both the driver and the entire roadway can thus be easily detected by the camera device. In the case of a car controlled on the right, the camera is then to be arranged in a right, upper area of the windshield 12. The first and second optical openings 13, 16 can be designed in different ways. An embodiment as a filter, as an opening, as an objective or a combination in the form of a series connection of the named components is possible.
In Figur 2 ist ein Ablauf des erfindungsgemäßen Verfahrens dargestellt. Von einem Initialisierungsschritt 30 ausgehend wird in einem ersten Verfahrensschritt 31 eine erste Bildinformation 32 des Fahrzeugumfeldes erfaßt und durch die Recheneinheit ausgewertet, wobei eine erste Ausgabe 33 über optische und/oder akustische Ausgabemedien in Abhängigkeit von der ersten Bildinformation 32 erfolgt. Die erste Ausgabe erfolgt also in Abhängigkeit von dem Fahrzeugumfeld. In einem anschließenden, zweiten Verfahrensschritt 34 wird aus einer zweiten Bildinformation 35, bei der eine Bildinformation des Fahrzeugumfeldes und des Fahrzeuginnenraumes überlagert erfaßt wird, unter Berücksichtigung der zuvor ermittelten ersten Bildinformation 32 des Fahrzeugumfeldes durch Subtraktion der ersten Bildinformation 32 von der zweiten Bildinformation 35 eine Bildinformation des Fahrzeuginnenraumes ermittelt, so daß in Abhängigkeit von der ermittelten Bildinformation eine zweite Ausgabe 36 ebenfalls über optische und/oder akustische Ausgabemedien erfolgt, wobei die zweite Ausgabe insbesondere von der Bildinformation des Fahrzeuginnenraums abhängig ist . In einem anschließenden Entscheidungsschritt 37 erfolgt ein Abbruch des Verfahrens, falls die Kameravorrichtung deaktiviert wird, also insbesondere wenn das Fahrzeug abgestellt wird. Dieser Entscheidungsweg ist in der Zeichnung mit dem Buchstaben „Y" gekennzeichnet. In diesem Fall endet das Verfahren mit einer Deaktivierung der Kameravorrichtung m einem abschließenden Verfahrensschritt 38 Wird das Fahrzeug nicht deaktiviert, so wird zu dem ersten Verfahrensschritt 31 zuruckverzweigt . Dieser Entscheidungsweg ist m der Figur 2 mit dem Buchstaben „N" gekennzeichnet .A sequence of the method according to the invention is shown in FIG. Starting from an initialization step 30, in a first method step 31, first image information 32 of the vehicle surroundings is acquired and evaluated by the computing unit, with a first output 33 taking place via optical and / or acoustic output media as a function of the first image information 32. The first output is therefore dependent on the vehicle environment. In a subsequent, second method step 34, image information is obtained from second image information 35, in which image information of the vehicle environment and the vehicle interior is superimposed, taking into account the previously determined first image information 32 of the vehicle environment by subtracting the first image information 32 from the second image information 35 of the vehicle interior is determined, so that, depending on the image information determined, a second output 36 also takes place via optical and / or acoustic output media, the second output being dependent in particular on the image information of the vehicle interior. In a subsequent decision step 37, the method is terminated if the camera device is deactivated, in particular if the vehicle is parked. This decision-making path is marked in the drawing with the letter "Y". In this In this case, the method ends with a deactivation of the camera device in a final method step 38. If the vehicle is not deactivated, the method branches back to the first method step 31. This decision-making path is identified in FIG. 2 with the letter “N”.
In der Figur 2a ist der erste Verfahrensschritt 31 detailliert dargestellt. In einem ersten Teilschritt 40 wird die Kameravorrichtung aktiviert und die ersteThe first method step 31 is shown in detail in FIG. 2a. In a first sub-step 40, the camera device is activated and the first
Bildmformation 32 aufgenommen. In einem zweiten Teilschritt 41 wird die erste Bildinformation 32 an die Recheneinheit zur weiteren Bearbeitung übermittelt .Image information 32 recorded. In a second sub-step 41, the first image information 32 is transmitted to the computing unit for further processing.
In der Figur 2b ist der zweite Verfahrensschritt 34 inThe second method step 34 is shown in FIG. 2b
Teilschritte untergliedert. In einem ersten Teilschritt 42 wird die für das menschliche Auge nicht sichtbare Strahlungsquelle aktiviert, indem sie mit einer elektrischen Spannung versorgt wird. In einem zweiten Teilschritt 43 wird die Kameravorrichtung 10 aktiviert und ein überlagertes Bild des Innenraums und des Fahrzeugumfelds wird als eine zweite Bildinformation 35 erfaßt. Hierzu muß m Abhängigkeit von den Lichtverhältnissen eine Belichtungsregulierung erfolgen, z.B. eine veränderliche Blendenöffnung oder eine Regulierung des an die lichtempfindlichen Sensoren der Kameravorrichtung anliegenden Stromes. In einem dritten Teilschritt 44 wird nach erfolgreicher Bildaufnahme die zweite Bildmformation 35 gespeichert und an die Recheneinheit zur weiteren Verarbeitung übermittelt. In einem vierten Teilschritt 45 wird die für das menschliche Auge nicht sichtbareSub-steps subdivided. In a first sub-step 42, the radiation source which is not visible to the human eye is activated by being supplied with an electrical voltage. In a second sub-step 43, the camera device 10 is activated and an overlaid image of the interior and the vehicle surroundings is acquired as second image information 35. For this purpose, depending on the lighting conditions, exposure must be regulated, e.g. a variable aperture or regulation of the current applied to the light-sensitive sensors of the camera device. In a third sub-step 44, after successful image acquisition, the second image information 35 is stored and transmitted to the computing unit for further processing. In a fourth sub-step 45, that which is not visible to the human eye is shown
Strahlungsquelle deaktiviert. Eine Ermittlung des Bildes des Innenraumes erfolgt anschließend in einem in der Figur 2b nicht dargestellten Berechnungsschritt in der Recheneinheit.Radiation source deactivated. An identification of the image of the The interior then takes place in a calculation step, not shown in FIG. 2b, in the computing unit.
In der Figur 2c ist ein Auswerteverfahren durch die Recheneinheit dargestellt, das aus einer Verarbeitung der durch die Kameravorrichtung aufgenommenen Bildinformationen und der ersten Ausgabe 33 bzw. der zweiten Ausgabe 36 besteht. Als Beispiel für ein Auswerteverfahren wird eine Einschlafwarnung mittels Beobachtung des Fahrers 15 angeführt, wobei eine Beobachtung des Fahrzeuginnenraums erforderlich ist und wobei folglich die zweite Ausgabe 36 erfolgt. Vergleichbar ist auch ein Verfahren zur Fahrzeugumfelderkennung ausführbar, z.B. zur Erkennung von Verkehrszeichen und/oder von Straßenmarkierungen, wobei die erste Ausgabe 33 erfolgt.FIG. 2c shows an evaluation method by the computing unit, which consists of processing the image information recorded by the camera device and the first output 33 and the second output 36, respectively. As an example of an evaluation method, a sleep warning by observation of the driver 15 is given, an observation of the vehicle interior being necessary and consequently the second output 36 taking place. A method for vehicle surroundings recognition can also be carried out in a comparable manner, e.g. for recognizing traffic signs and / or road markings, the first output 33 taking place.
In einem ersten Initialisierungsschritt 50 wird aus der ersten und der zweiten Bildinformation 32 und 35 ein Bild der Augenpartie des Fahrers durch die Recheneinheit ermittelt. In einem ersten Entscheidungsschritt 52 wird das aufgenommene Bild mit einer zuvor gespeicherten Bildinformation 51 der Augenpartie des Fahrers verglichen. Die Bildinformation 51 ist dabei ein leeres Bild, falls das Fahrzeug gerade erst gestartet und noch keine Bildinformation gespeichert wurde. Wird dabei festgestellt, daß die Augen des Fahrers offen sind, der Fahrer also nicht schläft, oder ist die Bildinformation 51 das leere Bild, so wird der Entscheidungsweg N verfolgt und in einem Verfahrensschritt 53 wird das neu aufgenommene Teilbild abgespeichert In einem anderen Speicher wird ferner abgelegt, daß der Fahrer zum Zeitpunkt der Aufnahme wach ist. In einem Abschlußschritt 54 wird das Auswerteverfahren beendet. Bei der nächsten Übermittlung der ersten und zweiten Bildinformation 32 bzw. 35 an die Recheneinheit wird das Auswerteverfahren erneut gestartet. Der Neustart erfolgt im übrigen bei jeder Beendigung des Auswerteverfahrens, falls das Fahrzeug oder die Kameravorrichtung nicht deaktiviert wird.In a first initialization step 50, an image of the driver's eye area is determined from the first and second image information 32 and 35 by the computing unit. In a first decision step 52, the recorded image is compared with previously stored image information 51 of the driver's eye area. The image information 51 is an empty image if the vehicle has just started and no image information has yet been stored. If it is determined that the driver's eyes are open, that is to say the driver is not sleeping, or if the image information 51 is the empty image, the decision path N is followed and the newly recorded partial image is stored in a method step 53 filed that the driver is awake at the time of recording. In a final step 54, the evaluation process completed. The evaluation process is started again the next time the first and second image information 32 and 35 are transmitted to the computing unit. The restart takes place every time the evaluation process is ended, unless the vehicle or the camera device is not deactivated.
Wird von der Recheneinheit festgestellt, daß die Augen des Fahrers geschlossen sind, so wird der Entscheidungsweg Y von dem ersten Entscheidungsschritt 52 aus zu einem zweitenIf the computing unit determines that the driver's eyes are closed, the decision path Y becomes a second from the first decision step 52
Entscheidungsschritt 55 verfolgt. Hier wird nun geprüft, ob die Augen des Fahrers bereits bei der letzten Aufnahme geschlossen waren. Ist dies nicht der Fall, so wird zu einem Teilschritt 56 verzweigt, in dem abgespeichert wird, daß die Augen des Fahrers zu dem Zeitpunkt der momentanen Aufnahme geschlossen sind. In einem Abschlußschritt 57 wird das Auswerteverfahren beendet. Waren die Augen des Fahrers bereits bei der letzten Aufnahme geschlossen so wird der Entscheidungsweg Y von dem zweiten Entscheidungsschritt 55 aus zu einem ersten Warnschritt 58 weiterverfolgt. Diese Warnung ist eine akustische Warnung bzw. eine optische Warnung, vorzugsweise über die Anzeigeeinheit 21. Dadurch, daß erst eine Warnung nach einer zweiten Aufnahme und damit nach dem zweiten Entscheidungsschritt 55 erfolgt, wird vermieden, daß eine Warnung bereits durch zufälligeDecision step 55 followed. Here it is checked whether the driver's eyes were already closed when the last picture was taken. If this is not the case, a branch is made to a sub-step 56 in which it is stored that the driver's eyes are closed at the time of the current recording. The evaluation process is ended in a final step 57. If the driver's eyes were already closed when the last picture was taken, the decision path Y is followed from the second decision step 55 to a first warning step 58. This warning is an acoustic warning or a visual warning, preferably via the display unit 21. The fact that only a warning is given after a second recording and thus after the second decision step 55 prevents a warning from being given by accidental ones
Zeitgleichheit von einem Blinzeln des Fahrers und einer Aufnahme der deshalb geschlossenen Augen des Fahrers durch die Kameravorrichtung 10 weitgehend vermieden wird.Simultaneity of the driver blinking and the driver's eyes being closed by the camera device 10 is largely avoided.
Nach dem ersten Warnschritt 58 erfolgt ein dritterAfter the first warning step 58 there is a third
Entscheidungsschritt 59, bei dem eine Bildinformation 67 einer weiteren Aufnahme der Gesichtspartie des Fahrers berücksichtigt wird. Sind die Augen des Fahrers nun wieder geöffnet, so wird in den Entscheidungsweg Y zu einem Verfahrensschritt 60 verzweigt, indem die neu aufgenommene Bildinformation 67 gespeichert wird. Ferner wird in einem Speicher abgelegt, daß die Augen des Fahrers geöffnet sind. In einem anschließenden Abschlußschritt 61 wird das Auswerteverfahren beendet. Sind die Augen des Fahrers jedoch weiter geschlossen, so wird in dem dritten Entscheidungsschritt 59 ein Entscheidungsweg N zu einem zweiten Warnschritt 62 verfolgt . In dem zweiten Warnschritt 62 erfolgt eine akustische Warnung deutlich lauter als in dem ersten Warnschritt 58. In einem vierten Entscheidungsschritt 63 wird nochmals eine Bildinformation 68 der Gesichtspartie des Fahrers erfaßt sowie der Zustand 69 eines Schalters abgefragt. Wird entweder festgestellt, daß die Augen des Fahrers nunmehr geöffnet sind, oder wird von dem Fahrer der Schalter betätigt, so wird der Entscheidungsweg Y weiterverfolgt. In einem ersten Teilschritt 64 wird nun gespeichert, daß die Augen des Fahrers geöffnet sind, und das Auswerteverfahren wird in einem Abschlußschritt 65 beendet. Wird weder festgestellt, daß die Augen des Fahrers geöffnet sind, noch daß der Schalter ausgelöst ist, so wird in den Entscheidungsweg N zu einem dritten Warnschritt 66 verzweigt. Es folgt nun nochmals eine laute, akustische Warnung, und das Fahrzeug wird unter Einschaltung der Warnblinkanlage und der Bremsleuchten verzögert, so daß eine führerlose Fahrt vermieden wird. Da Möglichkeiten bestehen, bei denen eine Identifikation der Augen des Fahrers über die Kameravorrichtung nicht möglich ist, so zum Beispiel wenn der Fahrer eine Sonnenbrille trägt, ist eine Deaktivierung des in der Figur 2c dargestellten Ablaufes möglich. Weiterhin ist es möglich, d e Anzahl der Abfragen der Bildmformation von der Augenpartie des Fahrers bis zu der Durchfuhrung eines jeweiligen Warnschritts zu erhöhen, um versehentliche Warnungen zu vermeiden. Die Anzahl der Abfragen ist dabei von der Frequenz der Erfassung einer Bildinformation des Innenraums abhangig.Decision step 59, in which image information 67 of a further image of the driver's face area is taken into account. If the driver's eyes are now open again, a branch is made in decision path Y to a method step 60 in which the newly recorded image information 67 is stored. It is also stored in a memory that the driver's eyes are open. In a subsequent final step 61, the evaluation process is ended. However, if the driver's eyes are still closed, a decision path N to a second warning step 62 is followed in the third decision step 59. In the second warning step 62, an acoustic warning is given clearly louder than in the first warning step 58. In a fourth decision step 63, image information 68 of the part of the driver's face is recorded again and the state 69 of a switch is queried. If it is ascertained that the driver's eyes are now open, or if the driver actuates the switch, the decision path Y is continued. In a first sub-step 64, it is now stored that the driver's eyes are open, and the evaluation process is ended in a final step 65. If it is not ascertained that the driver's eyes are open or that the switch has been triggered, a branch is made in decision path N to a third warning step 66. A loud, acoustic warning now follows, and the vehicle is decelerated by switching on the hazard warning lights and the brake lights, so that driverless driving is avoided. Since there are possibilities in which identification of the driver's eyes via the camera device is not possible, for example if the driver wears sunglasses, the sequence shown in FIG. 2c can be deactivated. It is also possible to increase the number of queries of the image information from the driver's eye area to the implementation of a respective warning step in order to avoid accidental warnings. The number of queries depends on the frequency of the acquisition of image information of the interior.
Das m der Figur 2c dargestellte Verfahren kann ferner auf die Überwachungslage des Fahrzeugs zu einerThe method shown in FIG. 2c can also be based on the monitoring position of the vehicle
Straßenmarkierung übertragen werden, wenn die Erfassung der Bildmformation der Gesichtspartie des Fahrers durch eine Erfassung der Bildmformation der Straßenmarkierung ersetzt und die Lage des Fahrzeugs zu den Straßenmarkierungen ausgewertet wird.Road markings are transmitted if the detection of the image information of the part of the driver's face is replaced by a detection of the image information of the road marking and the position of the vehicle relative to the road markings is evaluated.
In der Figur 3 ist ein weiteres erfindungsgemäßes Verfahren zur Überwachung des Umfeldes des Innenraumes eines Kraftfahrzeuges dargestellt. Gleiche Bezugszeichen stehen für gleiche Verfahrenselemente wie der Figur 2. Nach einem Initialisierungsschritt 30 wird einem ersten Verfahrensschritt 80 eine erste Bildmformation 81 des Fahrzeugumfeldes ermittelt, an die Recheneinheit weitergeleitet und in Abhängigkeit von der ersten Bildmformation 81 kommt es zu der ersten Ausgabe 33. In einem zweiten Verfahrensschritt 82 wird eine zweite Bildinformation 83 des Innenraumes von der Kameravorrichtung erfaßt und an die Recheneinheit weitergeleitet . Es kommt zu der zweiten Ausgabe 36 in Abhängigkeit von der erfaßten Bildmformation. Während des ersten Verfahrensschπttes 80 ist ein elektrooptisches Lichtventil m Richtung des Fahrzeugumfeldes geöffnet. In dem zweiten Verfahrensschritt 82 ist ein elektronisches Lichtventil zum Fahrzeuginnenraum geöffnet. Nach dem zweiten Verfahrensschritt 82 kommt es zu einem Entscheidungsschritt 37. Wird die Kameravorrichtung deaktiviert, so wird der Entscheidungsweg Y verfolgt und in einem abschließenden Verfahrensschritt 38 wird die Kameravorrichtung deaktiviert. Ansonsten wird der mit N bezeichnete Entscheidungsweg zu dem ersten Verfahrensschritt 80 zurückverzweigt. Sowohl während des ersten als auch während des zweiten Verfahrensschrittes 80, 82 ist dabei in einem bevorzugten Ausführungsbeispiel das jeweilige Lichtventil nur für 90% der Dauer des jeweiligen Verfahrensschrittes geöffnet . Hierdurch wird eineFIG. 3 shows a further method according to the invention for monitoring the surroundings of the interior of a motor vehicle. The same reference numerals stand for the same method elements as in FIG. 2. After an initialization step 30, a first method step 80 determines a first image information 81 of the vehicle's surroundings, forwards it to the computing unit and, depending on the first image information 81, the first output 33 occurs second method step 82, second image information 83 of the interior is captured by the camera device and forwarded to the computing unit. The second output 36 occurs depending on the captured image information. During the first method step 80, an electro-optical light valve is opened in the direction of the vehicle surroundings. In the second method step 82, an electronic light valve to the vehicle interior is opened. After the second method step 82, it comes to a decision step 37. If the camera device is deactivated, the decision path Y is followed and in a final method step 38 the camera device is deactivated. Otherwise, the decision path labeled N is branched back to the first method step 80. In a preferred exemplary embodiment, the respective light valve is only opened for 90% of the duration of the respective method step both during the first and during the second method step 80, 82. This will create a
Überschneidung der beiden aufzunehmenden Bildinformationen vermieden. Denn insbesondere bei niedrigen Temperaturen, durch die das Schaltverhalten des Flüssigkristalls träge werden kann, wird somit eine Überschneidung der aufzunehmenden Bildinformationen vermieden.Overlap of the two image information to be recorded avoided. This is because, particularly at low temperatures, which can make the switching behavior of the liquid crystal sluggish, an overlap of the image information to be recorded is avoided.
Das in der Figur 2c beschriebene Auswerteverfahren ist direkt auf die Erste Ausgabe bzw. die zweite Ausgabe 36 in der Figur 3 übertragbar.The evaluation method described in FIG. 2c can be transferred directly to the first edition or the second edition 36 in FIG. 3.
In der Figur 4 ist eine erfindungsgemäße Ausführung einer Kameravorrichtung 10 mit einer Recheneinheit 110 dargestellt. Die Kameravorrichtung 10 befindet sich in einem Gehäuse, in dem eine Kamera 100, die als eine CCD- oder eine CMOS-Kamera ausgeführt ist, mit einem ersten Objektiv 101 angeordnet ist. In das erste Objektiv 101 trifft Licht von einem ersten Umlenkspiegel 102. Der erste Umlenkspiegel 102 ist halb transparent ausgeführt, so daß einerseits ein erster Strahlengang 103 aus dem Fahrzeugumfeld durch eine Öffnung 109 in dem Gehäuse der Kameravorrichtung 10 durch den ersten Umlenkspiegel 102 und das erste Objektiv 101 zur Kamera 100 verläuft. Ferner verläuft andererseits ein zweiter Strahlengang 108 von einem zweiten Umlenkspiegel 104 zu dem ersten Umlenkspiegel 102. Der zweite Strahlengang 108 wird durch den ersten Umlenkspiegel 102 zu der Kamera 100 umgelenkt. Der zweite Strahlengang 108 geht von dem Fahrzeuginnenraum aus und tritt durch ein zweites Objektiv 107 in die Kameravorrichtung 10 ein. Bevor er den zweiten Umlenkspiegel 104 erreicht, durchquert er einen Infrarotfilter 106. Die Kamera 100 ist über eine erste Datenverbindung 111 mit der Recheneinheit 110 verbunden. Die Recheneinheit 110 besteht aus einer Steuereinheit 112 und einer Auswerteeinheit 113, die über eine zweiteFIG. 4 shows an embodiment of a camera device 10 according to the invention with a computing unit 110. The camera device 10 is located in a housing in which a camera 100, which is designed as a CCD or a CMOS camera, is arranged with a first lens 101. Light from a first deflecting mirror 102 strikes the first lens 101. The first deflecting mirror 102 is designed to be semi-transparent, so that on the one hand a first beam path 103 from the vehicle surroundings through an opening 109 in the housing of the camera device 10 through the first deflecting mirror 102 and the first Objective 101 runs to camera 100. Furthermore, on the other hand, a second beam path 108 runs from a second deflecting mirror 104 to the first deflecting mirror 102. The second beam path 108 is deflected by the first deflecting mirror 102 to the camera 100. The second beam path 108 starts from the vehicle interior and enters the camera device 10 through a second lens 107. Before it reaches the second deflecting mirror 104, it crosses an infrared filter 106. The camera 100 is connected to the computing unit 110 via a first data connection 111. The computing unit 110 consists of a control unit 112 and an evaluation unit 113, which uses a second
Datenverbindung 114 miteinander verbunden sind. Die Auswerteeinheit 113 ist über eine dritte Datenverbindung 117 mit Sensoren 116 und über eine vierte Datenverbindung 118 zumindest mit akustischen und/oder optischen Anzeigeelementen 119 verbunden. Die Steuereinheit 112 ist ferner über eine fünfte Datenverbindung 120 mit der Kamera 100 und über eine sechste Datenverbindung 122 mit einer Strahlungsquelle 121 verbunden, die für das menschliche Auge nicht sichtbare Strahlung emittiert. Die Strahlungsquelle 121 ist in einem Gehäuse angeordnet, das vorzugsweise als ein Reflektor 123 ausgeführt ist.Data connection 114 are interconnected. The evaluation unit 113 is connected to sensors 116 via a third data connection 117 and at least to acoustic and / or optical display elements 119 via a fourth data connection 118. The control unit 112 is also connected via a fifth data connection 120 to the camera 100 and via a sixth data connection 122 to a radiation source 121 which emits radiation which is not visible to the human eye. The radiation source 121 is arranged in a housing, which is preferably designed as a reflector 123.
Der erste Strahlengang 103 und der zweite Strahlengang 108 werden jeweils durch die optische Achse des Strahlenverlaufes gekennzeichnet. Hier und in den folgenden Figuren 5-7 ist jeweils nur dieser Mittelpunktsstrahl stellvertretend für den gesamten Strahlengang eingezeichnet. Vor dem ersten Objektiv 101 verläuft die optische Achse für beide Strahlengänge gleich. Der besseren Übersichtlichkeit der Zeichnung halber sind die beiden Strahlengänge in derThe first beam path 103 and the second beam path 108 are each characterized by the optical axis of the beam path. Here and in the following FIGS. 5-7, only this center beam is shown as representative of the entire beam path. In front of the first objective 101, the optical axis runs the same for both beam paths. For better clarity of the drawing, the two beam paths are in the
Figur 4 und in den folgenden Figuren an dieser Stele jedoch parallel eingezeichnet. Die Recheneinheit 110 und die Kameravorrichtung 10 können auch in einem einzigen Gehäuse nahe des Fahrzeugdaches bzw. der oberen Grenze der Windschutzscheibe 12 angeordnet sein. Es ist jedoch auch möglich, die Recheneinheit 110 und die Kameravorrichtung 10 an verschiedenen Stellen des Fahrzeugs anzuordnen. In einem bevorzugten Ausführungsbeispiel ist die Recheneinheit 110 in die Anzeigeeinheit 21 integriert.Figure 4 and in the following figures drawn in parallel on this stele. The computing unit 110 and the camera device 10 can also be arranged in a single housing near the vehicle roof or the upper limit of the windshield 12. However, it is also possible to arrange the computing unit 110 and the camera device 10 at different locations on the vehicle. In a preferred exemplary embodiment, the computing unit 110 is integrated in the display unit 21.
In dem ersten Verfahrensschritt 31 in Figur 2 wird ein Bild des Fahrzeugumfelds über den ersten Strahlengang 103 durch die Kamera 100 erfaßt. Das erfaßte Bild ist dabei sowohl von der Anordnung der Kameravorrichtung 10 im Fahrzeug, als auch von der Größe der Öffnung 109 des Gehäuses der Kameravorrichtung 10 wie auch von der Einstellung des ersten Objektives 101 abhängig. Die Öffnung 109 ist dabei vorzugsweise mit einer transparenten Abdeckung, z.B. einer transparenten KunststoffScheibe versehen. Ferner ist es möglich, hier ein drittes Objektiv anzuordnen. Wird der zweite Verfahrensschritt 34 ausgeführt, so ist in dem ersten Teilschritt 42 durch die Steuereinheit 112 über die sechste Datenverbindung 122 die Strahlungsquelle 121 für den Zeitraum der Erfassung des Bildes des Innenraumes aktiviert, indem eine Spannung an die Strahlungsquelle 121 angelegt wird. Eine Spannungsquelle ist in der Figur 4 nicht dargestellt. Durch den Reflektor 123 gebündelt, wird die Strahlung in den Innenraum des Fahrzeugs abgestrahlt . Die abgestrahlte Strahlung ist für einen Menschen nicht sichtbar. Vorzugsweise ist die Strahlungsquelle als eine Infrarotstrahlungsdiode bzw. als ein Infrarotstrahlungsdiodenarray aus einer Vielzahl vonIn the first method step 31 in FIG. 2, an image of the vehicle surroundings is captured by the camera 100 via the first beam path 103. The captured image is dependent both on the arrangement of the camera device 10 in the vehicle and on the size of the opening 109 of the housing of the camera device 10 and on the setting of the first lens 101. The opening 109 is preferably covered with a transparent cover, e.g. provided with a transparent plastic disc. It is also possible to arrange a third lens here. If the second method step 34 is carried out, in the first sub-step 42 the radiation source 121 is activated by the control unit 112 via the sixth data connection 122 for the period of the acquisition of the image of the interior by applying a voltage to the radiation source 121. A voltage source is not shown in FIG. 4. Bundled by the reflector 123, the radiation is emitted into the interior of the vehicle. The radiation emitted is not visible to a person. The radiation source is preferably in the form of an infrared radiation diode or an infrared radiation diode array of a multiplicity of
Infrarotstrahlungsdioden ausgeführt. Wird der Innenraum des Fahrzeuges folglich durch die Strahlungsquelle 121 erhellt, so tritt die im Fahrzeuginnern reflektierteInfrared radiation diodes executed. If the interior of the vehicle is consequently illuminated by the radiation source 121, so occurs the reflected in the vehicle interior
Infrarotstrahlung durch das zweite Objektiv 107 entlang des zweiten Strahlenganges 108 in die Kameravorrichtung 10 ein und erreicht das Infrarotfilter 106. Durch diesen Filter kann nur Infrarotstrahlung hindurchtreten, so daß sichtbares Licht aus dem Fahrzeuginnern nicht zur Kamera 100 gelangen kann. Somit ist es insbesondere möglich, daß eine Erfassung des Fahrzeuginnenraums unabhängig von sichtbarem Licht möglich ist. Die Erhellung des Innenraumes ist vielmehr nur von der Helligkeit der Strahlungsquelle 121 abhängig.Infrared radiation through the second lens 107 into the camera device 10 along the second beam path 108 and reaches the infrared filter 106. Only infrared radiation can pass through this filter, so that visible light from the vehicle interior cannot reach the camera 100. It is therefore possible, in particular, for the vehicle interior to be detected independently of visible light. The illumination of the interior is rather only dependent on the brightness of the radiation source 121.
Weiterhin trifft die gefilterte Infrarotstrahlung auf den zweiten Umlenkspiegel 104, den ersten Umlenkspiegel 102, das erste Objektiv 101 und die Kamera 100. Der zweite Umlenkspiegel 104 ist mit einer Stellvorrichtung 30 versehen. Von dieser Stellvorrichtung ist nur eine Halterung 130 in der Figur dargestellt. Ein Elektromotor und eine Steuerung sowie eine Stromversorgung sind nicht eingezeichnet. Mit der Stellvorrichtung ist der zweite Umlenkspiegel 104 um eine Drehachse 131 in einem gewissen Winkelbereich drehbar. Hierdurch kann der Bereich desFurthermore, the filtered infrared radiation strikes the second deflecting mirror 104, the first deflecting mirror 102, the first objective 101 and the camera 100. The second deflecting mirror 104 is provided with an adjusting device 30. Only one holder 130 of this actuating device is shown in the figure. An electric motor and a controller as well as a power supply are not shown. With the adjusting device, the second deflecting mirror 104 can be rotated about an axis of rotation 131 within a certain angular range. This allows the area of
Innenraums verändert werden, der durch das zweite Objektiv 107 und über den zweiten Umlenkspiegel in die Kamera 100 abgebildet wird. Dies ist insbesondere vorteilhaft, wenn ein Fahrer während der Fahrt seine Sitzposition ändert und trotzdem seine Gesichtspartie von der Kameravorrichtung 10 erfaßt werden soll.The interior can be changed, which is imaged into the camera 100 by the second lens 107 and via the second deflection mirror. This is particularly advantageous if a driver changes his seating position while driving and nevertheless his face area is to be captured by the camera device 10.
Als Sensoren 116 sind z.B. Sitzplatzsensoren anzuführen, die eine Information darüber liefern, ob ein Sitzplatz besetzt ist. Meldet ein Sitzplatzsensor, daß ein Sitzplatz unbesetzt ist, kann über die Kamera überprüft werden, ob dies wirklich der Fall ist oder ob auf dem Sitzplatz z.B. eine Bewegung stattfindet und aus diesem Grunde der Sitzplatz doch besetzt ist. In diesem Fall unterbleibt eine Deaktivierung eines Airbags und/oder eine Deaktivierung der Sitzplatzheizung. Ferner sind unter den Sensoren auch Eingabeelemente zu verstehen, mit denen z.B. eine Einschlafwarnung deaktiviert werden kann, wenn der Fahrer eine Sonnenbrille trägt, die seine Augen für die Kamera 100 nicht sichtbar werden läßt. Unter den Ausgabeeinheiten sind akustische und/oder optische Warnelemente zu verstehen, die als Lautsprecher, Warnlampe oder Flüssigkristalldisplay ausgeführt sein können. DieSeat sensors, for example, are to be mentioned as sensors 116, which provide information as to whether a seat is occupied. If a seat sensor reports that a seat is unoccupied, the camera can be used to check whether this is really the case or whether there is movement in the seat, for example takes place and for this reason the seat is occupied. In this case, the airbag is not deactivated and / or the seat heating is deactivated. Furthermore, the sensors are also to be understood as input elements with which, for example, a sleep warning can be deactivated when the driver is wearing sunglasses that do not make his eyes visible to the camera 100. The output units are to be understood as acoustic and / or optical warning elements which can be designed as loudspeakers, warning lamps or liquid crystal displays. The
Auswerteeinheit 113 und die Steuereinheit 112 können auch in einer Vorrichtung integriert ausgeführt sein. Ferner steuert die Steuereinheit 112 über eine nicht eingezeichnete Verbindung die Stellung des zweiten Umlenkspiegels 104 in Abhängigkeit von über die zweite Datenverbindung 114 von der Auswerteeinheit 113 übermittelte Anweisungen. Droht ein Objekt, daß durch die Kameravorrichtung 10 beobachtet wird, sich aus dem sichtbaren Bereich zu bewegen, so kann die Recheneinheit auf diese Weise über die Regelung des zweiten Umlenkspiegels den sichtbaren Bereich anpassen. Eine Verbindung zwischen der Kameravorrichtung 10 und der Recheneinheit 110 erfolgt über die erste Datenverbindung 111 und die fünfte Datenverbindung 120. Dabei dient die erste Datenverbindung 111 zur Übermittlung von Bildinformationen von der Kamera 100 zu der Recheneinheit 110, insbesondere zu der Auswerteeinheit 113. Die fünfte Datenverbindung 120 dient der Steuerung der Kamera 100 durch die Recheneinheit 110, insbesondere durch die Steuereinheit 112. Die erste Datenverbindung 111 und die fünfte Datenverbindung 120 kann auch in einer Datenleitung zusammengefaßt sein. In der Figur 5 ist ein weiteres erfindungsgemäßes Ausführungsbeispiel der Vorrichtung zur Überwachung des Fahrzeugumfeldes und des Fahrzeuginnenraumes dargestellt. Hier und in den folgenden Abbildungen bezeichnen gleiche Bezugszeichen auch gleiche Bauteile. In der Figur 5 verläßt der zweite Strahlengang 108 das Gehäuse der Kameravorrichtung 10 bereits nach dem Infrarotfilter 106. Zur Unterscheidung von dem Infrarotfilter 106 ist das Gehäuse der Kameravorrichtung 10 in der Figur 5 lediglich gestrichelt dargestellt. Die in der Figur 5 dargestellteEvaluation unit 113 and control unit 112 can also be embodied integrated in one device. In addition, the control unit 112 controls the position of the second deflecting mirror 104 via a connection (not shown) as a function of instructions transmitted by the evaluation unit 113 via the second data connection 114. If an object that is being observed by the camera device 10 threatens to move out of the visible area, the computing unit can adjust the visible area in this way by regulating the second deflection mirror. A connection between the camera device 10 and the computing unit 110 takes place via the first data connection 111 and the fifth data connection 120. The first data connection 111 is used to transmit image information from the camera 100 to the computing unit 110, in particular to the evaluation unit 113. The fifth data connection 120 is used to control the camera 100 by the computing unit 110, in particular by the control unit 112. The first data connection 111 and the fifth data connection 120 can also be combined in one data line. FIG. 5 shows a further exemplary embodiment of the device according to the invention for monitoring the vehicle surroundings and the vehicle interior. Here and in the following figures, the same reference symbols also denote the same components. In FIG. 5, the second beam path 108 already leaves the housing of the camera device 10 after the infrared filter 106. To distinguish it from the infrared filter 106, the housing of the camera device 10 is only shown in broken lines in FIG. The one shown in Figure 5
Ausführung erlaubt es, einerseits die Kameravorrichtung mit der Schnittebene parallel, aber auch senkrecht zum Fahrzeugdach im Fahrzeug anzuordnen. In einem bevorzugten Ausführungsbeispiel ist damit bei einer zum Fahrzeugdach senkrechten Anordnung der Kameravorrichtung 10 der Bereich der Kamera bis auf die Öffnung 109 völlig im Fahrzeugdach untergebracht, während der Bereich des zweiten Umlenkspiegels in den Fahrzeuginnenraum hineinragt, also die Schnittebene der Zeichnung senkrecht zum Fahrzeugdach angeordnet ist. Abgesehen von der Einstellung des zweitenDesign allows the camera device with the cutting plane to be arranged in parallel on the one hand, but also perpendicular to the vehicle roof in the vehicle. In a preferred exemplary embodiment, in the case of an arrangement of the camera device 10 perpendicular to the vehicle roof, the area of the camera is completely accommodated in the vehicle roof except for the opening 109, while the area of the second deflecting mirror projects into the vehicle interior, that is to say the sectional plane of the drawing is arranged perpendicular to the vehicle roof . Except for the second one
Umlenkspiegels 104 werden für die Erzeugung einer Abbildung in der Kamera 100 im wesentlichen die optischen Eigenschaften des ersten Objektivs 101 genutzt.Deflecting mirror 104 essentially uses the optical properties of the first lens 101 to generate an image in the camera 100.
In Figur 6 ist eine weitere erfindungsgemäße Ausführung der Vorrichtung zur Überwachung des Umfeldes eines Fahrzeuginnenraums dargestellt. Die Kamera 100 ist in diesem Ausführungsbeispiel auf einer anderen Seite des ersten Umlenkspiegels 102 angeordnet als in den Figuren 4 und 5. In diesem Fall wird das dem ersten Strahlengang 103 folgende Licht durch den ersten Umlenkspiegel 102 zur Kamera 100 reflektiert. Dagegen wird die dem zweiten Strahlengang 108 folgende Strahlung durch den zweiten Umlenkspiegel 104 derartig umgelenkt, daß die Strahlung den ersten Umlenkspiegel 102, der als ein halbdurchlässiger Spiegel ausgeführt ist, durchquert und schließlich die Kamera 100 erreicht. Ferner ist in diesem Ausführungsbeispiel der Reflektor 123 in das Gehäuse der Kameravorrichtung 10 integriert, wodurch Platz gespart werden kann. Die Strahlungsquelle 121 jedoch ebenfalls an einem günstigen Platz weit entfernt von der Kameravorrichtung 10 im Kraftfahrzeug anordbar . Außerdem sind mehrereFIG. 6 shows another embodiment of the device according to the invention for monitoring the surroundings of a vehicle interior. In this exemplary embodiment, the camera 100 is arranged on a different side of the first deflecting mirror 102 than in FIGS. 4 and 5. In this case, the light following the first beam path 103 is reflected by the first deflecting mirror 102 to the camera 100. In contrast, the second beam path 108 following radiation deflected by the second deflecting mirror 104 in such a way that the radiation crosses the first deflecting mirror 102, which is designed as a semi-transparent mirror, and finally reaches the camera 100. Furthermore, in this exemplary embodiment, the reflector 123 is integrated in the housing of the camera device 10, as a result of which space can be saved. However, the radiation source 121 can also be arranged in a favorable place far away from the camera device 10 in the motor vehicle. There are also several
Strahlungsquellen im Fahrzeug möglich, um eine optimale Ausleuchtung des Fahrzeuginnern zu gewährleisten.Radiation sources possible in the vehicle to ensure optimal illumination of the vehicle interior.
In der Figur 7 ist eine Vorrichtung zur Durchführung des in der Figur 3 beschriebenen erfindungsgemäßen Verfahrens dargestellt. Anstelle der Öffnung 109 ist in den ersten Strahlengang 103 ein elektrooptisches Lichtventil in der Ausführung einer ersten Flüssigkristallzelle 151 eingefügt. Die erste Flüssigkristallzelle 151 ist über eine Ansteuerleitung 150 von der Steuereinheit 112 in der Weise ansteuerbar, daß zwischen einem transmissiven und absorbierenden Zustand der ersten Flüssigkristallzelle 151 umgeschaltet werden kann. Eine Detailstruktur der Flüssigkristallzelle sowie eine Spannungsversorgung sind in der Zeichnung nicht dargestellt. Die ersteFIG. 7 shows a device for carrying out the method according to the invention described in FIG. 3. Instead of the opening 109, an electro-optical light valve in the form of a first liquid crystal cell 151 is inserted into the first beam path 103. The first liquid crystal cell 151 can be controlled by the control unit 112 via a control line 150 in such a way that it is possible to switch between a transmissive and absorbing state of the first liquid crystal cell 151. A detailed structure of the liquid crystal cell and a power supply are not shown in the drawing. The first
Flüssigkristallzelle 151 kann dabei derartig ausgeführt sein, daß zwischen zwei transparenten Elektroden ein Flüssigkristall zwischen zwei Glassubstraten angeordnet ist, der in Abhängigkeit von einem angelegten elektrischen Feld die Polarisationsrichtung des Lichtes unterschiedlich beeinflußt. Durch eine Anordnung von Polarisationsfolien auf den Glassubstraten ist damit in Abhängigkeit von der an die transparenten Elektroden angelegten Spannung eine Absorption bzw. eine durch das Glassubstrat, die Polarisatoren und den Flüssigkristall vorgegebene maximale Transmission des Lichtes möglich. Ebenso ist eine zweite Flüssigkristallzelle 153 ausgeführt, die über eine Steuerleitung 152 von der Steuereinheit 112 schaltbar ist und die in dem zweiten Strahlengang 108 angeordnet ist. In dem ersten Verfahrensschritt 31 ist nun die erste Flüssigkristallzelle 151 transparent und die zweite Flüssigkristallzelle 153 absorbierend geschaltet. In diesem Fall tritt nur das aus dem Fahrzeugumfeld entlang des ersten Strahlenganges 103 verlaufende Licht in die Kamera 100 ein. Im zweiten Verfahrensschritt 34 ist nun die erste Flüssigkristallzelle 151 absorbierend und die zweite Flüssigkristallzelle 153 transmissiv geschaltet. Entlang des zweiten StrahlengangsLiquid crystal cell 151 can be designed in such a way that a liquid crystal is arranged between two glass substrates between two transparent electrodes and influences the direction of polarization of the light differently depending on an applied electric field. By arranging polarizing foils on the glass substrates, depending on the transparent electrodes applied an absorption or a maximum transmission of the light predetermined by the glass substrate, the polarizers and the liquid crystal possible. A second liquid crystal cell 153 is also designed, which can be switched by the control unit 112 via a control line 152 and which is arranged in the second beam path 108. In the first method step 31, the first liquid crystal cell 151 is now transparent and the second liquid crystal cell 153 is switched to be absorbent. In this case, only the light extending from the vehicle surroundings along the first beam path 103 enters the camera 100. In the second method step 34, the first liquid crystal cell 151 is now absorbent and the second liquid crystal cell 153 is switched transmissively. Along the second beam path
108 tritt nun Licht durch ein drittes Objektiv 154 über den zweiten Umlenkspiegel 104 und den ersten Umlenkspiegel 102 in die Kamera 100 ein. Um Überschneidungen zu vermeiden, kann zwischen den beiden Verfahrensschritten ein Zwischenschritt eingefügt werden, bei dem beide108 light now enters the camera 100 through a third lens 154 via the second deflection mirror 104 and the first deflection mirror 102. To avoid overlaps, an intermediate step can be inserted between the two process steps, in which both
Flüssigkristallzellen 151 und 153 absorbierend geschaltet sind. Dies ist insbesondere bei niedrigen Temperaturen empfehlenswert, da in diesem Fall eine Schaltung des Flüssigkristalls verzögert sein kann und eine maximale Absorption bzw. Transmission erst erreicht wird, nachdem das elektrische Feld für einige Zeit anliegt. Im Gegensatz zu den in den Figuren 4 bis 6 dargestelltenLiquid crystal cells 151 and 153 are connected to be absorbent. This is particularly advisable at low temperatures, since in this case a switching of the liquid crystal can be delayed and maximum absorption or transmission is only achieved after the electric field has been applied for some time. In contrast to those shown in Figures 4 to 6
Ausführungsbeispielen tritt bei der Vorrichtung in Figur 7 auch entlang des zweiten Strahlengangs 108 sichtbares Licht in die Kamera 100 ein. Weiterhin ist es bei allen genannten Ausführungsbeispielen möglich, anstelle der einen Kamera 100 zwei eng beieinanderliegende Kameras anzuordnen, deren erste und zweite Strahlengänge jeweils leicht versetzt gegeneinander verschoben sind. Hierdurch ist eine stereoskopische Erfassung des Bildes möglich. Durch eine geeignete Berechnung durch die Auswerteeinheit 113 kann aus der stereoskopischen Bilderfassung ein Rückschluß auf Entfernungen einzelner Objekte ermöglicht werden. Dies ist z.B. bei der Erkennung von Objekten, z.B. von Verkehrsschildern, von Vorteil.In the exemplary embodiment in FIG. 7, visible light also enters the camera 100 along the second beam path 108. Furthermore, in all of the exemplary embodiments mentioned, it is possible to arrange two cameras that are close together instead of the one camera 100, the first and second beam paths of which are each offset slightly offset from one another. This enables stereoscopic acquisition of the image. A suitable calculation by the evaluation unit 113 can be used to draw conclusions about the distances of individual objects from the stereoscopic image acquisition. This is advantageous, for example, when recognizing objects, such as traffic signs.
In den Figuren 8a und 8b sind Ausführungsbeispiele für den zweiten Umlenkspiegel 104 dargestellt. In der Figur 8a ist ein zweiter Umlenkspiegel 1041 konkav und in der Figur 8b ist ein zweiter Umlenkspiegel 1042 konvex ausgeführt. Sowohl der Umlenkspiegel 1041 als auch der Umlenkspiegel 1042 kann als ein zweiter Umlenkspiegel 104 verwendet werden. Durch eine derartige Ausführung ist es möglich, den für die Kamera sichtbaren Bereich zu verändern. In Figur 8b erreicht man eine Aufweitung, in Figur 8a eine Einschränkung des Strahlenbereiches durch die unterschiedliche Krümmung des Spiegels . Exemplary embodiments for the second deflecting mirror 104 are shown in FIGS. 8a and 8b. A second deflection mirror 1041 is concave in FIG. 8a and a second deflection mirror 1042 is convex in FIG. 8b. Both the deflecting mirror 1041 and the deflecting mirror 1042 can be used as a second deflecting mirror 104. Such a design makes it possible to change the area visible to the camera. In FIG. 8b, widening is achieved, and in FIG. 8a, the beam area is restricted by the different curvature of the mirror.

Claims

Verfahren und Vorrichtung zur Überwachung des Innenraums und des Umfeldes eines FahrzeugsAnsprüche Method and device for monitoring the interior and surroundings of a vehicle
1. Verfahren zur Überwachung eines Innenraums und eines1. Procedure for monitoring an interior and one
Umfelds eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, dadurch gekennzeichnet, daß in einem ersten Verfahrensschritt zumindest ein Teil des Umfelds des Fahrzeugs, vorzugsweise in Fahrtrichtung, und in einem zweiten Verfahrensschritt zumindest ein Teil des Innenraums des Fahrzeugs, vorzugsweise Teile der Person eines Fahrers, mit einer Kameravorrichtung (10) erfaßt wird, daß der erste und der zweite Verfahrensschritt abwechselnd durchgeführt werden, und daß hierdurch gewonnene Bildinformationen an eine Recheneinheit (110) weitergeleitet und dort verarbeitet werden .Environment of a vehicle, in particular a motor vehicle, characterized in that in a first method step at least a part of the environment of the vehicle, preferably in the direction of travel, and in a second method step at least a part of the interior of the vehicle, preferably parts of the person of a driver, with a It is detected by the camera device (10) that the first and second method steps are carried out alternately, and that image information obtained in this way is forwarded to a computing unit (110) and processed there.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet daß bei dem zweiten Verfahrensschritt der Innenraum des Fahrzeugs mit einer Strahlungsquelle (121) erhellt wird, die für das menschliche Auge zumindest weitgehend unsichtbar ist, vorzugsweise eine Infrarot-Strahlungsquelle. 2. The method according to claim 1, characterized in that in the second method step the interior of the vehicle is illuminated with a radiation source (121) which is at least largely invisible to the human eye, preferably an infrared radiation source.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß bei dem zweiten Verfahrensschritt der für die Kameravorrichtung (10) sichtbare Teil des Innenraums dem für die Kameravorrichtung (10) sichtbaren Teil des Umfelds des Fahrzeugs überlagert wird und das Bild des Innenraums durch eine Subtraktion des Bildes des Außenraums aus dem ersten Verfahrensschritt ermittelt wird.3. The method according to claim 2, characterized in that in the second method step, the part of the interior visible for the camera device (10) is superimposed on the part of the surroundings of the vehicle visible for the camera device (10) and the image of the interior by subtracting the Image of the outside from the first process step is determined.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß bei dem ersten Verfahrensschritt nur der für die Kameravorrichtung (10) sichtbare Teil des Umfelds und bei dem zweiten Verfahrensschritt nur der für die Kameravorrichtung (10) sichtbare Teil des Innenraums erfaßt wird.4. The method according to claim 1, characterized in that in the first method step only the part of the environment visible to the camera device (10) and in the second method step only the part of the interior visible to the camera device (10) is detected.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß über mindestens ein Lichtventil, das vorzugsweise ein elektrooptisches Lichtventil (151, 153) ist, zwischen einer Erfassung des Innenraums und des Umfelds umgeschaltet wird.5. The method according to claim 4, characterized in that at least one light valve, which is preferably an electro-optical light valve (151, 153), is switched between a detection of the interior and the environment.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ein erfaßtes Bild jeweils nur ein Teilbereich des von der Kamera maximal erfaßbaren Bildes ist, insbesondere Bildzeilen, Bildspalten oder Bildpunkte, daß zwischen der Erfassung des Innenraums und des Umfelds für diese Teilbereiche umgeschaltet wird, daß die erfaßten Teilbereiche durch die Recheneinheit (110) verarbeitet werden und daß anschließend ein nächster Teilbereich erfaßt wird. 6. The method according to any one of the preceding claims, characterized in that a captured image is only a portion of the maximum image that can be captured by the camera, in particular image lines, image columns or pixels, that is switched between the detection of the interior and the environment for these sub-areas that the detected partial areas are processed by the computing unit (110) and that a next partial area is subsequently recorded.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Gesicht des Fahrers, insbesondere die Augen, erfaßt werden.7. The method according to any one of the preceding claims, characterized in that the driver's face, in particular the eyes, are detected.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Straßenmarkierungen und/oder die Lage des Fahrzeugs zu den Straßenmarkierungen erfaßt werden.8. The method according to any one of the preceding claims, characterized in that road markings and / or the position of the vehicle to the road markings are detected.
9. Verfahren nach einem der Ansprüche 7-8, dadurch gekennzeichnet, daß eine Auswertung des Gesichts des Fahrers und/oder der Lage des Fahrzeugs zu den Straßenmarkierungen jeweils dahingehend durchgeführt wird, ob die Augen des Fahrers geöffnet sind und/oder das Fahrzeug einen vorgegebenen Bereich der Markierungen verläßt, und daß in Abhängigkeit von der Auswertung eine optische und/oder akustische Warnung erfolgt.9. The method according to any one of claims 7-8, characterized in that an evaluation of the driver's face and / or the position of the vehicle to the road markings is carried out in each case as to whether the driver's eyes are open and / or the vehicle a predetermined Leaves the area of the markings and that, depending on the evaluation, an optical and / or acoustic warning is given.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Verkehrszeichen erfaßt werden.10. The method according to any one of the preceding claims, characterized in that traffic signs are detected.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Anzahl der Personen im Fahrzeug und/oder die Sitzplatzbelegung ermittelt wird.11. The method according to any one of the preceding claims, characterized in that the number of people in the vehicle and / or the seat occupancy is determined.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß bei einem leeren Sitzplatz und bei einer Sitzplatzbelegung mit einem Kindersitz eine Auslösung eines zugehörigen Airbags und/oder eine Sitzplatzheizung gesperrt wird.12. The method according to claim 11, characterized in that a trigger of an associated airbag and / or a seat heating is blocked in an empty seat and when a seat is occupied by a child seat.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Lippenbewegungen einer vorgebbaren Person im Fahrzeug, vorzugsweise des Fahrers, zur Unterstützung einer Spracheingabe erfaßt werden.13. The method according to any one of the preceding claims, characterized in that lip movements one Predeterminable person in the vehicle, preferably the driver, can be detected to support voice input.
14. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ein Fahrzeug, vorzugsweise ein Kraftfahrzeug, über eine Kameravorrichtung (10) und eine Recheneinheit (110, 112, 113) verfügt, wobei zumindest ein Teil des Innenraums und zumindest ein Teil des Umfeldes eines Fahrzeugs über die Kameravorrichtung (10) erfaßbar sind, daß die14. Device for performing the method according to one of the preceding claims, characterized in that a vehicle, preferably a motor vehicle, has a camera device (10) and a computing unit (110, 112, 113), at least part of the interior and at least a part of the surroundings of a vehicle can be detected via the camera device (10) that the
Kameravorrichtung (10) mit der Recheneinheit (110, 112) verbunden ist. und daß die erfaßten Bilder an die Recheneinheit (110, 113) übertragbar sind.Camera device (10) is connected to the computing unit (110, 112). and that the captured images can be transmitted to the computing unit (110, 113).
15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, daß ein erster Strahlengang (103) der Kameravorrichtung in Richtung der vor dem Fahrzeug liegenden Fahrbahn und ein zweiter Strahlengang (108) in Richtung des Innenraums, vorzugsweise des Fahrers weist.15. The apparatus according to claim 14, characterized in that a first beam path (103) of the camera device in the direction of the road ahead of the vehicle and a second beam path (108) points in the direction of the interior, preferably the driver.
16. Vorrichtung nach einem der Ansprüche 14-15, dadurch gekennzeichnet, daß eine Beleuchtungseinheit (121) vorhanden ist, die für das Auge zumindest weitgehend unsichtbare Strahlung emittiert, insbesondere Infrarotstrahlung, und die durch die Recheneinheit (110, 112) steuerbar ist.16. Device according to one of claims 14-15, characterized in that an illumination unit (121) is present which emits radiation which is at least largely invisible to the eye, in particular infrared radiation, and which can be controlled by the computing unit (110, 112).
17. Vorrichtung nach einem der Ansprüche 14-16, dadurch gekennzeichnet, daß in der Kameravorrichtung (10), vorzugsweise in dem zweiten Strahlengang (108) in Richtung des Innenraums des Fahrzeugs, ein Infrarotfilter (106) angeordnet ist . 17. Device according to one of claims 14-16, characterized in that in the camera device (10), preferably in the second beam path (108) in the direction of the interior of the vehicle, an infrared filter (106) is arranged.
18. Vorrichtung nach einem der Ansprüche 14-15, dadurch gekennzeichnet, daß zumindest ein Lichtventil (151, 153), vorzugsweise eine Flüssigkristallzelle, in der Kameravorrichtung (10) angeordnet ist.18. Device according to one of claims 14-15, characterized in that at least one light valve (151, 153), preferably a liquid crystal cell, is arranged in the camera device (10).
19. Vorrichtung nach einem der Ansprüche 14-18, dadurch gekennzeichnet, daß in dem Kameravorrichtung (10) mindestens ein Umlenkspiegel (102) angeordnet ist, der vorzugsweise halbdurchlässig ist.19. Device according to one of claims 14-18, characterized in that in the camera device (10) at least one deflecting mirror (102) is arranged, which is preferably semi-transparent.
20. Vorrichtung nach einem der Ansprüche 14-19, dadurch gekennzeichnet, daß mindestens ein Umlenkspiegel (104) als konkav (1041) oder konvex (1042) ausgeführt ist.20. Device according to one of claims 14-19, characterized in that at least one deflecting mirror (104) is designed as a concave (1041) or convex (1042).
21. Vorrichtung nach einem der Ansprüche 14-20, dadurch gekennzeichnet, daß die Kameravorrichtung über eine einzige Kamera (100) verfügt, die vorzugsweise als eine CCD- oder eine CMOS-Kamera ausgeführt ist21. Device according to one of claims 14-20, characterized in that the camera device has a single camera (100), which is preferably designed as a CCD or a CMOS camera
22. Vorrichtung nach einem der Ansprüche 14-20, dadurch gekennzeichnet, daß die Kameravorrichtung (10) über mindestens zwei Kameras zur stereoskopischen Bilderfassung verfügt .22. Device according to one of claims 14-20, characterized in that the camera device (10) has at least two cameras for stereoscopic image acquisition.
23. Vorrichtung nach einem der Ansprüche 14-22, dadurch gekennzeichnet, daß die Recheneinheit (110, 113) mit optischen Ausgabeeinheiten und/oder akustischen Ausgabeeinheiten (119, 21) verbunden ist zur Warnung des Fahrers, insbesondere bei geschlossenen Augen des Fahrers bzw. einem drohenden Verlassen eines markierten Straßenverlaufs . 23. Device according to one of claims 14-22, characterized in that the computing unit (110, 113) is connected to optical output units and / or acoustic output units (119, 21) for warning the driver, in particular with the driver's eyes closed or an impending departure from a marked road.
24. Vorrichtung nach einem der Ansprüche 14-23, dadurch gekennzeichnet, daß die Kameravorrichtung (10) in einem oberen Bereich der Windschutzscheibe (12) angeordnet ist oder in das Dach des Fahrzeugs integriert ist.24. Device according to one of claims 14-23, characterized in that the camera device (10) is arranged in an upper region of the windshield (12) or is integrated into the roof of the vehicle.
25. Vorrichtung nach einem der Ansprüche 14-24, dadurch gekennzeichnet, daß zumindest ein Umlenkspiegel (104, 1041, 1042) über eine Stellvorrichtung (130) derart ausrichtbar ist, daß in einem von dem Innenraum des Fahrzeugs durch die Kameravorrichtung (10) erfaßten Bild zumindest die Augen und/oder die Lippen des Fahrers erkennbar sind. 25. Device according to one of claims 14-24, characterized in that at least one deflecting mirror (104, 1041, 1042) via an adjusting device (130) can be aligned such that in one of the interior of the vehicle by the camera device (10) detected Image at least the driver's eyes and / or lips are recognizable.
EP00941906A 1999-05-08 2000-05-05 Method and device for surveying the interior and the surrounding area of a vehicle Expired - Lifetime EP1297511B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19921488A DE19921488A1 (en) 1999-05-08 1999-05-08 Method and device for monitoring the interior and surroundings of a vehicle
DE19921488 1999-05-08
PCT/DE2000/001426 WO2000068910A1 (en) 1999-05-08 2000-05-05 Method and device for surveying the interior and the surrounding area of a vehicle

Publications (2)

Publication Number Publication Date
EP1297511A1 true EP1297511A1 (en) 2003-04-02
EP1297511B1 EP1297511B1 (en) 2004-09-15

Family

ID=7907575

Family Applications (1)

Application Number Title Priority Date Filing Date
EP00941906A Expired - Lifetime EP1297511B1 (en) 1999-05-08 2000-05-05 Method and device for surveying the interior and the surrounding area of a vehicle

Country Status (5)

Country Link
US (1) US6920234B1 (en)
EP (1) EP1297511B1 (en)
JP (1) JP2002544043A (en)
DE (2) DE19921488A1 (en)
WO (1) WO2000068910A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1724153A1 (en) * 2005-05-20 2006-11-22 Valeo Vision Vorrichtung zur Detektion von Hindernissen mit einem Abbildungssystem für Kraftfahrzeug

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10036875A1 (en) 2000-07-28 2002-02-28 Mekra Lang Gmbh & Co Kg Rearview mirror for vehicle, has monitor connected to camera which captures fields before, laterally and behind vehicle
US6583730B2 (en) 2000-07-28 2003-06-24 Lang-Mekra North America, Llc Surveillance apparatus for a vehicle
US20030202097A1 (en) 2000-10-26 2003-10-30 Autoliv Development Ab Night vision arrangement
DE10062977A1 (en) * 2000-12-16 2002-06-27 Bayerische Motoren Werke Ag Method for monitoring the interior of a motor vehicle
KR100910670B1 (en) * 2001-03-05 2009-08-04 지멘스 악티엔게젤샤프트 Method and device for correcting an image, particularly for occupant protection systems
US7995095B2 (en) 2001-10-18 2011-08-09 Autoliv Development Ab Night vision device for a vehicle
DE10216111B4 (en) * 2002-04-12 2009-12-03 GM Global Technology Operations, Inc., Detroit Vehicle with a child seat arranged in the rear or front area
EP1497155B1 (en) * 2002-04-23 2006-08-16 Autoliv Development Ab A night vision arrangement
DE10353001A1 (en) * 2003-11-13 2005-06-16 Conti Temic Microelectronic Gmbh Device and method for object recognition for a motor vehicle safety device
DE102004005163B3 (en) * 2004-02-02 2005-06-02 Braun, Uwe Peter, Dipl.-Ing. Alertness detection device for vehicle driver using intermittent illumination of eye and evaluation of pupil reaction
US7597489B2 (en) * 2005-09-12 2009-10-06 Honeywell International Inc. Apparatus and method for providing pointing capability for a fixed camera
US20070115343A1 (en) * 2005-11-22 2007-05-24 Sony Ericsson Mobile Communications Ab Electronic equipment and methods of generating text in electronic equipment
DE102006004260A1 (en) 2006-01-31 2007-08-02 Bayerische Motoren Werke Ag Camera system for a motor vehicle
JP4882499B2 (en) * 2006-05-10 2012-02-22 株式会社デンソー Speed information providing apparatus and program
SE532317C2 (en) * 2007-07-05 2009-12-15 Svenska Utvecklings Entrepreno Device for waking up drivers and operators
DE102008040149A1 (en) 2008-07-03 2010-01-07 Robert Bosch Gmbh Device and method for releasing an automatic guidance of a vehicle
US20110317015A1 (en) * 2008-10-29 2011-12-29 Kyocera Corporation Vehicle-mounted camera module
DE102012205012A1 (en) * 2011-07-12 2013-01-17 Robert Bosch Gmbh Camera system for use in a vehicle and vehicle with such a camera system
DE102012018345A1 (en) 2012-09-17 2014-03-20 Volkswagen Aktiengesellschaft Method for monitoring vehicle, involves activating process by actuation of operating element of vehicle, where sensor of vehicle is activated, with which start-up of vehicle is detected
JP5590747B2 (en) * 2012-11-29 2014-09-17 株式会社ホンダアクセス Driver dangerous driving notification device
US9128354B2 (en) 2012-11-29 2015-09-08 Bendix Commercial Vehicle Systems Llc Driver view adapter for forward looking camera
DE102012023941A1 (en) * 2012-12-06 2014-06-12 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Motor vehicle cockpit with a display unit and a shadow area
DE102013002686B4 (en) * 2013-02-15 2017-03-23 Audi Ag Method for operating a motor vehicle and motor vehicles
DE102013010019B3 (en) * 2013-06-14 2014-10-23 Audi Ag A method of operating a traffic sign detecting system of a motor vehicle and a motor vehicle having a traffic sign detecting system
KR102381140B1 (en) 2015-02-25 2022-03-31 엘지전자 주식회사 Digital device and method for monitering driver thereof
DE102015117610A1 (en) * 2015-10-16 2017-04-20 Connaught Electronics Ltd. A method for checking a perception of a visual warning by a vehicle user, driver assistance system and motor vehicle
DE102016001054A1 (en) 2016-01-30 2016-07-21 Daimler Ag Method for entering a command in a control unit of a vehicle
DE102016225518A1 (en) 2016-12-20 2018-06-21 Robert Bosch Gmbh A camera arrangement for a monitoring device for monitoring an interior space and an exterior area, monitoring device with the camera arrangement and use of the camera arrangement for recording an exterior area and interior space
US10272807B2 (en) 2017-05-02 2019-04-30 Ford Global Technologies, Llc Efficient control of temperature altering systems within a vehicle seating assembly
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
JP7247499B2 (en) * 2018-09-20 2023-03-29 いすゞ自動車株式会社 Vehicle monitoring device
DE102018217869A1 (en) 2018-10-18 2020-04-23 Robert Bosch Gmbh Interior detection system
DE102019200099A1 (en) * 2019-01-07 2020-07-09 Conti Temic Microelectronic Gmbh Sensor device for an ego vehicle, driver assistance device and vehicle with such a sensor device
CN111722609B (en) * 2019-03-18 2021-12-21 纬湃科技投资(中国)有限公司 Diagnostic method for vehicle environment signals
CN113939757B (en) * 2019-06-13 2024-03-05 金泰克斯公司 Switchable multi-view imaging system
DE102019210144A1 (en) * 2019-07-10 2021-01-14 Zf Friedrichshafen Ag Combination of sensor systems in the vehicle to improve the recognition of user commands

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845000A (en) * 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
GB8825446D0 (en) * 1988-10-31 1988-11-30 Lawrence M J Vehicle security camera
DE4013125A1 (en) * 1989-06-19 1990-12-20 Iveco Magirus Measuring physical value by fibre=optic sensor - using two sensor leads alternatively used as send and receive fibres and useful and reference light beams
DE4022055C2 (en) * 1990-07-11 1994-03-10 Wolfgang Caspar Device for color and brightness control
US5065236A (en) * 1990-11-02 1991-11-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects
JP2522859B2 (en) * 1990-12-14 1996-08-07 日産自動車株式会社 Eye position detection device
DE4115202C2 (en) * 1991-05-10 1994-01-20 Duerrwaechter E Dr Doduco Method and device for arming the trigger circuit of an airbag or a seat belt tensioner in a vehicle
FR2679357B1 (en) * 1991-07-19 1997-01-31 Matra Sep Imagerie Inf ON-BOARD DEVICE AND METHOD FOR TRACKING AND MONITORING THE POSITION OF A VEHICLE ON THE ROAD AND DRIVING AID DEVICE INCLUDING APPLICATION.
JPH05155291A (en) * 1991-12-03 1993-06-22 Mitsubishi Electric Corp Warning device for vehicle
TW333368U (en) 1992-04-21 1998-06-01 Toshiba Co Ltd Image tube apparatus
JP3214195B2 (en) 1993-11-11 2001-10-02 三菱電機株式会社 Driver photography device
JPH08167100A (en) * 1994-12-12 1996-06-25 Hisaji Nakamura Steering device
US5642093A (en) * 1995-01-27 1997-06-24 Fuji Jukogyo Kabushiki Kaisha Warning system for vehicle
JP3316725B2 (en) * 1995-07-06 2002-08-19 三菱電機株式会社 Face image pickup device
JPH1035320A (en) * 1996-07-24 1998-02-10 Hitachi Ltd Vehicle condition recognition method, on-vehicle image processor, and memory medium
JP3702978B2 (en) * 1996-12-26 2005-10-05 ソニー株式会社 Recognition device, recognition method, learning device, and learning method
DE19736774A1 (en) 1997-08-23 1999-02-25 Bosch Gmbh Robert Information display method in vehicle
EP1099343A4 (en) * 1998-05-13 2007-10-17 Infinite Pictures Inc Panoramic movies which simulate movement through multidimensional space
US6690374B2 (en) * 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0068910A1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1724153A1 (en) * 2005-05-20 2006-11-22 Valeo Vision Vorrichtung zur Detektion von Hindernissen mit einem Abbildungssystem für Kraftfahrzeug
FR2885860A1 (en) * 2005-05-20 2006-11-24 Valeo Vision Sa DEVICE FOR DETECTING OBSTACLES COMPRISING AN IMAGING SYSTEM FOR A MOTOR VEHICLE
US7693302B2 (en) 2005-05-20 2010-04-06 Valeo Vision Device for detecting obstacles comprising an imaging system for motor vehicles

Also Published As

Publication number Publication date
DE50007823D1 (en) 2004-10-21
DE19921488A1 (en) 2000-11-16
JP2002544043A (en) 2002-12-24
WO2000068910A1 (en) 2000-11-16
EP1297511B1 (en) 2004-09-15
US6920234B1 (en) 2005-07-19

Similar Documents

Publication Publication Date Title
EP1297511B1 (en) Method and device for surveying the interior and the surrounding area of a vehicle
EP3475755B1 (en) Display projecting a virtual image into the field of view of a user
DE102004050181B4 (en) Active night vision system with adaptive imaging
DE10339314B3 (en) Method for display control of different information in a vehicle and opto-acoustic information unit
EP1182089B1 (en) Vehicle driver warning procedure
DE10261291A1 (en) Display device for a vehicle
DE60300919T2 (en) Image pickup device of the vehicle occupants in a vehicle
DE102009010614A1 (en) Vehicular display apparatus
EP2883748A1 (en) Method for displaying visual information in vehicles
DE112015001200T5 (en) Light emitting vehicle display device and vehicle display system
EP1508476A2 (en) Drive assist system for motor vehicles
DE19802220A1 (en) Information display device used with computer or onboard automobile
EP3621848A1 (en) Method and system for controlling or training the driving behavior of a driver by directing the view of the driver
DE10318741A1 (en) Driver assistant system
EP3790768A1 (en) Device and method for operating an object detection system for the passenger compartment of a motor vehicle, and a motor vehicle
EP3409551A1 (en) Method and device for supporting a vehicle occupant located in a vehicle
DE102018210160A1 (en) Vehicle roof mounted system
DE102014019420A1 (en) Motor vehicle headlight system, motor vehicle, method for operating a motor vehicle headlight system and computer program product
DE112019007195T5 (en) DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND DISPLAY CONTROL PROGRAM
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle
DE4304005A1 (en) Monitoring device for vehicles
DE102019220012A1 (en) Method for operating a display unit of a vehicle and display unit
EP1394756B1 (en) System to watch over and influence the wakefullness of a driver
EP3682431B1 (en) Method for operating a motor vehicle having at least one exterior camera and motor vehicle having at least one exterior camera
DE102020210055A1 (en) Method and device for monitoring the interior of a vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20001028

AK Designated contracting states

Designated state(s): DE FR GB IT

Kind code of ref document: A1

Designated state(s): DE FR GB IT

17Q First examination report despatched

Effective date: 20031230

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB IT

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: GERMAN

REF Corresponds to:

Ref document number: 50007823

Country of ref document: DE

Date of ref document: 20041021

Kind code of ref document: P

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20050115

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

ET Fr: translation filed
26N No opposition filed

Effective date: 20050616

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20080526

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20080728

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20080522

Year of fee payment: 9

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20090505

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20100129

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090602

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20080519

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090505

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20091201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090505