DE102013011533A1 - Detecting device for determining a position of an object in an interior of a motor vehicle - Google Patents

Detecting device for determining a position of an object in an interior of a motor vehicle Download PDF

Info

Publication number
DE102013011533A1
DE102013011533A1 DE102013011533.7A DE102013011533A DE102013011533A1 DE 102013011533 A1 DE102013011533 A1 DE 102013011533A1 DE 102013011533 A DE102013011533 A DE 102013011533A DE 102013011533 A1 DE102013011533 A1 DE 102013011533A1
Authority
DE
Germany
Prior art keywords
lens
detection device
motor vehicle
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102013011533.7A
Other languages
German (de)
Other versions
DE102013011533B4 (en
Inventor
Ulrich Müller
Johann Schneider
Marcus Kühne
Martin Roehder
Michael Schlittenbauer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102013011533.7A priority Critical patent/DE102013011533B4/en
Publication of DE102013011533A1 publication Critical patent/DE102013011533A1/en
Application granted granted Critical
Publication of DE102013011533B4 publication Critical patent/DE102013011533B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft eine Erfassungsvorrichtung (14) zum Bestimmen einer Position eines Objekts in einem Innenraum (12) eines Kraftfahrzeugs (10) mit einer Sendeeinrichtung zum Aussenden von Strahlung zum dem Objekt, einer Empfangseinrichtung zum Empfangen der von dem Objekt reflektierten Strahlung, wobei die Empfangseinrichtung eine optische Linse zum Abbilden der reflektierten Strahlung auf einen Bildsensor der Empfangseinrichtung umfasst, und einer Recheneinrichtung zum Bestimmen der Position des Objekts anhand einer Laufzeit der Strahlung, wobei die optische Linse einen ersten Linsenbereich und einen vom ersten verschiedenen, zweiten Linsenbereich aufweist, und der erste Linsenbereich im Vergleich zum zweiten Linsenbereich eine längere Brennweite aufweist.The invention relates to a detection device (14) for determining a position of an object in an interior (12) of a motor vehicle (10) having a transmitting device for emitting radiation to the object, a receiving device for receiving the radiation reflected by the object, wherein the receiving device an optical lens for imaging the reflected radiation onto an image sensor of the receiving device, and a computing device for determining the position of the object based on a transit time of the radiation, the optical lens having a first lens region and a second lens region different from the first, and the first Lens area compared to the second lens area has a longer focal length.

Description

Die vorliegende Erfindung betrifft eine Erfassungsvorrichtung zum Bestimmen einer Position eines Objekts in einem Innenraum eines Kraftfahrzeugs. Überdies betrifft die vorliegende Erfindung ein Kraftfahrzeug mit einer solchen Erfassungsvorrichtung.The present invention relates to a detection device for determining a position of an object in an interior of a motor vehicle. Moreover, the present invention relates to a motor vehicle with such a detection device.

In modernen Kraftfahrzeugen können Bedieneinrichtungen vermehrt mittels Gestensteuerung bedient werden. Entsprechend dem Stand der Technik können Gesten und Bewegungen der Hand beziehungsweise des Körpers im Innenraum des Kraftfahrzeugs dreidimensional erfasst werden. Zu diesem Zweck können beispielsweise sogenannte PMD-Kameras (PMD – Photonic Mixing Device) verwendet werden. Eine solche PMD-Kamera umfasst eine Sendeeinrichtung, mit der Strahlung, insbesondere Licht im infraroten Wellenlängenbereich, ausgesendet wird. Des Weiteren umfasst die Kamera eine Empfangseinrichtung, mit der die Strahlung, die von der Hand beziehungsweise dem Körpers reflektiert wird, empfangen wird. Mittels einer Recheneinrichtung kann anhand der Laufzeit die Position der Hand beziehungsweise des Körpers im Innenraum des Kraftfahrzeugs bestimmt werden. Des Weiteren weist die Kamera einen entsprechenden Bildsensor auf, über den die Auflösung der Kamera festgelegt wird.In modern motor vehicles operating devices can be operated increasingly by means of gesture control. According to the prior art, gestures and movements of the hand or the body in the interior of the motor vehicle can be detected in three dimensions. For this purpose, for example, so-called PMD cameras (PMD - Photonic Mixing Device) can be used. Such a PMD camera comprises a transmitting device with which radiation, in particular light in the infrared wavelength range, is emitted. Furthermore, the camera comprises a receiving device with which the radiation which is reflected by the hand or the body is received. By means of a computing device, the position of the hand or of the body in the interior of the motor vehicle can be determined on the basis of the running time. Furthermore, the camera has a corresponding image sensor, via which the resolution of the camera is determined.

Das Sichtfeld der Kamera wird durch deren Optik beziehungsweise durch deren optische Linse bestimmt. Je weitwinkliger die Optik gewählt wird, umso größer ist der mit der Kamera erfasste Bereich. Dabei nimmt die Schärfe jedoch ab, da mit jedem Bildpunkt (Pixel) ein größerer Raumwinkel abgebildet wird. Bei der Verwendung eines Zoom-Objektivs wird jedoch nur ein kleinerer Sichtbereich abgedeckt, jedoch mit einer größeren Schärfe, da mehr Pixel pro Raumwinkel zum Einsatz kommen. Zur Erfassung von Gesten im Innenraum des Kraftfahrzeugs soll ein möglichst großer Bereich (Raumwinkel) abgedeckt werden. Zugleich sollte der Bereich der Mittelkonsole und der Bereich vor dem Mitteldisplay mit einer möglichst hohen Auflösung abgebildet werden.The field of view of the camera is determined by their optics or by their optical lens. The more wide the optics are chosen, the larger the area covered by the camera. However, the sharpness decreases, because with each pixel (pixel) a larger solid angle is displayed. When using a zoom lens, however, only a smaller field of view is covered, but with a greater sharpness, as more pixels per solid angle are used. To detect gestures in the interior of the motor vehicle, the largest possible area (solid angle) is to be covered. At the same time, the area of the center console and the area in front of the center display should be displayed with the highest possible resolution.

In diesem Zusammenhang beschreibt die DE 10 2011 089 195 A1 eine Vorrichtung zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen. Die Vorrichtung, die insbesondere als Time-of-Flight-Kamera ausgebildet ist, ist im Innenraum eines Kraftfahrzeugs angeordnet. Als Sensor kann beispielsweise ein multifokaler optischer Sensor oder ein bewegliches optisches System verwendet werden.In this context, the describes DE 10 2011 089 195 A1 a device for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them. The device, which is designed in particular as a time-of-flight camera, is arranged in the interior of a motor vehicle. As a sensor, for example, a multifocal optical sensor or a movable optical system can be used.

Des Weiteren beschreibt die US 2006/0279528 A1 ein Anzeigesystem, mit dem eine erste und eine zweite Anzeige bereitgestellt werden kann. Mit einer optischen Sensoreinrichtung können Bedieneingaben erfasst werden, um die erste und die zweite Anzeige anzupassen.Furthermore, the describes US 2006/0279528 A1 a display system with which a first and a second display can be provided. With an optical sensor device operator inputs can be detected to adjust the first and the second display.

Aus der US 2011/0205421 A1 ist eine optische Vorrichtung bekannt, die einen Bildsensor und eine dazugehörige Optik aufweist. Mit der optischen Vorrichtung können Bediengesten erfasst werden. Dabei kann die Optik mehrere asphärische Linsen umfassen.From the US 2011/0205421 A1 For example, an optical device is known that has an image sensor and associated optics. With the optical device operating gestures can be detected. The optics may comprise a plurality of aspherical lenses.

Des Weiteren beschreibt die US 2008/0181456 A1 ein Bediensystem für ein Kraftfahrzeug, mit dem Bediengesten eines Fahrzeuginsassen erfasst werden können. Das System umfasst eine Erfassungseinheit, mit der Objekte dreidimensional erfasst werden können. Des Weiteren umfasst das System einen Kompensationsalgorithmus, mit dem Verzerrungen, die durch die Linse entstehen, ausgeglichen werden können.Furthermore, the describes US 2008/0181456 A1 an operating system for a motor vehicle, with the operating gestures of a vehicle occupant can be detected. The system comprises a detection unit with which objects can be detected in three dimensions. Furthermore, the system includes a compensation algorithm that can compensate for distortion caused by the lens.

Schließlich beschreibt die EP 2 315 103 A1 ein Eingabegerät für einen Computer, das berührungslos bedient werden kann. Das Gerät umfasst einen optischen Sensor und eine Mehrzahl von infraroten Lichtquellen.Finally, that describes EP 2 315 103 A1 an input device for a computer that can be operated without contact. The device includes an optical sensor and a plurality of infrared light sources.

Es ist Aufgabe der vorliegenden Erfindung, eine Erfassungsvorrichtung für ein Kraftfahrzeug bereitzustellen, mit der Objekte in einem Innenraum des Kraftfahrzeugs zuverlässiger erfasst werden können.It is an object of the present invention to provide a detection device for a motor vehicle, with which objects in an interior of the motor vehicle can be detected more reliably.

Diese Aufgabe wird durch eine Erfassungsvorrichtung mit den Merkmalen des Patentanspruchs 1 sowie ein Kraftfahrzeug mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der Unteransprüche.This object is achieved by a detection device having the features of patent claim 1 and a motor vehicle having the features of patent claim 10. Advantageous developments of the present invention are the subject of the dependent claims.

Die erfindungsgemäße Erfassungsvorrichtung zum Bestimmen einer Position eines Objekts in einem Innenraum eines Kraftfahrzeugs umfasst eine Sendeeinrichtung zum Aussenden von Strahlung zu dem Objekt, eine Empfangseinrichtung zum Empfangen der von dem Objekt reflektierten Strahlung, wobei die Empfangseinrichtung eine optische Linse zum Abbilden der reflektierten Strahlung auf einem Bildsensor der Empfangseinrichtung umfasst, und eine Recheneinrichtung zum Bestimmen der Position des Objekts anhand einer Laufzeit der Strahlung, wobei die optische Linse einen ersten Linsenbereich und einen von dem ersten verschiedenen, zweiten Linsenbereich aufweist und der erste Linsenbereich im Vergleich zum zweiten Linsenbereich eine längere Brennweite aufweist.The detection device according to the invention for determining a position of an object in an interior of a motor vehicle comprises a transmitting device for emitting radiation to the object, a receiving device for receiving the radiation reflected by the object, wherein the receiving device is an optical lens for imaging the reflected radiation on an image sensor the receiving device comprises, and a computing device for determining the position of the object based on a transit time of the radiation, wherein the optical lens has a first lens region and a different first lens region and the first lens region has a longer focal length compared to the second lens region.

Die Erfassungsvorrichtung kann beispielsweise als PMD-Kamera ausgebildet sein. Die Sendeeinrichtung kann Licht im infraroten Wellenlängenbereich aussenden. Dieses Licht kann von einem Objekt im Innenraum des Kraftfahrzeugs, beispielsweise einem Arm oder einer Hand eines der Fahrzeuginsassen, reflektiert werden. Die von dem Objekt reflektierte Strahlung trifft auf eine optische Linse der Erfassungseinrichtung und wird von dort auf einen Bildsensor der Erfassungseinrichtung übertragen. Anhand der Laufzeit (time of flight) kann der Abstand des Objekts zu der Empfangseinrichtung und somit die Position des Objekts im Innenraum des Kraftfahrzeugs bestimmt werden. Somit können entsprechende Bediengesten im Innenraum des Kraftfahrzeugs erfasst werden.The detection device can be designed for example as a PMD camera. The transmitter can light in the infrared Send wavelength range. This light can be reflected by an object in the interior of the motor vehicle, for example an arm or a hand of one of the vehicle occupants. The radiation reflected by the object impinges on an optical lens of the detection device and is transmitted from there to an image sensor of the detection device. Based on the time of flight (time of flight), the distance of the object to the receiving device and thus the position of the object in the interior of the motor vehicle can be determined. Thus, corresponding operating gestures in the interior of the motor vehicle can be detected.

Die optische Linse der Empfangseinrichtung zeichnet sich dadurch aus, dass sie zwei unterschiedliche Linsenbereiche aufweist. Der erste Linsenbereich weist im Vergleich zum zweiten Linsenbereich eine längere Brennweite auf. Der erste Linsenbereich kann im Vergleich zum zweiten Linsenbereich auch eine höhere Schärfentiefe aufweisen. Zudem kann der erste Linsenbereich im Vergleich zum zweiten Linsenbereich einen kleineren Bildwinkel aufweisen. Dabei kann die optische Linse derart ausgebildet sein, dass der zweite Linsenbereich den ersten Linsenbereich umgibt. Der erste Linsenbereich kann nach Art eines Teleobjektivs ausgebildet sein und der zweite Linsenbereich kann nach Art eines Weitwinkelobjektivs ausgebildet sein. Somit kann ein vorgegebener Bereich im Innenraum des Kraftfahrzeugs mit dem ersten Linsenbereich mit einer höheren Auflösung erfasst werden, während mit dem zweiten Linsenbereich der Innenraum des Kraftfahrzeugs großflächig erfasst werden kann.The optical lens of the receiving device is characterized in that it has two different lens areas. The first lens area has a longer focal length compared to the second lens area. The first lens region may also have a higher depth of field compared to the second lens region. In addition, the first lens area may have a smaller angle of view compared to the second lens area. In this case, the optical lens may be formed such that the second lens area surrounds the first lens area. The first lens region may be formed in the manner of a telephoto lens, and the second lens region may be formed in the manner of a wide-angle lens. Thus, a predetermined area in the interior of the motor vehicle can be detected with the first lens area with a higher resolution, while the interior of the motor vehicle can be detected over a large area with the second lens area.

In einer bevorzugten Ausführungsform ist die optische Linse ortsfest zu der Empfangseinrichtung angeordnet. Mit anderen Worten ist die optische Linse nicht beweglich zu der Empfangseinrichtung angeordnet. Damit umfasst die Erfassungsvorrichtung keine beweglichen Teile, wodurch sie einerseits kostengünstiger ausgebildet werden kann und andererseits der Verschleiß reduziert werden kann.In a preferred embodiment, the optical lens is arranged stationary relative to the receiving device. In other words, the optical lens is not arranged to be movable relative to the receiving device. Thus, the detection device comprises no moving parts, whereby they can on the one hand be designed cheaper and on the other hand, the wear can be reduced.

Bevorzugt ist ein Erfassungsbereich des ersten Linsenbereichs der optischen Linse einer Mittelkonsole des Kraftfahrzeugs zugeordnet. Der erste Linsenbereich, der nach Art eines Teleobjektivs ausgebildet ist, kann einem vorbestimmten Bereich der Mittelkonsole zugeordnet sein. Der Erfassungsbereich des ersten Linsenbereichs kann auch einer Bedieneinrichtung zugeordnet sein, die in einem mittleren Bereich des Armaturenbretts des Kraftfahrzeugs angeordnet ist. Dadurch, dass dieser Bereich mit einer höheren Auflösung aufgenommen wird, können in diesem Bereich Bediengesten besonders zuverlässig erfasst werden. Durch die erhöhte Auflösung kann beispielsweise die Position eines Fingers in Bezug zu einem Bedienelement genau erfasst werden.A detection region of the first lens region of the optical lens is preferably associated with a center console of the motor vehicle. The first lens area, which is formed in the manner of a telephoto lens, may be associated with a predetermined area of the center console. The detection region of the first lens region can also be assigned to an operating device which is arranged in a middle region of the dashboard of the motor vehicle. Because this area is recorded with a higher resolution, operating gestures can be detected particularly reliably in this area. For example, the increased resolution can accurately detect the position of a finger relative to a control.

In einer Ausgestaltung ist ein Erfassungsbereich des zweiten Linsenbereichs der optischen Linse einem Bereich der Vordersitze und/oder eines Armaturenbretts des Kraftfahrzeugs zugeordnet. Der Erfassungsbereich, der mit dem zweiten Linsenbereich der optischen Linse erfasst wird, kann sich von der Fahrertür zu der Beifahrertür erstrecken. Des Weiteren kann dieser Erfassungsbereich die Fahrersitze beinhalten. Somit können entsprechende Bediengesten, beispielsweise zum Aktivieren eines Gurtbringers, erfasst werden. Hierbei bedarf es keiner hohen optischen Auflösung, bei der beispielsweise einzelne Finger erkannt werden müssen, hier genügt es, eine Bewegung des Arms des Fahrers in Richtung des Gurts zu erfassen.In one embodiment, a detection region of the second lens region of the optical lens is associated with a region of the front seats and / or a dashboard of the motor vehicle. The detection area detected with the second lens area of the optical lens may extend from the driver's door to the passenger's door. Furthermore, this detection area may include the driver's seats. Thus, corresponding operating gestures, for example, to activate a Gurtbringers, are detected. This requires no high optical resolution, in which, for example, individual fingers must be detected, here it is sufficient to detect movement of the arm of the driver in the direction of the belt.

In einer Ausführungsform grenzt der erste Linsenbereich unmittelbar an den zweiten Linsenbereich. Mit anderen Worten kann ein sprunghafter Übergang zwischen dem ersten Linsenbereich und dem zweiten Linsenbereich vorliegen. Bei einer derartigen Ausgestaltung der optischen Linse ergibt sich der Vorteil, dass diese einfacher und kostengünstiger gefertigt werden kann.In one embodiment, the first lens area directly adjoins the second lens area. In other words, there may be an abrupt transition between the first lens area and the second lens area. In such an embodiment of the optical lens has the advantage that it can be made easier and cheaper.

In einer weiteren Ausführungsform weist die optische Linse zwischen dem ersten Linsenbereich und dem zweiten Linsenbereich einen Zwischenlinsenbereich auf. Der Zwischenlinsenbereich kann so ausgestaltet sein, dass sich ein gleitender Übergang zwischen dem ersten Linsenbereich und dem zweiten Linsenbereich ergibt. Durch den gleitenden Übergang können Verzerrungen bei der Abbildung der Strahlung auf dem Bildsensor reduziert werden.In a further embodiment, the optical lens has an intermediate lens area between the first lens area and the second lens area. The intermediate lens region may be configured to provide a sliding transition between the first lens region and the second lens region. The sliding transition can reduce distortion in imaging the radiation on the image sensor.

In einer bevorzugten Ausführungsform ist die Sendeeinrichtung und/oder die Empfangseinrichtung an einem Dachhimmel des Kraftfahrzeugs angeordnet. Von dem Dachhimmel können Objekte im Innenraum des Kraftfahrzeugs zuverlässig erfasst werden. Damit können Bediengesten, die von den Fahrzeuginsassen ausgeführt werden, genau erkannt werden.In a preferred embodiment, the transmitting device and / or the receiving device is arranged on a headliner of the motor vehicle. From the headliner objects in the interior of the vehicle can be reliably detected. Thus, operating gestures that are executed by the vehicle occupants can be accurately detected.

In einer weiteren Ausführungsform ist die Recheneinrichtung dazu ausgebildet, eine Abbildung der mit der optischen Linse auf dem Bildsensor abgebildeten Strahlung zu entzerren. Zu diesem Zweck kann die Recheneinrichtung eine entsprechende Software umfassen, in der die optischen Abbildungseigenschaften des ersten und des zweiten Linsenbereichs der Linse hinterlegt sind. Damit können Bediengesten zuverlässig erfasst werden.In a further embodiment, the computing device is designed to equalize an image of the radiation imaged on the image sensor with the optical lens. For this purpose, the computing device may include corresponding software in which the optical imaging properties of the first and the second lens region of the lens are stored. Thus, operating gestures can be detected reliably.

Bevorzugt ist die Erfassungseinrichtung dazu ausgebildet, die Position eines Arms und/oder zumindest eines Fingers eines Fahrzeuginsassen als das Objekt zu bestimmen. Mit der Erfassungsvorrichtung können besondere Bediengesten der Fahrzeuginsassen erfasst werden. Dabei können mit dem ersten Linsenbereich, der nach Art eines Teleobjektivs ausgebildet ist, einzelne Finger und deren Position erfasst werden. Zudem können die Gesten der Hand und der einzelnen Finger mit einer hohen Auflösung erfasst werden. Mit dem zweiten Linsenbereich, der nach Art eines Weitwinkelobjektivs ausgebildet ist, können beispielsweise die Stellungen der Gliedmaßen der Fahrzeuginsassen erfasst werden. Zudem kann die Position der Fahrzeuginsassen innerhalb des Fahrzeugs erfasst werden.Preferably, the detection device is designed to determine the position of an arm and / or at least one finger of a vehicle occupant as the object. With the detection device special operating gestures of the vehicle occupants can be detected. In this case, with the first lens area, the manner of a telephoto lens is formed, individual fingers and their position are detected. In addition, the gestures of the hand and the individual fingers can be detected with a high resolution. With the second lens area, which is designed in the manner of a wide-angle lens, for example, the positions of the limbs of the vehicle occupants can be detected. In addition, the position of the vehicle occupants can be detected within the vehicle.

Das erfindungsgemäße Kraftfahrzeug umfasst die zuvor beschriebene Erfassungsvorrichtung und eine Steuereinrichtung zum Ansteuern einer Betriebskomponente des Kraftfahrzeugs in Abhängigkeit von der mit der Erfassungsvorrichtung bestimmten Position des Objekts. Mit der Erfassungsvorrichtung können entsprechende Bediengesten erfasst werden. Infolge dieser Bedieneingabe können entsprechende Betriebskomponenten des Kraftfahrzeugs angesteuert werden. Beispielsweise können entsprechende Bedienelemente im Bereich der Mittelkonsole berührungslos bedient werden.The motor vehicle according to the invention comprises the detection device described above and a control device for controlling an operating component of the motor vehicle as a function of the position of the object determined by the detection device. With the detection device corresponding operating gestures can be detected. As a result of this operating input corresponding operating components of the motor vehicle can be controlled. For example, corresponding controls in the area of the center console can be operated without contact.

Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert. Dabei zeigen:The present invention will now be explained in more detail with reference to the accompanying drawings. Showing:

1 eine schematische Darstellung einer Anordnung einer Erfassungsvorrichtung im Innenraum eines Kraftfahrzeugs; 1 a schematic representation of an arrangement of a detection device in the interior of a motor vehicle;

2 eine Darstellung gemäß 1, bei der ein erster und ein zweiter Erfassungsbereich der Erfassungsvorrichtung dargestellt sind; und 2 a representation according to 1 in which a first and a second detection range of the detection device are shown; and

3 eine symbolhafte Darstellung einer Abbildung mit der Erfassungsvorrichtung. 3 a symbolic representation of an illustration with the detection device.

Die nachfolgend näher dargestellten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar.The embodiments illustrated in more detail below represent preferred embodiments of the present invention.

1 zeigt eine Darstellung eines Innenraums 12 eines Kraftfahrzeugs 10. In dem Innenraum 12 des Kraftfahrzeugs 10 befindet sich eine Erfassungsvorrichtung 14. Die Erfassungsvorrichtung 14 ist an einem Dachhimmel 16 des Kraftfahrzeugs angeordnet. Die Erfassungsvorrichtung 14 kann als PMD-Kamera oder als sogenannte Time-of-Flight-Kamera ausgebildet sein. Die Erfassungsvorrichtung 14 umfasst eine hier nicht näher dargestellte Sendeeinrichtung, mit der Strahlung ausgesendet werden kann. Beispielsweise kann mit der Sendeeinrichtung Licht im infraroten Wellenlängenbereich ausgesendet werden. Des Weiteren umfasst die Erfassungsvorrichtung 14 eine Empfangseinrichtung, mit der die Strahlung, die von einem Objekt im Innenraum 12 des Kraftfahrzeugs 10 reflektiert wird, empfangen werden kann. Zu diesem Zweck umfasst die Erfassungsvorrichtung 14 einen entsprechenden Bildsensor. Des Weiteren umfasst die Erfassungsvorrichtung 14 eine optische Linse, mit der die von dem Objekt reflektierte Strahlung auf dem Bildsensor abgebildet wird. 1 shows a representation of an interior 12 of a motor vehicle 10 , In the interior 12 of the motor vehicle 10 there is a detection device 14 , The detection device 14 is on a headliner 16 of the motor vehicle. The detection device 14 can be designed as a PMD camera or as a so-called time-of-flight camera. The detection device 14 comprises a transmitting device, not shown here, with which radiation can be emitted. For example, light can be emitted in the infrared wavelength range with the transmitting device. Furthermore, the detection device comprises 14 a receiving device with which the radiation emitted by an object in the interior 12 of the motor vehicle 10 is reflected, can be received. For this purpose, the detection device comprises 14 a corresponding image sensor. Furthermore, the detection device comprises 14 an optical lens with which the radiation reflected by the object is imaged on the image sensor.

Die optische Linse der Erfassungsvorrichtung 14 umfasst einen ersten Linsenbereich und einen zweiten Linsenbereich. Dabei kann der zweite Linsenbereich den ersten Linsenbereich umgeben. Der erste Linsenbereich weist im Vergleich zum zweiten Linsenbereich eine längere Brennweite und/oder eine höhere Schärfentiefe auf. Mit dem ersten Linsenbereich, der nach Art eines Teleobjektivs ausgebildet ist, kann ein erster Erfassungsbereich 18 erfasst werden. Der erste Erfassungsbereich 18 kann einem Bereich der Mittelkonsole des Kraftfahrzeugs 10 zugeordnet sein. Der erste Erfassungsbereich 18 kann auch einer Bedieneinrichtung in einem mittleren Bereich des Armaturenbretts des Kraftfahrzeugs 10 zugeordnet sein. In dem ersten Erfassungsbereich 18 können Objekte beziehungsweise deren Position mit einer hohen optischen Auflösung erfasst werden. So kann beispielsweise die Stellung einer Hand des Fahrzeuginsassen erfasst werden. Zudem kann die Position der einzelnen Fingers des Kraftfahrzeuginsassen erfasst werden. Somit kann die Bedienung von Bedieneinrichtungen im ersten Erfassungsbereich 18 mittels einer Geste besonders zuverlässig erfasst werden.The optical lens of the detection device 14 includes a first lens area and a second lens area. In this case, the second lens area can surround the first lens area. The first lens area has a longer focal length and / or a higher depth of field compared to the second lens area. With the first lens area, which is designed in the manner of a telephoto lens, a first detection area 18 be recorded. The first detection area 18 may be an area of the center console of the motor vehicle 10 be assigned. The first detection area 18 may also be an operating device in a central region of the dashboard of the motor vehicle 10 be assigned. In the first detection area 18 Objects or their position can be detected with a high optical resolution. For example, the position of a hand of the vehicle occupant can be detected. In addition, the position of the individual finger of the motor vehicle occupant can be detected. Thus, the operation of controls in the first detection area 18 be detected by a gesture particularly reliable.

Der zweite Linsenbereich der optischen Linse der Erfassungsvorrichtung 14 ist einem zweiten Erfassungsbereich 20 zugeordnet. Der zweite Erfassungsbereich 20 erstreckt sich im vorliegenden Ausführungsbeispiel von der Fahrertür bis zur Beifahrertür. Zudem werden mit dem zweiten Linsenbereich die Fahrersitze und das Armaturenbrett erfasst. Der zweite Linsenbereich ist nach Art eines Weitwinkelobjektivs ausgebildet. Damit kann beispielsweise die Position der Fahrzeuginsassen innerhalb des Kraftfahrzeugs erfasst werden. Zudem können die Position der Gliedmaßen beziehungsweise der Arme der Fahrzeuginsassen erfasst werden. Damit können in diesem Bereich entsprechende Bedienhandlungen erfasst werden, bei denen es keiner hohen optischen Auflösung bedarf. So kann beispielsweise erfasst werden, ob der Fahrer zu einem Sicherheitsgurt greifen möchte oder ob der Fahrer die Tür öffnen möchte.The second lens portion of the optical lens of the detection device 14 is a second coverage area 20 assigned. The second detection area 20 extends in the present embodiment of the driver's door to the passenger door. In addition, with the second lens area, the driver's seats and the dashboard are detected. The second lens area is designed in the manner of a wide-angle lens. Thus, for example, the position of the vehicle occupants can be detected within the motor vehicle. In addition, the position of the limbs or the arms of the vehicle occupants can be detected. In this way, corresponding operator actions can be detected in this area where no high optical resolution is required. For example, it can be detected whether the driver wants to grab a seatbelt or whether the driver wants to open the door.

Der erste und der zweite Linsenbereich der optischen Linse können an die Abmessungen des Kraftfahrzeugs angepasst sein. Der erste und der zweite Linsenbereich können auch eine Ausstattungsvariante des Kraftfahrzeugs 10 angepasst sein. Zudem ist es denkbar, dass auch mehrere Erfassungsvorrichten 14 im Innenraum 12 des Kraftfahrzeugs 10 verwendet werden.The first and the second lens region of the optical lens may be adapted to the dimensions of the motor vehicle. The first and the second lens area can also be an equipment variant of the motor vehicle 10 be adjusted. In addition, it is conceivable that several detection devices 14 in the interior 12 of the motor vehicle 10 be used.

2 zeigt eine Darstellung eines Innenraums 12 eines Kraftfahrzeugs 10 gemäß 1. In dieser Darstellung sind nochmals der erste Erfassungsbereich 18 und der zweite Erfassungsbereich 20 dargestellt. Der zweite Erfassungsbereich 20, der in einer im Vergleich zum ersten optischen Erfassungsbereich 18 geringeren Auflösung erfasst wird, umgibt hier zumindest bereichsweise den ersten Erfassungsbereich 18. In dem zweiten Erfassungsbereich ist es üblicherweise ausreichend, dass die Position der Gliedmaßen der Fahrzeuginsassen erfasst wird. Im ersten Erfassungsbereich 18 kann durch die mit der optischen Linse bereitgestellte höhere Auflösung die Position eines einzelnen Fingers erfasst werden. 2 shows a representation of an interior 12 of a motor vehicle 10 according to 1 , In This representation is again the first detection area 18 and the second detection area 20 shown. The second detection area 20 which is in one compared to the first optical detection range 18 is detected at least partially, the first detection area here 18 , In the second detection range, it is usually sufficient that the position of the limbs of the vehicle occupants is detected. In the first coverage area 18 For example, the position of a single finger can be detected by the higher resolution provided by the optical lens.

3 zeigt eine symbolhafte Darstellung 22 einer Aufnahme einer karierten Fläche mit der Erfassungsvorrichtung 14. Dabei wird durch den ersten Linsenbereich im Vergleich zum zweiten Linsenbereich eine höhere Vergrößerung erzielt. Wie im vorliegenden Ausführungsbeispiel dargestellt, kann zwischen dem ersten Linsenbereich und dem zweiten Linsenbereich ein Zwischenlinsenbereich angeordnet sein. Mit anderen Worten ergibt sich durch den Zwischenlinsenbereich ein gleitender Übergang zwischen dem ersten Linsenbereich und dem zweiten Linsenbereich. Damit nimmt die Vergrößerung, die mit der optischen Linse bereitgestellt wird, ausgehend vom einem mittleren Bereich des ersten Linsenbereichs zum zweiten Linsenbereich hin kontinuierlich ab. 3 shows a symbolic representation 22 a recording of a checkered surface with the detection device 14 , In this case, a higher magnification is achieved by the first lens area compared to the second lens area. As shown in the present exemplary embodiment, an intermediate lens region may be arranged between the first lens region and the second lens region. In other words, the intermediate lens area results in a sliding transition between the first lens area and the second lens area. Thus, the magnification provided with the optical lens continuously decreases from a central region of the first lens region toward the second lens region.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102011089195 A1 [0004] DE 102011089195 A1 [0004]
  • US 2006/0279528 A1 [0005] US 2006/0279528 A1 [0005]
  • US 2011/0205421 A1 [0006] US 2011/0205421 A1 [0006]
  • US 2008/0181456 A1 [0007] US 2008/0181456 A1 [0007]
  • EP 2315103 A1 [0008] EP 2315103 A1 [0008]

Claims (10)

Erfassungsvorrichtung (14) zum Bestimmen einer Position eines Objekts in einem Innenraum (12) eines Kraftfahrzeugs (10) mit – einer Sendeeinrichtung zum Aussenden von Strahlung zum dem Objekt, – einer Empfangseinrichtung zum Empfangen der von dem Objekt reflektierten Strahlung, wobei die Empfangseinrichtung eine optische Linse zum Abbilden der reflektierten Strahlung auf einen Bildsensor der Empfangseinrichtung umfasst, und – einer Recheneinrichtung zum Bestimmen der Position des Objekts anhand einer Laufzeit der Strahlung, dadurch gekennzeichnet, dass – die optische Linse einen ersten Linsenbereich und einen vom ersten verschiedenen, zweiten Linsenbereich aufweist, und – der erste Linsenbereich im Vergleich zum zweiten Linsenbereich eine längere Brennweite aufweist.Detection device ( 14 ) for determining a position of an object in an interior space ( 12 ) of a motor vehicle ( 10 a receiving device for receiving the radiation reflected by the object, the receiving device comprising an optical lens for imaging the reflected radiation onto an image sensor of the receiving device, and a computing device for determining the Position of the object based on a transit time of the radiation, characterized in that - the optical lens has a first lens area and a different from the first, second lens area, and - the first lens area compared to the second lens area has a longer focal length. Erfassungsvorrichtung (14) nach Anspruch 1, dadurch gekennzeichnet, dass die optische Linse ortsfest zu der Empfangseinrichtung angeordnet ist.Detection device ( 14 ) according to claim 1, characterized in that the optical lens is arranged stationarily to the receiving device. Erfassungsvorrichtung (14) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Erfassungsbereich (18) des ersten Linsenbereichs der optischen Linse einer Mittelkonsole des Kraftfahrzeugs (10) zugeordnet ist.Detection device ( 14 ) according to claim 1 or 2, characterized in that a detection area ( 18 ) of the first lens region of the optical lens of a center console of the motor vehicle ( 10 ) assigned. Erfassungsvorrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Erfassungsbereich (20) des zweiten Linsenbereichs der optischen Linse einem Bereich der Vordersitze und/oder eines Armaturenbretts des Kraftfahrzeugs (10) zugeordnet ist.Detection device ( 14 ) according to one of the preceding claims, characterized in that a detection area ( 20 ) of the second lens region of the optical lens a region of the front seats and / or a dashboard of the motor vehicle ( 10 ) assigned. Erfassungsvorrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der erste Linsenbereich unmittelbar an den zweiten Linsenbereich grenzt.Detection device ( 14 ) according to one of the preceding claims, characterized in that the first lens region directly adjoins the second lens region. Erfassungsvorrichtung (14) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die optische Linse zwischen dem ersten Linsenbereich und dem zweiten Linsenbereich einen Linsenzwischenbereich aufweist.Detection device ( 14 ) according to one of claims 1 to 4, characterized in that the optical lens has a lens intermediate region between the first lens region and the second lens region. Erfassungsvorrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sendeeinrichtung und/oder die Empfangseinrichtung an einem Dachhimmel (16) des Kraftfahrzeugs (10) angeordnet sind.Detection device ( 14 ) according to one of the preceding claims, characterized in that the transmitting device and / or the receiving device on a headliner ( 16 ) of the motor vehicle ( 10 ) are arranged. Erfassungsvorrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinrichtung dazu ausgebildet ist, ein Abbild der mit der optischen Linse auf den Bildsensor abgebildeten Strahlung zu entzerren.Detection device ( 14 ) according to one of the preceding claims, characterized in that the computing means is adapted to equalize an image of the imaged with the optical lens to the image sensor radiation. Erfassungsvorrichtung (14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassungsvorrichtung (14) dazu ausgebildet ist, die Position eines Arms und/oder zumindest eines Fingers eines Fahrzeuginsassen als das Objekt zu bestimmen.Detection device ( 14 ) according to one of the preceding claims, characterized in that the detection device ( 14 ) is adapted to determine the position of an arm and / or at least one finger of a vehicle occupant as the object. Kraftfahrzeug (10) mit einer Erfassungsvorrichtung (14) nach einem der vorhergehenden Ansprüche und einer Steuervorrichtung zum Ansteuern einer Betriebskomponente des Kraftfahrzeugs (10) in Abhängigkeit von der mit der Erfassungsvorrichtung (14) bestimmten Position des Objekts.Motor vehicle ( 10 ) with a detection device ( 14 ) according to one of the preceding claims and a control device for driving an operating component of the motor vehicle ( 10 ) depending on the with the detection device ( 14 ) specific position of the object.
DE102013011533.7A 2013-07-10 2013-07-10 Detecting device for determining a position of an object in an interior of a motor vehicle Expired - Fee Related DE102013011533B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013011533.7A DE102013011533B4 (en) 2013-07-10 2013-07-10 Detecting device for determining a position of an object in an interior of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013011533.7A DE102013011533B4 (en) 2013-07-10 2013-07-10 Detecting device for determining a position of an object in an interior of a motor vehicle

Publications (2)

Publication Number Publication Date
DE102013011533A1 true DE102013011533A1 (en) 2015-01-15
DE102013011533B4 DE102013011533B4 (en) 2015-07-02

Family

ID=52107029

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013011533.7A Expired - Fee Related DE102013011533B4 (en) 2013-07-10 2013-07-10 Detecting device for determining a position of an object in an interior of a motor vehicle

Country Status (1)

Country Link
DE (1) DE102013011533B4 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015010421A1 (en) * 2015-08-11 2017-02-16 Daimler Ag Three-dimensional detection of the vehicle interior
US10252688B2 (en) 2017-03-22 2019-04-09 Ford Global Technologies, Llc Monitoring a vehicle cabin
GB2618824A (en) * 2022-05-19 2023-11-22 Aptiv Tech Ltd Methods and systems for determining one or more characteristics inside a cabin of a vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111993A1 (en) * 1990-04-23 1991-10-24 Volkswagen Ag Video camera for viewing road - has separate wide angle and telephoto objective lenses extending parallel
DE10158415A1 (en) * 2001-11-29 2003-06-18 Daimler Chrysler Ag Method for monitoring the interior of a vehicle, as well as a vehicle with at least one camera in the vehicle interior
US20060279528A1 (en) 2003-03-10 2006-12-14 Schobben Daniel W E Multi-view display
US20080181456A1 (en) 2006-12-27 2008-07-31 Takata Corporation Vehicular actuation system
US20100277935A1 (en) * 2009-04-30 2010-11-04 Koito Manufacturing Co., Ltd. Vehicle monitoring camera and vehicle monitoring camera system
EP2315103A2 (en) 2009-10-20 2011-04-27 Qualstar Corporation Touchless pointing device
US20110205421A1 (en) 2010-02-23 2011-08-25 Primesense Ltd. Wideband ambient light rejection
DE102011089195A1 (en) 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111993A1 (en) * 1990-04-23 1991-10-24 Volkswagen Ag Video camera for viewing road - has separate wide angle and telephoto objective lenses extending parallel
DE10158415A1 (en) * 2001-11-29 2003-06-18 Daimler Chrysler Ag Method for monitoring the interior of a vehicle, as well as a vehicle with at least one camera in the vehicle interior
US20060279528A1 (en) 2003-03-10 2006-12-14 Schobben Daniel W E Multi-view display
US20080181456A1 (en) 2006-12-27 2008-07-31 Takata Corporation Vehicular actuation system
US20100277935A1 (en) * 2009-04-30 2010-11-04 Koito Manufacturing Co., Ltd. Vehicle monitoring camera and vehicle monitoring camera system
EP2315103A2 (en) 2009-10-20 2011-04-27 Qualstar Corporation Touchless pointing device
US20110205421A1 (en) 2010-02-23 2011-08-25 Primesense Ltd. Wideband ambient light rejection
DE102011089195A1 (en) 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015010421A1 (en) * 2015-08-11 2017-02-16 Daimler Ag Three-dimensional detection of the vehicle interior
US10252688B2 (en) 2017-03-22 2019-04-09 Ford Global Technologies, Llc Monitoring a vehicle cabin
GB2618824A (en) * 2022-05-19 2023-11-22 Aptiv Tech Ltd Methods and systems for determining one or more characteristics inside a cabin of a vehicle

Also Published As

Publication number Publication date
DE102013011533B4 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
DE112013007216B4 (en) Information display device
DE102012207931A1 (en) Camera arrangement for distance measurement
DE102011089195A1 (en) Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them
DE102007049710A1 (en) Visual triggering of operations in a motor vehicle
DE102013012466A1 (en) Operating system and method for operating a vehicle-side device
DE102014221091B3 (en) Method for reducing the glare of at least one operator in a motor vehicle and motor vehicle
EP3335419B1 (en) Vehicle camera device for capturing the surroundings of a motor vehicle and driver assistance device for detecting objects with such a vehicle camera device
DE102007001266A1 (en) Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
DE102012002922A1 (en) Time-of-flight camera for a motor vehicle, motor vehicle and method for operating a time-of-flight camera
DE102012000263A1 (en) A method and apparatus for operating functions in a vehicle using gestures executed in three-dimensional space and related computer program product
DE102013000068A1 (en) Method for synchronizing display devices of a motor vehicle
DE102013203925A1 (en) Control system for vehicle headlights
DE102018118849A1 (en) Adjustable stacked filters for vehicle cameras
DE102014226185A1 (en) Method for determining a viewing direction of a person
DE102014206202A1 (en) Sun visor with an electronic image display device and method for its operation
DE102013011533B4 (en) Detecting device for determining a position of an object in an interior of a motor vehicle
DE102012018685B4 (en) System and method for controlling at least one vehicle system by means of gestures carried out by a driver
DE102016009327A1 (en) Device and method for calibrating a camera
DE102014118387A1 (en) Detecting device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle by synchronous control of lighting units, operating arrangement, motor vehicle and method
EP3254172A1 (en) Determination of a position of a non-vehicle object in a vehicle
DE102016208398B4 (en) Method for calibrating a vehicle camera
DE102010018782A1 (en) Test device for driver assistance system, has supporting part whose end is translational-moved parallel to lane of wheels, where device is connected with rear part of carrier vehicle by coupling unit and driven by wheels on road surface
DE102013013166A1 (en) Car with head-up display and associated gesture operation
DE102016218079B3 (en) Camera for an assistance system of a vehicle, assistance system and vehicle
DE102015218500A1 (en) Illumination and camera-based detection of raindrops on a pane

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee