DE102015208343B4 - Method for generating an overall image of a vehicle environment of a vehicle and corresponding device - Google Patents
Method for generating an overall image of a vehicle environment of a vehicle and corresponding device Download PDFInfo
- Publication number
- DE102015208343B4 DE102015208343B4 DE102015208343.8A DE102015208343A DE102015208343B4 DE 102015208343 B4 DE102015208343 B4 DE 102015208343B4 DE 102015208343 A DE102015208343 A DE 102015208343A DE 102015208343 B4 DE102015208343 B4 DE 102015208343B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- vehicle
- predefined
- images
- overall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003068 static effect Effects 0.000 description 4
- 230000012447 hatching Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
Abstract
Verfahren zum Erzeugen eines Gesamtbildes (20; 30) einer Fahrzeugumgebung eines Fahrzeuges mittels mehrerer Bilder, die jeweils von einer Kamera von mehreren an dem Fahrzeug angebrachten Kameras aktuell aufgenommen werden, wobei das Gesamtbild (20; 30) die Fahrzeugumgebung und ein virtuelles Modell (21) des Fahrzeuges aus einer virtuellen Perspektive darstellt, wobei folgende Schritte durchgeführt werden Bestimmen einer Position eines jeden in einem Bild der mehreren Bilder vorkommenden vordefinierten Bildabschnittes (22, 23, 24), der eine Fahrzeugkarosserie und/oder ein Fahrzeugrad zumindest teilweise abbildet,Abdecken eines Teils jedes Bildes der mehreren Bilder, in dem ein vordefinierter Bildabschnitt (22, 23, 24) vorkommt, mit einer dem entsprechenden Bild zugeordneten Bildmaske,Bestimmen jeder Bildmaske anhand der bestimmten Position jedes sich in dem zugeordneten Bild befindlichen vordefinierten Bildabschnittes (22, 23, 24) derartig, dass diese jeden in dem zugeordneten Bild vorkommenden vordefinierten Bildabschnitt (22, 23, 24) abdeckt, undErzeugen des Gesamtbildes (20; 30) durch Zusammensetzen der mehreren Bilder nach ihrer Abdeckung mit den zugeordneten Bildmasken, dadurch gekennzeichnet, dass folgende Schritte durchgeführt werden Bestimmen einer aktuellen Position wenigstens eines Fahrzeugrades in Abhängigkeit von einem aktuellen Lenkwinkel des Fahrzeuges, undDurchführen des Bestimmens der Position wenigstens eines in einem Bild der mehreren Bilder vorkommenden vordefinierten Bildabschnittes (22, 24), der das wenigstens eine Fahrzeugrad zumindest teilweise abbildet, anhand der aktuellen Position des wenigstens eines Fahrzeugrades und von aktuellen intrinsischen und extrinsischen Kalibrierungsparametern einer Kamera der mehreren Kameras, mittels der das entsprechende Bild aktuell aufgenommen wurde.Method for generating an overall image (20; 30) of a vehicle surroundings of a vehicle using a plurality of images, each of which is currently recorded by a camera from a plurality of cameras attached to the vehicle, the overall image (20; 30) comprising the vehicle surroundings and a virtual model (21 ) of the vehicle from a virtual perspective, the following steps being carried out: determining a position of each predefined image section (22, 23, 24) occurring in an image of the plurality of images, which at least partially depicts a vehicle body and / or a vehicle wheel, covering a Part of each image of the plurality of images in which a predefined image section (22, 23, 24) occurs, with an image mask assigned to the corresponding image, determining each image mask based on the specific position of each predefined image section (22, 23,) located in the assigned image. 24) such that it covers each predefined image section (22, 23, 24) occurring in the associated image, and generating the overall image (20; 30) by assembling the multiple images after covering them with the associated image masks, characterized in that the following steps are carried out: determining a current position of at least one vehicle wheel depending on a current steering angle of the vehicle, and carrying out the determination of the position of at least one in an image of the predefined image section (22, 24) occurring in several images, which at least partially depicts the at least one vehicle wheel, based on the current position of the at least one vehicle wheel and current intrinsic and extrinsic calibration parameters of a camera of the several cameras by means of which the corresponding image was currently recorded.
Description
Die vorliegende Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges mittels mehrerer Bilder. Die mehreren Bilder werden jeweils von einer Kamera von mehreren an dem Fahrzeug angebrachten Kameras aktuell aufgenommen.The present invention relates to a method and a corresponding device for generating an overall image of a vehicle environment of a vehicle using a plurality of images. The multiple images are each currently captured by one of multiple cameras mounted on the vehicle.
Stand der TechnikState of the art
Aus dem Stand der Technik sind Rundumsicht-Systeme für Fahrzeuge bekannt, die jeweils eine Erzeugung eines zwei- oder dreidimensionalen Gesamtbildes einer Fahrzeugumgebung eines entsprechenden Fahrzeuges ermöglichen.All-round vision systems for vehicles are known from the prior art, which in each case enable a two-dimensional or three-dimensional overall image of a vehicle environment to be generated for a corresponding vehicle.
Ein genanntes Rundumsicht-System umfasst vier an einem Fahrzeug anbringbare Kameras. Wenn die vier Kameras des Rundumsicht-Systems an dem Fahrzeug angebracht sind, wird ein entsprechendes Gesamtbild einer Fahrzeugumgebung des Fahrzeuges mittels mehrerer Bilder erzeugt, die jeweils von einer Kamera der vier Kameras aktuell aufgenommen werden. Dabei stellt ein solches Gesamtbild die entsprechende Fahrzeugumgebung und ein virtuelles Modell des entsprechenden Fahrzeuges aus einer virtuellen Perspektive dar.A so-called all-round vision system comprises four cameras that can be attached to a vehicle. If the four cameras of the all-round vision system are attached to the vehicle, a corresponding overall image of a vehicle environment of the vehicle is generated using a plurality of images that are currently recorded by one of the four cameras. Such an overall picture represents the corresponding vehicle environment and a virtual model of the corresponding vehicle from a virtual perspective.
Ein genanntes Rundumsicht-System ermöglicht durch die Verwendung eines bildbasierten Rendering-Verfahrens eine freie Navigation einer virtuellen Kamera zur Erzeugung einer zuvor genannten virtuellen Perspektive um ein virtuelles Modell eines entsprechenden Fahrzeuges.By using an image-based rendering method, a so-called all-round view system enables free navigation of a virtual camera for generating an aforementioned virtual perspective around a virtual model of a corresponding vehicle.
Aus dem Dokument
Aus dem Dokument
Die Schrift
Offenbarung der ErfindungDisclosure of Invention
Erfindungsgemäß wird ein Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges mittels mehrerer Bilder offenbart. Die mehreren Bilder werden jeweils von einer Kamera von mehreren an dem Fahrzeug angebrachten Kameras aktuell aufgenommen. Dabei stellt das Gesamtbild die Fahrzeugumgebung und ein virtuelles Modell des Fahrzeuges aus einer virtuellen Perspektive dar. Das erfindungsgemäße Verfahren umfasst einen ersten Schritt eines Bestimmens einer Position eines jeden in einem Bild der mehreren Bilder vorkommenden vordefinierten Bildabschnittes, der eine Fahrzeugkarosserie und/oder ein Fahrzeugrad zumindest teilweise abbildet. Ferner umfasst das erfindungsgemäße Verfahren einen zweiten Schritt eines Abdeckens eines Teiles jedes Bildes der mehreren Bilder, in dem ein vordefinierter Bildabschnitt vorkommt, mit einer dem entsprechenden Bild zugeordneten Bildmaske. Auch umfasst das erfindungsgemäße Verfahren einen dritten Schritt eines Bestimmens jeder Bildmaske anhand der bestimmten Position jedes sich in dem zugeordneten Bild befindlichen vordefinierten Bildabschnittes. Bei dem dritten Schritt wird jede Bildmaske derartig bestimmt, dass diese jeden in dem zugeordneten Bild vorkommenden vordefinierten Bildabschnitt abdeckt. Auch umfasst das erfindungsgemäße Verfahren einen vierten Schritt eines Erzeugens des Gesamtbildes durch Zusammensetzen der mehreren Bilder nach ihrer Abdeckung mit den zugeordneten Bildmasken.According to the invention, a method for generating an overall image of a vehicle environment of a vehicle using a plurality of images is disclosed. The multiple images are each currently captured by one of multiple cameras mounted on the vehicle. The overall image represents the vehicle surroundings and a virtual model of the vehicle from a virtual perspective. The method according to the invention comprises a first step of determining a position of each predefined image section occurring in an image of the plurality of images, which at least includes a vehicle body and/or a vehicle wheel partially depicted. Furthermore, the method according to the invention comprises a second step of covering a part of each image of the plurality of images, in which a predefined image section occurs, with an image mask assigned to the corresponding image. The method according to the invention also includes a third step of determining each image mask based on the determined position of each predefined image section located in the associated image. In the third step, each image mask is determined in such a way that it covers every predefined image section occurring in the associated image. The method according to the invention also includes a fourth step of generating the overall image by assembling the multiple images after they have been covered with the associated image masks.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.
Bei dem zuvor beschriebenen Verfahren umfasst der vierte Schritt bevorzugt ein Anzeigen des Gesamtbildes auf einer Anzeigeeinheit.In the method described above, the fourth step preferably includes displaying the overall image on a display unit.
Bei einem zuvor beschriebenen Verfahren wird bevorzugt ein fünfter Schritt durchgeführt. Der fünfte Schritt umfasst ein Positionieren des virtuellen Modells des Fahrzeuges in einem Bildbereich des Gesamtbildes, dessen Position in dem Gesamtbild einer Position des Fahrzeuges in der Fahrzeugumgebung entspricht.In a previously described method, a fifth step is preferably carried out. The fifth step includes positioning the virtual model of the vehicle in an image area of the overall image whose position in the overall image corresponds to a position of the vehicle in the vehicle environment.
Bei einem zuvor beschriebenen Verfahren wird bevorzugt ein sechster Schritt durchgeführt. Der sechste Schritt umfasst ein Durchführen des Bestimmens der Position wenigstens eines in einem Bild der mehreren Bilder vorkommenden vordefinierten Bildabschnittes, der die Fahrzeugkarosserie zumindest teilweise abbildet, anhand von aktuellen intrinsischen und extrinsischen Kalibrierungsparametern einer Kamera der mehreren Kameras, mittels der das entsprechende Bild aktuell aufgenommen wurde.In a method described above, a sixth step is preferably carried out. The sixth step includes performing the determination of the position of at least one predefined occurring in an image of the plurality of images th image section, which at least partially depicts the vehicle body, based on current intrinsic and extrinsic calibration parameters of a camera of the plurality of cameras, by means of which the corresponding image was currently recorded.
In einem Fall, in dem ein vordefinierter Bildabschnitt eines Bildes der mehreren Bilder die Fahrzeugkarosserie zumindest teilweise abbildet, weist der entsprechende vordefinierte Bildabschnitt immer eine und dieselbe Position in dem entsprechenden Bild auf, wenn sich die entsprechende Kamera in einer vordefinierten Position befindet. Folglich kann zum Abdecken eines vordefinierten Bildabschnittes, der die Fahrzeugkarosserie zumindest teilweise abbildet, eine Bildmaske für eine vordefinierte Position der entsprechenden Kamera verwendet werden, die für die vordefinierte Position der entsprechenden Kamera nur einmalig bestimmt werden kann und deswegen auch als statische Bildmaske bezeichnet wird.In a case where a predefined image section of an image of the plurality of images at least partially images the vehicle body, the corresponding predefined image section always has one and the same position in the corresponding image when the corresponding camera is in a predefined position. Consequently, to cover a predefined image section that at least partially depicts the vehicle body, an image mask for a predefined position of the corresponding camera can be used, which can only be determined once for the predefined position of the corresponding camera and is therefore also referred to as a static image mask.
Ein Abdecken jedes vordefinierten Bildabschnittes, der die Fahrzeugkarosserie zumindest teilweise abbildet, mittels einer Bildmaske, führt dazu, dass in einem entsprechenden Gesamtbild die Fahrzeugkaroserie nicht abgebildet wird. Vorteilhaft dabei ist, dass in einem solchen Gesamtbild das virtuelle Modell des Fahrzeuges deutlich zu erkennen ist, da dieses nicht mit einer Abbildung der Fahrzeugkarosserie überlagert wird. Dies führt zu einer verbesserten Visualisierung der Fahrzeugumgebung.Covering each predefined image section, which at least partially images the vehicle body, with an image mask results in the vehicle body not being imaged in a corresponding overall image. The advantage here is that the virtual model of the vehicle can be clearly recognized in such an overall image, since this is not overlaid with an image of the vehicle body. This leads to an improved visualization of the vehicle environment.
Es kann vorgesehen sein, dass ein Bild der mehreren Bilder, in dem ein vordefinierter Bildabschnitt vorkommen kann, der ein Fahrzeugrad zumindest teilweise abbildet, mittels einer Bildmaske überlagert wird, die derartig bestimmt wird, dass diese alle mögliche Positionen abdeckt, die während einer Bewegung des entsprechenden Fahrzeugrades von seinen Abbildungen angenommen werden können.Provision can be made for an image of the plurality of images, in which a predefined image section can occur that at least partially depicts a vehicle wheel, to be superimposed using an image mask that is determined in such a way that it covers all possible positions that occur during a movement of the corresponding vehicle wheel can be assumed from its illustrations.
Ein Abdecken jedes vordefinierten Bildabschnittes, der ein Fahrzeugrad zumindest teilweise abbildet, mittels einer Bildmaske führt dazu, dass in einem entsprechenden Gesamtbild keine unerwünschten Projektionen der Fahrzeugräder erscheinen. Eine solche unerwünschte Projektion kann in einem Bildbereich des entsprechenden Gesamtbildes erscheinen, in dem ein Boden, auf dem sich das Fahrzeug befindet, abgebildet wird. Vorteilhaft dabei ist, dass in einem solchen Gesamtbild die Fahrzeugumgebung deutlich zu erkennen ist, da ihre Abbildung nicht mit den genannten Projektionen überlagert wird. Dies führt zu einer verbesserten Visualisierung der Fahrzeugumgebung.Covering each predefined image section, which at least partially depicts a vehicle wheel, by means of an image mask means that no undesired projections of the vehicle wheels appear in a corresponding overall image. Such an undesired projection can appear in an image area of the corresponding overall image in which a ground on which the vehicle is located is imaged. The advantage here is that the vehicle surroundings can be clearly recognized in such an overall image, since its image is not superimposed with the projections mentioned. This leads to an improved visualization of the vehicle environment.
Bei einem zuvor beschriebenen Verfahren werden erfindungsgemäß ein siebter Schritt und ein achter Schritt durchgeführt. Der siebte Schritt umfasst ein Bestimmen einer aktuellen Position wenigstens eines Fahrzeugrades in Abhängigkeit von einem aktuellen Lenkwinkel des Fahrzeuges. Der achte Schritt umfasst ein Durchführen des Bestimmens der Position wenigstens eines in einem Bild der mehreren Bilder vorkommenden vordefinierten Bildabschnittes, der das wenigstens eine Fahrzeugrad zumindest teilweise abbildet, anhand der aktuellen Position des wenigstens eines Fahrzeugrades. Bei dem achten Schritt wird das Bestimmen der Position des entsprechenden wenigstens einen vordefinierten Bildabschnittes auch anhand von aktuellen intrinsischen und extrinsischen Kalibrierungsparametern einer Kamera der mehreren Kameras durchgeführt, mittels der das entsprechende Bild aktuell aufgenommen wurde.In a method described above, a seventh step and an eighth step are carried out according to the invention. The seventh step includes determining a current position of at least one vehicle wheel as a function of a current steering angle of the vehicle. The eighth step includes determining the position of at least one predefined image section that occurs in an image of the plurality of images and at least partially depicts the at least one vehicle wheel, based on the current position of the at least one vehicle wheel. In the eighth step, the position of the corresponding at least one predefined image section is also determined using current intrinsic and extrinsic calibration parameters of a camera of the plurality of cameras, by means of which the corresponding image was currently recorded.
In einem Fall, in dem ein vordefinierter Bildabschnitt eines Bildes der mehreren Bilder ein Fahrzeugrad zumindest teilweise abbildet, ändert sich eine Position eines solchen vordefinierten Bildabschnittes in einem entsprechenden Bild, wenn sich eine Position des entsprechenden Fahrzeugrades ändert. Dies geschieht auch dann, wenn sich eine Kamera der vier Kameras, mittels der ein entsprechendes Bild aufgenommen wurde, in einer vordefinierten Position befindet. Folglich kann zum Abdecken eines vordefinierten Bildabschnittes, der ein Fahrzeugrad zumindest teilweise abbildet, eine Bildmaske verwendet werden, die in Abhängigkeit von einer aktuellen Position des entsprechenden vordefinierten Bildabschnittes in dem entsprechenden Bild eingestellt werden kann und deswegen auch als dynamische Bildmaske bezeichnet wird.In a case where a predefined image section of an image of the plurality of images at least partially depicts a vehicle wheel, a position of such a predefined image section in a corresponding image changes when a position of the corresponding vehicle wheel changes. This also happens when one of the four cameras, by means of which a corresponding image was recorded, is in a predefined position. Consequently, to cover a predefined image section that at least partially depicts a vehicle wheel, an image mask can be used that can be adjusted depending on a current position of the corresponding predefined image section in the corresponding image and is therefore also referred to as a dynamic image mask.
Ein Abdecken jedes vordefinierten Bildabschnittes, der ein Fahrzeugrad zumindest teilweise abbildet, mittels einer dynamischen Bildmaske führt dazu, dass in dem entsprechenden Bild nur eine minimale Fläche abgedeckt wird. Dadurch wird ein Informationsverlust, der durch ein Abdecken einer größeren Fläche des entsprechenden Bildes entstehen würde, vermieden. Auf diese Weise kann durch ein entsprechendes Gesamtbild eine maximal mögliche Informationsmenge über die Fahrzeugumgebung bereitgestellt werden.Covering each predefined image section, which at least partially depicts a vehicle wheel, by means of a dynamic image mask results in only a minimal area being covered in the corresponding image. This avoids a loss of information that would result from covering a larger area of the corresponding image. In this way, a maximum possible amount of information about the vehicle environment can be provided by a corresponding overall picture.
Bei einem zuvor beschriebenen Verfahren werden bevorzugt ein neunter Schritt und ein zehnter Schritt durchgeführt. Der neunte Schritt umfasst ein Erstellen oder ein Verwenden einer Lookup-Tabelle, die eine Position wenigstens eines vordefinierten Bildabschnittes umfasst, der jeweils in der entsprechenden Position in einem Bild wenigstens einer Kamera der mehreren Kameras vorkommen kann, wenn sich die wenigstens eine Kamera in einer vordefinierten Position befindet. Der zehnte Schritt umfasst ein Entnehmen der Position des wenigstens einen vordefinierten Bildabschnittes aus der Lookup-Tabelle, wenn der wenigstens eine vordefinierte Bildabschnitt in dem aktuellen Bild der wenigstens einen Kamera vorkommt. Auf diese Weise kann ein Bestimmen einer Bildmaske, die einen vordefinierten Bildabschnitt abdecken soll, dessen Position in dem entsprechenden Bild aus der Lookup-Tabelle entnommen wird, schneller erfolgen. Der Grund dafür ist, dass die Position eines solchen vordefinierten Bildabschnittes nicht erst anhand von aktuellen intrinsischen und extrinsischen Kalibrierungsparametern der entsprechenden Kamera bestimmt werden muss.In a previously described method, a ninth step and a tenth step are preferably carried out. The ninth step includes creating or using a lookup table that includes a position of at least one predefined image section that can occur in the corresponding position in an image of at least one camera of the plurality of cameras when the at least one camera is in a predefined position. The tenth The step includes extracting the position of the at least one predefined image section from the lookup table if the at least one predefined image section occurs in the current image of the at least one camera. In this way, an image mask that is intended to cover a predefined image section whose position in the corresponding image is taken from the lookup table can be determined more quickly. The reason for this is that the position of such a predefined image section does not first have to be determined using the current intrinsic and extrinsic calibration parameters of the corresponding camera.
Bei einem zuvor beschriebenen Verfahren wird bevorzugt ein elfter Schritt durchgeführt. Der elfte Schritt umfasst ein Ersetzen wenigstens eines Bildabschnittes des Gesamtbildes, der wenigstens einem vordefinierten Bildabschnitt eines Bildes der mehreren Bilder entspricht, durch wenigstens eine vordefinierte Bildstruktur in dem Gesamtbild.In a previously described method, an eleventh step is preferably carried out. The eleventh step includes replacing at least one image section of the overall image, which corresponds to at least one predefined image section of an image of the plurality of images, with at least one predefined image structure in the overall image.
Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges mittels mehrerer Bilder. Dabei werden die mehreren Bilder jeweils von einer Kamera von mehreren an dem Fahrzeug angebrachten Kameras aktuell aufgenommen. Das von der Vorrichtung zu erzeugende Gesamtbild stellt die Fahrzeugumgebung und ein virtuelles Modell des Fahrzeuges aus einer virtuellen Perspektive dar. Vorzugsweise umfasst die Vorrichtung eine Anzeigeeinheit.A further aspect of the invention relates to a device for generating an overall image of a vehicle environment of a vehicle using a plurality of images. In this case, the multiple images are each currently recorded by one of multiple cameras mounted on the vehicle. The overall image to be generated by the device represents the vehicle environment and a virtual model of the vehicle from a virtual perspective. The device preferably includes a display unit.
Eine zuvor beschriebene Vorrichtung ist dazu ausgebildet, ein zuvor beschriebenes Verfahren durchzuführen.A previously described device is designed to carry out a previously described method.
Ein anderer Aspekt der Erfindung betrifft ein Rundumsichtsystem mit einer zuvor beschriebenen Vorrichtung und vier an einem Fahrzeug anbringbaren Kameras.Another aspect of the invention relates to an all-round vision system with a device as described above and four cameras that can be attached to a vehicle.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnungen im Detail beschrieben. Für gleiche Komponenten werden jeweils gleiche Bezugszeichen verwendet. Jede Komponente wird jeweils einmalig eingeführt und bei Wiederholung jeweils als schon bekannt behandelt, unabhängig davon, auf welche Zeichnung oder auf welches Ausführungsbeispiel sich ein jeweils entsprechender Beschreibungsteil, in dem die entsprechende Komponente wiederholt vorkommt, bezieht. In den Zeichnungen ist:
-
1 ein Bild einer ersten Kamera von vier an einem Fahrzeug angebrachten Kameras eines Rundumsichtsystems und eine statische Bildmaske, die zum Abdecken eines Teiles des ersten Bildes verwendbar ist, -
2 ein gemäß einer ersten Ausführungsform der Erfindung erzeugtes erstes Gesamtbild einer Fahrzeugumgebung des Fahrzeuges, und -
3 ein gemäß der ersten Ausführungsform der Erfindung erzeugtes zweites Gesamtbild der Fahrzeugumgebung des Fahrzeuges.
-
1 an image from a first camera of four vehicle-mounted cameras of a surround vision system and a static image mask usable to cover a portion of the first image, -
2 a first overall image of a vehicle environment of the vehicle generated according to a first embodiment of the invention, and -
3 a second overall image of the vehicle environment of the vehicle generated according to the first embodiment of the invention.
Ausführungsformen der ErfindungEmbodiments of the invention
Gemäß einer ersten Ausführungsform der Erfindung umfasst ein erstes Rundumsichtsystem für das Fahrzeug eine erste Vorrichtung zum Erzeugen wenigstens eines Gesamtbildes der Fahrzeugumgebung des Fahrzeuges und vier an dem Fahrzeug angebrachten Kameras. Dabei ist in einem Frontbereich und in einem Heckbereich des Fahrzeuges jeweils eine Kamera der vier Kameras angebracht. Ferner ist an einer jeden Seite des Fahrzeuges jeweils eine Kamera der vier Kameras angebracht.According to a first embodiment of the invention, a first all-round vision system for the vehicle includes a first device for generating at least one overall image of the vehicle's surroundings and four cameras mounted on the vehicle. One of the four cameras is installed in a front area and in a rear area of the vehicle. Furthermore, one of the four cameras is mounted on each side of the vehicle.
Die Funktionsweise der ersten Vorrichtung wird in Zusammenhang mit den
Die erste Vorrichtung ist dazu ausgebildet, eine Position eines jeden ersten vordefinierten Bildabschnittes zu bestimmen, der eine Fahrzeugkarosserie zumindest teilweise abbildet und in einem Bild von vier Bildern vorkommt, die mittels der vier Kameras aktuell aufgenommen wurden. Hier erfolgt eine Bestimmung der Position jedes in einem Bild der vier Bilder vorkommenden ersten vordefinierten Bildabschnittes in Abhängigkeit von den aktuellen intrinsischen und extrinsischen Kalibrierungsparametern der Kamera, mittels der das entsprechende Bild aktuell aufgenommen wurde.The first device is designed to determine a position of each first predefined image section that at least partially images a vehicle body and occurs in one of four images that were currently recorded by the four cameras. Here, the position of each first predefined image section occurring in an image of the four images is determined as a function of the current intrinsic and extrinsic calibration parameters the camera with which the corresponding image was currently recorded.
Die erste Vorrichtung ist ferner dazu ausgebildet, einen Teil jedes Bildes der vier Bilder, in dem ein erster vordefinierter Bildabschnitt vorkommt, mit einer dem entsprechenden Bild zugeordneten ersten Bildmaske, hier einer Schraffur 23, abzudecken. Weiterhin bestimmt die erste Vorrichtung jede erste Bildmaske in Abhängigkeit von der bestimmten Position jedes sich in dem zugeordneten Bild befindlichen ersten vordefinierten Bildabschnittes derartig, dass diese jeden in dem zugeordneten Bild vorkommenden ersten vordefinierten Bildabschnitt abdeckt. Für eine vordefinierte Position einer Kamera der vier Kameras weist eine für das aktuell aufgenommene Bild der entsprechenden Kamera verwendbare erste Bildmaske eine und dieselbe Ausgestaltung auf und wird einmalig bestimmt. Eine solche erste Bildmaske ist folglich eine statische Bildmaske.The first device is also designed to cover a part of each image of the four images, in which a first predefined image section occurs, with a first image mask, here a hatching 23, assigned to the corresponding image. Furthermore, the first device determines each first image mask as a function of the determined position of each first predefined image section located in the associated image in such a way that it covers every first predefined image section occurring in the associated image. For a predefined position of one of the four cameras, a first image mask that can be used for the currently recorded image of the corresponding camera has one and the same configuration and is determined once. Such a first image mask is consequently a static image mask.
Die erste Vorrichtung ist auch dazu ausgebildet, ein erstes Gesamtbild 20 und ein zweites Gesamtbild 30, der Fahrzeugumgebung des Fahrzeuges durch Zusammensetzen der vier Bilder nach ihrer Abdeckung mit den ersten Bildmasken zu erzeugen. Die erste Vorrichtung ist weiterhin dazu ausgebildet, jeweils ein virtuelles Modell 21 des Fahrzeuges in einem Bildbereich des ersten Gesamtbildes 20 und des zweiten Gesamtbildes 30 zu positionieren, dessen Position und Ansicht in dem ersten Gesamtbild 20 und dem zweiten Gesamtbild 30 einer Position und Ansicht des Fahrzeuges in der Fahrzeugumgebung entspricht.The first device is also designed to generate a first
Gemäß der ersten Ausführungsform der Erfindung wird ein jeder in einem Bild der vier Bilder vorkommender zweiter vordefinierter Bildabschnitt, der ein Fahrzeugrad zumindest teilweise abbildet, nicht mittels einer entsprechenden ersten Bildmaske abgedeckt.According to the first embodiment of the invention, each second predefined image section occurring in an image of the four images, which at least partially images a vehicle wheel, is not covered by a corresponding first image mask.
Aus dem ersten Gesamtbild 20 sowie aus dem zweiten Gesamtbild 30 ist ersichtlich, dass ein Bild, das mittels der sich auf einer Fahrerseite des Fahrzeuges befindlichen Kamera aktuell aufgenommen wurde, eine Abbildung eines ersten Fahrzeugrades umfasst, das sich auf der Fahrerseite in dem Frontbereich des Fahrzeuges befindet. Dies kann anhand einer Projektion 22 des ersten Fahrzeugrades erkannt werden, die in einem Bildbereich des ersten Gesamtbildes 20 und des zweiten Gesamtbildes 30 jeweils erscheint, der einen Boden abbildet, auf dem sich das Fahrzeug befindet. Ferner ist aus dem zweiten Gesamtbild 30 ersichtlich, dass ein Bild, das mittels der sich auf einer Beifahrerseite des Fahrzeuges befindlichen Kamera aktuell aufgenommen wurde, eine Abbildung eines zweiten Fahrzeugrades umfasst, das sich auf der Beifahrerseite in dem Frontbereich des Fahrzeuges befindet. Dies kann anhand einer Projektion 24 des zweiten Fahrzeugrades erkannt werden, die auch in einem Bildbereich des zweiten Gesamtbildes 30 erscheint, der einen Boden abbildet, auf dem sich das Fahrzeug befindet. Das in der
Ferner ist in dem ersten Gesamtbild 20 sowie in dem dem zweiten Gesamtbild 30 ein Bereich 25 dargestellt, der den eigenen Schatten des Fahrzeuges abbildet.Furthermore, in the first
Gemäß einer zweiten Ausführungsform der Erfindung umfasst ein zweites Rundumsichtsystem für das Fahrzeug eine zweite Vorrichtung zum Erzeugen wenigstens eines Gesamtbildes einer Fahrzeugumgebung des Fahrzeuges und vier an dem Fahrzeug angebrachten Kameras. Dabei sind die vier Kameras des zweiten Rundumsichtsystems in gleicher Weise an dem Fahrzeug angebracht, wie die vier Kameras des ersten Rundumsichtsystems.According to a second embodiment of the invention, a second all-round vision system for the vehicle includes a second device for generating at least one overall image of a vehicle environment of the vehicle and four cameras mounted on the vehicle. The four cameras of the second all-round vision system are attached to the vehicle in the same way as the four cameras of the first all-round vision system.
Die Funktionsweise der zweiten Vorrichtung ist hinsichtlich der Verwendung der ersten Bildmasken identisch zu der ersten Vorrichtung.The functionality of the second device is identical to that of the first device with regard to the use of the first image masks.
Zusätzlich ist die zweite Vorrichtung dazu ausgebildet, eine Position eines jeden zweiten vordefinierten Bildabschnittes zu bestimmen, der ein Fahrzeugrad zumindest teilweise abbildet und in einem Bild von vier Bildern vorkommt, die von den vier Kameras aktuell aufgenommen wurden. Hier erfolgt eine Bestimmung der Position jedes in einem Bild der vier Bilder vorkommenden zweiten vordefinierten Bildabschnittes in Abhängigkeit von den aktuellen intrinsischen und extrinsischen Kalibrierungsparametern der Kamera, mittels der das entsprechende Bild aktuell aufgenommen wurde. Ferner erfolgt hier die Bestimmung der Position jedes in einem Bild der vier Bilder vorkommenden zweiten vordefinierten Bildabschnittes auch in Abhängigkeit von einer aktuellen Position des Fahrzeugrades, das in dem entsprechenden zweiten vordefinierten Bildabschnitt zumindest teilweise abgebildet wird.In addition, the second device is designed to determine a position of every second predefined image section that at least partially depicts a vehicle wheel and occurs in one of four images that were currently recorded by the four cameras. Here, the position of each second predefined image section occurring in an image of the four images is determined as a function of the current intrinsic and extrinsic calibration parameters of the camera, by means of which the corresponding image was currently recorded. Furthermore, the position of each second predefined image section occurring in an image of the four images is also determined here as a function of a current position of the vehicle wheel, which is at least partially imaged in the corresponding second predefined image section.
Die zweite Vorrichtung ist ferner dazu ausgebildet, einen Teil jedes Bildes der vier Bilder, in dem ein zweiter vordefinierten Bildabschnitt vorkommt, mit einer dem entsprechenden Bild zugeordneten zweiten Bildmaske abzudecken. Weiterhin bestimmt die zweite Vorrichtung jede zweite Bildmaske in Abhängigkeit von der bestimmten Position jedes sich in dem zugeordneten Bild befindlichen zweiten vordefinierten Bildabschnittes derartig, dass diese jeden in dem zugeordneten Bild vorkommenden zweiten vordefinierten Bildabschnitt abdeckt. Dabei weist eine für ein Bild der vier Bilder verwendbare zweite Bildmaske für unterschiedliche Positionen eines in dem entsprechenden Bild abbildbaren Fahrzeugrads auch unterschiedliche Ausgestaltungen auf. Dies geschieht auch dann, wenn sich die Kamera, mittels der das entsprechende Bild aktuell aufgenommen wurde, in einer vordefinierten Position befindet. Eine solche zweite Bildmaske ist eine dynamische Bildmaske, die für unterschiedliche Positionen des entsprechenden Fahrzeugrades unterschiedlich eingestellt werden kann.The second device is also designed to cover a part of each image of the four images in which a second predefined image section occurs with a second image mask assigned to the corresponding image. Furthermore, the second device determines each second image mask as a function of the determined position of each second predefined image section located in the associated image in such a way that this covers every second predefined image section occurring in the associated image. A second image mask that can be used for one image of the four images also has different configurations for different positions of a vehicle wheel that can be imaged in the corresponding image. This also happens when the camera, by means of which the corresponding image was currently recorded, is in a predefined position. Such a second image mask is a dynamic image mask that can be set differently for different positions of the corresponding vehicle wheel.
Die zweite Vorrichtung ist ferner dazu ausgebildet, das wenigstens eine Gesamtbild der Fahrzeugumgebung des Fahrzeuges durch Zusammensetzen der vier aktuell aufgenommenen Bilder nach ihrer Abdeckung mit den ersten und zweiten Bildmasken zu erzeugen. Die zweite Vorrichtung ist weiterhin dazu ausgebildet, ein virtuelles Modell des Fahrzeuges in einem Bildbereich des wenigstens einen Gesamtbildes zu positionieren, dessen Position und Ansicht in dem wenigstens einen Gesamtbild einer Position und Ansicht des Fahrzeuges in der Fahrzeugumgebung entspricht.The second device is also designed to generate the at least one overall image of the vehicle surroundings of the vehicle by assembling the four currently recorded images after they have been covered with the first and second image masks. The second device is also designed to position a virtual model of the vehicle in an image area of the at least one overall image, whose position and view in the at least one overall image corresponds to a position and view of the vehicle in the vehicle environment.
Die durch die zweite Vorrichtung erzeugten Gesamtbilder entsprechen folglich dem ersten Gesamtbild 20 und dem zweiten Gesamtbild 30, wobei die Projektionen 22 des ersten Fahrzeugrades und die Projektion 24 des zweiten Fahrzeugrades nicht vorhanden sind und zum Beispiel durch Schraffuren oder Texturen der benachbarten Bildbereiche ersetzt sind.The overall images generated by the second device consequently correspond to the first
Neben der voranstehenden schriftlichen Offenbarung wird hiermit zur weiteren Offenbarung der Erfindung ergänzend auf die Darstellung in den
Claims (5)
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015208343.8A DE102015208343B4 (en) | 2015-05-06 | 2015-05-06 | Method for generating an overall image of a vehicle environment of a vehicle and corresponding device |
JP2017557945A JP2018517973A (en) | 2015-05-06 | 2016-03-21 | Method for creating an overall image of a vehicle periphery and corresponding apparatus |
CN201680026277.9A CN107636723B (en) | 2015-05-06 | 2016-03-21 | Method for generating a global image of the surroundings of a vehicle and corresponding device |
EP16713351.1A EP3292535B1 (en) | 2015-05-06 | 2016-03-21 | Method for producing an overall image of a vehicle environment of a vehicle and corresponding device |
US15/569,656 US10291846B2 (en) | 2015-05-06 | 2016-03-21 | Method for producing an overall image of surroundings of a vehicle, and corresponding device |
PCT/EP2016/056130 WO2016177506A1 (en) | 2015-05-06 | 2016-03-21 | Method for producing an overall image of a vehicle environment of a vehicle and corresponding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015208343.8A DE102015208343B4 (en) | 2015-05-06 | 2015-05-06 | Method for generating an overall image of a vehicle environment of a vehicle and corresponding device |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102015208343A1 DE102015208343A1 (en) | 2016-11-10 |
DE102015208343B4 true DE102015208343B4 (en) | 2023-09-07 |
Family
ID=55646554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015208343.8A Active DE102015208343B4 (en) | 2015-05-06 | 2015-05-06 | Method for generating an overall image of a vehicle environment of a vehicle and corresponding device |
Country Status (6)
Country | Link |
---|---|
US (1) | US10291846B2 (en) |
EP (1) | EP3292535B1 (en) |
JP (1) | JP2018517973A (en) |
CN (1) | CN107636723B (en) |
DE (1) | DE102015208343B4 (en) |
WO (1) | WO2016177506A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6561824B2 (en) * | 2015-12-18 | 2019-08-21 | 株式会社デンソー | Display control device |
DE102017206175A1 (en) * | 2017-04-11 | 2018-10-11 | Conti Temic Microelectronic Gmbh | Surround view system for one vehicle |
DE102018203590A1 (en) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview system with adapted projection surface |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10256612B3 (en) | 2002-12-03 | 2004-07-08 | Daimlerchrysler Ag | Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations |
EP2233359A1 (en) | 2009-03-25 | 2010-09-29 | Aisin Seiki Kabushiki Kaisha | Surroundings monitoring device for a vehicle |
DE102013220669A1 (en) | 2012-10-19 | 2014-05-08 | GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) | Dynamic rearview indicator features |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3300334B2 (en) * | 1999-04-16 | 2002-07-08 | 松下電器産業株式会社 | Image processing device and monitoring system |
CN1825951A (en) * | 2005-02-21 | 2006-08-30 | 株式会社自动网络技术研究所 | Vehicle-periphery viewing apparatus |
JP4595976B2 (en) * | 2007-08-28 | 2010-12-08 | 株式会社デンソー | Video processing apparatus and camera |
JP5134504B2 (en) | 2008-11-06 | 2013-01-30 | クラリオン株式会社 | Vehicle perimeter monitoring system |
US8854453B2 (en) * | 2009-06-23 | 2014-10-07 | Here Global B.V. | Determining geographic position information from a single image |
DE102011077143A1 (en) * | 2011-06-07 | 2012-12-13 | Robert Bosch Gmbh | A vehicle camera system and method for providing a seamless image of the vehicle environment |
JP5858650B2 (en) | 2011-06-08 | 2016-02-10 | 富士通テン株式会社 | Image generation apparatus, image display system, and image generation method |
JP2015074436A (en) * | 2013-10-11 | 2015-04-20 | 富士通株式会社 | Image processing device, image processing method, and program |
-
2015
- 2015-05-06 DE DE102015208343.8A patent/DE102015208343B4/en active Active
-
2016
- 2016-03-21 WO PCT/EP2016/056130 patent/WO2016177506A1/en active Application Filing
- 2016-03-21 CN CN201680026277.9A patent/CN107636723B/en active Active
- 2016-03-21 EP EP16713351.1A patent/EP3292535B1/en active Active
- 2016-03-21 JP JP2017557945A patent/JP2018517973A/en active Pending
- 2016-03-21 US US15/569,656 patent/US10291846B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10256612B3 (en) | 2002-12-03 | 2004-07-08 | Daimlerchrysler Ag | Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations |
EP2233359A1 (en) | 2009-03-25 | 2010-09-29 | Aisin Seiki Kabushiki Kaisha | Surroundings monitoring device for a vehicle |
DE102013220669A1 (en) | 2012-10-19 | 2014-05-08 | GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) | Dynamic rearview indicator features |
Also Published As
Publication number | Publication date |
---|---|
US10291846B2 (en) | 2019-05-14 |
EP3292535A1 (en) | 2018-03-14 |
US20180115707A1 (en) | 2018-04-26 |
EP3292535B1 (en) | 2019-02-06 |
WO2016177506A1 (en) | 2016-11-10 |
DE102015208343A1 (en) | 2016-11-10 |
CN107636723B (en) | 2022-03-01 |
CN107636723A (en) | 2018-01-26 |
JP2018517973A (en) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3512739B1 (en) | Method for providing a rear-view-mirror view of the surroundings of a vehicle | |
EP2559236B1 (en) | Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle | |
DE102011088332B4 (en) | Method for improving object detection in multi-camera systems | |
DE102014018040A1 (en) | vision system | |
DE102015206477A1 (en) | Method for displaying a vehicle environment of a vehicle | |
DE112017001410B4 (en) | INFORMATION PROCESSING APPARATUS | |
DE102008046544A1 (en) | Vehicle e.g. passenger car, surrounding monitoring method, utilized for passenger transportation, involves displaying section of complete image for positioning of vehicle, and selecting section as function of vehicle movement direction | |
DE102014119317A1 (en) | Method for displaying an image overlay element in an image with 3D information, driver assistance system and motor vehicle | |
DE102013220477A1 (en) | Method for correcting a pictorial representation of a vehicle environment | |
DE102015208343B4 (en) | Method for generating an overall image of a vehicle environment of a vehicle and corresponding device | |
EP2996327B1 (en) | Surround view system for vehicles with attachments | |
DE102019122086A1 (en) | Driver assistance for a combination | |
EP3073446B1 (en) | Method for representing the surroundings of a vehicle | |
EP3106349B1 (en) | Vision system for a commercial vehicle for the display of the statutory fields of view of a main mirror and a wide-angle mirror | |
EP3797053B1 (en) | Method and device for displaying vehicle surroundings | |
DE102016117518A1 (en) | Adapted merging of individual images into an overall image in a camera system for a motor vehicle | |
EP3571091B1 (en) | Method and device for displaying the surroundings of a vehicle | |
DE102019201702A1 (en) | Modular inpainting process | |
WO2018188700A1 (en) | Surround view system for a vehicle | |
DE102018100211A1 (en) | A method for generating a representation of an environment by moving a virtual camera towards an interior mirror of a vehicle; as well as camera setup | |
DE102021212970A1 (en) | Method and device for generating a surround view, and motor vehicle | |
WO2019144999A1 (en) | Surround view system for a vehicle | |
DE102020122908A1 (en) | Method for displaying surroundings of a vehicle on a display device, processing unit and vehicle | |
DE102022206782A1 (en) | Method for generating a view with a camera system and camera system | |
DE102021206608A1 (en) | Camera system and method for a camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: B60R0001080000 Ipc: B60R0001220000 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |