DE10110904A1 - Observation of the space around a motor vehicle using an inventive arrangement with as little as one camera and a rotating mirror that allows practically the whole space to be observed - Google Patents

Observation of the space around a motor vehicle using an inventive arrangement with as little as one camera and a rotating mirror that allows practically the whole space to be observed

Info

Publication number
DE10110904A1
DE10110904A1 DE10110904A DE10110904A DE10110904A1 DE 10110904 A1 DE10110904 A1 DE 10110904A1 DE 10110904 A DE10110904 A DE 10110904A DE 10110904 A DE10110904 A DE 10110904A DE 10110904 A1 DE10110904 A1 DE 10110904A1
Authority
DE
Germany
Prior art keywords
mirror
camera
image
rotation
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE10110904A
Other languages
German (de)
Inventor
Arthur Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE10110904A priority Critical patent/DE10110904A1/en
Publication of DE10110904A1 publication Critical patent/DE10110904A1/en
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Abstract

The mirror is moved such that, according to mirror position, practically the whole outer space can be seen with the camera. The mirror rotation is taken into account in image evaluation. The method utilizes a fixed camera with a rotating mirror (4) placed in front of objective (3). Camera comprises LCC image chip (2) and a corresponding rotating drive (6). An Independent claim is also included for a camera based arrangement for observing the area around a motor vehicle.

Description

Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur kameragestützten Außenraumbeobachtung um das Kraftfahrzeug, gemäß Oberbegriff der Patentansprüche 1 und 7.The invention relates to a method and a device for camera-based Outdoor observation around the motor vehicle, according to the preamble of Claims 1 and 7.

Zur umschauenden Beobachtung eines Umfeldes um ein Gerät im allgemeinen sind vielfache Kameraeinrichtungen und Verfahren hierzu bekannt. Dabei werden Videokameraeinrichtungen verwendet, die auf einer entsprechend motorischen Unterkonstruktion befestigt und somit verschwenkbar angeordnet sind. Durch entsprechende Schwenkbetätigung der Einrichtung wird die Videokamera gedreht und ggf. wird die Lenkbetätigung als solches ebenfalls erfaßt und mit dem erfaßten Videobild korreliert, um damit eine räumliche Erfassung in Gänze zu erhalten.For a circumspect observation of an environment around a device in general multiple camera devices and methods known. In doing so Video camera devices used on an appropriately motorized Substructure attached and thus pivotally arranged. By Appropriate swivel operation of the device, the video camera is rotated and if necessary, the steering control as such is also recorded and with the recorded video image correlated in order to obtain a complete spatial coverage.

Aus der DE 32 29 441 A1 ist ein sog. Rohrprüfgerät bekannt, mit drehbarer Videokamera und festem Umlenkspiegel. Die Videokamera wird dabei in ihrer relativen Position und Ausrichtung zu einem fest angeordneten Umlenkspiegel schwenkbetätigt, so daß hier ein gewisser räumlicher Winkelteil erfaßbar ist.From DE 32 29 441 A1 a so-called pipe test device is known, with a rotatable one Video camera and fixed deflection mirror. The video camera is in its relative Position and alignment to a fixed deflection mirror, swivel-operated, so that here a certain spatial angular part can be detected.

Aus der DE 41 38 270 C2 ist ein Navigationsverfahren eines selbstfahrenden Landfahrzeuges mit einer schwenkbaren Videokamera bekannt. Dabei werden mittels Mustererkennung in Verbindung mit dem Navigationssystem sog. Selbstfahrerfahrzeuge dadurch realisiert, daß die Position des Landfahrzeuges durch das Navigationsverfahren erfasst und mit dementsprechend aufnehmbaren Videobild korreliert wird. Hierbei handelt es sich ebenfalls um eine auf einer verschwenkbaren Anordnung plazierten Videokamera.DE 41 38 270 C2 describes a navigation method for a self-driving vehicle Land vehicle with a pivotable video camera known. Thereby are Pattern recognition in connection with the navigation system, so-called self-driving vehicles realizes that the position of the land vehicle through the navigation process is recorded and correlated with the corresponding recordable video image. in this connection is also a placed on a pivotable arrangement Video camera.

Aus der EP 0 435 011 B1 ist eine Entfernungsbildkamera mit Scanner, mit Schwenkspiegel oder rotierendem Prisma bekannt. Hierbei werden zeilenweise Bilder aufgenommen, wobei die Bildzeilen mittels Scanner erzeugt werden, der wiederum mit Schwenkspiegeln oder rotierenden Prismen arbeitet. Hierbei kommt es jedoch nur zu einer geringen Winkelbetätigung der Umlenk- oder Schwenkspiegel oder rotierenden Prismen, weil ein festes Objekt und nicht ein Gesamtobjektraum abgescannt wird. Im übrigen wird hier auch kein Kamerabild im herkömmlichen Sinne erzeugt bzw. erfaßt, sondern es handelt sich um eine Entfernungsbildkamera, die lediglich den Abstand zu einem Objekt ermittelt.EP 0 435 011 B1 describes a distance image camera with a scanner Swivel mirror or rotating prism known. Here are pictures line by line recorded, the image lines are generated by a scanner, which in turn with Swiveling mirrors or rotating prisms works. However, this only happens a small angle actuation of the deflecting or swiveling mirror or rotating  Prisms because a solid object and not an entire object space is scanned. in the otherwise no camera image is generated or captured in the conventional sense, Rather, it is a distance camera that only measures the distance determined an object.

Aus der DE 43 36 288 C1 ist ein Verfahren zur Überwachung des Raumes nach vorne und hinten für ein einparkendes Fahrzeug angegeben. Auch hierbei ist vorne und hinten jeweils eine Kamera angeordnet, die für sich wiederum schwenkbar angeordnet bzw. plaziert sind.DE 43 36 288 C1 describes a method for monitoring the room to the front and indicated in the back for a parking vehicle. Here, too, is at the front and back one camera each, which in turn is pivotally arranged or are placed.

Beim letztgenannten Dokument aus dem bekannten Stand der Technik sind zur Beobachtung des Teilraumes nach vorne und nach hinten jeweils eine Kamera, also insgesamt mindestens zwei Kameras vorgesehen. Dabei sind die Kameras als solche im Ganzen schwenkbar, was in jedem Falle eine aufwendige Unterkonstruktion mit einer entsprechend feinfühligen Kameranachführung bedingt. Problematisch ist hierbei, daß das Gewicht der Kamera in allem zwar mit heutiger Technik nicht mehr sehr groß sein muß, aber dennoch so groß ist, daß bei der Installation im Kraftfahrzeug im Fahrbetrieb Vibrationen entstehen, die das saubere Nachführen und Verschwenken der Kamera problematisch machen, aufgrund der relativ hohen Masse dieses Bauteiles. In die Vibrationsschwingung miteinbezogen bzw. miteinzubeziehen ist hierbei ebenso auch die motorische Unterkonstruktion zur Verstellung oder Verschwenkung der Videokamera.In the latter document from the known prior art Observation of the subspace to the front and one camera each, so a total of at least two cameras are provided. The cameras as such are in the Can be swiveled, which in any case is a complex substructure with a correspondingly sensitive camera tracking. The problem here is that with today's technology, the weight of the camera in all is no longer very large must, but is still so large that when installed in the vehicle while driving Vibrations arise that the clean tracking and pivoting of the camera problematic due to the relatively high mass of this component. In the Vibration vibration is also included here Motorized substructure for adjusting or swiveling the video camera.

Der Erfindung liegt somit die Aufgabe zugrunde, eine gute Rundumsicht um das Fahrzeug zu haben bzw. einen relativ großen Winkel um das Fahrzeug einsehen zu können, dies jedoch mit einer möglichst geringen Anzahl bzw. mit nur einer einzigen Videokamera zu bewerkstelligen.The invention is therefore based on the object, a good all-round view of the To have a vehicle or to view a relatively large angle around the vehicle can, however, with the smallest possible number or with only one Video camera to accomplish.

Die gestellte Aufgabe ist bei einem Verfahren der gattungsgemäßen Art erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 1 gelöst.The task is in a method of the generic type solved according to the invention by the characterizing features of claim 1.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den abhängigen Ansprüchen 2-6 angegeben.Further advantageous embodiments of the method according to the invention are in the dependent claims 2-6 indicated.

Im Hinblick auf eine Einrichtung der gattungsgemäßen Art ist die gestellte Aufgabe erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 6 gelöst. With regard to a device of the generic type, the task is solved according to the invention by the characterizing features of claim 6.  

Weitere vorteilhafte Ausgestaltungen der erfindungsgemäßen Einrichtung sind in den übrigen Patentansprüchen angegeben.Further advantageous embodiments of the device according to the invention are in the other claims specified.

Kern der verfahrensgemäßen Erfindung ist hierbei, in Lösung der gestellten Aufgabe, daß bei einer feststehenden Videokamera ein rotierender Spiegel derart bewegt wird, daß je nach Spiegelstellung nahezu der gesamte Außenraum auf die Kamera abgebildet wird und in dem die Spiegelrotation in der Realbildauswertung mitberücksichtigt wird.The essence of the method according to the method is, in solving the problem, that in a fixed video camera a rotating mirror is moved in such a way that depending on the mirror position, almost the entire exterior is imaged on the camera and in which the mirror rotation is taken into account in the real image evaluation.

Durch die Verwendung von nur einer Videokamera wird der zur Durchführung des Verfahrens notwendige technische Aufwand auf ein vorteilhaftes Minimum reduziert. Darüber hinausgehend werden in Bezug auf genaue Bildauswertung und der Unterdrückung von Vibrationswirkungen in der Bilderzeugung lediglich nur noch ein entsprechender Spiegel vor dem Objektiv der Kamera bewegt, der je nach Stellung einen sehr großen Raumwinkel bzw. Winkel um das Fahrzeug herum einsehbar macht. Da der Spiegel bzw. die Spiegelkonstruktion nur ein relativ kleines Gewicht hat, ist diese auch nicht vibrationsanfällig. Die Kamera als solches kann bei Einsatz dieses erfindungsgemäßen Verfahrens daher feststehend sein und somit sogar an einer entsprechend am Fahrzeug in der Karosserie gut integrierbaren Stelle angeordnet werden.By using only one video camera, it is necessary to carry out the Process-related technical effort reduced to an advantageous minimum. In addition, in terms of accurate image evaluation and the Suppression of vibrational effects in the imaging only a Corresponding mirror in front of the camera lens moves, depending on the position makes a very large solid angle or angle around the vehicle visible. Since the mirror or the mirror construction has only a relatively small weight, this is also not prone to vibration. The camera as such can use this The method according to the invention should therefore be fixed and thus even on one accordingly arranged on the vehicle in the body well integrable become.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß die Spiegelrotation durch eine Bildnachberechnung berücksichtigt wird. Hierbei wird die räumliche Verzerrung des Bildes kompensiert. Mit anderen Worten läßt sich sagen, daß die erfaßbare Spiegelstellung auf eine entsprechende Blickrichtung oder einen Blickwinkel umgerechnet wird, so daß ein insgesamtes Panoramabild elektronisch zusammenfügbar ist. Das heißt, es kann noch immer eine positionsmäßige Auswertung von erfaßten Objekten um das Fahrzeug ortsaufgelöst erfolgen.In a further advantageous embodiment it is indicated that the mirror rotation by a Post-calculation is taken into account. Here, the spatial distortion of the Image compensated. In other words, it can be said that the detectable Mirror position on a corresponding viewing direction or viewing angle is converted so that an entire panoramic image can be electronically combined is. This means that there can still be a positional evaluation of detected Objects around the vehicle take place spatially.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß der Bildchip der Kamera zur Berücksichtigung der Winkelstellung des rotierenden Spiegels synchron mitgedreht wird. Dies ist eine Alternative dazu, ebenfalls unter Vermeidung der Mitdrehung der gesamten Kameraeinrichtung, lediglich den Bildchip innerhalb der Videokamera in entsprechender Weise mit dem Spiegel d. h. synchron dazu zu drehen, um somit einen sehr viel größeren Winkelbereich, als mit feststehendem Bildchip und ohne Rotationsspiegel erreichen zu können. Es besteht darüber hinausgehend auch die vorteilhafte Möglichkeit, beides in entsprechender Weise miteinander zu kombinieren, um in Gänze eine gute winkelaufgelöste Bilderfassung zu erhalten.In a further advantageous embodiment it is specified that the image chip of the camera for Taking into account the angular position of the rotating mirror is rotated synchronously. This is an alternative to this, also avoiding the rotation of the whole Camera device, only the image chip within the video camera in a corresponding manner Way with the mirror d. H. to rotate in sync to make a lot Larger angular range than with a fixed image chip and without a rotating mirror to be able to achieve. There is also the advantageous one  Possibility to combine both in a corresponding way to create a whole to get good angle-resolved image acquisition.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß die Spiegelstellung in Abhängigkeit zur Fahrtrichtung verändert wird. Hiermit wird mit anderen Aggregaten beispielsweise mit Schaltaggregaten im Fahrzeug eine entsprechende Korrelation durchgeführt. Das heißt bei Einstellen des Rückwärtsganges erfolgt eine entsprechend grobe Voreinstellung des rotierenden Spiegels und/oder des Bildchips, so daß von dort aus dann eine entsprechende feinfühlige Bilderfassung während des Fahrbetriebes in Rückwärtsrichtung ermöglicht wird.In a further advantageous embodiment it is indicated that the mirror position in Dependence on the direction of travel is changed. This will work with other aggregates for example, a corresponding correlation with switching units in the vehicle carried out. This means that when setting the reverse gear there is a corresponding rough presetting of the rotating mirror and / or the image chip, so that from there then a corresponding sensitive image capture while driving in Reverse direction is made possible.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß die Lenkwinkeleinstellung ebenfalls einen Einfluß auf die Spiegel- und/oder Bildchipstellung haben kann. Das heißt, bei entsprechendem Erkennen einer Kurvenfahrt durch den Lenkwinkelsensor erfolgt eine entsprechende Nachführung oder Voreinstellung des Spiegels oder des Bildchips an die entsprechend registrierte Kurvenfahrt. Darüber hinausgehend bestehen weitere Möglichkeiten zur Einbindung in ein Navigationssystem in der oben bereits beschriebenen Art.In a further advantageous embodiment, it is specified that the steering angle setting can also have an influence on the mirror and / or image chip position. The means, when a cornering is recognized accordingly by the steering angle sensor there is a corresponding adjustment or presetting of the mirror or the Image chips to the corresponding registered cornering. Beyond that other options for integration into a navigation system in the above already described type.

Ferner ist auszuführen, daß es zwei Möglichkeiten der Bewegung des Spiegels gibt. Zum einen kann der Spiegel verschwenkbar sein, zum anderen kann es ein rotierender Spiegel sein. Im zweitgenannten Fall läßt sich in besonders vorteilhafter Weise die Kamera bezogen auf ihre optische Achse senkrecht ausgerichtet einbauen, wobei der darauf angeordnete geneigt positionierte Spiegel dann entsprechend fortlaufend rotieren kann. Würde nun der besagte Spiegel beispielsweise auf einer erhöhten Position am Fahrzeug angeordnet sein, so könnte eine ungestörte und durch keine weiteren Körperkanten behinderte Rundumsicht gewährt werden. Der Spiegel kann dabei fortlaufend rotieren oder aber abhängig von Fahrtrichtung und Lenkstellung bewegt bzw. rotiert werden. Die entsprechende Drehposition ist dabei dann wiederum auswertemäßig zu berücksichtigen, um den Bild- oder Blickwinkel der Kamera dadurch bestimmen zu können.It should also be noted that there are two ways of moving the mirror. On the one hand the mirror can be pivoted, on the other hand it can be a rotating one Be a mirror. In the second case, the Install the camera aligned vertically with respect to its optical axis, whereby the Rotate the inclined mirrors positioned on it continuously can. If the mirror in question were now in an elevated position on the Vehicle could be arranged, an undisturbed and by no other Disabled all-round visibility can be granted. The mirror can do it rotate continuously or move or depending on the direction of travel and steering position be rotated. The corresponding rotational position is then again evaluated to be taken into account in order to determine the image or viewing angle of the camera can.

Im Falle einer senkrecht stehenden Kamera ist die entsprechende Spiegelfläche aus der Horizontalen heraus verkippt und um eine parallel zur optischen Achse der Kamera stehende Achse in der bezeichneten Weise rotierbar. Auf diese Weise können Einfachnachführungen gemäß der Winkelstellung der Lenkbetätigung nachvollzogen werden und der Spiegel in die entsprechende Richtung gedreht werden. Eine entsprechende vorteilhafte Ausgestaltung besteht darin, ein Navigationssystem des Fahrzeuges logisch zu verknüpfen. Durch diese geeignete Kamera können auf einfache, aber wirkungsvolle Weise rundumschauend Kamerabilder erfaßt werden.In the case of a vertical camera, the corresponding mirror surface is from the Horizontal tilted out and around a parallel to the optical axis of the camera standing axis rotatable in the designated manner. That way you can Simple tracking according to the angular position of the steering control  and the mirror is turned in the corresponding direction. A Corresponding advantageous embodiment is a navigation system of the To logically link the vehicle. With this suitable camera, simple, but effective way to look around camera images.

Bei einer Einrichtung der gattungsgemäßen Art besteht der Kern der Erfindung darin, eine feststehende Kamera zu verwenden und einen schwenkbaren oder rotierbaren Spiegel und/oder eine schwenkbare oder rotierbare Bildchipoberfläche innerhalb der Kamera vorzusehen. Die Schwenk- oder Rotierbewegung des Spiegels bzw. die Achse, um den der Spiegel rotierbar ist, liegt parallel zur optischen Achse der Kamera. Bei Einbau der Kamera auf einem hoch gelegenem Punkt der Fahrzeugkarosserie ergibt sich somit eine ungestörte Rundumsicht, die in einem Ausgestaltungsbeispiel mit einem geneigtem rotierenden oder rotierbaren Spiegel möglich ist. Wahlweise kann aber auch der Chip, d. h. der Bildchip in der Videokamera entsprechend der Rotationsbewegung des Spiegels mitbewegt werden um eine spiegelstellungssynchrone Nachführung des Bildchips zu haben. Dies reduziert den Rechenaufwand bei der Bildnachbearbeitung.In the case of a device of the generic type, the essence of the invention is to use a fixed camera and a swiveling or rotating one Mirror and / or a pivotable or rotatable image chip surface within the Provide camera. The pivoting or rotating movement of the mirror or the axis, around which the mirror can be rotated is parallel to the optical axis of the camera. at Installation of the camera on a high point of the vehicle body results thus an undisturbed all-round view, which in a design example with a inclined rotating or rotatable mirror is possible. Alternatively you can the chip, d. H. the image chip in the video camera according to the rotation movement of the mirror can be moved in order to track the To have image chips. This reduces the computational effort for post-processing.

In weiterer vorteilhafter Ausgestaltung der erfindungsgemäßen Einrichtung sind Mittel zur Auswertung der Spiegel- und/oder Chiprotation angegeben, um die Stellung des Spiegels oder ggf. des Chips mit der realen Blickrichtung zu korrelieren und somit ein Realbild zu erzeugen. Das heißt die Auslenkungen oder Drehposition des Spiegels oder des Chips müssen ermittelt und mit der Bildauswertung gemeinsam korreliert werden, so daß die Richtung in der das Bild aufgenommen werden soll oder in die die Kamera blicken soll, reproduzierbar wird.In a further advantageous embodiment of the device according to the invention, means are to evaluate the mirror and / or chip rotation specified to the position of the Mirror or possibly the chip to correlate with the real line of sight and thus a Generate real image. That means the deflections or rotational position of the mirror or of the chip must be determined and correlated with the image evaluation, so that the direction in which the picture is to be taken or in which the camera should look, becomes reproducible.

Da der Spiegel nicht nur rotiert, sondern auch geneigt ist, ist es zweckmäßig, wenn Spiegeloberfläche und Chipoberfläche parallel sind. D. h. die Chipoberfläche ist in entsprechender Weise geneigt. Rotiert nun der Chip synchron zum Spiegel auch noch mit, so braucht bei der Bildnachbearbeitung nur noch die Winkelstellung der Rotationsbewegung erfasst zu werden, um eine raumauflösende Bildsequenz zu erzeugen.Since the mirror is not only rotating, but also inclined, it is useful if Mirror surface and chip surface are parallel. I.e. the chip surface is in appropriately inclined. Now the chip rotates synchronously to the mirror with, only the angular position of the Rotational motion to be captured to create a spatial resolution image sequence produce.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß das System auch mit einem bordeigenen Navigationssystem logisch verbindbar ist. Durch die gute Rundumsicht der entsprechend ausgestalteten Kamera, die eine Korrelation von ansonsten mehreren notwendigen Videokameras unnötig macht, bietet natürlich eine besonders geeignete Einbindung in das navigationsgestützte Führen und Leiten eines Fahrzeuges.In a further advantageous embodiment it is stated that the system can also be operated with a on-board navigation system is logically connectable. Due to the good all-round view of the Correspondingly designed camera, which otherwise has a correlation  makes necessary video cameras unnecessary, of course, offers a particularly suitable one Integration in the navigation-based guidance and control of a vehicle.

Die Erfindung ist in der Abbildung dargestellt und nachfolgend näher beschrieben.The invention is shown in the figure and described in more detail below.

Die Abbildung zeigt ein einrichtungsgemäßes Ausgestaltungsbeispiel der Erfindung, an dem jedoch auch durch Darstellung und Wirkverbindung der einzelnen Komponenten zueinander das Verfahren erläuterbar ist.The figure shows a design example of the invention according to the device However, this is also possible through the representation and operative connection of the individual components the method can be explained to one another.

Die Abbildung zeigt ein Ausgestaltungsbeispiel für eine erfindungsgemäße Einrichtung. Zentralpunkt ist hierbei die Kamera 1. Diese ist lediglich schematisch dargestellt und enthält im Inneren einen sog. LCC-Bildchip 2, der ggf. um eine senkrecht zur Bildebene verlaufende Drehachse rotierbar ist. Hierzu ist ein entsprechender Bildchip Drehantrieb 6 vorgesehen. Vor dem Objektiv 3 der Videokamera 1 befindet sich ein bezüglich der sich bereits ergebenden optischen Achse weitestgehend senkrecht zum Bildchip 2 ein hierzu geneigter Spiegel 4, der wiederum in derselben Ebene bzw. in derselben Achse drehbar ist, wie der Bildchip 2. Dieser geneigte, rotierbare Spiegel 4 ist zu diesem Zweck mit einem entsprechenden Spiegeldrehantrieb 5 mit Drehwinkelgeber versehen bzw. verbunden. Wesentlich ist hierbei, daß die Kamera entlang ihrer optischen Achse nicht liegend im Fahrzeug eingebaut ist, sondern vertikal. Diese Anordnung, wie hier dargestellt, beschreibt also die Positionierung der Kamera mit den Angaben oben und unten. Die Kamera 1 selbst kann in der Fahrzeugkarosserie integriert oder eingesenkt angeordnet sein, so daß lediglich die wirksame Spiegelfläche des rotierenden oder rotierbaren Spiegels über die Karosserieaußenkontur hinausschauen muß. Für den Fall, daß die Kamera nicht ununterbrochen, sondern nur auf Abruf einsetzbar sein soll, kann der rotierbare Spiegel als solches versenkbar angeordnet sein, so daß im ausgestalteten Zustand der rotierbare Spiegel nicht über die Fahrzeugkarosserie bzw. Außenkontur hinausschauend ist. Bei entsprechend günstiger Positionierung beispielsweise an einem erhabenen Punkt der Fahrzeugkarosserie ergibt sich durch die rotatorische Drehung des Spiegels 4 eine abschattungsfreie Rundumsicht um geschlossene 360°. Wichtig ist hierbei jedoch, daß der Bildchip 2, wie in dieser Darstellung dargestellt, mit einem Chipdrehantrieb 6 versehen ist und synchron mit dem Spiegeldrehantrieb 5 mitdrehend ist. Eine andere Möglichkeit bestünde in einer Bildnachberechnung, bei der die Rotation des Bildchips 2 simuliert wird. The figure shows an embodiment example for a device according to the invention. The central point here is camera 1 . This is only shown schematically and contains a so-called LCC image chip 2 , which may be rotatable about an axis of rotation running perpendicular to the image plane. For this purpose, a corresponding image chip rotary drive 6 is provided. In front of the lens 3 of the video camera 1 there is a mirror 4 , which is largely perpendicular to the image chip 2 with respect to the optical axis already obtained and which is in turn inclined, which in turn can be rotated in the same plane or in the same axis as the image chip 2 . For this purpose, this inclined, rotatable mirror 4 is provided or connected to a corresponding mirror rotary drive 5 with an angle encoder. It is important here that the camera is not installed horizontally along its optical axis in the vehicle, but vertically. This arrangement, as shown here, describes the positioning of the camera with the information above and below. The camera 1 itself can be integrated or recessed in the vehicle body, so that only the effective mirror surface of the rotating or rotatable mirror has to look beyond the outer contour of the body. In the event that the camera should not be used continuously, but only on demand, the rotatable mirror can be arranged as such so that it can be retracted so that the rotatable mirror does not look beyond the vehicle body or outer contour in the configured state. With correspondingly favorable positioning, for example at a raised point on the vehicle body, the rotational rotation of the mirror 4 results in a non-shading all-round view of a closed 360 °. It is important here, however, that the image chip 2 , as shown in this illustration, is provided with a chip rotation drive 6 and rotates synchronously with the mirror rotation drive 5 . Another possibility would be an image recalculation, in which the rotation of the image chip 2 is simulated.

Weiterhin kann der Bildchip 2 in dem Fall dass er drehbar ist, entsprechend geneigt sein, so dass Bildchipebene und Spiegelfläche parallel sind.Furthermore, in the event that it is rotatable, the image chip 2 can be correspondingly inclined so that the image chip plane and the mirror surface are parallel.

Der Chipdrehantrieb 6 oder der Bildchip 2 als solches, sind deshalb informationsmäßig mit der Bildberechnungs- und Auswerteeinheit 10 verbunden. Ebenso der Spiegeldrehantrieb 5 mit Drehwinkelgeber des rotierbaren Spiegels 4. Gemeinsam mit dem erhaltenen Bildsignal des Bildchips 2 werden sodann in der Bildberechnungs- und Auswerteeinheit 10 Realbilder errechnet. Die Berechnung des Bildes kann dabei aufgrund leistungsfähiger verfügbarer elektronischer Bauteile in Echtzeit bzw. in nahezu Echtzeit erfolgen.The chip rotation drive 6 or the image chip 2 as such are therefore connected in terms of information to the image calculation and evaluation unit 10 . Likewise, the mirror rotary drive 5 with the angle encoder of the rotatable mirror 4 . Real images are then calculated in the image calculation and evaluation unit 10 together with the image signal of the image chip 2 obtained . The image can be calculated in real time or in near real time due to the high-performance available electronic components.

Nachfolgend nach Bildauswertung und Bilddarstellung sind die logische Bildauswertung 11 mit der Bildberechnungs- und Auswerteeinheit 10 logisch verbunden. In dieser nachfolgenden Bildauswertung 11 werden auch die Einbindungsdaten ggf. eines Navigationssystemes 50 mitberücksichtigt. In dieser Ausgestaltungsversion sind dann nachfolgend einzelne Elemente, wie automatischer oder motorischer Lenkeinschlag 20, elektrisches Gaspedal 30 und/oder elektrische Bremse 40 ansteuerbar, so daß in der letztendlich elegantesten Ausführungsform sogar ein Selbstfahrerfahrzeug entsteht.Subsequent to image evaluation and image display, the logical image evaluation 11 are logically connected to the image calculation and evaluation unit 10 . In this subsequent image evaluation 11 , the integration data of a navigation system 50, if applicable, are also taken into account. In this embodiment version, individual elements, such as automatic or motorized steering lock 20 , electric accelerator pedal 30 and / or electric brake 40 , can then be controlled, so that in the ultimately most elegant embodiment even a self-propelled vehicle is created.

Als wesentliches Resultat der erfindungsgemäßen Einrichtung ergibt sich hier, daß entgegen den eingangs genannten bekannte Einrichtungen das erfindungsgemäße System mit lediglich einer Kamera auskommt, die überdies eine geschlossene, unbehinderte Rundumsicht gibt. Es bedarf wegen dieser Rundumsicht keiner Vielfachanordnung von einzelnen Videokameras am Fahrzeug. Fernerhin können die Daten des elektronischen Lenkeinschlages 20, des elektrischen Gaspedals 30 und/oder der elektrischen Bremse 40 in die Auswertung 11 logisch wieder derart rückgespeist werden, daß ein so bewirkbarer "Kameraschwenk" abhängig von Fahrtrichtung, von Kurve und ggf. von Geschwindigkeit angesteuert werden kann.The essential result of the device according to the invention here is that, contrary to the known devices mentioned at the outset, the system according to the invention manages with only one camera, which moreover gives a closed, unobstructed all-round view. Because of this all-round view, there is no need for multiple arrangement of individual video cameras on the vehicle. Furthermore, the data of the electronic steering lock 20 , the electric accelerator pedal 30 and / or the electric brake 40 can logically be fed back into the evaluation 11 in such a way that a "camera swivel" which can be effected in this way can be controlled depending on the direction of travel, curve and possibly speed can.

Claims (12)

1. Verfahren zur kameragestützten Außenraumbeobachtung um das Kraftfahrzeug, dadurch gekennzeichnet, daß bei feststehender Kamera ein rotierbar beweglicher Spiegel derart bewegt wird, daß je nach Spiegelstellung nahezu der gesamte Außenraum auf die Kamera abgebildet wird, indem die Spiegelrotation in der realen Bildauswertung mitberücksichtigt wird.1. A method for camera-based exterior observation around the motor vehicle, characterized in that when the camera is stationary, a rotatable movable mirror is moved such that, depending on the mirror position, almost the entire exterior is imaged on the camera by taking the mirror rotation into account in the real image evaluation. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Spiegelrotation oder Spiegelstellung durch eine Bildnachberechnung berücksichtigt wird.2. The method according to claim 1, characterized in that the mirror rotation or mirror position is taken into account by post-calculation. 3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Bildchip der Kamera zur Berücksichtigung der Winkelstellung des rotierenden Spiegels synchron mitgedreht wird.3. The method according to claim 1, characterized in that the image chip Camera to take into account the angular position of the rotating mirror synchronously is also rotated. 4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß sich die Spiegelstellung automatisch abhängig zur Fahrtrichtung ändert.4. The method according to any one of the preceding claims, characterized in that the mirror position changes automatically depending on the direction of travel. 5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Spiegelstellung auch in Abhängigkeit von Kurvenfahrten automatisch geändert wird.5. The method according to any one of the preceding claims, characterized in that the mirror position automatically also depending on cornering will be changed. 6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Verfahren mit einem Navigationsverfahren kombiniert wird.6. The method according to any one of the preceding claims, characterized in that that the procedure is combined with a navigation procedure. 7. Einrichtung zur kameragestützten Außenraumbeobachtung um das Fahrzeug mit Kamera und Bildauswertung, dadurch gekennzeichnet, daß eine einzige feststehende Kamera (1) vorgesehen ist, mit einem vor dem Objektiv (3) angeordneten rotierenden oder rotierbaren Spiegel (4), und die Kamera (1) mit entsprechend für die Bildauswertung notwendigen Mitteln zur rotationsstellungsaufgelösten Bildauswertung/Bilddarstellung versehen ist. 7. A device for camera-based exterior observation around the vehicle with camera and image evaluation, characterized in that a single fixed camera ( 1 ) is provided with a rotating or rotatable mirror ( 4 ) arranged in front of the lens ( 3 ), and the camera ( 1 ) is provided with the means necessary for the image evaluation for the rotation evaluation-resolved image evaluation / image display. 8. Einrichtung nach Anspruch 7, dadurch gekennzeichnet, daß der Bildchip (2) synchron zum Spiegel (4) mitrotierbar ist.8. Device according to claim 7, characterized in that the image chip ( 2 ) is rotatable synchronously with the mirror ( 4 ). 9. Einrichtung nach Anspruch 8, dadurch gekennzeichnet, daß der rotierbare Spiegel (4) zur Drehachse geneigt ist, und dass der Bildchip (2) in entsprechender Weise geneigt ist, derart, dass bei synchroner Mitdrehung von Bildchip (2) und Spiegel (4) immer eine parallele Anordnung von Spiegeloberfläche und Bildchipoberfläche gewährleistbar ist.9. The device according to claim 8, characterized in that the rotatable mirror ( 4 ) is inclined to the axis of rotation, and that the image chip ( 2 ) is inclined in a corresponding manner, such that with synchronous rotation of the image chip ( 2 ) and mirror ( 4th ) a parallel arrangement of mirror surface and image chip surface can always be guaranteed. 10. Einrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, daß zur Realbildsimulation oder Erstellung die Drehwinkel des rotierbaren Spiegels (4) sowie des Bildchips (2) in einer entsprechenden Bildberechnungs- und Auswerteeinheit (10) korrelierbar sind.10. Device according to claim 8 or 9, characterized in that for real image simulation or creation, the angles of rotation of the rotatable mirror ( 4 ) and the image chip ( 2 ) in a corresponding image calculation and evaluation unit ( 10 ) can be correlated. 11. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Einrichtung mit einem Navigationssystem (50) derart kombinierbar ist, daß die ermittelten Bilddaten mit den Daten des Navigationssystemes korrelierbar sind.11. Device according to one of the preceding claims, characterized in that the device can be combined with a navigation system ( 50 ) such that the image data determined can be correlated with the data of the navigation system. 12. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bilddarstellungs- oder die logische Bildauswerteeinheit (11) mit einem elektronischen Lenkwinkelsteller (20) und/oder einem elektronischen Gaspedal (30) und/oder einer elektrischen Bremse (40) logisch bidirektional verbunden ist.12. Device according to one of the preceding claims, characterized in that the image display or the logical image evaluation unit ( 11 ) with an electronic steering angle actuator ( 20 ) and / or an electronic accelerator pedal ( 30 ) and / or an electric brake ( 40 ) logically bidirectionally connected is.
DE10110904A 2001-03-07 2001-03-07 Observation of the space around a motor vehicle using an inventive arrangement with as little as one camera and a rotating mirror that allows practically the whole space to be observed Ceased DE10110904A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE10110904A DE10110904A1 (en) 2001-03-07 2001-03-07 Observation of the space around a motor vehicle using an inventive arrangement with as little as one camera and a rotating mirror that allows practically the whole space to be observed

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10110904A DE10110904A1 (en) 2001-03-07 2001-03-07 Observation of the space around a motor vehicle using an inventive arrangement with as little as one camera and a rotating mirror that allows practically the whole space to be observed

Publications (1)

Publication Number Publication Date
DE10110904A1 true DE10110904A1 (en) 2002-09-12

Family

ID=7676574

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10110904A Ceased DE10110904A1 (en) 2001-03-07 2001-03-07 Observation of the space around a motor vehicle using an inventive arrangement with as little as one camera and a rotating mirror that allows practically the whole space to be observed

Country Status (1)

Country Link
DE (1) DE10110904A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007052617A1 (en) 2007-11-05 2009-05-07 GM Global Technology Operations, Inc., Detroit Motor vehicle, has camera that monitors surrounding associated with mirror and is rearwardly moveable together with mirror from retracted position to withdrawn position, and servo motor for tilting mirror relative to optical axis of camera
EP2797792A4 (en) * 2011-12-29 2015-10-07 Intel Corp Systems, methods, and apparatus for enhancing a camera field of view in a vehicle
DE102014211869A1 (en) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Method and device for detecting at least one object in a mobile unit environment
DE102015011833A1 (en) 2015-09-09 2017-03-09 Audi Ag Exterior mirror for a vehicle and corresponding vehicle
CN108765667A (en) * 2018-06-15 2018-11-06 重庆慧居智能电子有限公司 The data acquisition device of building entrance guard management

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007052617A1 (en) 2007-11-05 2009-05-07 GM Global Technology Operations, Inc., Detroit Motor vehicle, has camera that monitors surrounding associated with mirror and is rearwardly moveable together with mirror from retracted position to withdrawn position, and servo motor for tilting mirror relative to optical axis of camera
EP2797792A4 (en) * 2011-12-29 2015-10-07 Intel Corp Systems, methods, and apparatus for enhancing a camera field of view in a vehicle
US9902340B2 (en) 2011-12-29 2018-02-27 Intel Corporation Systems, methods, and apparatus for enhancing a camera field of view in a vehicle
DE102014211869A1 (en) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Method and device for detecting at least one object in a mobile unit environment
DE102014211869B4 (en) 2014-06-20 2024-03-21 Robert Bosch Gmbh Method and device as well as computer program and machine-readable storage medium for recognizing at least one object in an environment of a mobile unit
DE102015011833A1 (en) 2015-09-09 2017-03-09 Audi Ag Exterior mirror for a vehicle and corresponding vehicle
CN108765667A (en) * 2018-06-15 2018-11-06 重庆慧居智能电子有限公司 The data acquisition device of building entrance guard management

Similar Documents

Publication Publication Date Title
EP1797534B1 (en) Method for detecting an optical structure
EP1803092A1 (en) Device for calibrating an image sensor system in a motor vehicle
DE102006029892B4 (en) Camera system for a motor vehicle
EP2765031B1 (en) Vision system for vehicles, in particular for commercial vehicles
DE2948573A1 (en) Contactless measurement of vehicle wheel and steering geometry - uses electronic evaluation of elliptical video images of wheels
DE102011118253B4 (en) Method for operating an electronic rearview mirror of a motor vehicle and motor vehicle
DE102016117444A1 (en) Vehicle test bench for calibrating and / or testing systems of a vehicle, comprising at least one camera and methods for performing the calibration and / or testing of systems of a vehicle comprising at least one camera
WO2006000271A1 (en) Method for controlling a pipe inspection system and for evaluating the inspection data
DE102008061760A1 (en) Device for monitoring an environment of a vehicle
DE102010005638A1 (en) Method for indicating image of vehicle surrounding on display unit in vehicle, involves arranging camera at or in outer mirror of vehicle for receiving pictures of vehicle surrounding
EP3526080A1 (en) Camera module
DE2025934B2 (en) VISION DEVICE
DE10043099A1 (en) Method and device for monitoring a motor vehicle's rear area uses a video camera to give two different image scales at different image angles
DE102014209678A1 (en) Method and device for determining a vehicle position of a vehicle relative to a reference position
DE10321228B4 (en) Optical detection system for vehicles
EP3844946A1 (en) Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement
DE102013012771A1 (en) Device for controlling entrance to multi-storey car park, has control panel that is positioned at optimal three-dimensional position such that optimum operation of panel is provided for driver through window
DE19719681A1 (en) Infrared microscope
DE10110904A1 (en) Observation of the space around a motor vehicle using an inventive arrangement with as little as one camera and a rotating mirror that allows practically the whole space to be observed
DE102016217037B4 (en) Method for operating a display device of a motor vehicle with a digital display surface and motor vehicle
EP2241936B1 (en) Inspection camera for tubes
EP2884746A1 (en) Monitoring camera device with depth information determination
WO2013107561A1 (en) Obtaining of depth information with a mono camera installed in a vehicle
DE102020000533A1 (en) Method for operating an assistance system with a horizontally rotatable detection device and assistance system
DE102017115981B4 (en) Device and method for handling at least one camera in a sewer pipe

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8131 Rejection