DE102007058779A1 - Device for producing image of partly moved scene in motor vehicle surrounding for video-based detection of objects e.g. guide posts, has video camera whose focusing is adjusted such that objects in close region are recorded in blurred way - Google Patents

Device for producing image of partly moved scene in motor vehicle surrounding for video-based detection of objects e.g. guide posts, has video camera whose focusing is adjusted such that objects in close region are recorded in blurred way Download PDF

Info

Publication number
DE102007058779A1
DE102007058779A1 DE102007058779A DE102007058779A DE102007058779A1 DE 102007058779 A1 DE102007058779 A1 DE 102007058779A1 DE 102007058779 A DE102007058779 A DE 102007058779A DE 102007058779 A DE102007058779 A DE 102007058779A DE 102007058779 A1 DE102007058779 A1 DE 102007058779A1
Authority
DE
Germany
Prior art keywords
video camera
image
objects
motor vehicle
hyper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102007058779A
Other languages
German (de)
Other versions
DE102007058779B4 (en
Inventor
Gerald Franz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102007058779.3A priority Critical patent/DE102007058779B4/en
Publication of DE102007058779A1 publication Critical patent/DE102007058779A1/en
Application granted granted Critical
Publication of DE102007058779B4 publication Critical patent/DE102007058779B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

The device has a video camera (2) directed to a scene in a surrounding of a motor vehicle (1), where a focusing of the video camera is adjusted in such a manner that objects e.g. guide posts, in a close region (N) of the scene are recorded in a blurred manner. The video camera is focused to a distance that is larger than a hyper focal distance of the video camera. An evaluation unit implements an image analysis of the images of the video camera under the consideration of image stream. The video camera is mounted on the motor vehicle in a driving direction.

Description

Stand der TechnikState of the art

Die Erfindung geht aus von einer Einrichtung eines Kraftfahrzeugs zur Erzeugung eines für eine Bildanalyse geeigneten Bildes einer mindestens teilweise bewegten Szene, wobei sich die Szene von einem Nahbereich bis zu einem Fernbereich erstreckt, wobei die Einrichtung mindestens eine auf die Szene gerichtete Videokamera umfasstThe The invention is based on a device of a motor vehicle Generation of an image suitable for image analysis an at least partially moving scene, where the scene extends from a near area to a far area, wherein the Set up at least one video camera aimed at the scene includes

Zur videobasierten Erkennung von Fahrbahnmarkierungen, Verkehrszeichen, Kraftfahrzeugen und anderen Verkehrsteilnehmern ist neben einer Muster- und Gestalterkennung auch die Verfolgung von wandernden Bildmerkmalen möglich, wie beispielsweise Kanten, Punkte extremer Helligkeit, Zentren von Flächen gleicher Farbe bzw. gleichem Grauwert. Diese Wanderung von Merkmalen im Bild wird als Bildfluss oder optischer Fluss bezeichnet. Aus der Fahrer-Perspektive im fahrenden Kraftfahrzeug können auf diese Weise die Fahrbahnmarkierungen und Verkehrszeichen von der umgebenden Szene und den vorausfahrenden und überholenden Kraftfahrzeugen unterschieden werden. Beispielsweise ist aus der deutschen Offenlegungsschrift DE 10 2005 027 887 A1 bekannt, dass ein Bildanalysemodul Bilder einer am Kraftfahrzeug angebrachten Videokamera analysiert und anhand der Form Verkehrszeichen selektiert. Ein auf dem optischen Fluss basierendes Verfahren zur Bestimmung der Eigenbewegung eines Kraftfahrzeugs ist beispielsweise in der deutschen Offenlegungsschrift DE 10 2005 000 651 A1 beschrieben.For video-based recognition of lane markings, traffic signs, motor vehicles and other road users in addition to a pattern and design recognition and the tracking of migratory image characteristics is possible, such as edges, points of extreme brightness, centers of areas of the same color or the same gray scale. This migration of features in the image is called image flow or optical flow. From the driver's perspective in the moving motor vehicle, the lane markings and traffic signs can be distinguished from the surrounding scene and the preceding and overtaking vehicles in this way. For example, from the German patent application DE 10 2005 027 887 A1 It is known that an image analysis module analyzes images of a video camera mounted on the motor vehicle and selects traffic signs on the basis of the form. A method based on the optical flow for determining the intrinsic motion of a motor vehicle is described, for example, in German Offenlegungsschrift DE 10 2005 000 651 A1 described.

Offenbarung der ErfindungDisclosure of the invention

Die erfindungsgemäße Einrichtung mit den Merkmalen des unabhängigen Anspruchs hat demgegenüber den Vorteil, dass diese Berechnungen leichter durchführbar sind. Vorteilhaft ist, dass die Fokussierung einer auf die Szene gerichteten Videokamera derart eingestellt ist, dass Objekte im Nahbereich unscharf aufgenommen werden. Ausgehend von der Definition der Hyper-Fokal-Entfernung erstreckt sich der Nahbereich N definitionsgemäß von der halben Hyper-Fokal-Entfernung bis zur Hyper-Fokal-Entfernung, während sich der Fernbereich von der Hyper-Fokal-Entfernung bis ins Unendliche erstreckt. Ein vorteilhafter Nahbereich ist beispielsweise 3 m bis 10 m vor dem Kraftfahrzeug.The Inventive device with the features the independent claim has the other hand Advantage that makes these calculations easier to carry out are. The advantage is that the focus is on the scene directed video camera is set such that objects in the Close range blurred. Starting from the definition the hyper-focal distance, the short-range N extends by definition from the half hyper-focal distance to hyper-focal distance while the far-range extends from the hyper-focal distance to infinity. An advantageous near range is, for example, 3 m to 10 m before the motor vehicle.

Um einen möglichst großen Tiefenschärfenbereich zu erhalten werden Videokameras auf die sogenannte Hyper-Fokal-Entfernung eingestellt, das heißt, der Tiefenschärfenbereich erstreckt sich von einem Nahpunkt bis zum Fernpunkt im Unendlichen. Bei der erfindungsgemäßen Einrichtung wird der Abstand zwischen Objektiv und Bildsensor verkleinert, so dass die Videokamera auf eine Entfernung fokussiert ist, die größer als die Hyper-Fokal-Entfernung der Videokamera ist. Somit werden weit entfernte Objekte etwas schärfer abgebildet, während die Objekte im Nahbereich abhängig von der Entfernung zumindest teilweise unscharf, das heißt detailärmer, abgebildet werden. Insgesamt wird damit der Nahbereich detailärmer abgebildet. Durch die damit verbundene Datenreduktion wird es bei entsprechender Anpassung des Such-Algorithmus einfacherer und sicherer, die Bildanalyse durchzuführen und/oder den Bildfluss zu bestimmen.Around the largest possible depth of field To get video cameras on the so-called hyper-focal distance set, that is, the depth of field range extends from a near point to the far point at infinity. at the device according to the invention is the distance downsized between the lens and image sensor, leaving the video camera Focused on a distance that is bigger than the hyper-focal distance of the video camera. Thus be distant objects slightly more sharply imaged while the objects at close range depending on the distance at least partially out of focus, that is, detail poorer, shown become. Overall, the near-field becomes less detailed displayed. By the associated data reduction it is at appropriate adaptation of the search algorithm simpler and safer, perform image analysis and / or image flow determine.

Vorteilhaft ist, wenn die die Videokamera auf eine Entfernung zwischen der Hyper-Fokal-Entfernung der Videokamera und der doppelten Hyper-Fokal-Entfernung der Videokamera fokussiert ist, da dieser Bereich einen besonders günstigen Ausgleich zwischen gewollter Unschärfe im Nahbereich und gewünschter Schärfe im Fernbereich erzielt wird.Advantageous is when the video camera is at a distance between the hyper-focal distance the video camera and the double hyper-focal distance of the video camera is focused, because this area is a particularly favorable Balancing between intentional blur at close range and desired sharpness in the far range is achieved.

Die Fokussierung der Videokamera auf eine Entfernung, die größer als oder gleich der doppelten Hyper-Fokal-Entfernung der Videokamera ist, ist dann vorteilhaft, wenn ein besonders scharfes Bild im Fernbereich gewünscht wird und dabei eine große Unschärfe im Nah- und mittleren Bereich gewünscht wird oder tolerierbar ist.The Focus the video camera on a distance that is larger as or equal to the double hyper-focal distance of the video camera is advantageous if a particularly sharp image in the far field is desired and doing a big blur in the near and middle range is desired or tolerable is.

Besonders vorteilhaft ist, wenn die Einrichtung eine Auswerteeinheit umfasst, die eine Bildanalyse von Bildern der Videokamera unter Berücksichtigung des Bildflusses durchführt, da die Datenreduktion von Bildinformationen im Nahbereich die Performance der Bildanalyseverfahren basierend auf dem optischen Fluss erhöht. Somit erleichtert das bewusste Defokussieren der Videokamera derart, dass die Videokamera auf eine Entfernung fokussiert ist, die größer als die Hyper-Fokal-Entfernung der Videokamera ist, in vorteilhafter Weise die Bestimmung des Bildflusses.Especially is advantageous if the device comprises an evaluation unit, taking into account an image analysis of images of the video camera the image flow performs as the data reduction of image information in the near field the performance of the image analysis methods based increased on the optical flow. Thus, the conscious facilitates Defocusing the video camera such that the video camera on a Distance is focused, which is greater than that Hyper-focal distance of the video camera is, in an advantageous manner the determination of the image flow.

Vorteilhaft ist ferner, dass die entfernungsabhängige Unschärfe-Signatur von Kanten im nahen oder mittleren Entfernungsbereich als weitere Information für ein dreidimensionales Modell der aufgenommenen Szene genutzt werden, und dass Mittel vorgesehen sind, welche die Schärfe von im Bild vorhandenen Kanten ermitteln und daraus eine Tiefeninformation gewinnen.Advantageous is further that the distance-dependent blurring signature of edges in the near or middle distance range as further Information for a three-dimensional model of the recorded Be used, and that means are provided which the Determine the sharpness of existing edges in the image and from it gain depth information.

Eine vorteilhafte Ausgestaltung dieser Weiterbildung verfügt über Mittel, die das Bild zweidimensional tiefpassfiltern, das tiefpassgefilterte Bild von dem aufgenommenen Bild subtrahieren und Kanten je nach Größe der Differenz vorgegebenen Tiefen zuordnen. Falls nur die Unterscheidung zwischen zwei Tiefenbereichen erforderlich ist, kann die Weiterbildung derart ausgeführt sein, dass bei einer Differenz, die kleiner als ein vorgegebener Wert ist, die Kanten einer vorgegebenen Tiefe zugeordnet werden.An advantageous embodiment of this development has means for low-pass filtering the image two-dimensionally, for subtracting the low-pass filtered image from the recorded image, and for assigning edges to predetermined depths depending on the size of the difference. If only the distinction between two depth ranges is required, the development can be carried out in such a way that if there is a difference, which is smaller than a predetermined value, the edges are assigned to a predetermined depth.

Es kann jedoch zur Unterscheidung von mehreren Tiefenbereichen vorgesehen sein, dass Mittel zur Tiefpassfilterung mehrfach mit jeweils verschiedenen Fenstergrößen angewandt werden und die Ergebnisse jeweils von dem aufgenommenen Bild subtrahiert werden, wobei je Filtergröße mindestens ein Tiefenbereich ermittelt wird.It However, it can be used to distinguish between several depth ranges be that means for low-pass filtering several times each with different Window sizes are applied and the results are each subtracted from the captured image, each Filter size determined at least one depth range becomes.

Bei der Anwendung im Kraftfahrzeug ist es besonders vorteilhaft, wenn die Videokamera in Fahrtrichtung auf ein Kraftfahrzeug montiert ist, da damit das Sichtfeld der Videokamera der bevorzugten Fahrersicht entspricht.at the application in the motor vehicle, it is particularly advantageous if the video camera mounted in the direction of travel on a motor vehicle is because then the field of view of the video camera of the preferred driver's view equivalent.

Besonders vorteilhaft ist ferner, dass die Videokamera derart gestaltet ist, dass die Fokussierung der Videokamera fest eingestellt ist. Diese Videokameras sind einfach und robust aufgebaut, da keine mechanischen Elemente zum Einstellung der Fokussierung notwendig sind. Videokameras mit fester Fokussierung werden auch als Fix-Fokus-Videokameras bezeichnet. Diese Videokameras zeichnen sich dadurch aus, dass der Benutzer keine Einstellungsmöglichkeit der Fokussierung hat. Somit ist die Fokussierung im Betrieb der Videokamera unveränderbar.Especially It is also advantageous that the video camera is designed in such a way that that the focus of the video camera is fixed. These Video cameras are simple and robust, because no mechanical Elements for adjusting the focus are necessary. video cameras Fixed Focus are also referred to as fixed focus video cameras. These video cameras are characterized by the fact that the user has no possibility to adjust the focus. Consequently is the focus in the operation of the video camera unchangeable.

Zeichnungendrawings

Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:One Embodiment of the invention is in the drawing illustrated by several figures and in the following description explained in more detail. It shows:

1 ein Teil eines Kraftfahrzeugs mit einer auf die Fahrbahn gerichteten Videokamera und 1 a part of a motor vehicle with a video camera facing the road and

2 ein Blockschaltbild eines Ausführungsbeispiels. 2 a block diagram of an embodiment.

Beschreibung des AusführungsbeispielsDescription of the embodiment

Nachfolgend wird eine Einrichtung eines Kraftfahrzeugs zur Erzeugung eines für eine Bildanalyse geeigneten Bildes einer mindestens teilweise bewegten Szene beschrieben, wobei sich die Szene von einem Nahbereich bis zu einem Fernbereich erstreckt, wobei die Einrichtung eine auf die Szene gerichtete Videokamera umfasst und wobei eine Fokussierung der Videokamera derart eingestellt ist, dass Objekte im Nahbereich unscharf aufgenommen werden. Die unscharfe Aufnahme der Objekte im Nahbereich wird vorzugsweise dadurch erreicht, dass die Videokamera auf eine Entfernung fokussiert ist, die größer als die Hyper-Fokal-Entfernung der Videokamera ist. Vorzugsweise ist die Fokussierung der Videokamera fest eingestellt. Ferner umfasst die Einrichtung vorzugsweise entweder eine Auswerteeinheit, die eine Bildanalyse von Bildern der Videokamera unter Berücksichtigung des Bildflusses durchführt, und/oder die Einrichtung umfasst Mittel, welche die Schärfe von im Bild vorhandenen Kanten ermitteln und daraus eine Tiefeninformation gewinnen.following is a device of a motor vehicle for generating a for an image analysis suitable image of an at least partially moving Scene described, with the scene ranging from a close range up extends to a remote area, the device one on the Scene directed video camera covers and being a focus the video camera is set such that objects in the vicinity out of focus. The blurred shot of the objects in the vicinity is preferably achieved by the fact that the video camera Focused on a distance that is bigger than the hyper-focal distance of the video camera. Preferably the focus of the video camera is fixed. Further includes the device preferably either an evaluation unit, the an image analysis of images of the video camera under consideration of the image flow, and / or comprises the device Means the sharpness of existing edges in the image determine and obtain from it a depth information.

Videokameras, deren Fokus fest eingestellt ist, werden als Fix-Fokus-Videokameras bezeichnet. Andererseits ist es in der Fotografie üblich, Kameras auf die sogenannte Hyper-Fokal-Entfernung zu fokussieren. Die Hyper-Fokal-Entfernung ist diejenige Gegenstandsweite, bei der im Unendlichen liegende Objekte gerade noch mit einer akzeptable Unschärfe abgebildet werden, so dass sich der Tiefenschärfebereich gerade noch ins unendliche erstreckt. Bei dieser Einstellung erstreckt sich der Tiefenschärfebereich des aufgenommenen Bildes von der halben Hyper-Fokal-Entfernung bis ins Unendliche. Die Hyper-Fokal-Entfernung sh hängt von der Brennweite f, dem Blendenwert N und dem Unschärfekreis-Durchmesser du ab und berechnet sich näherungsweise nach folgender Formel:

Figure 00040001
Video cameras whose focus is fixed are called fixed-focus video cameras. On the other hand, it is customary in photography to focus cameras on the so-called hyper-focal distance. The hyper-focal distance is the object's distance at which objects lying at infinity are barely imaged with an acceptable blur, so that the depth-of-focus range extends just barely into the infinite. With this setting, the depth-of-field of the captured image extends from half the hyper-focal distance to infinity. The hyper-focal distance s h depends on the focal length f, the diaphragm value N and the circle of confusion diameter d u and is calculated approximately according to the following formula:
Figure 00040001

In der Digitalfotografie wird du als die ein- bis zweifache Pixelgröße (monochrom/Farbsensor) gewählt. Somit ist die Hyper-Fokal-Entfernung sh bei Fix-Fokus-Videokameras eine durch die Gestaltung der Videokamera hinsichtlich Brennweite und Blendenwert bedingte Größe.In digital photography, d u is selected as one to two times the pixel size (monochrome / color sensor). Thus, the hyper-focal distance s h in fixed-focus video cameras is due to the design of the video camera in terms of focal length and aperture size.

Der Erfindung liegt die Erkenntnis zugrunde, dass das unvermeidliche Rauschen sowie die hohe Bildinformation im Nahbereich des Tiefenschärfebereichs durch den dort vorhandenen Detailreichtum die Bildanalyse des erzeugten Bildes oder die Berechnung des Bildflusses erschweren.Of the Invention is based on the knowledge that the inevitable Noise and high image information in the near range of the depth of field through the existing richness of detail the image analysis of the generated Image or the calculation of the image flow complicate.

Erfindungsgemäß ist vorgesehen, dass eine Fokussierung der Videokamera derart eingestellt ist, dass Objekte im Nahbereich N unscharf aufgenommen werden. Bevorzugt wird dies erreicht, indem die Videokamera auf eine Entfernung fokussiert ist, die größer als die Hyper-Fokal-Entfernung der Videokamera ist.According to the invention provided that a focus of the video camera set in such a way is that objects in close range N are taken blurred. Prefers This is achieved by focusing the video camera on a distance is greater than the hyper-focal distance the video camera is.

1 zeigt ein Kraftfahrzeug 1, das in 1 teilweise geschnitten dargestellt ist, so dass der Bereich des Innenspiegels sichtbar ist, in welchem eine Videokamera 2 angeordnet ist. Das Blickfeld 3 der Videokamera 2 ist nach vorne gerichtet. Die Fokussierung der Videokamera 2 ist derart fest eingestellt, dass Objekte im Fernbereich F scharf und Objekte im Nahbereich N relativ unscharf abgebildet werden. 1 shows a motor vehicle 1 , this in 1 is shown partially cut so that the area of the interior mirror is visible in which a video camera 2 is arranged. The field of vision 3 the video camera 2 is directed forward. The focus of the video camera 2 is fixed so that objects in the far field F are focused sharply and objects in the near range N are relatively blurred.

Das in 2 dargestellte Blockschaltbild zeigt ein erstes Ausführungsbeispiel bei dem die Signale der Videokamera 2 über je ein zweidimensionales Tiefpassfilter 11, 12 geleitet werden. Die Tiefpassfilter weisen eine Fenstergröße von drei und fünf Bildelementen auf. Bei 13 und 14 werden die zweidimensional tiefpassgefilterten Bilder von dem original aufgenommenen Bild subtrahiert. Die Differenz wird bei 15, 16 mit jeweils einer Schwelle verglichen, wobei jeweils ein Signal an den Ausgängen 17, 18 ansteht, wenn die Differenz unter einem vorgegebenen Schwellwert liegt, was auf die Zugehörigkeit des jeweiligen Bild-Details (Kante) zu einem Tiefenbereich hinweist. Die Auswertung gemäß 2 wird in diesem Ausführungsbeispiel von Mitteln durchgeführt, die in einer Auswerteeinheit realisiert sind.This in 2 Block diagram shown shows a first embodiment in which the Sig nale of the video camera 2 via a two-dimensional low-pass filter 11 . 12 be directed. The low-pass filters have a window size of three and five pixels. at 13 and 14 The two-dimensional low-pass filtered images are subtracted from the original captured image. The difference is at 15 . 16 each with a threshold compared, each with a signal at the outputs 17 . 18 is present when the difference is below a predetermined threshold, indicating the affiliation of the respective image detail (edge) to a depth range. The evaluation according to 2 is carried out in this embodiment by means which are realized in an evaluation unit.

In einem weiteren Ausführungsbeispiel ist die Videokamera gemäß 1 mit einer Auswerteeinheit verbunden. Die Fokussierung der Videokamera ist wiederum derart eingestellt, dass Objekte im Nahbereich (N) unscharf aufgenommen werden. In diesem Ausführungsbeispiel wird dies dadurch erreicht, dass die Videokamera auf eine Entfernung fokussiert ist, die größer als die Hyper-Fokal-Entfernung der Videokamera ist. Die Auswerteeinheit ist in diesem Ausführungsbeispiel derart gestaltet, dass die Auswerteeinheit eine Bildanalyse von Bildern der Videokamera unter Berücksichtigung des Bildflusses durchführt. Der Bildfluss stellt ein Vektorfeld dar, das die Bewegungsrichtung und/oder Bewegungsgeschwindigkeit von einzelnen oder allen Bildpunkten eines Bildes einer Bildsequenz beschreibt. Die Auswerteeinheit ermittelt aus einer Sequenz von Bildern für jedes Bild den optischen Fluss in Form eines Vektorfeldes. Basierend auf diesem, den optischen Fluss beschreibenden Vektorfeld werden durch die Auswerteeinheit weitere Auswerteschritte, wie Ermittlung von statischen Objekten, wie Leitpfosten oder Verkehrsschilder oder sich bewegende Objekte, wie seitlich ins Bild einlaufende Fußgänger, ermittelt. Die Auswerteeinheit stellt die so ermittelten Daten nachfolgenden System zur Verfügung.In a further embodiment, the video camera is according to 1 connected to an evaluation unit. The focus of the video camera is again set in such a way that objects in the close range (N) are taken blurred. In this embodiment, this is accomplished by focusing the video camera at a distance greater than the hyper-focal distance of the video camera. The evaluation unit is designed in this embodiment such that the evaluation unit performs image analysis of images of the video camera taking into account the image flow. The image flow represents a vector field describing the direction of movement and / or movement speed of individual or all pixels of an image of an image sequence. The evaluation unit determines the optical flow in the form of a vector field from a sequence of images for each image. Based on this vector field describing the optical flow, the evaluation unit determines further evaluation steps, such as determination of static objects, such as guide posts or traffic signs, or moving objects, such as pedestrians entering the image laterally. The evaluation unit makes the data thus obtained available to subsequent systems.

Die Verwendung der Erfindung kann auf einfach Art nachgewiesen werden, in dem einer Einrichtung zur Erzeugung eines für eine Bildanalyse geeigneten Bildes, umfassend eine Videokamera, in mindestens zwei Objektentfernungen in jeweils einer Nah- und einer Fernposition streifenförmige Testfelder dargeboten werden. Die streifenförmigen Testfelder weisen schwarze Streifen auf weißem Hintergrund auf. Die Streifenbreiten der schwarzen Streifen sind dabei so gewählt, dass die Streifen für die gewählten Objektentfernungen die gleiche Winkelausdehnung aufweisen, so dass die Bilder der Testfelder die gleiche Breite auf dem Bildsensor aufweisen. Durch die geringe Auflösung im Nahbereich wird die Kantendetektion bei den Testfeldern in der Nahposition schon bei größeren Winkelausdehnungen versagen, während die Kantendetektion im Fernbereich möglich ist. Damit ist der Nachweis einer Defokussierung im Nahbereich erbracht.The Use of the invention can be demonstrated in a simple way, in a device for generating an image analysis suitable image, comprising a video camera, in at least two Object distances in one near and one remote position strip-shaped test fields are presented. The strip-shaped Test fields have black stripes on a white background on. The strip widths of the black stripes are chosen that the strips for the selected object distances have the same angular extent, so that the images of the test fields the have the same width on the image sensor. Due to the low resolution In the near field, the edge detection in the test fields in the Nahposition already at larger angular expansions fail, while the edge detection in the far field possible is. This provides evidence of defocusing at close range.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - DE 102005027887 A1 [0002] - DE 102005027887 A1 [0002]
  • - DE 102005000651 A1 [0002] DE 102005000651 A1 [0002]

Claims (11)

Einrichtung eines Kraftfahrzeugs (1) zur Erzeugung eines für eine Bildanalyse geeigneten Bildes einer mindestens teilweise bewegten Szene, insbesondere einer Szene in der Umgebung eines Kraftfahrzeugs (1), wobei sich die Szene von einem Nahbereich bis zu einem Fernbereich erstreckt, wobei die Einrichtung mindestens eine auf die Szene gerichtete Videokamera (2) umfasst, dadurch gekennzeichnet, dass eine Fokussierung der Videokamera (2) derart eingestellt ist, dass Objekte im Nahbereich (N) unscharf aufgenommen werden.Device of a motor vehicle ( 1 ) for generating an image suitable for image analysis of an at least partially moved scene, in particular a scene in the vicinity of a motor vehicle ( 1 ), wherein the scene extends from a near-field to a far-end region, the device comprising at least one video camera (FIG. 2 ), characterized in that a focusing of the video camera ( 2 ) is set so that objects in the near range (N) are taken blurred. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Videokamera (2) auf eine Entfernung fokussiert ist, die größer als die Hyper-Fokal-Entfernung der Videokamera (2) ist.Device according to claim 1, characterized in that the video camera ( 2 ) is focused at a distance greater than the hyper-focal distance of the video camera ( 2 ). Einrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Videokamera (2) auf eine Entfernung zwischen der Hyper-Fokal-Entfernung der Videokamera (2) und der doppelten Hyper-Fokal-Entfernung der Videokamera (2) fokussiert ist.Device according to one of claims 1 or 2, characterized in that the video camera ( 2 ) to a distance between the hyper-focal distance of the video camera ( 2 ) and the double hyper-focal distance of the video camera ( 2 ) is focused. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Videokamera (2) auf eine Entfernung fokussiert ist, die größer als oder gleich der doppelten Hyper-Fokal-Entfernung der Videokamera (2) ist.Device according to one of the preceding claims, characterized in that the video camera ( 2 ) is focused at a distance greater than or equal to twice the hyper-focal distance of the video camera ( 2 ). Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einrichtung eine Auswerteeinheit umfasst, die eine Bildanalyse von Bildern der Videokamera (2) unter Berücksichtigung des Bildflusses durchführt.Device according to one of the preceding claims, characterized in that the device comprises an evaluation unit which performs an image analysis of images of the video camera ( 2 ) taking into account the image flow. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einrichtung Mittel (11 bis 18) umfasst, welche die Schärfe von im Bild vorhandenen Kanten ermitteln und daraus eine Tiefeninformation gewinnen.Device according to one of the preceding claims, characterized in that the device means ( 11 to 18 ), which determine the sharpness of edges present in the image and obtain a depth information therefrom. Einrichtung nach Anspruch 6, gekennzeichnet durch Mittel (11 bis 18), die das Bild zweidimensional tiefpassfiltern, das tiefpassgefilterte Bild von dem aufgenommenen Bild subtrahieren und Kanten je nach Größe der Differenz vorgegebenen Tiefen zuordnen.Device according to claim 6, characterized by means ( 11 to 18 ) low-pass filtering the image two-dimensionally, subtracting the low-pass filtered image from the captured image and assigning edges to predetermined depths according to the size of the difference. Einrichtung nach Anspruch 7, dadurch gekennzeichnet, dass bei einer Differenz, die kleiner als ein vorgegebener Wert ist, die Kanten einer vorgegebenen Tiefe zugeordnet werden.Device according to claim 7, characterized that at a difference smaller than a given value is that the edges are assigned to a given depth. Einrichtung nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass Mittel zur Tiefpassfilterung (11, 12) mehrfach mit jeweils verschiedenen Fenstergrößen angewandt werden und die Ergebnisse jeweils von dem aufgenommenen Bild subtrahiert werden, wobei je Filtergröße mindestens ein Tiefenbereich ermittelt wird.Device according to one of claims 7 or 8, characterized in that means for low-pass filtering ( 11 . 12 ) are applied repeatedly with different window sizes in each case and the results are each subtracted from the recorded image, wherein at least one depth range is determined per filter size. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Videokamera (2) in Fahrtrichtung auf das Kraftfahrzeug (1) montiert ist.Device according to one of the preceding claims, characterized in that the video camera ( 2 ) in the direction of travel on the motor vehicle ( 1 ) is mounted. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Videokamera (2) derart gestaltet ist, dass die Fokussierung der Videokamera (2) fest eingestellt ist.Device according to one of the preceding claims, characterized in that the video camera ( 2 ) is designed such that the focusing of the video camera ( 2 ) is fixed.
DE102007058779.3A 2007-12-06 2007-12-06 Device of a motor vehicle for generating an image suitable for image analysis Expired - Fee Related DE102007058779B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102007058779.3A DE102007058779B4 (en) 2007-12-06 2007-12-06 Device of a motor vehicle for generating an image suitable for image analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102007058779.3A DE102007058779B4 (en) 2007-12-06 2007-12-06 Device of a motor vehicle for generating an image suitable for image analysis

Publications (2)

Publication Number Publication Date
DE102007058779A1 true DE102007058779A1 (en) 2009-06-10
DE102007058779B4 DE102007058779B4 (en) 2021-01-14

Family

ID=40621133

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007058779.3A Expired - Fee Related DE102007058779B4 (en) 2007-12-06 2007-12-06 Device of a motor vehicle for generating an image suitable for image analysis

Country Status (1)

Country Link
DE (1) DE102007058779B4 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010044219A1 (en) * 2010-11-22 2012-05-24 Robert Bosch Gmbh Method for detecting the environment of a vehicle
CN103134429A (en) * 2013-03-19 2013-06-05 南京智真电子科技有限公司 Vehicles and trains straight driving track measuring method based on vision
DE102013213549A1 (en) * 2013-07-11 2015-01-15 Conti Temic Microelectronic Gmbh Device and method for detecting objects in the vicinity for a motor vehicle, in particular rain sensor device
EP3726473A1 (en) 2019-04-18 2020-10-21 SMR Patents S.à.r.l. Method for rearview device simulation
DE102019206360A1 (en) * 2019-05-03 2020-11-05 Audi Ag Distance measuring device and method for determining distance data of an object by means of such a distance measuring device
US11256931B2 (en) 2010-04-19 2022-02-22 SMR Patent S.à.r.l Rearview device simulation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005000651A1 (en) 2005-01-04 2006-07-13 Robert Bosch Gmbh Method for determining the intrinsic motion of a vehicle
DE102005027887A1 (en) 2005-06-16 2006-12-28 Robert Bosch Gmbh Vehicle driver information method, involves detecting predetermined road signs by using camera, and adjusting vehicle light, if detected road signs necessitate adjustment of vehicle light

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004037871B4 (en) * 2004-08-04 2006-10-12 Siemens Ag Optical module for an outer vestibule in the direction of travel of a motor vehicle detecting assistance system
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
US8325220B2 (en) * 2005-12-02 2012-12-04 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005000651A1 (en) 2005-01-04 2006-07-13 Robert Bosch Gmbh Method for determining the intrinsic motion of a vehicle
DE102005027887A1 (en) 2005-06-16 2006-12-28 Robert Bosch Gmbh Vehicle driver information method, involves detecting predetermined road signs by using camera, and adjusting vehicle light, if detected road signs necessitate adjustment of vehicle light

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256931B2 (en) 2010-04-19 2022-02-22 SMR Patent S.à.r.l Rearview device simulation
US11731558B2 (en) 2010-04-19 2023-08-22 SMR Patents S.à.r.l. Rearview device simulation
DE102010044219A1 (en) * 2010-11-22 2012-05-24 Robert Bosch Gmbh Method for detecting the environment of a vehicle
CN102476619A (en) * 2010-11-22 2012-05-30 罗伯特·博世有限公司 Method for detecting the environment of a vehicle
CN102476619B (en) * 2010-11-22 2016-08-31 罗伯特·博世有限公司 Method for testing machine motor-car surrounding
CN103134429A (en) * 2013-03-19 2013-06-05 南京智真电子科技有限公司 Vehicles and trains straight driving track measuring method based on vision
CN103134429B (en) * 2013-03-19 2015-12-23 南京智真电子科技有限公司 A kind of truck combination straight-line travelling trajectory measurement method of view-based access control model
DE102013213549A1 (en) * 2013-07-11 2015-01-15 Conti Temic Microelectronic Gmbh Device and method for detecting objects in the vicinity for a motor vehicle, in particular rain sensor device
EP3726473A1 (en) 2019-04-18 2020-10-21 SMR Patents S.à.r.l. Method for rearview device simulation
DE102019206360A1 (en) * 2019-05-03 2020-11-05 Audi Ag Distance measuring device and method for determining distance data of an object by means of such a distance measuring device

Also Published As

Publication number Publication date
DE102007058779B4 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
DE112017007579T5 (en) Process and system for automatic coloring of night vision images
DE102009050368A1 (en) Method for automatically calibrating a virtual camera
WO2006063546A1 (en) Method and device for determining the speed of a vehicle
DE102007058779A1 (en) Device for producing image of partly moved scene in motor vehicle surrounding for video-based detection of objects e.g. guide posts, has video camera whose focusing is adjusted such that objects in close region are recorded in blurred way
DE19860676A1 (en) Visualization device for imaging area illuminated by at headlights of moving vehicle has camera that collects data during journey of vehicle while scenes are simulated by illumination from headlight
DE102013114996A1 (en) Method for applying super-resolution to images detected by camera device of vehicle e.g. motor car, involves applying spatial super-resolution to area-of-interest within frame to increase the image sharpness within area-of-interest
DE102019131971A1 (en) An image processing module
DE102019133642A1 (en) DIGITAL IMAGING SYSTEM INCLUDING OPTICAL PLENOPTIC DEVICE AND IMAGE DATA PROCESSING METHOD FOR DETECTING VEHICLE OBSTACLES AND GESTURES
DE102018100909A1 (en) Method of reconstructing images of a scene taken by a multifocal camera system
DE102004046101A1 (en) Method for early detection of motor vehicle collision involves estimation of collision danger on the basis of determined time to collision and introducing collision reducing measures with exceeding of predetermined collision danger
DE102007025147A1 (en) Lane departure warning and/or lane keeping function providing system for motor vehicle i.e. car, has camera aligned perpendicularly downward to road surface and serving for recognition of lane marking provided on road surface
EP3642758A1 (en) Method for evaluating an optical appearance in the surroundings of a vehicle, and vehicle
DE102013022076A1 (en) Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle
EP3655299B1 (en) Method and device for determining an optical flow on the basis of an image sequence captured by a camera of a vehicle
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102013222304A1 (en) Method for determining object distances with a camera installed in a motor vehicle
DE4226523B4 (en) Method and device for automatic focusing on objects
DE102014224903A1 (en) Optical environment sensor for vehicles
DE102008003800A1 (en) Method and device for image acquisition for motor vehicles
DE102011121473A1 (en) A method for displaying images on a display device of a motor vehicle, driver assistance device, motor vehicle and computer program
DE102012211961A1 (en) Method and apparatus for calculating a change in a magnification of an object
WO2014146864A1 (en) Method and apparatus for creating a recording of an object which lights up in a pulsed manner
DE102020109997A1 (en) System and method for taking reliable stitched images
DE69121121T2 (en) Device for determining the focal point

Legal Events

Date Code Title Description
R012 Request for examination validly filed

Effective date: 20140409

R084 Declaration of willingness to licence

Effective date: 20140410

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001100000

Ipc: B60R0001000000

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee