DE102006005231A1 - Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system - Google Patents

Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system Download PDF

Info

Publication number
DE102006005231A1
DE102006005231A1 DE200610005231 DE102006005231A DE102006005231A1 DE 102006005231 A1 DE102006005231 A1 DE 102006005231A1 DE 200610005231 DE200610005231 DE 200610005231 DE 102006005231 A DE102006005231 A DE 102006005231A DE 102006005231 A1 DE102006005231 A1 DE 102006005231A1
Authority
DE
Germany
Prior art keywords
distance
image
camera
camera system
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE200610005231
Other languages
German (de)
Inventor
Brigitte Klose
Heinz A. Klose
Karl-Ulrich Lampe
Fritz Zierke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OPTOTRANSMITTER UMWELTSCHUTZ T
OPTOTRANSMITTER-UMWELTSCHUTZ-TECHNOLOGIE EV
Original Assignee
OPTOTRANSMITTER UMWELTSCHUTZ T
OPTOTRANSMITTER-UMWELTSCHUTZ-TECHNOLOGIE EV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OPTOTRANSMITTER UMWELTSCHUTZ T, OPTOTRANSMITTER-UMWELTSCHUTZ-TECHNOLOGIE EV filed Critical OPTOTRANSMITTER UMWELTSCHUTZ T
Priority to DE200610005231 priority Critical patent/DE102006005231A1/en
Publication of DE102006005231A1 publication Critical patent/DE102006005231A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area

Abstract

The method involves stereoscopic analysis of two picture fields (R,L,R',L') comprising digital camera pictures, which are recorded by a stationary camera system (K). The object (3) with the camera system comprises two picture recording positions (1, 2) towards the different object. A distance (delta ) is recorded for both the picture fields which are gained by evaluation of light or contrast differences between the same neighboring picture pixels. The distance (A) is calculated from the distance of both picture recording positions and the parallaxes. The same cameras are used for the focal length as well as the number of pixels and size of image sensors. An independent claim is also included for an arrangement for the determination of the distance of an object.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Bestimmung der Entfernung eines Objekts, vorzugsweise zum Zwecke der Sichtweitenbestimmung. Entfernung und Sichtweite stehen dabei insoweit in einem engen Zusammenhang, als die Sichtweite nach gebräuchlichen Verfahren die Kenntnis der Länge einer zur Sichtweitenbestimmung benutzten Messstrecke voraussetzt. Die vorgestellte Lösung betrifft daher eine neue Möglichkeit der Entfernungsbestimmung, welche in Kombination mit weiteren Verfahrensschritten mit besonderem Vorteil für die Sichtweitenmessung herangezogen werden kann.The The invention relates to a method and an arrangement for determination the removal of an object, preferably for the purpose of visibility determination. Distance and visibility are closely related in this respect, as the visibility after in use Procedure the knowledge of the length presupposes a measuring path used for visibility determination. The presented solution therefore concerns a new possibility the determination of the distance, which in combination with further process steps particular advantage for the visibility measurement can be used.

Die Möglichkeit einer genauen Bestimmung der Entfernung von Objekten und/oder der momentanen Sichtweite ist in vielen technischen Bereichen und Lebensbereichen, insbesondere im Verkehr, von sehr großer Bedeutung. Sie spielt zum Beispiel eine wichtige Rolle im automotiven Bereich, im Flug- und Bahnverkehr sowie in der Binnen- und Seeschifffahrt. Die Zahl, aufgrund falsch bestimmter Entfernungen beziehungsweise unzutreffend eingeschätzter Sichtweiten, entstehender Unfälle ist erheblich und verursacht alljährlich, neben ohnehin nicht hinnehmbaren Personenschäden, hohe volkswirtschaftliche Kosten. Dies trifft gleichermaßen für schwere Unfälle im Land-, Luft- und Seeverkehr zu.The possibility an accurate determination of the distance of objects and / or the current visibility is in many technical areas and areas of life, especially in transport, of very great importance. She plays to Example, an important role in the automotive sector, in the aviation and Rail traffic as well as in the inland and maritime navigation. The number, due incorrectly determined distances or incorrectly estimated visibility, arising accidents is significant and causes every year, besides anyway not acceptable personal injury, high economic costs. This is equally true for heavy accidents inland, air and maritime transport too.

Vor allem bei der Entfernungsbestimmung im Seeverkehr sind dabei besondere Randbedingungen zu beachten. Anders als beispielsweise im Auto- und Bahnverkehr fehlt es im Seeverkehr zumindest in der unmittelbaren Umgebung von Hochseeschiffen oftmals an markanten Punkten, welche für die Entfernungsbeziehungsweise Sichtweitenbestimmung herangezogen werden können. Zudem ist zu beachten, dass große Schiffe extrem lange Bremswege und, im Hinblick auf mögliche Ausweichmanöver, immens große Wenderadien haben.In front In particular, the determination of distances in maritime transport are special To observe boundary conditions. Unlike, for example, in the car and rail transport lacks maritime transport at least in the immediate Of sea-going vessels often at prominent points, which for the Distance determination as well as visibility determination are used can. It should also be noted that large Ships have extremely long braking distances and, in view of possible evasive maneuvers, immense size Have turning radii.

Die Sichtweite wird im Allgemeinen anhand von Kontraständerungen, respektive der Verringerung des Kontrastes eines Objekts zu seiner Umgebung bestimmt, welche aufgrund der durch die zwischen einem Beobachter und dem Objekt liegenden Luftschichten hervorgerufene Lichtstreuung und Absorption auftritt. Um zueinander vergleichbare Sichtweitenangaben zu haben, ist dabei durch die VDI-Richtlinie 3786 eine Normsichtweite für einen Schwellenkontrast von ± 0,02. also ± 2% festgelegt. In der Praxis wird die Sichtweite durch Transmissionsmessungen, Streulichtmessmethoden oder mit Hilfe von Kontrastbewertungen an Objekten bekannten Abstands bestimmt.The Visibility is generally based on contrast changes, respectively the reduction of the contrast of an object to his Environment determines which due to the between the one Observers and the object lying air layers caused Light scattering and absorption occurs. To be comparable to each other Visibility information is provided by the VDI Directive 3786 a standard visibility for a threshold contrast of ± 0.02. ie ± 2% established. In practice, the visibility is measured by transmission measurements, Scattered light measurement methods or with the help of contrast evaluations Determined objects known distance.

Bei den Transmissionsmessungen wird die Sichtweite durch visuelle Kontrasteinschätzungen und durch Streulichtmessungen über relativ lange Messstrecken ermittelt. Diese Messungen ergeben die genauesten Daten, sind aber als integrale Methoden sehr anfällig im Hinblick auf kleinste mechanische Störungen, das heißt insbesondere Positionsänderungen der verwendeten Sender und Empfänger, bei denen es sich beispielsweise um optische oder funktechnische Sender und Empfänger handeln kann. Transmissionsmessungen setzen zudem sehr leistungsfähige Sender und hochempfindliche Empfänger voraus, welche entsprechend teuer sind. Bei den Streulichtmessmethoden weisen Sender und Empfänger gewöhnlich einen geringen Abstand auf, wobei die gewonnenen Ergebnisse auf große Entfernungen extrapoliert werden. Dies führt häufig zu vergleichsweise hohen Messfehlern, welche für viele Anwendungsfälle, beispielsweise auch den schon erwähnten Seeverkehr, nicht hinnehmbar sind.at The transmission measurements are the visual range by visual contrast estimates and by scattered light measurements over determined relatively long measuring distances. These measurements give the most accurate data, but are very vulnerable as integral methods in the Regard to the smallest mechanical disturbances, that is in particular position changes the transmitter and receiver used, which are, for example, optical or radio technical Sender and receiver can act. Transmission measurements also set very powerful transmitters and highly sensitive receivers ahead, which are correspondingly expensive. In the scattered light measurement methods have sender and receiver usually at a small distance, the results obtained on size Distances are extrapolated. This often leads to comparatively high Measurement errors, which for many applications, for example, the already mentioned maritime transport, unacceptable are.

Eine Kontrastbewertung bei Objekten mit einem gegenüber dem Beobachter konstanten und somit bestimmten Abstand wird beispielsweise in der meteorologischen Praxis angewandt. Es liegt jedoch auf der Hand, dass diese Methode zur Bestimmung der Sichtweite bei bewegten Fahrzeugen im Grunde nicht einsetzbar ist.A Contrast evaluation for objects with a constant vis-à-vis the observer and thus certain distance is, for example, in the meteorological Practice applied. However, it is obvious that this method to determine the visibility of moving vehicles basically can not be used.

Soweit bei den schon erwähnten Transmissions- und Streulichtmessungen die Entfernung hierfür genutzter Objekte nicht bekannt ist, wird diese in der Praxis beispielsweise mittels Radar oder LIDAR-Messungen bestimmt. Diese aktiven Verfahren der Entfernungsbestimmung erfordern jedoch, wie bereits erwähnt, sehr leistungsfähige, hochfrequente oder optische Sender und entsprechend genaue und empfindliche Empfänger. In Bezug auf bewegte Objekte, wie beispielsweise Straßenfahrzeuge, weisen sie zudem den Nachteil auf, dass ihre Genauigkeit durch Hindernisse oder in Kurven durch Straßenränder deutlich reduziert wird. Im Hinblick auf die Radarortung ist außerdem eine metallische und möglichst glatte Oberfläche eines zum Zwecke der Entfernungsbestimmung angepeilten Objektes erforderlich. All dies sind Randbedingungen, die im Landverkehr häufig nicht in optimaler Weise erfüllt werden und bezogen auf die Hochseeschifffahrt im Allgemeinen überhaupt nicht gegeben sind. Als andere Möglichkeit der Entfernungs- und Sichtweitenbestimmung kommen daher auch passive Verfahren, das heißt Verfahren zum Einsatz, bei denen zusätzliche hochfrequente oder optische Sender nicht benötigt werden. Insbesondere Videokameras und Methoden der digitalen Bildauswertung kommen dabei zunehmend zum Einsatz.As far as in the already mentioned transmission and scattered light measurements, the distance for this purpose used objects is not known, this is determined in practice, for example by means of radar or LIDAR measurements. However, these active methods of range determination require, as already mentioned, very high-performance, high-frequency or optical transmitters and correspondingly accurate and sensitive receivers. With respect to moving objects, such as road vehicles, they also have the disadvantage that their accuracy is significantly reduced by obstacles or in curves by roadsides. With regard to the Radarortung also a metallic and smooth as possible surface of a targeted for the purpose of determining distance object is required. All these are boundary conditions that are often not optimally fulfilled in land transport and are generally not given at all with respect to ocean shipping. As another possibility of distance and visibility determination, therefore, passive methods, that is, methods are used in which additional high-frequency or optical transmitter are not needed. In particular, video cameras and methods of digital image evaluation come increasingly used.

Beispielsweise wird durch die EP 10 67 399 A2 ein Verfahren zur Sichtweitenbestimmung beschrieben, welches auch die Enffernungsbestimmung mittels eines binokularen Videosenders einbezieht. Die Entfernungsbestimmung erfolgt dabei gemäß der Druckschrift mittels Triangulation. Zwar ist die Triangulation ein klassisches technisches Verfahren, welches insbesondere bei der Landvermessung eingesetzt wird, jedoch setzt dieses Verfahren die Bestimmung geometrischer Größen in einem Beobachtungsdreieck, insbesondere die Bestimmung der Winkel des Dreiecks voraus, für welche ein Theodolit oder eine damit vergleichbare Einrichtung erforderlich ist. Insoweit ist auch hier der anordnungstechnische Aufwand vergleichsweise hoch. Durch die DE 100 34 461 A1 wird ein Verfahren zur Sichtweitenbestimmung beschrieben, bei welcher die Messung der Änderung von Kontrastwerten von zwei, verschieden weit von einem zur Messung benutzten Objekt entfernten Messpositionen aus erfolgt. Auch bei dieser Lösung erfolgt die Entfernungsbestimmung durch Triangulation. Darüber hinaus ist es aus der DE 196 40 938 A1 bekannt, zur Verbesserung der Genauigkeit bei Verkehrsbeobachtungen ein stereoskopisches Kamerasystem einzusetzen.For example, by the EP 10 67 399 A2 describes a method for visibility determination, which also includes the determination of the definition by means of a binocular video transmitter. The distance determination is carried out according to the document by triangulation. Although triangulation is a classical technical method which is used in particular for land surveying, this method presupposes the determination of geometrical quantities in an observation triangle, in particular the determination of the angles of the triangle for which a theodolite or a device comparable thereto is required. In that regard, the arrangement-technical effort is comparatively high here. By the DE 100 34 461 A1 A method for determining the visibility is described in which the measurement of the change of contrast values of two measuring positions which are at different distances from an object used for the measurement is carried out. Also in this solution, the distance is determined by triangulation. In addition, it is from the DE 196 40 938 A1 It is known to use a stereoscopic camera system to improve the accuracy of traffic observations.

Aufgabe der Erfindung ist es, eine Lösung zur Entfernungsmessung bereitzustellen, welche gleichermaßen gut für den Einsatz bei stationären und mobilen Systemen geeignet ist und dabei insbesondere zum Zwecke der Sichtweitenbestimmung eine hinreichend genaue Entfernungsbestimmung ermöglicht. Hierzu sind ein Verfahren und eine zur Durchführung des Verfahrens geeignete Anordnung anzugeben, wobei die grundsätzliche erfinderische Lösung einen einfachen Aufbau der Messanordnung ermöglichen soll.task The invention is a solution to provide distance measurement, which is equally good for the Use in stationary and mobile systems is suitable and in particular for the purpose the visibility determination a sufficiently accurate distance determination allows. For this purpose, a method and a method suitable for carrying out the method Specify arrangement, the basic inventive solution a to allow simple construction of the measuring arrangement.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Hauptanspruchs gelöst. Eine die Aufgabe lösende und zur Durchführung des Verfahrens geeignete Anordnung ist durch den 1. Sachanspruch charakterisiert. Vorteilhafte Aus- beziehungsweise Weiterbildungen der Erfindung sind durch die jeweiligen Unteransprüche gegeben.The The object is achieved by a method having the features of the main claim solved. A problem solving and to carry of the method is appropriate by the 1st claim characterized. Advantageous training or further education The invention are given by the respective subclaims.

Nach dem vorgeschlagenen Verfahren erfolgt die Entfernungsbestimmung durch die Auswertung stereoskopischer, jeweils aus zwei Teilbildern bestehender digitaler Kamerabilder, welche von einem stationär oder auf einer mobilen Einheit angeordneten Kamerasystem erfasst werden. Erfindungsgemäß wird ein Objekt, welches sich durch Helligkeits- und/oder Kontrastunterschiede von seiner Umgebung abhebt, von zwei in Richtung des Objekts unterschiedlichen, einen bekannten Abstand zueinander aufweisenden Bildpositionen aufgenommen. Dabei werden zwei stereoskopische Bildpaare erfasst, für welche jeweils die Parallaxe der beiden sie ausbildenden Teilbilder bestimmt wird. Zur Bestimmung der Parallaxen werden für die Teilbilder durch eine Auswertung von Helligkeits- und/oder Kontrastunterschieden zwischen benachbarten Bildpixeln zunächst gleiche Bildausschnitte ermittelt. Von gleichen Bildausschnitten ist auszugehen, wenn für größere Bereiche beider Teilbilder in horizontaler beziehungsweise vorzugsweise in horizontaler und vertikaler Richtung eine gleiche Abfolge von Helligkeits- oder Kontrastübergängen zwischen den benachbarten Pixeln festgestellt wird. Nach der Festlegung der auszuwertenden gleichen Bildabschnitte wird ermittelt, wie weit diese beiden Bildausschnitte im Vergleich beider Teilbilder seitlich gegeneinander versetzt beziehungsweise verschoben sind. Durch einfaches Auszählen der Bildpunkte beziehungsweise Pixel dieses Versatzes und eine Multiplikation der dabei ermittelten Pixelzahl mit der für die verwendete Kamera bekannten Pixelgröße ist schließlich die Parallaxe der jeweiligen stereoskopischen Bildaufnahme zu berechnen. Im Weiteren kann dann aus dem für die Stereoaufnahmen beider Bildaufnahmepositionen errechneten Parallaxen und dem bekannten Abstand der beiden Bildaufnahmepositionen zueinander die Entfernung des Objekts berechnet werden.To the proposed method is the distance determination through the evaluation of stereoscopic, in each case of two partial images existing digital camera images, which of a stationary or on a mobile unit arranged camera system can be detected. According to the invention is a Object, which differs in brightness and / or contrast different from its surroundings, from two different in the direction of the object, taken a known distance from each other having image positions. In this case, two stereoscopic image pairs are detected, for which each determines the parallax of the two sub-images forming them becomes. To determine the parallaxes are for the fields by a Evaluation of brightness and / or Contrast differences between adjacent image pixels initially same Image sections determined. From the same image excerpts can be assumed if for larger areas of both Partial images in horizontal or preferably in horizontal and vertical direction a same sequence of brightness or Contrast transitions between the neighboring pixels is detected. After determining the to be evaluated the same image sections is determined how far these two image sections in the comparison of both partial images laterally offset or shifted from each other. By simple count the pixels or pixels of this offset and a multiplication the number of pixels determined with the known for the camera used Pixel size is finally the Parallax the respective stereoscopic image acquisition to calculate. In addition, then from the for the stereo recordings of both image acquisition positions calculated parallaxes and the known distance of the two image pickup positions to each other the distance of the object can be calculated.

Für die praktische Umsetzung des Verfahrens erfolgt die bildtechnische Auswertung, einschließlich der Auszählung der Pixelzahl, um welche die jeweils beiden Teilbilder beider stereoskopischer Aufnahmen seitlich gegeneinander versetzt sind, und die Berechnung der Entfernung selbstverständlich vorzugsweise computertechnisch, obwohl grundsätzlich auch die Möglichkeit einer manuellen Auszählung und Berechnung gegeben ist.For the practical Implementation of the procedure, the image-technical evaluation, including the count the number of pixels by which the respective two partial images of both stereoscopic Shots are laterally offset from each other, and the calculation Of course, the distance preferably computer technology, although basically also the possibility a manual count and calculation is given.

Unter der Bedingung, dass beide Parallaxen ungleich sind, das heißt die Parallaxe an der näher zum Objekt gelegenen Bildaufnahmeposition in ihrem Wert nicht gegen die Parallaxe an der weiter entfernten Bildaufnahmeposition strebt, dass aber andererseits auch beide Parallaxen nicht extrem voneinander abweichen, kann die Entfernung erfindungsgemäß nach der Beziehung

Figure 00050001
bestimmt werden. Dabei gilt, wie bereits betont, die Bedingung, dass weder p1 = p2 noch p1 >> p2 ist. Für einen Fehler in der Tiefenauflösung von vorzugsweise weniger als 10 % sollten dabei, unter anderem auch aufgrund der zuvor genannten Bedingung, die Basisbreite b des stereoskopischen Kamerasystems und der Abstand Δx der beiden Positionen der Bildaufnahmen so gewählt werden, dass b << a und Δx << a sowie Δx >> b gilt. Als Orientierung beziehungsweise ungefähre Größenordnungen können dabei eine Basisbreite b des stereoskopischen Kamerasystems zwischen 0,025 % und 0,25 % und ein Abstand Δx der beiden Bildaufnahmepositionen zwischen 0,1 % bis 3 % der gemäß dem jeweiligen Einsatzfall typischerweise zu bestimmenden Entfernungen angegeben werden. Jedoch handelt es sich hierbei, wie betont, um ungefähre Größenordnungen, welche die Erfindung insoweit nicht beschränken, zumal die jeweils tatsächlich sinnvollen Relationen einerseits von den räumlichen Verhältnissen am An- beziehungsweise Einbauort des Kamerasystems und den typischerweise zu bestimmenden Entfernungen beziehungsweise deren erforderlichenfalls zu bestimmenden Größenordnungen und andererseits von dem dabei jeweils zugelassenen Messfehler abhängen. Insbesondere im automotiven Bereich ist dabei ein An- beziehungsweise Einbauort für das Kamerasystem zu finden, der hinsichtlich der möglichen Basisbreite für das Kamerasystem im Einklang steht mit dem zu bestimmenden Entfernungsintervall und auch mit dem, in Ansehung der Geschwindigkeit des automotiven Systems und/oder dessen Bremsweg, für die Entfernungsbestimmung zulässigen Fehler. Den Forderungen nach einem kleinen Messfehler kann durch hinreichende Basisbreiten beziehungsweise Abstände zwischen den Messpositionen Rechnung getragen werden, wobei die Basisbreite im Hinblick auf die Sichtweitebestimmung aber vorzugsweise mehr als 6,5 cm beträgt, was dem typischen menschlichen Augenabstand entspricht. Andernfalls ist auch eine entsprechende Fehlerbetrachtung erforderlich, da wie vorstehend ausgeführt, die vorgenannten Werte auch von dem im jeweiligen Einsatzfall zulässigen Fehler abhängen.Under the condition that both parallaxes are unequal, that is, the parallax at the closer to the object image pickup position does not tend to parallax at the more distant image pickup position, but on the other hand both parallaxes are not extremely different from each other, the distance may be according to the invention after the relationship
Figure 00050001
be determined. Here, as already emphasized, the condition holds that neither p 1 = p 2 nor p 1 >> p 2 . For an error in the depth resolution of preferably less than 10% should, among other things due to the above-mentioned condition, the base width b of the stereoscopic camera system, and the distance Δx of the two positions of the image shots are set to be b << a and Δx << a and Δx >> b. As orientation or approximate orders of magnitude, a base width b of the stereoscopic camera system between 0.025% and 0.25% and a distance Δx of the two image pickup positions between 0.1% and 3% of the distances typically to be determined according to the respective application can be specified. However, this is, as emphasized, to approximate orders of magnitude, which does not limit the invention insofar as the actually meaningful relations on the one hand by the spatial conditions at the installation or installation of the camera system and the distances typically to be determined or their order of magnitude to be determined if necessary and on the other hand depend on the respectively admitted measurement error. In particular, in the automotive sector is to find a place or installation for the camera system, which is in terms of the possible base width for the camera system in accordance with the distance interval to be determined and also with respect to the speed of the automotive system and / or its braking distance , errors permissible for the distance determination. The requirements for a small measurement error can be taken into account by adequate base widths or distances between the measurement positions, but the base width with regard to the visibility determination is preferably more than 6.5 cm, which corresponds to the typical human eye distance. Otherwise, a corresponding error consideration is required because, as stated above, the above-mentioned values also depend on the error permissible in the respective application.

Ausgehend von der erfindungsgemäß bestimmten Entfernung kann dann, unter Zugrundelegung bekannter Ansätze, so auch des aus der DE 100 34 461 A2 bekannten Verfahrens, die Sichtweite bestimmt werden, indem die ohnehin bereits ausgewerteten Helligkeits- und/oder Kontrastinformationen dazu genutzt werden, festzustellen, inwieweit sich die Absolutwerte von Helligkeit oder Kontrast zwischen den an beiden Bildpositionen aufgenommenen Bildern verändern. Im Falle einer Kontrastabschwächung bei der um den Abstand Δx weiter vom Objekt entfernten Bildaufnahmeposition ergibt sich eine entsprechende, gegenüber der zuvor bestimmten Entfernung reduzierte Sichtweite, welche unter Zugrundelegung der durch die VDI-Richtlinie 3786 festgelegten Beziehung zur Angabe einer Normsichtweite auch normiert werden kann. Gegebenenfalls ist es aber auch vorteilhaft, die Entfernung in gleicher Weise an zwei anderen Bildpositionen erneut zu bestimmen und die Kontrastbeziehungsweise Helligkeitsbewertung in Bezug auf die beiden unterschiedlichen Entfernungen vorzunehmen. Überhaupt ist es vorteilhaft, zur Verbesserung der Genauigkeit, die Entfernung und/oder die Sichtweite in kurzen Zeitintervallen wiederholt zu bestimmen und zu mitteln.Based on the inventively determined distance can then, based on known approaches, as well as from the DE 100 34 461 A2 known method, the visibility are determined by the already evaluated brightness and / or contrast information is used to determine the extent to which change the absolute values of brightness or contrast between the images taken at both image positions. In the case of a contrast attenuation at the image acquisition position farther away from the object by the distance Δx, a corresponding range of vision reduced relative to the previously determined distance results, which can also be normalized on the basis of the relationship defined by the VDI Guideline 3786 for specifying a standard visual range. Optionally, however, it is also advantageous to redetermine the distance in the same way at two other image positions and to perform the contrast or brightness assessment with respect to the two different distances. In general, it is advantageous to repeatedly determine and average for improved accuracy, range and / or visibility in short time intervals.

Insbesondere bei einem Einsatz des Verfahrens zur Verwendung in Schiffen beziehungsweise Fahrzeugen werden die ermittelte Entfernung und/oder die Sichtweite für den Fahrzeugführer auf einem Display ausgegeben. Gemäß praxisrelevanter Weiterbildungen des Verfahrens können außerdem die mittels des Kamerasystems erfassten Bilder dem Fahrzeugführer auf einem gesonderten Bildschirm unmittelbar zur Verfügung gestellt werden.Especially when using the method for use in ships or Vehicles become the determined distance and / or the visibility for the driver output on a display. According to practice-relevant further education of the method Furthermore the captured by the camera system images the driver a separate screen immediately made available become.

Bei einer Anordnung zur Bestimmung der Entfernung eines Objekts beziehungsweise zur Durchführung des vorstehend dargestellten Verfahrens besteht das Kamerasystem gemäß einer grundsätzlichen Ausgestaltungsform aus zwei, in Richtung des Objekts mit einem bekannten Abstand Δx zueinander beabstandeten Stereobildsystemen mit jeweils mindestens einer Kamera. Die zur Erfassung der Teilbilder für die stereoskopischen Aufnahmen dienenden optischen Komponenten dieser Stereobildsysteme weisen eine zueinander gleiche Basisbreite auf. Beide Stereobildsysteme sind mit einer Soft- und Hardware-gestützten Steuer- und Auswerteeinheit gekoppelt, welche zur Berechnung der zwischen den Teilbildern der von beiden Stereobildsystemen aufgenommenen stereoskopischen Bilder bestehenden Parallaxen sowie zur Berechnung des Abstandes des Objekts aus diesen Parallaxen, der bekannten Basisbreite und dem bekannten Abstand der Stereobildsysteme ausgebildet ist. Die mittels der Stereobildsysteme gemachten digitalen Bildaufnahmen werden dieser Steuer- und Auswerteeinheit zugeführt. In Abhängigkeit vom jeweiligen Einsatzfall werden außerdem beide Stereobildsysteme des Kamerasystems zueinander synchronisiert. Während dies zum Beispiel bei einem größeren Schiff mit zwei bis zu mehreren 100 m weit auseinander liegenden Bildaufnahmepositionen aufgrund der langsamen Bewegungsgeschwindigkeit des Schiffes nicht erforderlich ist, muss bei sich schnell bewegenden Fahrzeugen für eine Synchronisation der Kameras des Kamerasystems Sorge getragen werden.at an arrangement for determining the distance of an object or to carry out of the method described above is the camera system according to a basic Embodiment of two, in the direction of the object with a known Distance Δx spaced stereo imaging systems, each with at least a camera. The for capturing the partial images for the stereoscopic images serving optical components of these stereo imaging systems a base width equal to each other. Both stereo imaging systems are equipped with a software and hardware-based control and evaluation unit which is used to calculate the between the fields of the Stereoscopic images taken by both stereo imaging systems existing parallaxes and to calculate the distance of the object from these parallaxes, the known base width and the known Distance of the stereo imaging systems is formed. The means of stereo image systems digital image recordings are made by this control and evaluation unit fed. Dependent on In addition, both stereo image systems are used by the respective application of the camera system synchronized with each other. While this is for example at a bigger ship with two up to several 100 m far apart image pickup positions not because of the slow movement speed of the ship is required, must be fast moving vehicles for synchronization the cameras of the camera system are taken care of.

Eine andere, ausschließlich zur Anordnung auf mobilen Einheiten ausgebildete grundsätzliche Ausbildungsform ist dadurch gegeben, dass das Kamerasystem nur ein Stereobildsystem mit mindestens einer Kamera aufweist und von einer ihm zugeordneten Steuer- und Auswerteeinheit innerhalb eines kurzen Zeitabstandes Δt, in welchem das Fahrzeug bei seiner Bewegung seine Position um einen, aufgrund seiner Geschwindigkeit berechenbaren Abstand Δx gegenüber dem zur Entfernungsbestimmung verwendeten Objekt verändert, zur wiederholten Bildaufnahme angesteuert wird.Another fundamental form of training, designed exclusively for arrangement on mobile units, is given by the fact that the camera system has only one stereo image system with at least one camera and by a control and evaluation unit assigned to it within a short time interval Δt in which the vehicle moves Position by a, calculated on the basis of its speed distance .DELTA.x compared to the object used for the distance determination changed, is controlled for repeated image acquisition.

Für beide zuvor dargestellten Ausbildungsformen ist eine Variationsmöglichkeit dadurch gegeben, dass in dem beziehungsweise den Stereobildsystem eine Kamera durch einen Umlenkspiegel und einen Strahlenteiler ersetzt und das Umgebungsbild des Umlenkspiegels in die noch vorhandene eine Kamera eingespiegelt wird. Je nach Ausbildungsform werden dabei in sehr kurzer Zeit zwei Halbbilder erfasst oder beide Halbbilder zeitlich parallel dem entsprechend ausgestalteten optischen Sensor der Kamera zugeführt.For both previously shown forms of training is a possibility of variation given by the fact that in the or the stereo image system a camera replaced by a deflection mirror and a beam splitter and the surrounding image of the deflection mirror in the remaining a camera is mirrored. Depending on the training form will be there captured in a very short time two fields or both fields temporally parallel to the appropriately designed optical sensor supplied to the camera.

Im Hinblick auf den Einsatz bei Nacht können alle vorgenannten Ausbildungsformen um eine Infraroteinheit erweitert sein, so dass die Entfernungsbestimmung beziehungsweise Sichtweitebestimmung auf der Grundlage von Infrarotaufnahmen erfolgt.in the With regard to use at night, all the above forms of training be extended by an infrared unit, so that the distance determination or visibility determination based on infrared images he follows.

Neben einem Display zur Anzeige der ermittelten Entfernung und/oder Sichtweite sowie einem gegebenenfalls vorhandenen Bildschirm zur unmittelbaren Wiedergabe erfasster Bilder kann bei einer für den Einsatz in Fahrzeugen ausgebildeten Anordnung eine Koppelung der Anordnung, insbesondere der zu ihr gehörenden Steuer- und Auswerteeinheit, mit einem in das Fahrverhalten des Fahrzeugs automatisch eingreifenden Sicherheitssystem vorgesehen sein, um das Fahrverhalten des Fahrzeugs automatisch entsprechend anzupassen.Next a display for displaying the determined distance and / or visibility and an optional screen for immediate use Playback captured images can be at one for use in vehicles trained arrangement coupling the arrangement, in particular the one belonging to her Control and evaluation unit, with a in the handling of the Vehicle automatically intervening security system provided be to automatically match the driving behavior of the vehicle adapt.

Bei einer praxisgerechten Ausbildungsform, welche zur Verwendung in einem Straßenkraftfahrzeug ausgebildet ist, ist die Basisbreite des Kamerasystems (K) an die Platzverhältnisse am Einbauort angepasst, beträgt aber wenigstens 6,5 cm. So erlaubt zum Beispiel eine Basisbreite von 10 cm, im Hinblick auf übliche Fahrzeuggeschwindigkeiten sowie daraus resultierende Bremswege und die aufgrund dessen im Straßenverkehr benötigten Entfernungs- und/oder Sichtweitenaussagen eine hinreichende Genauigkeit. Sie gestattet es dabei vorteilhafter Weise auch, das Kamerasystem im Gehäuse eines Kraftfahrzeugscheinwerfers anzuordnen.at a practical training form, which for use in a road motor vehicle trained is, is the basic width of the camera system (K) to the space adjusted at the installation location is but at least 6.5 cm. For example, it allows a base width of 10 cm, in terms of usual vehicle speeds as well as resulting braking distances and due to that in the road traffic required Distance and / or visibility statements a sufficient accuracy. It also advantageously allows the camera system in the case to arrange a motor vehicle headlight.

Bei einer anderen, für den Bahnverkehr vorgesehen Ausbildungsform ist die Anordnung am beziehungsweise im Triebkopf einer Lokomotive angeordnet, wobei die Basisbreite des Kamerasystems (K) vorzugsweise um 30 cm betragen, gegebenenfalls aber auch die gesamte Breite der Lokomotive einnehmen kann.at another, for Training provided is the arrangement at the or arranged in the engine of a locomotive, wherein the base width of the camera system (K) is preferably 30 cm, but possibly also the entire width of the locomotive can take.

Die Erfindung soll nachfolgend anhand von Ausführungsbeispielen nochmals näher erläutert werden, wobei die zugehörigen Zeichnungen auch Darstellungen betreffen, welche zur Herleitung der, der Erfindung zugrunde liegenden mathematischen Überlegungen dienen. In den Zeichnungen zeigen:The Invention will be explained in more detail below with reference to embodiments, wherein the associated Drawings also relate to representations, which for the derivation the underlying mathematical considerations of the invention serve. In the drawings show:

1: Die schematische Darstellung einer Beobachtungssituation bei der stereoskopischen Erfassung zweier von einem Beobachter entfernter Punkte vorzugsweise eines Objekts 1 : The schematic representation of an observation situation in the stereoscopic detection of two points removed from an observer, preferably an object

2: Ein Diagramm zur Darstellung der Abhängigkeit des relativen Fehlers der Tiefenauflösung vom Logarithmus der Objektentfernung 2 : A diagram illustrating the dependency of the relative error of the depth resolution on the logarithm of the object distance

3: Die Beobachtungssituation gemäß 1 in einer Darstellung zur Erläuterung der stereoskopischen Parallaxe 3 : The observation situation according to 1 in a representation for explaining the stereoscopic parallax

4: Eine Beobachtungssituation ähnlich denen nach 1 und 3, mit einer Beobachtung des Objekts von zwei zu ihm unterschiedlich weit entfernten Beobachtungspositionen 4 : An observation situation similar to those after 1 and 3 , with an observation of the object from two observation positions at different distances from it

5: Ein Diagramm zur Darstellung der Abhängigkeit des Logarithmus der Objektentfernung vom Verhältnis der stereoskopischen Parallaxen bei einer Beobachtungssituation gemäß 4 5 : A diagram showing the dependence of the logarithm of the object distance on the ratio of the stereoscopic parallaxes in an observation situation according to 4

6: Eine Ausführungsform der erfindungsgemäßen Anordnung mit einem Kamerasystem auf einem Schiff 6 : An embodiment of the inventive arrangement with a camera system on a ship

7: Eine Ausführungsform der erfindungsgemäßen Anordnung mit einem Kamerasystem am Triebkopf einer Lokomotive 7 : An embodiment of the arrangement according to the invention with a camera system on the engine of a locomotive

8: Die Ausführungsform gemäß 7 mit einem einfacher gestalteten Kamerasystem 8th : The embodiment according to 7 with a simpler designed camera system

9a: Die Entfernungsbestimmung einer Wolke, welche sich annähernd über dem Kamerasystem befindet 9a : The distance determination of a cloud, which is approximately above the camera system is

9b: Die Entfernungsbestimmung der Wolke gemäß 9a, wobei sich die Wolke nicht unmittelbar über dem Kamerasystem befindet 9b : Determining the distance of the cloud according to 9a , where the cloud is not directly above the camera system

10: Die schematische Darstellung der Auswertung der von dem Kamerasystem erfassten Bilder. 10 : The schematic representation of the evaluation of the images captured by the camera system.

Die 1 bis 5 sollen der Herleitung der, der Erfindung zugrunde liegenden mathematischen Überlegungen dienen. Die 1 zeigt eine Beobachtungssituation bei der stereoskopischen Beobachtung zweier Punkte A und B, welche sich vorzugsweise auf einem Objekt 3 befinden. Gegenüber der Beobachtungsposition 1 besitzt das Objekt 3 den Abstand a. Zur Erläuterung der geometrischen Zusammenhänge wird unterstellt, dass die Entfernung a wesentlich größer ist als die so genannte Basisbreite, der Abstand b zwischen den Augen eines Beobachters oder den Sensoren eines Kamerasystems K (a >> b). Dann folgt, dass der Winkel α für kleine Winkel, das heißt große Entfernungen a des Objekts 3 zur Beobachtungsposition beziehungsweise Bildaufnahmeposition 1, und der Abstand a sowie die Basisbreite b wie folgt zusammenhängen: a ≌ b/α. (E1) The 1 to 5 should serve to derive the mathematical considerations underlying the invention. The 1 shows an observation situation in the stereoscopic observation of two points A and B, which are preferably on an object 3 are located. Opposite the observation position 1 owns the object 3 the distance a. To explain the geometric relationships, it is assumed that the distance a is substantially greater than the so-called base width, the distance b between the eyes of an observer or the sensors of a camera system K (a >> b). Then it follows that the angle α is for small angles, that is, large distances a of the object 3 to the observation position or image recording position 1 , and the distance a and the base width b are as follows: a ≌ b / α. (E1)

Durch Bildung des Differenzials, respektive der Ableitung der vorgenannten Gleichung nach a, erhält man die Unschärfe für den zu bestimmenden Abstand gemäß folgender Beziehung: da = –bdα/α2 = –a2dα/b. (E2) By forming the differential, respectively deriving the aforementioned equation according to a, one obtains the blur for the distance to be determined according to the following relationship: da = -bdα / α 2 = -A 2 d.alpha / b. (E2)

Aus der vorstehenden Beziehung E2 ergibt sich, dass die Unschärfe beziehungsweise Tiefenauflösung da proportional zum Quadrat der Entfernung (a2) und umgekehrt proportional zur Basisbreite (b) ist. Außerdem ist ersichtlich, dass der relative Fehler da/a linear mit der Entfernung a zunimmt. Hierbei hat das negative Vorzeichen keine Bedeutung für die absolute Größe der Tiefenauflösung beziehungsweise Unschärfe. Die gemäß dieser mathematischen Zusammenhänge erhaltenen Ergebnisse sind in dem Diagramm der 2 dargestellt, in welcher der relative Fehler da/a in Prozent über dem Logarithmus der Entfernung a aufgetragen ist. Hierbei wurde angenommen, dass dα ≌ 1/2' ist, wodurch ein geringfügiger aber hinnehmbarer Fehler in die aus den Zusammenhängen nach der 1 resultierenden, in der 2 dargestellten Kurven eingetragen wird. Aus dem Diagramm ist zu erkennen, dass für einen Tiefenfehler von 10 % bis 20 % eine gute stereoskopische Unterscheidbarkeit beziehungsweise Weitenabschätzung bei einer Augenbeobachtung mit einer Basisbreite von ca. 0,065 m (Augenabstand) bis zu einer Entfernung a von zirka 100 m möglich ist. Mit gleichem relativem Fehler sind bei einer Basisbreite von 1 m Weitenabschätzungen beziehungsweise Entfernungsbestimmungen bis zu 1,5 km und bei einem Basisabstand von 10 m bis zu einer Entfernung von 13,4 km möglich. Messtechnisch bedeutet dies, dass mittels stereoskopischer Aufnahmen unter Verwendung eines Kamerasystems K mit einer Basisbreite von 10 m eine gute Tiefenauflösung bis zu etwa 15 km gegeben ist. Sofern man in extremen Fällen, insbesondere bei stationären Systemen, mit einer Basisbreite von 100 m arbeitet, sind für einen Tiefenfehler von 10 % bis 20 % sogar Tiefenauflösungen von über 25 km möglich, sofern dem nicht schlechte meteorologische Bedingungen grundsätzlich entgegenstehen.It follows from the above relation E2 that the blur or depth resolution da is proportional to the square of the distance (a 2 ) and inversely proportional to the base width (b). In addition, it can be seen that the relative error da / a increases linearly with the distance a. Here, the negative sign has no significance for the absolute size of the depth resolution or blur. The results obtained according to these mathematical relationships are shown in the diagram of FIG 2 in which the relative error da / a is plotted in percent over the logarithm of the distance a. It was assumed that dα ≌ 1/2 ', which gives a small but acceptable error in the context of the following 1 resulting in the 2 shown curves is entered. From the diagram it can be seen that for a depth error of 10% to 20%, a good stereoscopic distinctness or width estimation is possible for an eye observation with a base width of approximately 0.065 m (eye relief) up to a distance a of approximately 100 m. With the same relative error, width estimates of up to 1.5 km and a base distance of 10 m to a distance of 13.4 km are possible for a base width of 1 m. Metrologically, this means that by means of stereoscopic images using a camera system K with a base width of 10 m, a good depth resolution up to about 15 km is given. If one works in extreme cases, especially in stationary systems, with a base width of 100 m, depth resolutions of more than 25 km are possible for a depth error of 10% to 20%, as long as this is not fundamentally opposed by bad weather conditions.

Die 3 zeigt die Beobachtungssituation gemäß der 1 in einer etwas modifizierten Darstellung. Diese Darstellung berücksichtigt, dass bei einer stereoskopischen Betrachtung oder Bildaufnahme durch die unterschiedlichen Seh- beziehungsweise Bildachsen eines Betrachters oder Kamerasystems K eine Parallaxe p auftritt, in deren Folge die auf der Netzhaut eines Beobachters beziehungsweise der Bildebene eines Kamerasystems K abgebildeten Bildausschnitte seitlich gegeneinander verschoben sind. Die hierbei gegebenen geometrischen Verhältnisse sind durch die 3 dargestellt. Bezogen auf die Abbildung bestimmt sich die Parallaxe gemäß der Beziehung p = ALAR – BLBR. (E3) The 3 shows the observation situation according to the 1 in a slightly modified representation. This representation takes into account that in a stereoscopic viewing or image acquisition by the different visual or image axes of a viewer or camera system K, a parallax p occurs, as a result of which the image sections on the retina of an observer or the image plane of a camera system K are shifted laterally relative to one another. The geometric conditions given here are determined by the 3 shown. Based on the figure, the parallax is determined according to the relationship p = A L A R - B L B R , (E3)

Diese Parallaxe p, nämlich die Differenz der Abstände der Bildpunkte zwischen dem rechten und dem linken Teilbild eines stereoskopischen Bildes kann bei digitalen Kameras, insbesondere computertechnisch sehr gut durch Auszählung der Pixel bestimmt werden. Bei den Randbedingungen, dass die Entfernung a des Objektes 3 groß gegenüber dessen Tiefenausdehnung Δa und die Brennweite einer zur Beobachtung genutzten Stereokamera etwa dem Abstand der Objektivlinse zum Bild aufnehmenden Sensor ist, lässt sich aus der vorgenannten Gleichung die Beziehung Δa ≈ (pa2)/(bf) (E4)ableiten.This parallax p, namely the difference of the distances of the pixels between the right and the left field of a stereoscopic image can be very well determined in digital cameras, in particular computer technology by counting the pixels. In the boundary conditions that the distance a of the object 3 is large compared to the depth extent .DELTA.a and the focal length of a stereo camera used for observation about the distance of the objective lens to the image receiving sensor, can be from the above equation, the relationship Δa ≈ (pa 2 ) / (bf) (E4) derived.

Die 4 stellt die Verhältnisse dar, wenn das Objekt 3 von zwei unterschiedlichen Beobachtungs- beziehungsweise Bildaufnahmepositionen 1, 2 erfasst wird, welche in Richtung des Objektes 3 einen Abstand Δx aufweisen, wobei dieser Abstand Δx klein gegenüber der eigentlichen Entfernung a des Objekts 3 ist. Bei der Änderung der Bildaufnahmeposition stellt die Bildaufnahmeposition 2 eine Parallelverschiebung der Bildaufnahmeposition 1 um Δx dar. Sofern die Beobachtung mit ein und demselben, aus zwei Kameras bestehenden Stereobildsystem von den beiden unterschiedlichen Positionen oder mit zwei völlig identischen, jeweils zwei Kameras umfassenden gegeneinander um Δx beabstandeten Stereobildsystemen erfolgt, beträgt die Entfernung an der Bildaufnahmeposition 2 a' = a + Δx. Infolgedessen kann man die sich für beide Bildaufnahmepositionen 1, 2 gemäß der vorgenannten Beziehung E4 ergebenden Gleichungen gleichsetzen und erhält: p1a2 = p2(a + Δx)2. (E5) The 4 represents the relationships when the object 3 from two different observation or imaging positions 1 . 2 is detected, which in the direction of the object 3 have a distance Δx, wherein this distance .DELTA.x small compared to the actual distance a of the object 3 is. When changing the image pickup position sets the image pickup position 2 a parallel shift of the image pickup position 1 by Δx. If the observation takes place with one and the same stereo image system consisting of two cameras from the two different positions or with two completely identical stereo image systems spaced apart by Δx from each other, the distance is at the image recording position 2 a '= a + Δx. As a result, one can look for both image pickup positions 1 . 2 equating and obtaining equations resulting from the aforementioned relationship E4: p 1 a 2 = p 2 (a + Δx) 2 , (E5)

Darin sind p1 und p2 die stereoskopischen Parallaxen an den beiden Beobachtungs- beziehungsweise Bildaufnahmepositionen 1, 2. Diese Gleichung kann man nun nach der Entfernung a auflösen und erhält:

Figure 00120001
Therein p 1 and p 2 are the stereoscopic parallaxes at the two observation or image acquisition positions 1 . 2 , This equation can now be solved after the distance a and gets:
Figure 00120001

Die Gleichung E6 bildet die Grundlage für das erfindungsgemäße Verfahren, wonach ein Objekt von zwei in Richtung des Objekts geringfügig auseinander liegenden Positionen stereoskopisch erfasst, die Parallaxe zwischen den jeweils zwei Teilbildern beider stereoskopischen Aufnahmen durch Auszählen der Pixel sowie Multiplikation dieser Pixelzahl mit der Pixeldurchgröße bestimmt und schließlich hieraus die Entfernung des Objektes abgeleitet werden kann. Allerdings sind hierbei gewisse Grenzbedingungen zu beachten. Sofern sich nämlich beide Parallaxen hinsichtlich ihres Wertes sehr stark annähern, also p1 gegen p2 strebt, geht die mit der Gleichung zu errechnende Entfernung gegen unendlich, das heißt es ist keine Tiefenauflösung mehr gegeben und eine zuverlässige Entfernungsbestimmung nicht mehr möglich. Da bekanntermaßen die Parallaxe sich mit zunehmender Nähe eines stereoskopisch betrachteten beziehungsweise aufgenommenen Objektes stark erhöht, ist auch für Fälle, in denen p1 sehr viel größer als p2 ist (p1 >> p2), eine zuverlässige Entfernungsbestimmung nicht mehr möglich. Das Objekt befindet sich dann zu nahe an dem Kamerasystem K, wobei in diesem Falle ohnehin auch andere, in den vorstehenden Erläuterungen genannte Randbedingungen, zum Beispiel, dass die Entfernung sehr groß gegenüber dem Abstand Δx der Messpositionen und auch sehr groß gegenüber der Basisbreite, also dem Abstand b zwischen beiden Kameras eines Stereobildsystems sein soll, verletzt werden. Hingegen erhält man eine sehr gute Tiefenauflösung, sofern die Werte beider Parallaxen einerseits nicht annähernd gleich, aber andererseits nicht zu verschieden sind, das heißt die Bedingung p >> p2 erfüllt ist. Die zulässige Größe des Unterschiedes zwischen beiden Parallaxen p1 und p2 wird dabei im Wesentlichen von dem für die Messung zugelassenen relativen Fehler bestimmt.The equation E6 forms the basis for the method according to the invention, according to which an object is detected stereoscopically from two positions slightly apart in the direction of the object, the parallax between the respective two partial images of both stereoscopic images is determined by counting the pixels and multiplying this pixel number by the pixel size finally, from this the distance of the object can be derived. However, certain boundary conditions must be observed. If, in fact, both parallaxes approach very strongly in terms of their value, ie, p 1 tends towards p 2 , the distance to be calculated using the equation approaches infinity, that is, no depth resolution is given and reliable distance determination is no longer possible. Since, as is known, the parallax strongly increases with increasing proximity of a stereoscopically observed or recorded object, a reliable distance determination is no longer possible even for cases in which p 1 is much larger than p 2 (p 1 >> p 2 ). The object is then too close to the camera system K, in which case other boundary conditions mentioned in the above explanations, for example, that the distance very large compared to the distance .DELTA.x of the measuring positions and also very large compared to the base width, ie the distance b between two cameras of a stereo imaging system should be injured. On the other hand, a very good depth resolution is obtained, provided that the values of both parallaxes on the one hand are not nearly equal, but on the other hand are not too different, that is, the condition p >> p 2 is satisfied. The permissible size of the difference between the two parallaxes p 1 and p 2 is determined essentially by the relative error permitted for the measurement.

Die 5 zeigt ein Diagramm, welches die Abhängigkeit des Logarithmus der Entfernung a des Objekts zum Verhältnis der stereoskopischen Parallaxen verdeutlicht. Die sich ergebenden Kurven sind für den Fall einer gleich bleibenden Objekttiefe Δa und für unterschiedliche Abstände zwischen den Bildaufnahmepositionen 1, 2, das heißt Δx als Parameter, dargestellt. Man erkennt, dass mit zunehmendem Abstand Δx der Bildaufnahmepositionen 1, 2 bei ansonsten gleich bleibender Brennweite f und Basisbreite b der Kameras sowie gleich bleibendem Δa eine sehr gute Tiefenauflösung für Verhältnisse von p1/p2 von 1,01 bis 3 erreicht wird. Bei der Fehlerabschätzung der in dieser Weise ermittelten Entfernung a und einer gegebenenfalls hieraus ermittelten Sichtweite müssen die Ergebnisse der 4 und 5 beziehungsweise der dazu erläuterten Gleichungen sowie die Pixelanzahl und -größe der digitalen Kameras berücksichtigt werden. Auf diese Weise erhält man aus den digitalen Bildern, unter Zugrundelegung gleicher Bildausschnitte, die Entfernung a von Objekten, wie zum Beispiel im Anwendungsbereich der Hochseeschifffahrt den Abstand eines anderen Schiffes oder von Nebelwänden bezüglich der Wasseroberfläche. Die Verwendung gleicher Bildausschnitte bezüglich der parallaxebehafteten Teilbilder der stereoskopischen Bildaufnahmen lässt sich durch die Auswertung von Bildbereichen mit definierten Helligkeits- beziehungsweise Kontrastübergängen gewährleisten. Das heißt, gleiche Gradienten der Helligkeit beziehungsweise des Kontrastes zwischen benachbarten Bildpunkten bedeuten gleiche Bildpositionen. Andererseits lässt sich die Tatsache, dass sich zwischen den Bildaufnahmen der ersten Bildaufnahmeposition 1 und der zweiten Bildaufnahmeposition 2 unterschiedliche Kontrast- beziehungsweise Helligkeitsverhältnisse einstellen, dazu nutzen, hieraus bei bekannter, in erfindungsgemäßer Weise ermittelter Entfernung a die Sichtweite zu bestimmen.The 5 shows a diagram illustrating the dependence of the logarithm of the distance a of the object to the ratio of the stereoscopic parallax. The resulting curves are for the case of a constant object depth Δa and for different distances between the image pickup positions 1 . 2 , that is Δx as a parameter. It can be seen that with increasing distance Δx of the image pickup positions 1 . 2 with otherwise constant focal length f and base width b of the cameras and a constant Δa a very good depth resolution for ratios of p 1 / p 2 of 1.01 to 3 is achieved. In the error estimation of the distance a determined in this way and any visibility determined therefrom, the results of the 4 and 5 or the equations explained as well as the pixel number and size of the digital cameras are taken into account. In this way one obtains from the digital images, based on the same image excerpts, the distance a of objects, such as in the application of ocean shipping, the distance of another ship or mist walls with respect to the water surface. The use of identical image sections with respect to the parallax-loaded partial images of the stereoscopic image recordings can be ensured by the evaluation of image regions with defined brightness or contrast transitions. That is, equal gradients of brightness or contrast between adjacent pixels mean equal image positions. On the other hand, the fact that arises between the image recordings of the first image pickup position 1 and the second image pickup position 2 set different contrast or brightness ratios, use to determine therefrom in known, determined in accordance with the invention distance a the visibility.

Für die Realisierung des Abstandes Δx zwischen den Bildaufnahmepositionen 1, 2 sind zwei grundsätzliche Ansätze möglich. Es besteht die Möglichkeit, die Aufnahmen mit einer Stereokamera beziehungsweise einem Stereobildsystem zunächst an einer Bildaufnahmeposition 1 zu machen, die Stereokamera in einem kurzen Zeitabschnitt Δt zur anderen Bildaufnahmeposition 2 zu bewegen und das Objekt 3 erneut zu erfassen oder aber ein Kamerasystem K mit zwei Stereokameras beziehungsweise Stereobildsystemen zu verwenden, die um den Abstand Δx gegeneinander versetzt angeordnet sind, aber die gleiche Basisbreite b aufweisen. Aus dieser Tatsache und den unterschiedlichen praxisrelevanten Einsatzfällen ergeben sich die nachfolgend zu erläuternden Ausführungsbeispiele.For the realization of the distance Δx between the image pickup positions 1 . 2 Two basic approaches are possible. It is possible, the recordings with a stereo camera rel a stereo image system first at an image pickup position 1 to make the stereo camera in a short period of time .DELTA.t to the other image pickup position 2 to move and the object 3 to capture again or to use a camera system K with two stereo cameras or stereo imaging systems, which are offset by the distance .DELTA.x offset from each other, but have the same base width b. From this fact and the different practical application cases, the following explanatory embodiments arise.

Die 6 zeigt den Einsatz der erfindungsgemäßen Anordnung unter Verwendung des erfindungsgemäßen Verfahrens am Beispiel eines Hochseeschiffes. Aufgrund der baulichen Gegebenheiten und der Größe der Schiffe wird man hier mit einem Kamerasystem K arbeiten, welches wie in der Figur dargestellt aus 4 Kameras K1, K2, K3, K4 besteht, wobei jeweils die Kamera K1, K2 sowie die Kamera K3, K4 ein stereoskopisches Kamerateilsystem bilden. Beispielhaft sei von einem Schiff 6 ausgegangen, bei dem der für die Basisbreite b nutzbare Abstand zwischen Backbord und Steuerbord etwa 30 m und die Länge vom Bug 7 bis zum Heck 8 derart ist, dass sich ein Δx von etwa 300 m realisieren lässt. Lässt man nun bei der Entfernungsbestimmung einen Tiefenfehler von 10 % bis 20 % zu, so lassen sich bei einer Anordnung gemäß dem dargestellten Ausführungsbeispiel, unter Verwendung von Digitalkameras K1, K2, K3, K4 mit 5 Megapixeln und einer Pixelabmessung von etwa 2,5 μm bei einer Parallaxendifferenz von etwa 0,5 Pixeln, Entfernungen von 5 bis 10 km mit einer sehr guten Tiefenauflösung bestimmen. Bei computertechnischer Verarbeitung und unmittelbarer Signalisierung des Ergebnisses auf einem Terminal wären hierbei für den Kapitän des Schiffes 6 gute Ausweichmöglichkeiten gegenüber auftauchenden Hindernissen gegeben. Etwaige Hindernisse könnten bei entsprechender Gestaltung der Anordnung gegebenenfalls automatisch erfasst, ihre Entfernung nach dem erfindungsgemäßen Verfahren errechnet und diese dem Kapitän unmittelbar auf dem Display signalisiert werden. Denkbar ist es aber auch, anhand beliebiger Objekte mit hinreichender Entfernung wiederholt die Sichtweite zu bestimmen, indem die Entfernung zu diesen Objekten bestimmt und nach den dargestellten Prinzipien daraus die Sichtweite abgeleitet wird. Sofern der Kapitän ständig über die herrschende Sichtweite unterrichtet wird, kann er dann im Falle eines auftauchenden Hindernisses unter Ausnutzung seiner fachlichen Erfahrung hinsichtlich des Abschätzens, beispielsweise der Größe eines ihm entgegenkommenden Schiffs, die Entfernung des Objektes 3 gut abschätzen und im Ergebnis dieser Abschätzung die erforderlichen Maßnahmen einleiten.The 6 shows the use of the inventive arrangement using the method according to the invention using the example of a seagoing vessel. Due to the structural conditions and the size of the ships will work here with a camera system K, which as shown in the figure consists of 4 cameras K 1 , K 2 , K 3 , K 4 , in each case the camera K 1 , K 2 and the camera K 3 , K 4 form a stereoscopic camera part system. As an example, let's talk about a ship 6 assumed, in which the usable for the base width b distance between port and starboard about 30 m and the length of the bow 7 to the rear 8th such is that a Δx of about 300 m can be realized. If a depth error of 10% to 20% is now allowed for the distance determination, then with an arrangement according to the illustrated embodiment, using digital cameras K 1 , K 2 , K 3 , K 4 with 5 megapixels and a pixel dimension of approximately 2.5 μm with a parallax difference of about 0.5 pixels, distances of 5 to 10 km with a very good depth resolution. For computer technology processing and direct signaling of the result on a terminal would be for the captain of the ship 6 good alternatives to surfacing obstacles. Any obstacles could possibly be detected automatically with appropriate design of the arrangement, calculated their distance by the method according to the invention and these are signaled to the master directly on the display. However, it is also conceivable to repeatedly determine the range of vision by means of any objects with a sufficient distance, by determining the distance to these objects and deriving the range of vision according to the illustrated principles. If the master is constantly informed of the prevailing visibility, he may then, in the event of an emerging obstacle, make use of his technical experience of estimating, for example, the size of an oncoming ship, the distance of the object 3 assess well and, as a result of this assessment, take the necessary measures.

Die 7 betrifft eine Ausführungsform für den vorzugsweisen Einsatz bei einem Landfahrzeug, wie dem Triebkopf 9 einer Lokomotive oder einem Kfz 9, also einem Fahrzeug mit gegenüber dem Hochseeschiff 6 des zuvor erläuterten Ausführungsbeispiels erheblich geringeren Abmessungen, welches sich darüber hinaus im Allgemeinen deutlich schneller bewegt als ein Hochseeschiff 6. Bei dieser Ausbildungsform besteht das Kamerasystem K aus zwei Kameras K1, K2 zur stereoskopischen Erfassung eines hier nicht dargestellten Objekts 3, zu welchem die Entfernung a zu bestimmen ist. Dem Grundgedanken der Erfindung, wonach das Objekt 3 von zwei in Richtung des Objekts 3 unterschiedlichen Bildaufnahmepositionen 1, 2 zu erfassen ist, trägt diese Ausbildungsform dadurch Rechnung, dass das Kamerasystem K das Objekt 3 während der Bewegung des Fahrzeugs 9 in einem kurzen zeitlichen Abstand von Δt zweimal erfasst. Dies kommt einer Erfassung mittels zweier in einem Abstand Δx angeordneter Stereobildsysteme gleich, da das Fahrzeug 9 und mit ihm das Kamerasystem K seine Position innerhalb des zeitlichen Abstands Δt um eine Wegstrecke Δx verändert. Geht man hierbei von den Verhältnissen an einem Straßenfahrzeug 9 aus, welches sich mit einer Geschwindigkeit von 150 km/h bewegt, können mittels eines Kamerasystems K mit verhältnismäßig geringer Basisbreite von 10 cm gute Tiefenauflösungen bis zu einer Entfernung von etwa 500 m erreicht werden. Dies wiederum ist ausreichend, um die Sichtweite bis zu einer Entfernung von 300 m zuverlässig bestimmen zu können. Bedenkt man dabei, dass ein sich mit 150 km/h bewegendes Fahrzeug einen Bremsweg von etwa 150 m hat, sind hierdurch Randbedingungen gegeben, die es ermöglichen, den Fahrer auf der Grundlage einer entsprechenden Entfernungs- oder Sichtweitenbestimmung rechtzeitig vor Gefahren zu warnen oder die Anordnung mit einem automatisch in den Fahrbetrieb des Fahrzeugs eingreifenden System zu koppeln und insoweit automatisch auf Gefahrensituationen zu reagieren. Dabei ist die genannte Basisbreite b von etwa 10 cm für ein entsprechendes Kamerasystem K bei einem Kraftfahrzeug 9 ohne weiteres zu realisieren. Ähnliche Verhältnisse ergeben sich für eine Lokomotive 9, deren Bremsweg bedeutend größer ist als der eines Kraftfahrzeugs. Sofern man hier von einer Fahrgeschwindigkeit von 160 km/h und einem Bremsweg von etwa 500 m ausgeht, wäre ein Kameraabstand beziehungsweise eine Basisbreite b von 30 cm ausreichend, um auf der Grundlage einer nach dem erfindungsgemäßen Verfahren erfolgenden Entfernungs- beziehungsweise Sichtweitenbestimmung rechtzeitig auf eventuelle Gefahrensituationen reagieren zu können.The 7 relates to an embodiment for the preferred use in a land vehicle, such as the power car 9 a locomotive or a car 9 So a vehicle with over the ocean vessel 6 of the above-described embodiment considerably smaller dimensions, which also generally moves much faster than a high-sea ship in general 6 , In this embodiment, the camera system K consists of two cameras K 1 , K 2 for the stereoscopic detection of an object, not shown here 3 to which the distance a is to be determined. The basic idea of the invention, according to which the object 3 from two in the direction of the object 3 different image pickup positions 1 . 2 is to be captured, this form of training takes into account that the camera system K the object 3 during the movement of the vehicle 9 detected twice at a short time interval of Δt. This is equivalent to detection by means of two stereo image systems arranged at a distance Δx, since the vehicle 9 and with it the camera system K changes its position within the time interval Δt by a distance Δx. If one goes by the conditions of a road vehicle 9 out, which moves at a speed of 150 km / h, can be achieved by means of a camera system K with a relatively small base width of 10 cm good depth resolutions up to a distance of about 500 m. This in turn is sufficient to reliably determine the visibility up to a distance of 300 m. Considering that a 150 km / h moving vehicle has a braking distance of about 150 m, this boundary conditions are given, which make it possible to warn the driver on the basis of a corresponding distance or visibility determination in time for hazards or the arrangement with a automatically engaging in the driving of the vehicle system to intervene and so far automatically respond to dangerous situations. In this case, the said base width b of about 10 cm for a corresponding camera system K in a motor vehicle 9 to realize without further ado. Similar conditions arise for a locomotive 9 whose braking distance is significantly greater than that of a motor vehicle. Assuming here a speed of 160 km / h and a braking distance of about 500 m, a camera distance or a base width b of 30 cm would be sufficient, on the basis of taking place according to the method according to the invention distance or visibility determination in time for any dangerous situations to be able to react.

Eine gegenüber der zuvor erläuterten Ausführungsform etwas modifizierte Ausführungsform ist durch die 8 gegeben. Der dargestellte Aufbau kommt mit einer Kamera K1 aus, wobei zur Realisierung stereoskopischer Aufnahmen anstelle der zweiten Kamera K2 ein Umlenkspiegel 4 vorgesehen ist, welcher das Abbild seiner Umgebung über einen Strahlenteiler 5 ebenfalls der Kamera K1 zuführt. Eine quasi stereoskopische Abbildung der Umgebung wird hier dadurch erreicht, dass die Kamera K1 entweder in sehr kurzem Abstand zweimal auslöst und dabei einerseits die durch das direkt einfallende Licht abgebildete Umgebung und andererseits das über den Umlenkspiegel 5 zugeleitete Abbild mittels ihres optischen Sensors erfasst. Sofern der Umlenkspiegel 5 und der Strahlenteiler 6 die Abbildung eines Halbbilds beziehungsweise Teilbilds R auf dem optischen Sensor der Kamera ermöglichen und es deren Speicherkarte gestattet, ist es aber auch möglich, zwei Teilbilder L, R gleichzeitig aufzunehmen.An embodiment which is somewhat modified compared to the previously explained embodiment is characterized by FIG 8th given. The illustrated construction comes with a camera K 1 , wherein for the realization of stereoscopic images instead of the second camera K 2, a deflection mirror 4 is provided, which is the image of its surroundings via a beam splitter 5 also the camera K 1 feeds. A quasi stereoscopic Ab Education of the environment is achieved here by the fact that the camera K 1 triggers either twice in a very short distance and on the one hand the imaged by the direct incident light environment and on the other hand via the deflection mirror 5 supplied image detected by means of its optical sensor. If the deflection mirror 5 and the beam splitter 6 allow the image of a field or field R on the optical sensor of the camera and it allows the memory card, but it is also possible to record two fields L, R simultaneously.

In einem letzten Ausführungsbeispiel soll die Entfernungsbestimmung für ein Objekt erläutert werden, dessen Verbindungslinie zum Beobachter beziehungsweise Kamerasystem von der Horizontalen abweicht. Dies ist durch die 9a und 9b beispielhaft für eine Wolke dargestellt. Gemäß der 9a kann beispielsweise für den Fall, dass sich die Wolke annähernd über dem Beobachter beziehungsweise über dem Kamerasystem K am Ort mit der Entfernung a vom Objekt 3 befindet, die effektiv wirksame Entfernung l für a und Δx nach der Gleichung l ≌ a + Δxcosφ (E7)abgeschätzt werden. In allen anderen Fällen ist die Ermittlung der effektiv wirksamen Entfernung l schwieriger, bleibt jedoch immer ein rein geometrisch zu lösendes Problem. Immer ist hierbei eine Winkelmessung zur Bestimmung der Werte der Winkel φ und ϧ gemäß 9a nötig.In a final embodiment, the distance determination for an object is to be explained, whose connecting line to the observer or camera system deviates from the horizontal. This is through the 9a and 9b exemplified for a cloud. According to the 9a can, for example, in the event that the cloud is approximately over the observer or over the camera system K at the location with the distance a from the object 3 which effectively removes l for a and Δx according to the equation l ≌ a + Δx cos φ (E7) be estimated. In all other cases, the determination of the effectively effective distance I is more difficult, but always remains a purely geometrically solvable problem. Always here is an angle measurement to determine the values of the angles φ and ϧ according to 9a necessary.

Gegenüber Radar- und LIDAR-Methoden kann man aber den Fotos genau entnehmen, welche Wolke tatsächlich gemessen wurde. Eine vorherige Auswahl der Wolke kann vom Meteorologen mittels Bildschirm erfolgen. Bei stark abnehmenden Winkeln φ wird die Messung immer einfacher und nähert sich den horizontalen Bedingungen immer stärker. Da sich die Wolken sehr schnell bewegen und auch verändern, ist die Synchronisation der Kameras unbedingt notwendig. Die schnelle Veränderung der Wolkenstruktur ermöglicht genaue Messungen, wobei das Bild einer Kamera auf einem Bildschirm verfolgt werden kann, was eine Auswahl der Wolke ermöglicht und so Vorteile gegenüber anderen Verfahren, wie zum Beispiel LIDAR aufweist. Der beobachtende Meteorologe könnte so auf einem Bildschirm die Auswahl für die Ausrichtung der Kameras überwachen und die Aufnahme auslösen. Auch eine kontinuierliche Messung und elektronische Aufzeichnungen der Ergebnisse bereiten keine Schwierigkeiten. Weiterhin kann auch der Bedeckungsgrad genau bestimmt werden. Dieses Verfahren bietet die Möglichkeit, schnell und genau auch die Höhen der Wolken in unterschiedlichen Schichten, die sich auch in verschiedene Richtungen bewegen können, zu bestimmen. Eine solche Anlage sollte auch die Bestimmung der Sichtweite an meteorologischen Stationen sehr erleichtern und gegenüber der Kontrastschätzung eine wesentlich höhere Genauigkeit aufweisen.Opposite Radar and LIDAR methods but you can see exactly the photos, which Cloud actually was measured. A prior selection of the cloud may be made by the meteorologist done by screen. At strongly decreasing angles φ the Measurement is getting easier and closer the horizontal conditions more and more. Because the clouds are very move quickly and also change, is the synchronization of the cameras absolutely necessary. The fast change the cloud structure allows accurate measurements, taking the picture of a camera on a screen can be tracked, which allows a selection of the cloud and so advantages over other methods, such as LIDAR. The observing Meteorologist could so monitor on a screen the selection for the orientation of the cameras and trigger the recording. Also a continuous measurement and electronic records of Results do not pose any difficulties. Furthermore, also the Covering degree can be determined exactly. This procedure offers the Possibility, fast and accurate also the heights the clouds in different layers, which are also different Can move directions, to determine. Such a facility should include the determination of Visibility at meteorological stations much easier and compared to the contrast estimate a much higher one Have accuracy.

Die 10 zeigt schematisch den Ablauf bei der Auswertung der zur Entfernungsmessung dienenden stereoskopischen Aufnahmen. Bei der Verwendung von 4 Kameras K1, K2 K3, K4 erfolgt gleichzeitig die Auswertung aller Kameras K1, K2, K3, K4 zur Feststellung der stereoskopischen Parallaxen p1, p2 für die erste und zweite Bildaufnahmeposition 1, 2 bei der Erfassung des Objekts 3 in einer Steuer- und Auswerteeinheit 10. In den entsprechenden Auswerteeinheiten 11, 11' werden gleichzeitig die Kontraste ausgewertet. Die unterschiedlichen, sich für beide Bilderfassungspositionen 1, 2 ergebenden Kontraste werden in einer Vergleichseinheit 12 miteinander verglichen. Die ermittelten Daten und Zwischenergebnisse werden in der Speichereinheit 13 abgelegt und durch die Steuereinheit 14 auf einem Display 15 für den Fahrzeugführer visualisiert. Gegebenenfalls können ein oder die zur Entfernungsbestimmung ausgewerteten Bilder der Kameras K1, K2 K3, K4 parallel dazu von dem Fahrzeugführer auf einem gesonderten Bildschirm 16 verfolgt werden. Die Steuereinheit 14 sorgt für eine Synchronisation der Kameras K1, K2, K3, K4 sowie eine wiederholte Messung, um für die jeweiligen momentanen Situationen jeweils Aussagen zur Entfernung eines Objekts 3 oder zur Sichtweite treffen zu können.The 10 schematically shows the process in the evaluation of serving for distance measurement stereoscopic images. When using 4 cameras K 1 , K 2 K 3 , K 4 , the evaluation of all cameras K 1 , K 2 , K 3 , K 4 for determining the stereoscopic parallax p 1 , p 2 for the first and second image pickup position takes place simultaneously 1 . 2 when capturing the object 3 in a control and evaluation unit 10 , In the corresponding evaluation units 11 . 11 ' At the same time, the contrasts are evaluated. The different, for both image acquisition positions 1 . 2 resulting contrasts are in a comparison unit 12 compared to each other. The determined data and intermediate results are stored in the memory unit 13 filed and by the control unit 14 on a display 15 visualized for the driver. Optionally, one or the images of the cameras K 1 , K 2 K 3 , K 4 evaluated to determine the distance can be displayed in parallel by the driver on a separate screen 16 be followed. The control unit 14 provides a synchronization of the cameras K 1 , K 2 , K 3 , K 4 and a repeated measurement to each of the respective current situations statements on the removal of an object 3 or to be able to see.

Liste der verwendeten Bezugszeichenlist of used reference numerals

1, 21, 2
BildaufnahmepositionImage capture position
33
Objektobject
44
Umlenkspiegeldeflecting
55
Strahlenteilerbeamsplitter
66
Schiff mitship With
77
Bugbow
88th
HeckRear
99
Fahrzeug (Kfz oder Triebkopf Lokomotive)vehicle (Car or locomotive locomotive)
1010
Steuer- und Auswerteeinheit mitTax- and evaluation with
11, 11'11 11 '
Auswerteeinheitevaluation
1212
Verarbeitungseinheitprocessing unit
1313
SpeicherStorage
1414
Steuereinheitcontrol unit
1515
Displaydisplay
1616
Bildschirmscreen
aa
Entfernungdistance
bb
Basisbreitebase width
B1, B2, B3, B4B1, B2, B3, B4
Bilderimages
KK
Kamerasystem mit K1 bis K4 Camera system with K 1 to K 4
ll
effektiv wirksame Entfernungeffectively effective removal
p1, p2 p 1 , p 2
Parallaxeparallax
R, L, R', L'R L, R ', L'
Teilbilder (Teilbildsysteme)fields (Panel systems)
Δt.delta.t
Zeitintervalltime interval
vv
Geschwindigkeitspeed
ΔxAx
Abstand zwischen Bildaufnahmepositionendistance between image pickup positions
α, φ, ϧα, φ, ϧ
Winkelangle

Claims (17)

Verfahren zur Bestimmung der Entfernung (a) eines sich durch Helligkeits- und/oder Kontrastunterschiede von seiner Umgebung abhebenden Objekts (3), vorzugsweise im Zusammenhang mit einer Sichtweitenbestimmung, bei dem die Entfernungsbestimmung durch die Auswertung stereoskopischer, jeweils aus zwei Teilbildern (R, L, R', L') bestehender digitaler Kamerabilder erfolgt, die von einem stationär oder auf einer mobilen Einheit angeordneten Kamerasystem (K) mit Kameras (K1–K4) erfasst werden, dadurch gekennzeichnet, dass das Objekt (3) mittels des Kamerasystems (K) von zwei in Richtung des Objekts unterschiedlichen, einen Abstand (Δx) zueinander aufweisenden Bildaufnahmepositionen (1, 2) aufgenommen, für die jeweils beiden Teilbilder (R, L, R', L') der aufgenommen Stereobilder durch Auswertung von Helligkeits- und/oder Kontrastunterschieden zwischen benachbarten Bildpixeln gleiche, das Objekt (3) enthaltende Bildausschnitte ermittelt, durch Auszählung der Anzahl der Bildpixel, um welche diese Bildausschnitte seitlich gegeneinander verschoben sind, und Multiplikation der dabei ermittelten Pixelzahl mit der bekannten Pixelgröße die zwischen den Bildausschnitten bestehenden Parallaxen (p1, p2) bestimmt und aus dem Abstand (Δx) beider Bildaufnahmepositionen (1, 2) und den Parallaxen (p1, p2) die Entfernung (a) berechnet wird, wobei insbesondere hinsichtlich der Brennweite (f) sowie der Pixelanzahl und -größe Bildsensoren gleiche Kameras (K1–K4) verwendet werden.Method for determining the distance (a) of an object that differs from its surroundings due to differences in brightness and / or contrast ( 3 ), preferably in connection with a visibility determination, in which the distance determination is carried out by the evaluation of stereoscopic digital camera images consisting respectively of two partial images (R, L, R ', L'), which are provided by a camera system arranged stationarily or on a mobile unit ( K) are detected with cameras (K 1 -K 4 ), characterized in that the object ( 3 ) by means of the camera system (K) of two image acquisition positions which are different in the direction of the object and have a distance (Δx) from each other ( 1 . 2 ), for each of which two partial images (R, L, R ', L') of the recorded stereo images by evaluating brightness and / or contrast differences between adjacent image pixels are the same, the object ( 3 ) determined by counting the number of image pixels by which these image sections are shifted laterally from each other, and multiplying the determined pixel number with the known pixel size determines the existing between the image sections parallax (p 1 , p 2 ) and from the distance ( Δx) of both image pickup positions ( 1 . 2 ) and the parallaxes (p 1 , p 2 ), the distance (a) is calculated, wherein in particular with regard to the focal length (f) and the pixel number and size image sensors same cameras (K 1 -K 4 ) are used. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die bildtechnische Auswertung, einschließlich der Auszählung der Pixelzahl, um welche die jeweils beiden Teilbilder (R, L, R', L') der beiden stereoskopischen Aufnahmen seitlich gegeneinander verschoben sind, und die Berechnung der Entfernung (a), computertechnisch erfolgt.Method according to claim 1, characterized in that that the visual evaluation, including the counting of the Pixel number, by which the respective two fields (R, L, R ', L') of the two stereoscopic Shots are shifted laterally against each other, and the calculation the distance (a), computer technology takes place. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Entfernung nach der Beziehung
Figure 00210001
bestimmt wird, wobei das Kamerasystem (K) so ausgewählt wird, dass die Basisbreite (b), nämlich der Abstand der optischen Komponenten zur Erfassung der Teilbilder (R, L, R', L') für die stereoskopischen Aufnahmen konstant und ebenso wie der Abstand (Δx) der Bildaufnahmepositionen (1, 2) um ein Vielfaches geringer ist, als die zu bestimmende Entfernung (a) des Objekts (3), so dass a >> b und a >> Δx sowie auch Δx >> b gilt, und wobei der Abstand (Δx) zwischen den beiden Bildaufnahmepositionen (1, 2) so gewählt wird, dass, unter Beachtung für den jeweiligen Einsatzfall typischer Entfernungen (a), weder p1 = p2 noch p1 >> p2 gilt.
Method according to claim 1 or 2, characterized in that the distance is determined by the relationship
Figure 00210001
is determined, wherein the camera system (K) is selected so that the base width (b), namely the distance of the optical components for detecting the sub-images (R, L, R ', L') for the stereoscopic recordings constant and as well Distance (Δx) of the image pickup positions ( 1 . 2 ) is many times smaller than the distance (a) of the object to be determined ( 3 ), such that a >> b and a >> Δx as well as Δx >> b, and wherein the distance (Δx) between the two image pickup positions ( 1 . 2 ) is chosen so that, taking into account for the particular application of typical distances (a), neither p 1 = p 2 nor p 1 >> p 2 applies.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ausgehend von der, bezüglich der Bildaufnahmepositionen (1, 2) bestimmten Entfernung (a), auf der Grundlage einer mit zunehmender Entfernung von dem Objekt (3) eintretenden Reduzierung der Helligkeit der Bildpixel und/oder des Bildkontrastes die Sichtweite bestimmt wird, wobei gegebenenfalls, zum Erhalt ausreichender Helligkeits- und/oder Kontrastunterschiede, die Entfernung in gleicher Weise an zwei weiteren, von den Bildaufnahmepositionen (1, 2) verschiedenen Bildpositionen erneut bestimmt wird.Method according to one of claims 1 to 3, characterized in that starting from the, with respect to the image pickup positions ( 1 . 2 ) determined distance (a), based on an increasing distance from the object (a) 3 ), the visibility is determined, where appropriate, to obtain sufficient brightness and / or contrast differences, the distance in the same way at two other, from the image pickup positions ( 1 . 2 ) is determined again at different image positions. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Entfernung und/oder die Sichtweite in kurzen Zeitintervallen wiederholt bestimmt und zur Verbesserung der Genauigkeit gemittelt werden.Method according to one of claims 1 to 4, characterized that the distance and / or the visibility in short time intervals repeatedly determined and averaged to improve accuracy. Anordnung zur Bestimmung der Entfernung (a) eines sich durch Helligkeits- und/oder Kontrastunterschiede von seiner Umgebung abhebenden Objekts (3), vorzugsweise zur Bestimmung der Sichtweite, mit einem stationär oder auf einer mobilen Einheit angeordneten Kamerasystem (K) zur Erfassung stereoskopischer Bildaufnahmen, dadurch gekennzeichnet, dass das Kamerasystem (K) aus zwei, in Richtung des Objekts (3) mit einem bekannten Abstand (Δx) zueinander beabstandeten Stereobildsystem mit jeweils mindestens einer Kamera (K1, K2, K3, K4) besteht, deren optische Komponenten zur Erfassung der Teilbilder (R, L, R', L') für die stereoskopischen Aufnahmen die gleiche Basisbreite (b) aufweisen und deren digitale Bildaufnahmen einer soft- und hardwaregestützten Steuer- und Auswerteeinheit (10) zur Berechnung der, zwischen den Teilbildern (R, L, R', L') der, von den beiden Stereobildsystemen aufgenommenen stereoskopischen Bilder bestehenden Parallaxen sowie der hieraus und aus dem Abstand (Δx) ableitbaren Entfernung (a) zugeführt werden.Arrangement for determining the distance (a) of an object which is distinguished from its environment by differences in brightness and / or contrast ( 3 ), preferably for determining the range of vision, with a stationary or mobile unit mounted camera system (K) for detecting stereoscopic image recordings, characterized in that the camera system (K) of two, in the direction of the object ( 3 ) with a known distance (.DELTA.x) spaced apart stereo image system with at least one camera (K 1 , K 2 , K 3 , K 4 ), the optical components for detecting the partial images (R, L, R ', L') for the stereoscopic images have the same base width (b) and their digital image recordings of a software and hardware-based control and evaluation unit ( 10 ) for calculating the parallaxes existing between the partial images (R, L, R ', L') of the stereoscopic images taken by the two stereo image systems and the distance (a) derivable therefrom and from the distance (Δx). Anordnung nach Anspruch 6, dadurch gekennzeichnet, dass die Kameras (K1, K2) des Stereobildsystems zur Aufnahme des stereoskopischen Bildes an der Bildaufnahmeposition (1) mit den Kameras (K3, K4) des Stereobildsystems zur Aufnahme des stereoskopischen Bildes an der Bildaufnahmeposition (2) durch die Steuer- und Auswerteeinheit (10) synchronisiert angesteuert werden, so dass die Aufnahme der stereoskopischen Bilder an beiden Bildaufnahmepositionen (1, 2) zeitgleich erfolgt.Arrangement according to claim 6, characterized in that the cameras (K 1 , K 2 ) of the stereo image system for recording the stereoscopic image at the image pickup position ( 1 ) with the cameras (K 3 , K 4 ) of the stereo image system for capturing the stereoscopic image at the image pickup position ( 2 ) by the control and evaluation unit ( 10 ) so that the recording of the stereoscopic images at both image pickup positions ( 1 . 2 ) takes place at the same time. Anordnung zur Bestimmung der Entfernung (a) eines sich durch Helligkeits- und/oder Kontrastunterschiede von seiner Umgebung abhebenden Objekts (3), vorzugsweise zur Bestimmung der Sichtweite, mit einem auf einer mobilen Einheit, vorzugsweise einem Fahrzeug, angeordneten Kamerasystem (K) zur Erfassung stereoskopischer Bildaufnahmen, dadurch gekennzeichnet, dass das als Stereobildsystem mit mindestens einer Kamera (K1) ausgebildete Kamerasystem (K) gesteuert von einer Steuer- und Auswerteeinheit (10) innerhalb eines Zeitintervalls (Δt), in welchem die mobile Einheit aufgrund ihrer Bewegungsgeschwindigkeit eine Strecke (Δx) zurückgelegt hat, zwei Mal ausgelöst und die beiden jeweils aus den Teilbildern (R, L, R', L') bestehenden Stereoaufnahmen der Steuer- und Auswerteeinheit (10) zur Berechnung der, zwischen den Teilbildern (R, L, R', L') bestehenden Parallaxen sowie der hieraus und dem Abstand (Δx) ableitbaren Entfernung (a) zugeführt werden.Arrangement for determining the distance (a) of an object which is distinguished from its environment by differences in brightness and / or contrast ( 3 ), preferably for determining the visibility, with a on a mobile unit, preferably a vehicle, arranged camera system (K) for detecting stereoscopic image recordings, characterized in that as a stereo image system with at least one camera (K 1 ) formed camera system (K) controlled from a control and evaluation unit ( 10 ) within a time interval (Δt), in which the mobile unit traveled a distance (Δx) due to its movement speed, triggered twice, and the two stereo recordings of the control unit consisting of the sub-pictures (R, L, R ', L') and evaluation unit ( 10 ) for calculating the parallaxes existing between the sub-images (R, L, R ', L') and the distance (a) derivable therefrom and the distance (Δx). Anordnung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass das oder die Stereobildsysteme nur jeweils eine Kamera (K1, K3) aufweisen, während die jeweils andere Kamera zur Aufnahme des zweiten Teilbildes (R, R') durch einen Umlenkspiegel (4) und einen Strahlenteiler (5) ersetzt ist, über welche zusätzlich das zweite Teilbild (R, R') in die Kamera (K1, K3) eingespiegelt wird, wobei die beiden das jeweilige Stereobild erzeugenden Teilbilder (R, L, R', L'), je nach Ausstattung der Kamera (K1, K3) durch deren Bildsensor zeitgleich oder geringfügig zeitversetzt ausgewertet werden.Arrangement according to one of claims 6 to 8, characterized in that the one or more stereo image systems only one camera (K 1 , K 3 ), while the respective other camera for receiving the second partial image (R, R ') by a deflection mirror ( 4 ) and a beam splitter ( 5 ), over which additionally the second partial image (R, R ') is mirrored into the camera (K 1 , K 3 ), the two partial images (R, L, R', L ') generating the respective stereo image, depending after equipment of the camera (K 1 , K 3 ) are evaluated by the image sensor at the same time or slightly offset in time. Anordnung nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass diese durch eine Infraroteinheit erweitert ist, so dass die Entfernungsbestimmung bei Nacht auf der Grundlage mit dieser Einheit erfasster Infrarotaufnahmen erfolgt.Arrangement according to one of claims 6 to 9, characterized that this is extended by an infrared unit, so that the Distance determination at night based on this unit detected infrared recordings takes place. Anordnung nach einem der Ansprüche 6, 7 oder 9, dadurch gekennzeichnet, dass diese an Bord eines Schiffes (6) angeordnet ist, wobei an dessen Bug (7) und Heck (8) oder auf dessen Brücke auf einer Seite, nämlich steuerbord- oder backbordseitig, Kameras (K1, K2) von zu einander mit (Δx) beabstandeten Stereobildsystemen angeordnet sind und wobei auf der jeweils anderen Seite, nämlich entsprechend, backbord- oder steuerbordseitig, Kamera (K2, K4) der vorgenannten Stereobildsysteme oder je ein die jeweilige Kamera (K2, K4) ersetzender Umlenkspiegel, welcher jeweils mit einem Strahlenteiler vor der auf der anderen Seite angeordneten Kamera (K1, K2) kombiniert ist.Arrangement according to one of claims 6, 7 or 9, characterized in that it is on board a ship ( 6 ) is arranged, wherein at its bow ( 7 ) and stern ( 8th ) or on the bridge on one side, namely starboard or port side, cameras (K 1 , K 2 ) are arranged from each other with (Δx) spaced stereo imaging systems and wherein on the other side, namely, port or starboard side, Camera (K 2 , K 4 ) of the aforementioned stereo image systems or one respective camera (K 2 , K 4 ) replacing the deflection mirror, which is in each case combined with a beam splitter in front of the arranged on the other side camera (K 1 , K 2 ). Anordnung nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass diese an beziehungsweise in einem Kraftfahrzeug (9) angeordnet ist, wobei die Basisbreite (b) des Kamerasystems (K) an die Platzverhältnisse des An- oder Einbauorts angepasst ist, aber mindestens 6,5 cm beträgt.Arrangement according to one of claims 8 to 10, characterized in that this on or in a motor vehicle ( 9 ), wherein the base width (b) of the camera system (K) is adapted to the space conditions of the installation or installation location, but is at least 6.5 cm. Anordnung nach Anspruch 12, dadurch gekennzeichnet, dass das Kamerasystem Bestandteil eines Kraftfahrzeugscheinwerfers ist.Arrangement according to claim 12, characterized that the camera system is part of a motor vehicle headlight is. Anordnung nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass diese an beziehungsweise in dem Triebkopf (9) einer Lokomotive angeordnet ist, wobei die Basisbreite (b) des Kamerasystems (K) mindestens 30 cm beträgt.Arrangement according to one of claims 8 to 10, characterized in that this at or in the power car ( 9 ) locomotive is arranged, wherein the base width (b) of the camera system (K) at least 30 cm. Anordnung nach einem der Ansprüche 6 bis 14, dadurch gekennzeichnet, dass diese ein Display zur Anzeige der ermittelten Entfernung und/oder Sichtweite umfasst.Arrangement according to one of Claims 6 to 14, characterized that this is a display for displaying the determined distance and / or Visibility includes. Anordnung nach einem der Ansprüche 6 bis 15, dadurch gekennzeichnet, dass diese einen zusätzlichen Bildschirm zur unmittelbaren Wiedergabe der mittels des Kamerasystems (K) jeweils erfassten Bilder aufweist.Arrangement according to one of Claims 6 to 15, characterized that this one extra Screen for immediate reproduction by means of the camera system (K) each captured images. Anordnung nach einem der Ansprüche 6 bis 16 für den Einsatz in einem Land-, Wasser- oder Luftfahrzeug, dadurch gekennzeichnet, dass diese mit einem zur automatischen Beeinflussung des Fahrzeugverhaltens dienenden Sicherheitssystem gekoppelt ist, welches die zur Entfernung oder Sichtweite gewonnenen Werte weiterverarbeitet und bei der Beeinflussung des Fahrzeugverhaltens berücksichtigt.Arrangement according to one of claims 6 to 16 for use in a land, water or air vehicle, characterized that with a for the automatic influencing of the vehicle behavior coupled security system, which is for removal or visibility gained values and in influencing of vehicle behavior.
DE200610005231 2006-02-02 2006-02-02 Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system Withdrawn DE102006005231A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200610005231 DE102006005231A1 (en) 2006-02-02 2006-02-02 Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200610005231 DE102006005231A1 (en) 2006-02-02 2006-02-02 Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system

Publications (1)

Publication Number Publication Date
DE102006005231A1 true DE102006005231A1 (en) 2007-08-16

Family

ID=38265844

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200610005231 Withdrawn DE102006005231A1 (en) 2006-02-02 2006-02-02 Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system

Country Status (1)

Country Link
DE (1) DE102006005231A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017707A1 (en) 2011-04-28 2012-10-31 Robert Bosch Gmbh Method for detecting object e.g. concrete post in vicinity of camera for monitoring rear side region of vehicle, involves reading images captured by cameras after partially illuminating with illumination patterns
DE102021005335A1 (en) 2021-10-26 2023-04-27 Mercedes-Benz Group AG Procedure for compensating for measurement errors

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4921349A (en) * 1987-06-30 1990-05-01 Sonoma Technology Photographic method for monitoring visibility through measurement of transmittance and path radiance
DE4308776A1 (en) * 1992-03-23 1993-09-30 Fuji Heavy Ind Ltd System for monitoring the condition external to the vehicle using an image taken by several television cameras
EP0691534A1 (en) * 1994-07-06 1996-01-10 Volkswagen Aktiengesellschaft Method of visibility determination in particular for vehicle movement
DE19801884A1 (en) * 1998-01-20 1999-07-22 Mannesmann Vdo Ag CCTV monitoring system for blind spots around motor vehicle
EP1028387A2 (en) * 1999-02-12 2000-08-16 Robert Bosch Gmbh Device for recognizing the environment, in particuliar for recognising traffic road signs
DE10219788C1 (en) * 2002-05-03 2003-11-13 Bosch Gmbh Robert Method and device for measuring visibility with image sensor systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4921349A (en) * 1987-06-30 1990-05-01 Sonoma Technology Photographic method for monitoring visibility through measurement of transmittance and path radiance
DE4308776A1 (en) * 1992-03-23 1993-09-30 Fuji Heavy Ind Ltd System for monitoring the condition external to the vehicle using an image taken by several television cameras
EP0691534A1 (en) * 1994-07-06 1996-01-10 Volkswagen Aktiengesellschaft Method of visibility determination in particular for vehicle movement
DE19801884A1 (en) * 1998-01-20 1999-07-22 Mannesmann Vdo Ag CCTV monitoring system for blind spots around motor vehicle
EP1028387A2 (en) * 1999-02-12 2000-08-16 Robert Bosch Gmbh Device for recognizing the environment, in particuliar for recognising traffic road signs
DE10219788C1 (en) * 2002-05-03 2003-11-13 Bosch Gmbh Robert Method and device for measuring visibility with image sensor systems

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
McGlone, C. et al. (2004):"Manual of Photogramme- try" (5. Auflage), S. 1026-1029
McGlone, C. et al. (2004):"Manual of Photogrammetry" (5. Auflage), S. 1026-1029 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017707A1 (en) 2011-04-28 2012-10-31 Robert Bosch Gmbh Method for detecting object e.g. concrete post in vicinity of camera for monitoring rear side region of vehicle, involves reading images captured by cameras after partially illuminating with illumination patterns
DE102021005335A1 (en) 2021-10-26 2023-04-27 Mercedes-Benz Group AG Procedure for compensating for measurement errors
DE102021005335B4 (en) 2021-10-26 2023-11-09 Mercedes-Benz Group AG Method for compensating measurement errors

Similar Documents

Publication Publication Date Title
DE102006003538B3 (en) Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
DE102017130566A1 (en) Visual system for detecting a vehicle environment
DE102011053999B4 (en) Motor vehicle with a driver assistance system and a detection system
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
EP2040220B1 (en) Method for detecting obstacles
DE10244148A1 (en) Method and device for video-based observation and measurement of the lateral surroundings of a vehicle
DE102016208025B4 (en) Method for detecting traffic signs
DE112010005565T5 (en) Parking assistance device, parking assistance system and parking assistance camera unit
DE102013221696A1 (en) Method and device for determining a height profile of a road ahead of a vehicle
WO2012152475A1 (en) Method and device for calibrating a projection device of a vehicle
DE102009019399B4 (en) Method for automatically determining at least one target variable describing the change in the position of a motor vehicle
DE102012200262A1 (en) System and method for providing environmental information of a vehicle
DE102013010010B4 (en) Method for operating a driver assistance system for maneuvering and/or parking
DE102012023060A1 (en) Method for detecting moving object in surrounding region of motor vehicle e.g.passenger car, involves determining vector values within the respective interval values, such movable object is detected based on histogram
DE102011118171A1 (en) Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device
DE102013202915A1 (en) Method for measuring parking space for parking assistance system of motor vehicle, involves determining free parking area within parking space depending on positions of two corners and detection of obstacles within two blind ranges
DE102006005231A1 (en) Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system
DE102014208272A1 (en) Method and apparatus for tracking-based visibility estimation
DE102010034127A1 (en) Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle
DE102010019146A1 (en) Method for detecting an environment of a vehicle
DE102014018364A1 (en) Device and method for assisting a driver of a vehicle, in particular a utility vehicle
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object
EP3833576B1 (en) Surveillance camera system
DE102007024752B4 (en) Method for driver information in a motor vehicle
DE102020107949A1 (en) Field of view assist image generation apparatus and image conversion method

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8130 Withdrawal