DE102006005231A1 - Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system - Google Patents
Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system Download PDFInfo
- Publication number
- DE102006005231A1 DE102006005231A1 DE200610005231 DE102006005231A DE102006005231A1 DE 102006005231 A1 DE102006005231 A1 DE 102006005231A1 DE 200610005231 DE200610005231 DE 200610005231 DE 102006005231 A DE102006005231 A DE 102006005231A DE 102006005231 A1 DE102006005231 A1 DE 102006005231A1
- Authority
- DE
- Germany
- Prior art keywords
- distance
- image
- camera
- camera system
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
Abstract
Description
Die Erfindung betrifft ein Verfahren und eine Anordnung zur Bestimmung der Entfernung eines Objekts, vorzugsweise zum Zwecke der Sichtweitenbestimmung. Entfernung und Sichtweite stehen dabei insoweit in einem engen Zusammenhang, als die Sichtweite nach gebräuchlichen Verfahren die Kenntnis der Länge einer zur Sichtweitenbestimmung benutzten Messstrecke voraussetzt. Die vorgestellte Lösung betrifft daher eine neue Möglichkeit der Entfernungsbestimmung, welche in Kombination mit weiteren Verfahrensschritten mit besonderem Vorteil für die Sichtweitenmessung herangezogen werden kann.The The invention relates to a method and an arrangement for determination the removal of an object, preferably for the purpose of visibility determination. Distance and visibility are closely related in this respect, as the visibility after in use Procedure the knowledge of the length presupposes a measuring path used for visibility determination. The presented solution therefore concerns a new possibility the determination of the distance, which in combination with further process steps particular advantage for the visibility measurement can be used.
Die Möglichkeit einer genauen Bestimmung der Entfernung von Objekten und/oder der momentanen Sichtweite ist in vielen technischen Bereichen und Lebensbereichen, insbesondere im Verkehr, von sehr großer Bedeutung. Sie spielt zum Beispiel eine wichtige Rolle im automotiven Bereich, im Flug- und Bahnverkehr sowie in der Binnen- und Seeschifffahrt. Die Zahl, aufgrund falsch bestimmter Entfernungen beziehungsweise unzutreffend eingeschätzter Sichtweiten, entstehender Unfälle ist erheblich und verursacht alljährlich, neben ohnehin nicht hinnehmbaren Personenschäden, hohe volkswirtschaftliche Kosten. Dies trifft gleichermaßen für schwere Unfälle im Land-, Luft- und Seeverkehr zu.The possibility an accurate determination of the distance of objects and / or the current visibility is in many technical areas and areas of life, especially in transport, of very great importance. She plays to Example, an important role in the automotive sector, in the aviation and Rail traffic as well as in the inland and maritime navigation. The number, due incorrectly determined distances or incorrectly estimated visibility, arising accidents is significant and causes every year, besides anyway not acceptable personal injury, high economic costs. This is equally true for heavy accidents inland, air and maritime transport too.
Vor allem bei der Entfernungsbestimmung im Seeverkehr sind dabei besondere Randbedingungen zu beachten. Anders als beispielsweise im Auto- und Bahnverkehr fehlt es im Seeverkehr zumindest in der unmittelbaren Umgebung von Hochseeschiffen oftmals an markanten Punkten, welche für die Entfernungsbeziehungsweise Sichtweitenbestimmung herangezogen werden können. Zudem ist zu beachten, dass große Schiffe extrem lange Bremswege und, im Hinblick auf mögliche Ausweichmanöver, immens große Wenderadien haben.In front In particular, the determination of distances in maritime transport are special To observe boundary conditions. Unlike, for example, in the car and rail transport lacks maritime transport at least in the immediate Of sea-going vessels often at prominent points, which for the Distance determination as well as visibility determination are used can. It should also be noted that large Ships have extremely long braking distances and, in view of possible evasive maneuvers, immense size Have turning radii.
Die Sichtweite wird im Allgemeinen anhand von Kontraständerungen, respektive der Verringerung des Kontrastes eines Objekts zu seiner Umgebung bestimmt, welche aufgrund der durch die zwischen einem Beobachter und dem Objekt liegenden Luftschichten hervorgerufene Lichtstreuung und Absorption auftritt. Um zueinander vergleichbare Sichtweitenangaben zu haben, ist dabei durch die VDI-Richtlinie 3786 eine Normsichtweite für einen Schwellenkontrast von ± 0,02. also ± 2% festgelegt. In der Praxis wird die Sichtweite durch Transmissionsmessungen, Streulichtmessmethoden oder mit Hilfe von Kontrastbewertungen an Objekten bekannten Abstands bestimmt.The Visibility is generally based on contrast changes, respectively the reduction of the contrast of an object to his Environment determines which due to the between the one Observers and the object lying air layers caused Light scattering and absorption occurs. To be comparable to each other Visibility information is provided by the VDI Directive 3786 a standard visibility for a threshold contrast of ± 0.02. ie ± 2% established. In practice, the visibility is measured by transmission measurements, Scattered light measurement methods or with the help of contrast evaluations Determined objects known distance.
Bei den Transmissionsmessungen wird die Sichtweite durch visuelle Kontrasteinschätzungen und durch Streulichtmessungen über relativ lange Messstrecken ermittelt. Diese Messungen ergeben die genauesten Daten, sind aber als integrale Methoden sehr anfällig im Hinblick auf kleinste mechanische Störungen, das heißt insbesondere Positionsänderungen der verwendeten Sender und Empfänger, bei denen es sich beispielsweise um optische oder funktechnische Sender und Empfänger handeln kann. Transmissionsmessungen setzen zudem sehr leistungsfähige Sender und hochempfindliche Empfänger voraus, welche entsprechend teuer sind. Bei den Streulichtmessmethoden weisen Sender und Empfänger gewöhnlich einen geringen Abstand auf, wobei die gewonnenen Ergebnisse auf große Entfernungen extrapoliert werden. Dies führt häufig zu vergleichsweise hohen Messfehlern, welche für viele Anwendungsfälle, beispielsweise auch den schon erwähnten Seeverkehr, nicht hinnehmbar sind.at The transmission measurements are the visual range by visual contrast estimates and by scattered light measurements over determined relatively long measuring distances. These measurements give the most accurate data, but are very vulnerable as integral methods in the Regard to the smallest mechanical disturbances, that is in particular position changes the transmitter and receiver used, which are, for example, optical or radio technical Sender and receiver can act. Transmission measurements also set very powerful transmitters and highly sensitive receivers ahead, which are correspondingly expensive. In the scattered light measurement methods have sender and receiver usually at a small distance, the results obtained on size Distances are extrapolated. This often leads to comparatively high Measurement errors, which for many applications, for example, the already mentioned maritime transport, unacceptable are.
Eine Kontrastbewertung bei Objekten mit einem gegenüber dem Beobachter konstanten und somit bestimmten Abstand wird beispielsweise in der meteorologischen Praxis angewandt. Es liegt jedoch auf der Hand, dass diese Methode zur Bestimmung der Sichtweite bei bewegten Fahrzeugen im Grunde nicht einsetzbar ist.A Contrast evaluation for objects with a constant vis-à-vis the observer and thus certain distance is, for example, in the meteorological Practice applied. However, it is obvious that this method to determine the visibility of moving vehicles basically can not be used.
Soweit bei den schon erwähnten Transmissions- und Streulichtmessungen die Entfernung hierfür genutzter Objekte nicht bekannt ist, wird diese in der Praxis beispielsweise mittels Radar oder LIDAR-Messungen bestimmt. Diese aktiven Verfahren der Entfernungsbestimmung erfordern jedoch, wie bereits erwähnt, sehr leistungsfähige, hochfrequente oder optische Sender und entsprechend genaue und empfindliche Empfänger. In Bezug auf bewegte Objekte, wie beispielsweise Straßenfahrzeuge, weisen sie zudem den Nachteil auf, dass ihre Genauigkeit durch Hindernisse oder in Kurven durch Straßenränder deutlich reduziert wird. Im Hinblick auf die Radarortung ist außerdem eine metallische und möglichst glatte Oberfläche eines zum Zwecke der Entfernungsbestimmung angepeilten Objektes erforderlich. All dies sind Randbedingungen, die im Landverkehr häufig nicht in optimaler Weise erfüllt werden und bezogen auf die Hochseeschifffahrt im Allgemeinen überhaupt nicht gegeben sind. Als andere Möglichkeit der Entfernungs- und Sichtweitenbestimmung kommen daher auch passive Verfahren, das heißt Verfahren zum Einsatz, bei denen zusätzliche hochfrequente oder optische Sender nicht benötigt werden. Insbesondere Videokameras und Methoden der digitalen Bildauswertung kommen dabei zunehmend zum Einsatz.As far as in the already mentioned transmission and scattered light measurements, the distance for this purpose used objects is not known, this is determined in practice, for example by means of radar or LIDAR measurements. However, these active methods of range determination require, as already mentioned, very high-performance, high-frequency or optical transmitters and correspondingly accurate and sensitive receivers. With respect to moving objects, such as road vehicles, they also have the disadvantage that their accuracy is significantly reduced by obstacles or in curves by roadsides. With regard to the Radarortung also a metallic and smooth as possible surface of a targeted for the purpose of determining distance object is required. All these are boundary conditions that are often not optimally fulfilled in land transport and are generally not given at all with respect to ocean shipping. As another possibility of distance and visibility determination, therefore, passive methods, that is, methods are used in which additional high-frequency or optical transmitter are not needed. In particular, video cameras and methods of digital image evaluation come increasingly used.
Beispielsweise
wird durch die
Aufgabe der Erfindung ist es, eine Lösung zur Entfernungsmessung bereitzustellen, welche gleichermaßen gut für den Einsatz bei stationären und mobilen Systemen geeignet ist und dabei insbesondere zum Zwecke der Sichtweitenbestimmung eine hinreichend genaue Entfernungsbestimmung ermöglicht. Hierzu sind ein Verfahren und eine zur Durchführung des Verfahrens geeignete Anordnung anzugeben, wobei die grundsätzliche erfinderische Lösung einen einfachen Aufbau der Messanordnung ermöglichen soll.task The invention is a solution to provide distance measurement, which is equally good for the Use in stationary and mobile systems is suitable and in particular for the purpose the visibility determination a sufficiently accurate distance determination allows. For this purpose, a method and a method suitable for carrying out the method Specify arrangement, the basic inventive solution a to allow simple construction of the measuring arrangement.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Hauptanspruchs gelöst. Eine die Aufgabe lösende und zur Durchführung des Verfahrens geeignete Anordnung ist durch den 1. Sachanspruch charakterisiert. Vorteilhafte Aus- beziehungsweise Weiterbildungen der Erfindung sind durch die jeweiligen Unteransprüche gegeben.The The object is achieved by a method having the features of the main claim solved. A problem solving and to carry of the method is appropriate by the 1st claim characterized. Advantageous training or further education The invention are given by the respective subclaims.
Nach dem vorgeschlagenen Verfahren erfolgt die Entfernungsbestimmung durch die Auswertung stereoskopischer, jeweils aus zwei Teilbildern bestehender digitaler Kamerabilder, welche von einem stationär oder auf einer mobilen Einheit angeordneten Kamerasystem erfasst werden. Erfindungsgemäß wird ein Objekt, welches sich durch Helligkeits- und/oder Kontrastunterschiede von seiner Umgebung abhebt, von zwei in Richtung des Objekts unterschiedlichen, einen bekannten Abstand zueinander aufweisenden Bildpositionen aufgenommen. Dabei werden zwei stereoskopische Bildpaare erfasst, für welche jeweils die Parallaxe der beiden sie ausbildenden Teilbilder bestimmt wird. Zur Bestimmung der Parallaxen werden für die Teilbilder durch eine Auswertung von Helligkeits- und/oder Kontrastunterschieden zwischen benachbarten Bildpixeln zunächst gleiche Bildausschnitte ermittelt. Von gleichen Bildausschnitten ist auszugehen, wenn für größere Bereiche beider Teilbilder in horizontaler beziehungsweise vorzugsweise in horizontaler und vertikaler Richtung eine gleiche Abfolge von Helligkeits- oder Kontrastübergängen zwischen den benachbarten Pixeln festgestellt wird. Nach der Festlegung der auszuwertenden gleichen Bildabschnitte wird ermittelt, wie weit diese beiden Bildausschnitte im Vergleich beider Teilbilder seitlich gegeneinander versetzt beziehungsweise verschoben sind. Durch einfaches Auszählen der Bildpunkte beziehungsweise Pixel dieses Versatzes und eine Multiplikation der dabei ermittelten Pixelzahl mit der für die verwendete Kamera bekannten Pixelgröße ist schließlich die Parallaxe der jeweiligen stereoskopischen Bildaufnahme zu berechnen. Im Weiteren kann dann aus dem für die Stereoaufnahmen beider Bildaufnahmepositionen errechneten Parallaxen und dem bekannten Abstand der beiden Bildaufnahmepositionen zueinander die Entfernung des Objekts berechnet werden.To the proposed method is the distance determination through the evaluation of stereoscopic, in each case of two partial images existing digital camera images, which of a stationary or on a mobile unit arranged camera system can be detected. According to the invention is a Object, which differs in brightness and / or contrast different from its surroundings, from two different in the direction of the object, taken a known distance from each other having image positions. In this case, two stereoscopic image pairs are detected, for which each determines the parallax of the two sub-images forming them becomes. To determine the parallaxes are for the fields by a Evaluation of brightness and / or Contrast differences between adjacent image pixels initially same Image sections determined. From the same image excerpts can be assumed if for larger areas of both Partial images in horizontal or preferably in horizontal and vertical direction a same sequence of brightness or Contrast transitions between the neighboring pixels is detected. After determining the to be evaluated the same image sections is determined how far these two image sections in the comparison of both partial images laterally offset or shifted from each other. By simple count the pixels or pixels of this offset and a multiplication the number of pixels determined with the known for the camera used Pixel size is finally the Parallax the respective stereoscopic image acquisition to calculate. In addition, then from the for the stereo recordings of both image acquisition positions calculated parallaxes and the known distance of the two image pickup positions to each other the distance of the object can be calculated.
Für die praktische Umsetzung des Verfahrens erfolgt die bildtechnische Auswertung, einschließlich der Auszählung der Pixelzahl, um welche die jeweils beiden Teilbilder beider stereoskopischer Aufnahmen seitlich gegeneinander versetzt sind, und die Berechnung der Entfernung selbstverständlich vorzugsweise computertechnisch, obwohl grundsätzlich auch die Möglichkeit einer manuellen Auszählung und Berechnung gegeben ist.For the practical Implementation of the procedure, the image-technical evaluation, including the count the number of pixels by which the respective two partial images of both stereoscopic Shots are laterally offset from each other, and the calculation Of course, the distance preferably computer technology, although basically also the possibility a manual count and calculation is given.
Unter der Bedingung, dass beide Parallaxen ungleich sind, das heißt die Parallaxe an der näher zum Objekt gelegenen Bildaufnahmeposition in ihrem Wert nicht gegen die Parallaxe an der weiter entfernten Bildaufnahmeposition strebt, dass aber andererseits auch beide Parallaxen nicht extrem voneinander abweichen, kann die Entfernung erfindungsgemäß nach der Beziehung bestimmt werden. Dabei gilt, wie bereits betont, die Bedingung, dass weder p1 = p2 noch p1 >> p2 ist. Für einen Fehler in der Tiefenauflösung von vorzugsweise weniger als 10 % sollten dabei, unter anderem auch aufgrund der zuvor genannten Bedingung, die Basisbreite b des stereoskopischen Kamerasystems und der Abstand Δx der beiden Positionen der Bildaufnahmen so gewählt werden, dass b << a und Δx << a sowie Δx >> b gilt. Als Orientierung beziehungsweise ungefähre Größenordnungen können dabei eine Basisbreite b des stereoskopischen Kamerasystems zwischen 0,025 % und 0,25 % und ein Abstand Δx der beiden Bildaufnahmepositionen zwischen 0,1 % bis 3 % der gemäß dem jeweiligen Einsatzfall typischerweise zu bestimmenden Entfernungen angegeben werden. Jedoch handelt es sich hierbei, wie betont, um ungefähre Größenordnungen, welche die Erfindung insoweit nicht beschränken, zumal die jeweils tatsächlich sinnvollen Relationen einerseits von den räumlichen Verhältnissen am An- beziehungsweise Einbauort des Kamerasystems und den typischerweise zu bestimmenden Entfernungen beziehungsweise deren erforderlichenfalls zu bestimmenden Größenordnungen und andererseits von dem dabei jeweils zugelassenen Messfehler abhängen. Insbesondere im automotiven Bereich ist dabei ein An- beziehungsweise Einbauort für das Kamerasystem zu finden, der hinsichtlich der möglichen Basisbreite für das Kamerasystem im Einklang steht mit dem zu bestimmenden Entfernungsintervall und auch mit dem, in Ansehung der Geschwindigkeit des automotiven Systems und/oder dessen Bremsweg, für die Entfernungsbestimmung zulässigen Fehler. Den Forderungen nach einem kleinen Messfehler kann durch hinreichende Basisbreiten beziehungsweise Abstände zwischen den Messpositionen Rechnung getragen werden, wobei die Basisbreite im Hinblick auf die Sichtweitebestimmung aber vorzugsweise mehr als 6,5 cm beträgt, was dem typischen menschlichen Augenabstand entspricht. Andernfalls ist auch eine entsprechende Fehlerbetrachtung erforderlich, da wie vorstehend ausgeführt, die vorgenannten Werte auch von dem im jeweiligen Einsatzfall zulässigen Fehler abhängen.Under the condition that both parallaxes are unequal, that is, the parallax at the closer to the object image pickup position does not tend to parallax at the more distant image pickup position, but on the other hand both parallaxes are not extremely different from each other, the distance may be according to the invention after the relationship be determined. Here, as already emphasized, the condition holds that neither p 1 = p 2 nor p 1 >> p 2 . For an error in the depth resolution of preferably less than 10% should, among other things due to the above-mentioned condition, the base width b of the stereoscopic camera system, and the distance Δx of the two positions of the image shots are set to be b << a and Δx << a and Δx >> b. As orientation or approximate orders of magnitude, a base width b of the stereoscopic camera system between 0.025% and 0.25% and a distance Δx of the two image pickup positions between 0.1% and 3% of the distances typically to be determined according to the respective application can be specified. However, this is, as emphasized, to approximate orders of magnitude, which does not limit the invention insofar as the actually meaningful relations on the one hand by the spatial conditions at the installation or installation of the camera system and the distances typically to be determined or their order of magnitude to be determined if necessary and on the other hand depend on the respectively admitted measurement error. In particular, in the automotive sector is to find a place or installation for the camera system, which is in terms of the possible base width for the camera system in accordance with the distance interval to be determined and also with respect to the speed of the automotive system and / or its braking distance , errors permissible for the distance determination. The requirements for a small measurement error can be taken into account by adequate base widths or distances between the measurement positions, but the base width with regard to the visibility determination is preferably more than 6.5 cm, which corresponds to the typical human eye distance. Otherwise, a corresponding error consideration is required because, as stated above, the above-mentioned values also depend on the error permissible in the respective application.
Ausgehend
von der erfindungsgemäß bestimmten
Entfernung kann dann, unter Zugrundelegung bekannter Ansätze, so
auch des aus der
Insbesondere bei einem Einsatz des Verfahrens zur Verwendung in Schiffen beziehungsweise Fahrzeugen werden die ermittelte Entfernung und/oder die Sichtweite für den Fahrzeugführer auf einem Display ausgegeben. Gemäß praxisrelevanter Weiterbildungen des Verfahrens können außerdem die mittels des Kamerasystems erfassten Bilder dem Fahrzeugführer auf einem gesonderten Bildschirm unmittelbar zur Verfügung gestellt werden.Especially when using the method for use in ships or Vehicles become the determined distance and / or the visibility for the driver output on a display. According to practice-relevant further education of the method Furthermore the captured by the camera system images the driver a separate screen immediately made available become.
Bei einer Anordnung zur Bestimmung der Entfernung eines Objekts beziehungsweise zur Durchführung des vorstehend dargestellten Verfahrens besteht das Kamerasystem gemäß einer grundsätzlichen Ausgestaltungsform aus zwei, in Richtung des Objekts mit einem bekannten Abstand Δx zueinander beabstandeten Stereobildsystemen mit jeweils mindestens einer Kamera. Die zur Erfassung der Teilbilder für die stereoskopischen Aufnahmen dienenden optischen Komponenten dieser Stereobildsysteme weisen eine zueinander gleiche Basisbreite auf. Beide Stereobildsysteme sind mit einer Soft- und Hardware-gestützten Steuer- und Auswerteeinheit gekoppelt, welche zur Berechnung der zwischen den Teilbildern der von beiden Stereobildsystemen aufgenommenen stereoskopischen Bilder bestehenden Parallaxen sowie zur Berechnung des Abstandes des Objekts aus diesen Parallaxen, der bekannten Basisbreite und dem bekannten Abstand der Stereobildsysteme ausgebildet ist. Die mittels der Stereobildsysteme gemachten digitalen Bildaufnahmen werden dieser Steuer- und Auswerteeinheit zugeführt. In Abhängigkeit vom jeweiligen Einsatzfall werden außerdem beide Stereobildsysteme des Kamerasystems zueinander synchronisiert. Während dies zum Beispiel bei einem größeren Schiff mit zwei bis zu mehreren 100 m weit auseinander liegenden Bildaufnahmepositionen aufgrund der langsamen Bewegungsgeschwindigkeit des Schiffes nicht erforderlich ist, muss bei sich schnell bewegenden Fahrzeugen für eine Synchronisation der Kameras des Kamerasystems Sorge getragen werden.at an arrangement for determining the distance of an object or to carry out of the method described above is the camera system according to a basic Embodiment of two, in the direction of the object with a known Distance Δx spaced stereo imaging systems, each with at least a camera. The for capturing the partial images for the stereoscopic images serving optical components of these stereo imaging systems a base width equal to each other. Both stereo imaging systems are equipped with a software and hardware-based control and evaluation unit which is used to calculate the between the fields of the Stereoscopic images taken by both stereo imaging systems existing parallaxes and to calculate the distance of the object from these parallaxes, the known base width and the known Distance of the stereo imaging systems is formed. The means of stereo image systems digital image recordings are made by this control and evaluation unit fed. Dependent on In addition, both stereo image systems are used by the respective application of the camera system synchronized with each other. While this is for example at a bigger ship with two up to several 100 m far apart image pickup positions not because of the slow movement speed of the ship is required, must be fast moving vehicles for synchronization the cameras of the camera system are taken care of.
Eine andere, ausschließlich zur Anordnung auf mobilen Einheiten ausgebildete grundsätzliche Ausbildungsform ist dadurch gegeben, dass das Kamerasystem nur ein Stereobildsystem mit mindestens einer Kamera aufweist und von einer ihm zugeordneten Steuer- und Auswerteeinheit innerhalb eines kurzen Zeitabstandes Δt, in welchem das Fahrzeug bei seiner Bewegung seine Position um einen, aufgrund seiner Geschwindigkeit berechenbaren Abstand Δx gegenüber dem zur Entfernungsbestimmung verwendeten Objekt verändert, zur wiederholten Bildaufnahme angesteuert wird.Another fundamental form of training, designed exclusively for arrangement on mobile units, is given by the fact that the camera system has only one stereo image system with at least one camera and by a control and evaluation unit assigned to it within a short time interval Δt in which the vehicle moves Position by a, calculated on the basis of its speed distance .DELTA.x compared to the object used for the distance determination changed, is controlled for repeated image acquisition.
Für beide zuvor dargestellten Ausbildungsformen ist eine Variationsmöglichkeit dadurch gegeben, dass in dem beziehungsweise den Stereobildsystem eine Kamera durch einen Umlenkspiegel und einen Strahlenteiler ersetzt und das Umgebungsbild des Umlenkspiegels in die noch vorhandene eine Kamera eingespiegelt wird. Je nach Ausbildungsform werden dabei in sehr kurzer Zeit zwei Halbbilder erfasst oder beide Halbbilder zeitlich parallel dem entsprechend ausgestalteten optischen Sensor der Kamera zugeführt.For both previously shown forms of training is a possibility of variation given by the fact that in the or the stereo image system a camera replaced by a deflection mirror and a beam splitter and the surrounding image of the deflection mirror in the remaining a camera is mirrored. Depending on the training form will be there captured in a very short time two fields or both fields temporally parallel to the appropriately designed optical sensor supplied to the camera.
Im Hinblick auf den Einsatz bei Nacht können alle vorgenannten Ausbildungsformen um eine Infraroteinheit erweitert sein, so dass die Entfernungsbestimmung beziehungsweise Sichtweitebestimmung auf der Grundlage von Infrarotaufnahmen erfolgt.in the With regard to use at night, all the above forms of training be extended by an infrared unit, so that the distance determination or visibility determination based on infrared images he follows.
Neben einem Display zur Anzeige der ermittelten Entfernung und/oder Sichtweite sowie einem gegebenenfalls vorhandenen Bildschirm zur unmittelbaren Wiedergabe erfasster Bilder kann bei einer für den Einsatz in Fahrzeugen ausgebildeten Anordnung eine Koppelung der Anordnung, insbesondere der zu ihr gehörenden Steuer- und Auswerteeinheit, mit einem in das Fahrverhalten des Fahrzeugs automatisch eingreifenden Sicherheitssystem vorgesehen sein, um das Fahrverhalten des Fahrzeugs automatisch entsprechend anzupassen.Next a display for displaying the determined distance and / or visibility and an optional screen for immediate use Playback captured images can be at one for use in vehicles trained arrangement coupling the arrangement, in particular the one belonging to her Control and evaluation unit, with a in the handling of the Vehicle automatically intervening security system provided be to automatically match the driving behavior of the vehicle adapt.
Bei einer praxisgerechten Ausbildungsform, welche zur Verwendung in einem Straßenkraftfahrzeug ausgebildet ist, ist die Basisbreite des Kamerasystems (K) an die Platzverhältnisse am Einbauort angepasst, beträgt aber wenigstens 6,5 cm. So erlaubt zum Beispiel eine Basisbreite von 10 cm, im Hinblick auf übliche Fahrzeuggeschwindigkeiten sowie daraus resultierende Bremswege und die aufgrund dessen im Straßenverkehr benötigten Entfernungs- und/oder Sichtweitenaussagen eine hinreichende Genauigkeit. Sie gestattet es dabei vorteilhafter Weise auch, das Kamerasystem im Gehäuse eines Kraftfahrzeugscheinwerfers anzuordnen.at a practical training form, which for use in a road motor vehicle trained is, is the basic width of the camera system (K) to the space adjusted at the installation location is but at least 6.5 cm. For example, it allows a base width of 10 cm, in terms of usual vehicle speeds as well as resulting braking distances and due to that in the road traffic required Distance and / or visibility statements a sufficient accuracy. It also advantageously allows the camera system in the case to arrange a motor vehicle headlight.
Bei einer anderen, für den Bahnverkehr vorgesehen Ausbildungsform ist die Anordnung am beziehungsweise im Triebkopf einer Lokomotive angeordnet, wobei die Basisbreite des Kamerasystems (K) vorzugsweise um 30 cm betragen, gegebenenfalls aber auch die gesamte Breite der Lokomotive einnehmen kann.at another, for Training provided is the arrangement at the or arranged in the engine of a locomotive, wherein the base width of the camera system (K) is preferably 30 cm, but possibly also the entire width of the locomotive can take.
Die Erfindung soll nachfolgend anhand von Ausführungsbeispielen nochmals näher erläutert werden, wobei die zugehörigen Zeichnungen auch Darstellungen betreffen, welche zur Herleitung der, der Erfindung zugrunde liegenden mathematischen Überlegungen dienen. In den Zeichnungen zeigen:The Invention will be explained in more detail below with reference to embodiments, wherein the associated Drawings also relate to representations, which for the derivation the underlying mathematical considerations of the invention serve. In the drawings show:
Die
Durch
Bildung des Differenzials, respektive der Ableitung der vorgenannten
Gleichung nach a, erhält man
die Unschärfe
für den
zu bestimmenden Abstand gemäß folgender
Beziehung:
Aus
der vorstehenden Beziehung E2 ergibt sich, dass die Unschärfe beziehungsweise
Tiefenauflösung
da proportional zum Quadrat der Entfernung (a2)
und umgekehrt proportional zur Basisbreite (b) ist. Außerdem ist
ersichtlich, dass der relative Fehler da/a linear mit der Entfernung
a zunimmt. Hierbei hat das negative Vorzeichen keine Bedeutung für die absolute
Größe der Tiefenauflösung beziehungsweise
Unschärfe. Die
gemäß dieser
mathematischen Zusammenhänge
erhaltenen Ergebnisse sind in dem Diagramm der
Die
Diese
Parallaxe p, nämlich
die Differenz der Abstände
der Bildpunkte zwischen dem rechten und dem linken Teilbild eines
stereoskopischen Bildes kann bei digitalen Kameras, insbesondere
computertechnisch sehr gut durch Auszählung der Pixel bestimmt werden.
Bei den Randbedingungen, dass die Entfernung a des Objektes
Die
Darin
sind p1 und p2 die
stereoskopischen Parallaxen an den beiden Beobachtungs- beziehungsweise Bildaufnahmepositionen
Die Gleichung E6 bildet die Grundlage für das erfindungsgemäße Verfahren, wonach ein Objekt von zwei in Richtung des Objekts geringfügig auseinander liegenden Positionen stereoskopisch erfasst, die Parallaxe zwischen den jeweils zwei Teilbildern beider stereoskopischen Aufnahmen durch Auszählen der Pixel sowie Multiplikation dieser Pixelzahl mit der Pixeldurchgröße bestimmt und schließlich hieraus die Entfernung des Objektes abgeleitet werden kann. Allerdings sind hierbei gewisse Grenzbedingungen zu beachten. Sofern sich nämlich beide Parallaxen hinsichtlich ihres Wertes sehr stark annähern, also p1 gegen p2 strebt, geht die mit der Gleichung zu errechnende Entfernung gegen unendlich, das heißt es ist keine Tiefenauflösung mehr gegeben und eine zuverlässige Entfernungsbestimmung nicht mehr möglich. Da bekanntermaßen die Parallaxe sich mit zunehmender Nähe eines stereoskopisch betrachteten beziehungsweise aufgenommenen Objektes stark erhöht, ist auch für Fälle, in denen p1 sehr viel größer als p2 ist (p1 >> p2), eine zuverlässige Entfernungsbestimmung nicht mehr möglich. Das Objekt befindet sich dann zu nahe an dem Kamerasystem K, wobei in diesem Falle ohnehin auch andere, in den vorstehenden Erläuterungen genannte Randbedingungen, zum Beispiel, dass die Entfernung sehr groß gegenüber dem Abstand Δx der Messpositionen und auch sehr groß gegenüber der Basisbreite, also dem Abstand b zwischen beiden Kameras eines Stereobildsystems sein soll, verletzt werden. Hingegen erhält man eine sehr gute Tiefenauflösung, sofern die Werte beider Parallaxen einerseits nicht annähernd gleich, aber andererseits nicht zu verschieden sind, das heißt die Bedingung p >> p2 erfüllt ist. Die zulässige Größe des Unterschiedes zwischen beiden Parallaxen p1 und p2 wird dabei im Wesentlichen von dem für die Messung zugelassenen relativen Fehler bestimmt.The equation E6 forms the basis for the method according to the invention, according to which an object is detected stereoscopically from two positions slightly apart in the direction of the object, the parallax between the respective two partial images of both stereoscopic images is determined by counting the pixels and multiplying this pixel number by the pixel size finally, from this the distance of the object can be derived. However, certain boundary conditions must be observed. If, in fact, both parallaxes approach very strongly in terms of their value, ie, p 1 tends towards p 2 , the distance to be calculated using the equation approaches infinity, that is, no depth resolution is given and reliable distance determination is no longer possible. Since, as is known, the parallax strongly increases with increasing proximity of a stereoscopically observed or recorded object, a reliable distance determination is no longer possible even for cases in which p 1 is much larger than p 2 (p 1 >> p 2 ). The object is then too close to the camera system K, in which case other boundary conditions mentioned in the above explanations, for example, that the distance very large compared to the distance .DELTA.x of the measuring positions and also very large compared to the base width, ie the distance b between two cameras of a stereo imaging system should be injured. On the other hand, a very good depth resolution is obtained, provided that the values of both parallaxes on the one hand are not nearly equal, but on the other hand are not too different, that is, the condition p >> p 2 is satisfied. The permissible size of the difference between the two parallaxes p 1 and p 2 is determined essentially by the relative error permitted for the measurement.
Die
Für die Realisierung
des Abstandes Δx
zwischen den Bildaufnahmepositionen
Die
Die
Eine
gegenüber
der zuvor erläuterten
Ausführungsform
etwas modifizierte Ausführungsform
ist durch die
In
einem letzten Ausführungsbeispiel
soll die Entfernungsbestimmung für
ein Objekt erläutert
werden, dessen Verbindungslinie zum Beobachter beziehungsweise Kamerasystem
von der Horizontalen abweicht. Dies ist durch die
Gegenüber Radar- und LIDAR-Methoden kann man aber den Fotos genau entnehmen, welche Wolke tatsächlich gemessen wurde. Eine vorherige Auswahl der Wolke kann vom Meteorologen mittels Bildschirm erfolgen. Bei stark abnehmenden Winkeln φ wird die Messung immer einfacher und nähert sich den horizontalen Bedingungen immer stärker. Da sich die Wolken sehr schnell bewegen und auch verändern, ist die Synchronisation der Kameras unbedingt notwendig. Die schnelle Veränderung der Wolkenstruktur ermöglicht genaue Messungen, wobei das Bild einer Kamera auf einem Bildschirm verfolgt werden kann, was eine Auswahl der Wolke ermöglicht und so Vorteile gegenüber anderen Verfahren, wie zum Beispiel LIDAR aufweist. Der beobachtende Meteorologe könnte so auf einem Bildschirm die Auswahl für die Ausrichtung der Kameras überwachen und die Aufnahme auslösen. Auch eine kontinuierliche Messung und elektronische Aufzeichnungen der Ergebnisse bereiten keine Schwierigkeiten. Weiterhin kann auch der Bedeckungsgrad genau bestimmt werden. Dieses Verfahren bietet die Möglichkeit, schnell und genau auch die Höhen der Wolken in unterschiedlichen Schichten, die sich auch in verschiedene Richtungen bewegen können, zu bestimmen. Eine solche Anlage sollte auch die Bestimmung der Sichtweite an meteorologischen Stationen sehr erleichtern und gegenüber der Kontrastschätzung eine wesentlich höhere Genauigkeit aufweisen.Opposite Radar and LIDAR methods but you can see exactly the photos, which Cloud actually was measured. A prior selection of the cloud may be made by the meteorologist done by screen. At strongly decreasing angles φ the Measurement is getting easier and closer the horizontal conditions more and more. Because the clouds are very move quickly and also change, is the synchronization of the cameras absolutely necessary. The fast change the cloud structure allows accurate measurements, taking the picture of a camera on a screen can be tracked, which allows a selection of the cloud and so advantages over other methods, such as LIDAR. The observing Meteorologist could so monitor on a screen the selection for the orientation of the cameras and trigger the recording. Also a continuous measurement and electronic records of Results do not pose any difficulties. Furthermore, also the Covering degree can be determined exactly. This procedure offers the Possibility, fast and accurate also the heights the clouds in different layers, which are also different Can move directions, to determine. Such a facility should include the determination of Visibility at meteorological stations much easier and compared to the contrast estimate a much higher one Have accuracy.
Die
Liste der verwendeten Bezugszeichenlist of used reference numerals
- 1, 21, 2
- BildaufnahmepositionImage capture position
- 33
- Objektobject
- 44
- Umlenkspiegeldeflecting
- 55
- Strahlenteilerbeamsplitter
- 66
- Schiff mitship With
- 77
- Bugbow
- 88th
- HeckRear
- 99
- Fahrzeug (Kfz oder Triebkopf Lokomotive)vehicle (Car or locomotive locomotive)
- 1010
- Steuer- und Auswerteeinheit mitTax- and evaluation with
- 11, 11'11 11 '
- Auswerteeinheitevaluation
- 1212
- Verarbeitungseinheitprocessing unit
- 1313
- SpeicherStorage
- 1414
- Steuereinheitcontrol unit
- 1515
- Displaydisplay
- 1616
- Bildschirmscreen
- aa
- Entfernungdistance
- bb
- Basisbreitebase width
- B1, B2, B3, B4B1, B2, B3, B4
- Bilderimages
- KK
- Kamerasystem mit K1 bis K4 Camera system with K 1 to K 4
- ll
- effektiv wirksame Entfernungeffectively effective removal
- p1, p2 p 1 , p 2
- Parallaxeparallax
- R, L, R', L'R L, R ', L'
- Teilbilder (Teilbildsysteme)fields (Panel systems)
- Δt.delta.t
- Zeitintervalltime interval
- vv
- Geschwindigkeitspeed
- ΔxAx
- Abstand zwischen Bildaufnahmepositionendistance between image pickup positions
- α, φ, ϧα, φ, ϧ
- Winkelangle
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200610005231 DE102006005231A1 (en) | 2006-02-02 | 2006-02-02 | Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200610005231 DE102006005231A1 (en) | 2006-02-02 | 2006-02-02 | Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102006005231A1 true DE102006005231A1 (en) | 2007-08-16 |
Family
ID=38265844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200610005231 Withdrawn DE102006005231A1 (en) | 2006-02-02 | 2006-02-02 | Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102006005231A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011017707A1 (en) | 2011-04-28 | 2012-10-31 | Robert Bosch Gmbh | Method for detecting object e.g. concrete post in vicinity of camera for monitoring rear side region of vehicle, involves reading images captured by cameras after partially illuminating with illumination patterns |
DE102021005335A1 (en) | 2021-10-26 | 2023-04-27 | Mercedes-Benz Group AG | Procedure for compensating for measurement errors |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4921349A (en) * | 1987-06-30 | 1990-05-01 | Sonoma Technology | Photographic method for monitoring visibility through measurement of transmittance and path radiance |
DE4308776A1 (en) * | 1992-03-23 | 1993-09-30 | Fuji Heavy Ind Ltd | System for monitoring the condition external to the vehicle using an image taken by several television cameras |
EP0691534A1 (en) * | 1994-07-06 | 1996-01-10 | Volkswagen Aktiengesellschaft | Method of visibility determination in particular for vehicle movement |
DE19801884A1 (en) * | 1998-01-20 | 1999-07-22 | Mannesmann Vdo Ag | CCTV monitoring system for blind spots around motor vehicle |
EP1028387A2 (en) * | 1999-02-12 | 2000-08-16 | Robert Bosch Gmbh | Device for recognizing the environment, in particuliar for recognising traffic road signs |
DE10219788C1 (en) * | 2002-05-03 | 2003-11-13 | Bosch Gmbh Robert | Method and device for measuring visibility with image sensor systems |
-
2006
- 2006-02-02 DE DE200610005231 patent/DE102006005231A1/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4921349A (en) * | 1987-06-30 | 1990-05-01 | Sonoma Technology | Photographic method for monitoring visibility through measurement of transmittance and path radiance |
DE4308776A1 (en) * | 1992-03-23 | 1993-09-30 | Fuji Heavy Ind Ltd | System for monitoring the condition external to the vehicle using an image taken by several television cameras |
EP0691534A1 (en) * | 1994-07-06 | 1996-01-10 | Volkswagen Aktiengesellschaft | Method of visibility determination in particular for vehicle movement |
DE19801884A1 (en) * | 1998-01-20 | 1999-07-22 | Mannesmann Vdo Ag | CCTV monitoring system for blind spots around motor vehicle |
EP1028387A2 (en) * | 1999-02-12 | 2000-08-16 | Robert Bosch Gmbh | Device for recognizing the environment, in particuliar for recognising traffic road signs |
DE10219788C1 (en) * | 2002-05-03 | 2003-11-13 | Bosch Gmbh Robert | Method and device for measuring visibility with image sensor systems |
Non-Patent Citations (2)
Title |
---|
McGlone, C. et al. (2004):"Manual of Photogramme- try" (5. Auflage), S. 1026-1029 |
McGlone, C. et al. (2004):"Manual of Photogrammetry" (5. Auflage), S. 1026-1029 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011017707A1 (en) | 2011-04-28 | 2012-10-31 | Robert Bosch Gmbh | Method for detecting object e.g. concrete post in vicinity of camera for monitoring rear side region of vehicle, involves reading images captured by cameras after partially illuminating with illumination patterns |
DE102021005335A1 (en) | 2021-10-26 | 2023-04-27 | Mercedes-Benz Group AG | Procedure for compensating for measurement errors |
DE102021005335B4 (en) | 2021-10-26 | 2023-11-09 | Mercedes-Benz Group AG | Method for compensating measurement errors |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006003538B3 (en) | Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section | |
DE102017130566A1 (en) | Visual system for detecting a vehicle environment | |
DE102011053999B4 (en) | Motor vehicle with a driver assistance system and a detection system | |
EP2805183B1 (en) | Method and device for visualizing the surroundings of a vehicle | |
EP2040220B1 (en) | Method for detecting obstacles | |
DE10244148A1 (en) | Method and device for video-based observation and measurement of the lateral surroundings of a vehicle | |
DE102016208025B4 (en) | Method for detecting traffic signs | |
DE112010005565T5 (en) | Parking assistance device, parking assistance system and parking assistance camera unit | |
DE102013221696A1 (en) | Method and device for determining a height profile of a road ahead of a vehicle | |
WO2012152475A1 (en) | Method and device for calibrating a projection device of a vehicle | |
DE102009019399B4 (en) | Method for automatically determining at least one target variable describing the change in the position of a motor vehicle | |
DE102012200262A1 (en) | System and method for providing environmental information of a vehicle | |
DE102013010010B4 (en) | Method for operating a driver assistance system for maneuvering and/or parking | |
DE102012023060A1 (en) | Method for detecting moving object in surrounding region of motor vehicle e.g.passenger car, involves determining vector values within the respective interval values, such movable object is detected based on histogram | |
DE102011118171A1 (en) | Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device | |
DE102013202915A1 (en) | Method for measuring parking space for parking assistance system of motor vehicle, involves determining free parking area within parking space depending on positions of two corners and detection of obstacles within two blind ranges | |
DE102006005231A1 (en) | Method for determination of distance of an object, involves stereoscopic analysis of two picture fields comprising digital camera pictures, which are recorded by stationary camera system | |
DE102014208272A1 (en) | Method and apparatus for tracking-based visibility estimation | |
DE102010034127A1 (en) | Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle | |
DE102010019146A1 (en) | Method for detecting an environment of a vehicle | |
DE102014018364A1 (en) | Device and method for assisting a driver of a vehicle, in particular a utility vehicle | |
DE102018202753A1 (en) | Method for determining a distance between a motor vehicle and an object | |
EP3833576B1 (en) | Surveillance camera system | |
DE102007024752B4 (en) | Method for driver information in a motor vehicle | |
DE102020107949A1 (en) | Field of view assist image generation apparatus and image conversion method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8130 | Withdrawal |