DE102010051602A1

DE102010051602A1 - Verfahren zur Erfassung von Merkmalen in der Umgebung

Info

Publication number: DE102010051602A1
Application number: DE102010051602A
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-11-16
Filing date: 2010-11-16
Publication date: 2012-05-16

Abstract

Bekannte Verfahren sind unzuverlässig in der Positionsbestimmung von Merkmalen (5). Durch das neue Verfahren sollen Merkmale (5) deutlich hervorgehoben werden. Durch Vergleich von mind. zwei Aufnahmen mit unterschiedlichen Kamerastandorten und/oder unterschiedlicher Beleuchtung werden Merkmale (5) deutlich vom Hintergrund getrennt und in der Entfernung bestimmt. Genutzt werden auch Stereotechnik und Blitzlicht. Das Verfahren ermöglicht es, Merkmale (5) in einem Überwachungsbereich zuverlässig zu erkennen und in der Position zu bestimmen. Z. B. Personen vor einer Maschine oder im Nahbereich vor einem Fahrzeug.

Description

Es ist bekannt zur Erfassung von Merkmalen in der Umgebung vorzugsweise optische Systeme, wie Kameras oder Laserscanner einzusetzen. Die Umgebung, bspw. in Fahrtrichtung vor einem Fahrzeug oder im Gefahrenbereich vor einer stationären Einrichtung, kann aber auch mit Radarsensoren oder Ultraschallsensoren erfasst werden. Optische Sensoren haben im Vergleich zu Radar und Ultraschall üblicherweise eine höhere Auflösung und werden gern zur zweidimensionalen oder dreidimensionalen Erfassung oder Vermessung von Räumen, Gebäuden, Objekten usw. oder auch bspw. nur von charakteristischen Merkmalen auf Oberflächen genutzt. Zu den optischen Sensoren zählen nachfolgend auch solche, die im ultravioletten oder infraroten Bereich arbeiten. Mit Umgebung ist nachfolgend das Umfeld vor der umgebungserfassenden Einrichtung, insbesondere der Bereich, der von besonderem Interesse ist, gemeint. Es muss also nicht die vollständige Umgebung sein. Zu den Merkmalen zählen z. B. erkennbare Kanten, Linien, Flächen, Marken, stationäre oder bewegliche Objekte, auch Immobilien oder Teile davon, Personen und dergl. Bei einer Darstellung der Merkmale durch eine Kamera, werden in der Regel zwei Dimensionen aufgenommen. Kanten und Linien, also quasi eindimensionale Merkmale, werden zumindest durch ihren Kontrast wahrgenommen. Merkmale können sowohl in der Einzahl als auch in der Mehrzahl auftreten, auch wenn nachfolgend nur eine von beiden Formen genannt wird. Es ist von Interesse, Merkmale zu beschreiben, zu erkennen und/oder ihre Position in der Umgebung festzustellen. Die Erfassung von Merkmalen in der Umgebung bezieht sich in der Regel zunächst auf den aufnehmenden Sensor, z. B. eine Kamera. Sobald die Merkmale in der Kamera deutlich geworden sind, ist somit auch die Ausrichtung in Bezug auf die Kamera relativ einfach festzustellen. Für die Bestimmung der Positionen in Bezug auf die Kamera werden in der Regel Richtung und Entfernung gesucht. Diese Entfernungsbestimmung ist mit einer zweidimensional arbeitenden Kamera zunächst schwierig.
Wenn die Umgebung gut ausgeleuchtet ist, arbeiten Kamerasysteme in der Regel passiv, d. h. ohne selbst aktiv Energie, z. B. in Form eines Blitzes auszusenden. Radar, Laser und Ultraschall dagegen müssen Energie abstrahlen und sind auf die Reflexion dieser Energie angewiesen. Bei ungünstigen Lichtverhältnissen ist es aber auch für Kameras erforderlich, die interessante Szene in der zu untersuchenden Umgebung für die Aufnahmezeit, z. B. mit einem Blitz aus einem Blitzgerät zu bestrahlen.
Gelegentlich wird zur Erfassung der Umgebung die Stereotechnik eingesetzt, die jedoch auch ihre Nachteile hat. In der Regel gibt es in den Aufnahmen zu viele Kontraste, die zu Mehrdeutigkeiten und auch zu anderen Fehlern führen. Die Auswertung ist sehr kompliziert und unzuverlässig. Es ist nicht möglich, mit der Stereotechnik eine Wand zu erkennen, wenn auf dieser Wand keine Kontraste vorhanden sind.
Der Erfindung liegt die Aufgabe zugrunde, die genannten Nachteile zu vermeiden und die Erfassung von Merkmalen in der Umgebung mit geringem Aufwand zu verbessern. Insbesondere sollen Merkmale zuverlässig erkannt werden und in ihrer Position bestimmt werden.
Diese Aufgabe wird erfindungsgemäß durch die in Anspruch 1 aufgeführten Merkmale gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
Erfindungsgemäß werden zur Erfassung von Merkmalen in der Umgebung nach Anspruch 1 mindestens eine Kamera und eine Auswerteeinheit verwendet. Mit der Auswerteeinheit können mind. zwei Aufnahmen verglichen werden. Für die Auswerteeinheit bietet sich bspw. ein elektronischer Rechner mit Speicher und geeignetem Programm an. Von der gesamten Umgebung oder von einem Teil der Umgebung werden mind. zwei Aufnahmen gemacht, die anschließend verglichen werden können.
Merkmale können vorteilhaft dadurch festgestellt werden, dass die Differenz zwischen den beiden Aufnahmen gebildet wird. Da die Kamera in der Regel nicht die vollständige Umgebung, sondern nur einen Teil der Umgebung aufnimmt, ggf. eine Szene aufnimmt, sollte die Kamera für die Aufnahmen im wesentlichen auf die gleiche Szene oder vergleichbare Szene ausgerichtet sein.
Zur Unterscheidung von mind. zwei Aufnahmen kann mind. eine der beiden Aufnahmen in dem Aufnahmespeicher gespeichert werden. Es ist vorteilhaft, die Aufnahmen zunächst abzuspeichern und dann die Inhalte der Aufnahmespeicher zu vergleichen. Der Vergleich erfolgt zweckmäßigerweise in der Auswertereinrichtung, z. B. mit einem geeigneten elektronischen Rechner. Die in den Aufnahmen sich entsprechenden Pixel können so voneinander in ihrem Pegel abgezogen werden, dass ein Differenzbild entsteht. Die Bereiche, die in den beiden Aufnahmen etwa die gleiche Intensität, mit anderen Worten Helligkeit oder Pegel haben, werden in dem Differenzbild einen sehr kleinen Pegel haben bzw. quasi ganz verschwinden.
Wenn die Aufnahmen tatsächlich gleich sind, wird sich in der Differenzbildung nichts darstellen. Das Signal ist quasi null. Da aber vorzugsweise Differenzen dargestellt werden sollen, müssen sich die Bedingungen für die Aufnahmen unterscheiden. Dieses kann dadurch geschehen, dass für die Aufnahmen unterschiedliche Standorte oder mit einem Beleuchtungskörper die Szene für mind. zwei Aufnahmen unterschiedlich beleuchtet wird. Der Beleuchtungskörper, z. B. ein Blitzgerät, kann dabei nur für eine oder mehrere Aufnahmen genutzt werden oder auch seinen Standort wechseln. Durch unterschiedliche Kamerastandorte bzw. Beleuchtung werden Kontraste und Merkmale im Vergleich der Aufnahmen bzw. in der Differenzbildung offenbart und in ihrer Position festgestellt.
Vorteilhaft zur Bestimmung des Abstandes zu Merkmalen ist nach Anspruch 2 die Anwendung der Stereotechnik. Eine Stereokamera enthält typischerweise zwei Kameras. Vollständiger ist jedoch die Anwendung von drei oder sogar weiteren Kameras. Die Kameras können dabei nebeneinander bzw. übereinander angeordnet sein, aber auch eine Anordnung hintereinander ist möglich.
Grundsätzlich ist auch die Anwendung nur einer Kamera möglich, wobei diese Kamera für die einzelnen Aufnahmen ihre Position dann ändern muss. Nachfolgend wird das Verfahren einfachheitshalber überwiegend nur mit zwei Kameras, die nebeneinander angeordnet sind, beschrieben. Die anderen vorgenannten Konstellationen sind ebenso anwendbar und vorteilhaft.
Interessant ist die Anwendung dieser Technik auch dann, wenn eine Szene, idealerweise eine relativ plane Ebene, z. B. eine Fahrbahn oder eine Wand in bekannter Entfernung beobachtet wird, z. B. um Hindernisse darauf oder andere Objekte davor festzustellen. Zunächst wird von mind. einer Aufnahme, die mit einer anderen verglichen werden soll, eine Entzerrung derart durchgeführt, dass die Kontraste, Strukturen und Details auf dieser Ebene auf der einen Aufnahme gleichen Pixeln der anderen Aufnahme zugeordnet werden. Somit werden beide Aufnahmen sozusagen deckungsgleich. Wenn dann noch beide Aufnahmen in dem gleichen Licht erstellt wurden, hat das den Vorteil, dass dann bei einer Differenzbildung sich die Merkmale in dieser Ebene gegenseitig auslöschen (Auslöschungsebene). Es ist dabei auch möglich, dass diese Szene uneben ist oder dass einige Objekte oder Merkmale dauerhaft in der Szene vorhanden sind. Auch für diese Unebenheiten oder Merkmale, die sich in einer anderen Entfernung oder Ebene befinden, lässt sich eine Entzerrung der Aufnahmen derart vornehmen, dass bei einer Differenzbildung eine Auslöschung auftritt. Es sind im Prinzip in mehreren Bereichen der Szene unterschiedlich weit entfernte Ebenen möglich, sodass mehrere unterschiedliche Ebenen in zwei Aufnahmen in der Differenzbildung ausgelöscht werden können. Es können also auch mehrere Auslöschungsebenen in verschiedenen Entfernungen nebeneinander bestehen.
In einfacher Weise lassen sich nun zwei Aufnahmen miteinander vergleichen, die sich trotz verschiedener Standorte, aber wegen der Entzerrung, in der Differenzbildung auflösen müssen. Dies gilt vorzugsweise für eine Standard- oder Referenzszene.
Der Vorteil liegt nun darin, dass sich neue, zusätzliche Merkmale in ihrer Position und Entfernung sehr schnell offenbaren: Wenn nun nämlich ein Merkmal bspw. in einem geringeren Abstand als in der bekannten Entfernung in der Szene auftaucht, erfolgt an dieser Stelle keine Auslöschung. Die Abweichung wird durch die einfache Differenzbildung festgestellt. Die auffälligen Vergleiche eines Pixels in der einen Aufnahme mit mehreren Pixeln in der anderen Aufnahme, wie es in der Stereoauswertung sonst notwendig ist, können somit entfallen.
Wenn ein interessantes Merkmal festgestellt wurde, kann die Entfernung des Merkmals sowohl in der entzerrten, als auch in der nicht-entzerrten Vorlage nach dem bekannten Verfahren der Stereotechnik berechnet werden. Vorteilhaft ist nun jedoch, dass man nicht die Entfernung aller Details in der Aufnahme berechnen muss, sondern dass man sich nun auf das interessante Merkmal allein konzentrieren kann. Bedeutungsvoll ist eine derartige Entzerrung mit Differenzbildung bspw. um Hindernisse über oder auf einer Fahrbahn zu detektieren. Die Kamera oder Kameras können dabei von einem Fahrzeug heraus direkt nach unten oder vorzugsweise auch schräg nach vorn in die Fahrtrichtung gerichtet sein. Die Fahrbahn ist dann eine bekannte Ebene, die jedoch geneigt ist. Wenn das Fahrzeug nicht zu sehr wankt, wird die geneigte Ebene, also die Fahrbahn, in ihrer Lage in Bezug auf das Fahrzeug auch während der Fahrt gleich bleiben. Im Auswerter muss für diese Ebenenanordnung eine Entzerrung für die Aufnahmen, je nach Kameraposition, vorgenommen werden. Ein Hindernis auf der Fahrbahn wird durch einen Kontrast aufgenommen. Die Differenzbildung führt dann nicht zu einer Auslöschung und somit wird das Hindernis festgestellt. Das Hindernis ist umso näher an den Kamerapositionen, je größer die Merkmalsverschiebung in zwei Aufnahmen zueinander ist.
Grundsätzlich können Merkmale in ihrer Entfernung bestimmt werden, wenn sie sich vor oder hinter einer Szene oder einer virtuell oder rechnerisch gebildeten Ebene befinden.
Die Auslöschung von zwei Aufnahmen in der Differenz lässt sich für eine bestimmte Ebene auch dadurch realisieren, dass die zwei benachbarten Kameras so ausgerichtet werden, dass sich ihre optischen Achsen in dieser Ebene treffen. Die „Auslöschungsebene” ist allerdings nicht wirklich plan, sondern gebeugt, was in der Praxis in einem gewissen Umfang toleriert oder durch optische oder rechnerische Korrekturen ausgeglichen werden kann.
Mind. eine Aufnahme wird nach Anspruch 3 mit künstlicher Beleuchtung erstellt. Die Beleuchtungsstärke und/oder Beleuchtungszeit sind entsprechend den Erfordernissen anzupassen. Hierfür ist die Verwendung eines Blitzgerätes bzw. des Blitzlichtes oder kurz Blitz geeignet. Für einen Vergleich wird eine weitere Aufnahme mit oder ohne Blitz herangezogen. Es können zwei Aufnahmen mit Blitz gemacht werden, dann muss der Blitz jedoch aus einer anderen Richtung auf die Szene fallen, sodass sich andere belichtete und nicht belichtete Oberflächen bilden.
Der Vorteil dieses Vergleiches der Bilder ist, dass die Unterschiede in dem Differenzbild sehr deutlich werden. Man kann dabei auch das Vorzeichen berücksichtigen, sodass negative oder positive Differenzen entstehen können. Bedeutend sind gerade die größeren Beträge in der Differenz. Wenn ein Wert besonders groß ist, ggf. auch eine bestimmte Schwelle überschritten hat, sind die Veränderungen durch die Blitzlichttechnik besonders deutlich geworden. Somit ist es relativ leicht möglich, die Unterschiede einfach durch die Subtraktion herauszustellen. Dieser Vorgang hilft erheblich, die Aufnahmeauswertung zu vereinfachen und zu beschleunigen. Vorteilhaft ist dabei, dass sich Aufnahmen mit unterschiedlichen Blitzpositionen oder auch im Vergleich zu einer nicht-geblitzten Aufnahme, die Merkmale durch Aufhellung (typ. zweidimensional) und/oder durch Schattenbildung (typ. dreidimensionales Merkmal) deutlicher zu erkennen geben, als in einer einzelnen Aufnahme. Die Erfassung dieser Merkmale ist mit einer einzelnen Aufnahme schwieriger bzw. nicht möglich.
Der Begriff Blitz ist relativ weit zu fassen. In der Regel wird die Beleuchtung für die Aufnahme nur für die sehr kurze Öffnungszeit der Kamera benutzt. Daher ist dann der Begriff Blitz angemessen. In vielen Fällen ist es jedoch so, dass eine künstliche Beleuchtung gerade in der Dämmerung oder auch nachts vorgesehen ist, um einen zu überwachenden Raum so zu erhellen, dass eine Person die gesuchten Details oder Merkmale erkennen kann. Das gilt insbesondere auch für das Fahrlicht an Fahrzeugen. Für die Aufnahme ohne Blitz kann dann, z. B. am Fahrzeug das Fahrlicht für eine sehr kurze Zeit ausgeschaltet werden. Beim Ausschalten im Bereich von bis zu einigen Hundertstel Sekunden wird dies von Mensch praktisch kaum wahrgenommen. Geeignet dafür sind Beleuchtungen mit LEDs. In diesem Fall ist dann also die Phase mit Blitz sehr lang bzw. der typische Zustand und die Phase ohne Blitz sehr kurz.
Allein dadurch, dass eine der beiden Aufnahmen nicht geblitzt ist, ergeben sich unterschiedliche Darstellungen. Grundsätzlich ist es auch möglich statt ohne Blitz mit reduziertem Blitz zu arbeiten. Der Unterschied zum Blitz mit voller Leistung ist dann allerdings geringer. Es ist dann vorteilhaft, dass die ohne Blitz ist sehr kurz. Leistungsunterschiede bekannt sind, damit trotzdem die Blitzwirkung für die Erfassung genutzt werden kann.
Während bei dem natürlichen Licht bspw. eine Landschaft oder auch eine industrielle Umgebung sowohl im Vorder- als auch im Hintergrund etwa gleich hell dargestellt sind, werden bei einer Aufnahme mit Blitz die Oberflächen im entfernten Hintergrund nicht oder kaum aufgehellt, aber die Marken im Vordergrund, also mit geringem Abstand zum Blitzgerät werden deutlich aufgehellt in der Farbe des Blitzlichtes. Vorteilhaft ist dadurch, dass sich hiermit andere Kontraste erstellen, die bspw. mit einer Stereokamera wieder in ihrer Entfernung bestimmt werden können oder dass allein aufgrund der Helligkeitsunterschiedes zwischen erster und zweiter Aufnahme, sich Merkmale anders darstellen und somit hervorgehoben werden und besser erkennbar sind. Dadurch, dass von der Aufnahme mit Blitz die Aufnahme ohne Blitz abgezogen wird, ergibt sich als Differenz die reine Wirkung des Blitzes.
Nicht nur die allgemeine Aufhellung in einem breiten Spektrum des Blitzlichtes kann genutzt werden. Wenn das Blitzlicht nur ein bestimmtes, schmales Spektrum hat, kann es ausreichend sein, die Blitzwirkung nur in diesem bestimmten Spektrum festzustellen.
Wenn nach Anspruch 4 zwei Aufnahmen mit Blitz von einem Merkmal gemacht werden und sich der Abstand des Blitzgerätes von der ersten Aufnahme zur zweiten Aufnahme in einem bekannten Umfang in Richtung auf das Merkmal verändert hat, kann die Entfernung zu dem Merkmal durch die Helligkeitsunterschiede in den beiden Aufnahmen festgestellt werden. Dabei kann man nun vereinfacht davon ausgehen, dass das Blitzgerät für den Abstrahlungsbereich ein punktförmiger Strahler ist. Wenn das Blitzgerät nicht punktförmig ist oder gleichzeitig mehrere Blitzgeräte verwendet werden, gelten die nachfolgenden Betrachtungen in angepasster Weise. Es ist jedoch eine andere Blitzlichtverteilung im Raum zu berücksichtigen. Das Blitzen zur Entfernungsbestimmung kann z. B. nachts ausreichend sein, wenn es kein Störlicht gibt. Vorteilhaft ist jedoch bei vorhandenem, quasi natürlichen Licht, durch die Sonne oder durch Lampen mind. eine weitere Aufnahme ohne Blitz zu machen, sodass dann das störende Licht in der Entfernungsbestimmung herausgerechnet werden kann. Die Blitzlichtaufnahmen werden somit von dem störenden Licht befreit. Die Entfernungsbestimmung nutzt dann die Aussage, dass das Licht des Blitzes mit dem Kehrwert des Abstandes zu den Merkmalen die Oberfläche der Merkmale im Quadrat aufhellt. Mit anderen Worten: Bei halbem Abstand wirkt das Blitzlicht auf der gleichen Oberfläche vierfach heller.
Zur Erkennung von Merkmalen vor einem Fahrzeug bietet es sich an, zeitlich nacheinander zu blitzen. Wenn die zweite Aufnahme gemacht wird, nachdem das Fahrzeug eine bekannte Strecke in Richtung auf die Merkmale zurückgelegt hat, wird mehr Blitzlichtenergie auf die Merkmale bzw. auf die Szene fallen und dadurch werden die Merkmale heller. Bei stationären Einrichtungen bietet sich eher die Anwendung mit zwei Blitzen hintereinander an. Es lässt sich somit auch die Entfernung zwischen Merkmal und Kamera bestimmen, wenn die Position der Kamera in Bezug auf das Blitzgerät bekannt ist.
Wenn eine Kamera nach Anspruch 5 auf eine Ebene ausgerichtet ist, wie bspw. eine Kamera an einem Fahrzeug, die schräg auf die Fahrbahn vor dem Fahrzeug schaut, dann wird der nahe Bereich der Ebene, bspw. im unteren Teil der Kameraaufnahme abgebildet und der ferne Bereich, z. B. der Horizont, entsprechend weiter am oberen Teil der Aufnahme. Der Begriff „Ebene” steht hier und nachfolgend nicht nur für die strenge, mathematische plane Ebene oder einen zweidimensionalen Vektorraum, sondern auch für schiefe oder gewellte, gebogene Ebenen oder Flächen, im Sinne einer geometrisch bestimmten oder natürlichen Oberfläche. Wenn Merkmale durch Vergleich von mind. zwei Aufnahmen festgestellt werden, kann bevorzugt bei Merkmalen, die die Ebene berühren oder darauf stehen, z. B. bei Objekten oder Personen, der Abstand von der Kamera zum Merkmal dadurch bestimmt werden, dass festgestellt wird, wie weit das Merkmal im unteren bzw. oberen Teil der Aufnahme erscheint. Über die Position, also die Höhe in der Aufnahme, lässt sich die Entfernung zum Merkmal berechnen. Dabei ist jedoch zu beachten, dass für die Entfernungsbestimmung der untere Teil des Merkmals genutzt wird. Wenn es sich bspw. bei dem Merkmal um eine stehende Person handelt, müssen für die Entfernungsbestimmung die Füße auf dem Fußboden betrachtet werden und nicht der Kopf. Die Person kann durch ihren Schatten auf der Fahrbahn erkannt werden. Dazu ist es günstig, dass das Blitzgerät von der Seite auf die Szene mit der Person ausgerichtet ist. Es reicht dann eine Aufnahme mit Blitz und eine ohne Blitz, um den Schatten herauszustellen. Es können aber auch zwei Aufnahmen mit Blitz erstellt werden. Dabei kann dann bspw. einmal von links und einmal von rechts geblitzt werden. Hier ergibt sich dann entsprechend ein rechter und einmal ein linker Schatten bereits an den Füßen der Person.
In einer weiteren vorteilhaften Ausgestaltung lässt sich aber die Person oder ein anderes Merkmal schon durch eine direkte Aufhellung von der Ebene sichtbar trennen. Bspw. wird bei einer Aufnahme ohne Blitz, aber Beleuchtung von der Decke oder von hinten, die Person oder ein anderes Merkmal selbst nicht frontal beleuchtet. Die Person steht somit mehr oder weniger im Schatten des natürlichen Lichtes. Bei einer Aufnahme mit frontalem Blitz auf die Person, wird die Person aber deutlich heller. In der Differenz lässt sich die Person dann gut von der Ebene trennen. Statt für Personen gilt dieses Beispiel auch für andere Merkmale.
Ein erhabenes Merkmal, z. B. ein Objekt, das sich auf einer Fahrbahn vor einem Fahrzeug, also auf einer bekannten Ebene befindet, kann nach Anspruch 7 sogar dann mit Hilfe der Erfindung erkannt werden, wenn es sich an sich im Remissionsgrad nicht wesentlich von dem Remissionsgrad der Fahrbahn unterscheidet. Wenn die Kamera dabei flach, also überwiegend mehr oder weniger auf den Horizont ausgerichtet ist und das Merkmal, z. B. ein Objekt oder eine Person, eine ausreichende Erhebung über der Fahrbahn darstellt, wird im Gegensatz zu der nicht-geblitzten Aufnahme eine geblitzte Aufnahme die Person im Vordergrund sehr viel mehr aufhellen, als den entfernten Hintergrund.
Auch wenn Personen und Fahrbahn etwa die gleiche Remission haben und somit die Füße der Personen auch die gleiche Helligkeit haben wie die Fahrbahn und somit die Person zunächst von der Fahrbahn nicht zu unterscheiden ist, wird jedoch der Oberkörper mehr Blitzenergie abbekommen, als der entfernte Hintergrund. Insbesondere mit Nutzung einer Stereokamera kann der Kontrast insbesondere des Oberkörpers zur direkten Ermittlung der Entfernung herangezogen werden. In der Stereotechnik spricht man auch von einer Kamera (Stereokamera), obwohl in der Regel zwei Kameras intern genutzt werden. Beide Kameras sind in der Regel dicht benachbart. Das Verfahren ist aber auch geeignet, wenn größere Abstände zwischen den Kameras bestehen (Basis).
Das Stereoverfahren funktioniert dann gut, wenn deutliche Kontraste vorhanden sind. Insbesondere bei ähnlichen Remissionsgraden und diffuser Beleuchtung können sich jedoch Merkmale nicht deutlich hervorheben. Daher ist nach Anspruch 8 die Verwendung von Blitzlicht, ggf. auch von mehreren Blitzen an verschiedenen Orten in Kombination mit dem Stereoverfahren, besonders nützlich. Auch Merkmale, die quasi bei Tageslicht oder üblicher, künstlicher Beleuchtung schlecht erkennbar sind, können durch die Schatten und Kontrastbildung durch einen Blitz oder mehrere Blitze mit Stereokameras besser erkannt werden.
Die Aufnahmen von z. B. linker und rechter Kamera, jeweils mit und ohne Blitz, also jeweils 4 Aufnahmen, ergeben neben den beiden Stereoaufnahmen auch einen Vergleich (z. B. Differenzbildung) von den Aufnahmen der linken Kamera mit und ohne Blitz sowie einen Vergleich von den Aufnahmen der rechten Kamera mit und ohne Blitz.
In einer weiteren Ausgestaltung ergeben sich mit weiteren Aufnahmen, ggf. auch mit weiteren Kameras und Blitzgeräten an verschiedenen Orten, weitere Vergleichsmöglichkeiten von Aufnahmen. Selbst das Ergebnis eines Vergleiches (z. B. Differenz) kann mit anderen Aufnahmen oder anderen Differenzen verglichen werden. Somit wird schließlich das Merkmal in seiner Position deutlicher bestimmt.
Auch dadurch, dass nach Anspruch 10 die Kamera bei zwei Aufnahmen einmal näher bzw. einmal weiter entfernt ist, kann die Position zum Merkmal bestimmt werden. Der Zusammenhang ist umgekehrt proportional: Bei Verdoppelung des Abstandes zwischen Kamera und Merkmal halbiert sich das Merkmal auf der Aufnahme in Höhe und Breite. Auch hier liefern Differenzen aus Aufnahmevergleichen mit und ohne Blitz die deutlichere Darstellung der Merkmale. Die Verwendung von einer Kamera bietet sich an, wenn die Kamera verschoben werden kann oder bspw. auch für fahrende Fahrzeuge. Das Maß der Annäherung (Weg) wird dann durch die zurückgelegte Fahrstrecke bestimmt. Mit zwei Kameras, die in bekanntem Abstand angebracht und auf das Merkmal ausgerichtet sind, kann die Entfernung zu dem Merkmal bestimmt werden, auch wenn nur einmal geblitzt wird. Beide Kameras machen dann zeitgleich Aufnahmen.
Vorteilhaft ist es auch, wenn sich Kamera und Blitzgerät in Bezug auf die Merkmale annähern, denn hier gilt, dass bei Halbierung des Abstandes von Kamera und Blitzlichtgerät zu den Merkmalen, sich die Merkmale in Höhe und Breite verdoppeln müssen und sich die Wirkung des Blitzlichtes durch vierfache Reflexion bemerkbar macht.
Auch um den Einfluss von störendem Fremdlicht gering zu halten, ist es in einer weiteren Ausgestaltung von Vorteil, die Blitzenergie möglichst schmalbandig zu nutzen. Die Kamera sollte natürlich besonders in dem schmalbandigen Bereich empfindlich sein.
Besonders wirkungsvoll ist nach Anspruch 12 das Arbeiten im UV- und/oder Infrarotbereich. Das Sonnenlicht und auch die für uns Menschen gedachte künstliche, elektrische Beleuchtung sind im UV- bzw. Infrarotlicht kaum vorhanden oder relativ schwach. Als Blitzlicht bieten sich deswegen UV oder Infrarot an, weil sie vom Menschen kaum oder nicht wahrgenommen werden. Vorteilhaft ist auch mit LED-Blitzen zu arbeiten, da sie von Natur aus auch in schmalbandigen Varianten vorhanden sind.
Für die Kamera bieten sich in einer weiteren Ausgestaltung entsprechend schmalbandige Filter an. Fremdlicht kann aber auch z. T. mit Hoch- und Tiefpassfiltern unterdrückt werden. Das Filter kann dann die gesamte Aufnahme oder nur einen Teil der Aufnahme abdecken. So kann ein Filter in dem oberen Bereich eine andere Wirkung haben, als in dem unteren Bereich. Wenn z. B. die Kamera vor einem Fahrzeug schräg nach vorn auf die Fahrbahn (Szene) gerichtet ist, werden entfernte Merkmale anders wahrgenommen, als nahe Merkmale. Wenn das Filter elektrisch verstellbar oder wechselbar ist, kann man mit einer Kamera zwei unterschiedliche Aufnahmen machen bzw. die Wirkung des Filters feststellen. Einen ähnlichen Vorteil hat die Verwendung von Farbkameras, bspw. mit einer Empfindlichkeit auf blau, grün und rot. Wenn dann nur mit einer bestimmten Farbe geblitzt wird, lässt sich die Blitzwirkung dadurch nachweisen, dass diese Farbe aufgehellt wird und die anderen Farben nicht. Kontraste können auch dadurch besonders hervorgehoben werden, dass mit unterschiedlichen Frequenzen, so einmal auch im blau-, rot-, oder grün-Bereich gearbeitet und verglichen wird. Bei Nutzung von entsprechenden Filtern können dann auch schwarz/weiß Kameras in den verschiedenen Farben Kontraste erkennen.
Wenn die Remission der Oberfläche der Merkmale in der Umgebung bekannt ist, kann nach Anspruch 14 auch sogar die Blitzwirkung auf diesen Merkmalen als Maß für den Abstand zu den Merkmalen herangezogen werden. Bei bekannter Blitzwirkung kann die in der Kamera empfangene Helligkeit zur Entfernungsabschätzung oder -messung, genutzt werden. Die Blitzwirkung lässt sich durch Subtraktion von Aufnahme mit Blitz und Aufnahme ohne Blitz – also nur mit quasi natürlicher Beleuchtung – bestimmen. Es ist dabei von Vorteil für die Messgenauigkeit, wenn das Blitzlicht deutlich heller ist als die natürliche Beleuchtung auf den Oberflächen.
Die Erfindung lässt sich in einer weiteren Ausgestaltung auch mit Laser, Ultraschall oder Radar kombinieren. Alle Verfahren haben Ihre Vor- und Nachteile. In Kombination kann die Schwäche des einen durch den anderen ausgeglichen werden. Auch hier ergibt sich eine Redundanz, die zu höherer Zuverlässigkeit durch eine Überprüfung führt.
Wenn nach Anspruch 16 die Größe eines Merkmals an sich bekannt ist, kann das Merkmal in der Entfernung besser bestimmt werden, sobald es sich durch die verschiedenen Aufnahmen bzw. deren Vergleich von der Umgebung abhebt. Insbesondere bietet sich die Auswertung von sog. Landmarken zur Navigation von Fahrzeugen an. In der Regel ist besonders die Höhe der Landmarke eindeutiger als die Breite, wenn man nicht genau weiß, wie die Landmarke zum Fahrzeug gedreht ist.
Bekannte Merkmale in der Umgebung können in einer weiteren Ausgestaltung vorteilhaft als Referenz genutzt werden. Dieses dient einmal zur Funktionsüberprüfung und ist somit sicherheitsrelevant. Das bekannte Merkmal muss dabei in der erwarteten Entfernung und/oder Richtung detektiert werden. Zum anderen kann auch der Remissionsgrad des Merkmals zur Kalibrierung genutzt werden, um ggf. Bewertungen oder Messungen genauer durchzuführen.
Somit kann durch Kalibrierung an einem Merkmal mit bekanntem Remissionsgrad in bekannter Entfernung die Auswertung mit Blitz und Kamera derart kalibriert werden, dass ein anderes Merkmal mit bekannter Remission, aber bisher aus unbekannter Entfernung, in der Entfernung bestimmt werden kann.
Außer der Sicherheitsüberprüfung bieten sich die bekannten Merkmale in einer weiteren Ausgestaltung auch zur Ortsbestimmung bzw. zur Navigation bspw. von Fahrzeugen an.
Einen besonderen Vorteil erzielt man in einer weiteren Ausgestaltung dabei bei Verwendung von retroreflektierenden Oberflächen. Sie strahlen das Licht fast ausschließlich in die Richtung des Blitzes zurück. Der Kontrast der Retroreflektoren ist sogar gegenüber matten, weißen Oberflächen extrem. Reflexionsmarken bieten sich besonders als sog. Landmarken zur Navigation von Fahrzeugen an.
Eine besondere Störquelle sind Spiegel. Spiegel oder Spiegelflächen können in einer weiteren Ausgestaltung von den Retroreflektionsmarken dadurch unterschieden werden, dass Spiegelreflektionen aus Sicht der Kamera auf einem fahrenden Fahrzeug mitwandern. Retroreflektionsmarken hingegen behalten ihren bekannten Standort. Bei stationären Anwendungen der Kamera kann durch Blitzgeräte an verschiedenen Orten oder auch durch die Anwendung von zwei Kameras an verschiedenen Orten die Reflexion an der spiegelnden Oberfläche in unterschiedlichen Richtungen festgestellt werden. Bspw. wird bei Stereokameras die Reflexion nicht auf dem Spiegel selbst, sondern scheinbar in gleicher Entfernung dahinter vermutet.
Durch Verwendung von Blitzgeräten an verschiedenen Orten werden unterschiedliche, scheinbare Reflexionsorte vermutet. Dadurch offenbart sich die Spiegelfläche. Bei retroreflektierenden Marken hingegen ergibt sich nur eine sichtbare Reflexion, wenn das Blitzgerät direkt in der Nähe der Kamera ist.
Unter gewissen Bedingungen kann es in einer weiteren Ausgestaltung von Vorteil sein, bereits vorhandenes Fremdlicht für die Aufnahmen zu nutzen. Es ist bekannt, dass einige elektrische Lichtquellen mit der Netzfrequenz bzw. dem Zweifachen der Netzfrequenz ein- und ausgeschaltet werden. So kann die Unterbrechung oder die Lichtphase des Fremdlichtes für jeweils eine Aufnahme genutzt werden. Zusätzlich kann mind. eine weitere Aufnahme mit Blitz erstellt werden. Die Aufnahmen stellen im Vergleich die Merkmale besser heraus.
Bei einigen, besonders bei mobilen Anwendungen gilt nach Anspruch 22, dass Merkmale, die bisher nicht im Bereich des Blitzgerätes lagen, bei Annäherung durch das Blitzgerät stärker aufgehellt werden und sich so deutlicher von dem Untergrund oder Hintergrund abheben. Merkmale werden so früher oder später durch die veränderten Lichtverhältnisse und damit verbundene Kontrast- und Schattenwerte offenbart.
Es ist also vorteilhaft, die Erfassung der Marken durch weitere Aufnahmen fortzusetzen. Dies dient nicht nur allgemein zur Steigerung der Genauigkeit, sondern ggf. auch zur Aufdeckung von Schwächen oder Fehlern. So können durch ungünstige Konstellationen, bspw. durch fremde und störende Lichtquellen, insbesondere Licht- und Schattenwirkung der Sonne, Fehler auftreten, die sich erst durch weitere Aufnahmen aufdecken lassen. Dabei ist es gerade in der Hinderniserkennung von Vorteil, dass die Wirkung des Blitzes im nahen Bereich besonders intensiv ist. In größerer Entfernung ist die Wirkung des Blitzes geringer, sodass auch in der Differenzbildung von zwei Aufnahmen mit bzw. ohne Blitz kaum Unterschiede deutlich werden. Glücklicherweise ist in größerer Entfernung auch die Erkennung von Hindernissen eher von untergeordneter Bedeutung.
Die fortgesetzte Erfassung der Umgebung, insbesondere mit Blitz, unterstützt die laufende Erkennung der Positionsveränderung, z. B. von beweglichen Objekten. Bewegt sich ein Objekt in Bezug auf die Kamera, so kann mit dem bisherigen Verlauf der Positionsveränderungen, also der bisherigen Bewegung, ggf. auch die zukünftige Bewegungstendenz vorhergesagt werden.
Befinden sich Kamera und Blitz auf einem Fahrzeug, können aus der Positionsveränderung des Fahrzeugs Beschleunigung und Geschwindigkeit in den translatorischen und rotatorischen Achsen bestimmt werden.
Der Vorteil der Erfindung liegt in dem Vergleich von mind. zwei Aufnahmen. Die Unterschiede werden besonders deutlich, wenn beide Aufnahmen quasi voneinander abgezogen und eine Differenz gebildet wird. Dies gilt sowohl für zwei unterschiedliche Blitzaufnahmen, aber auch für die Differenzbildung von einer Aufnahme mit Blitz und die Subtraktion durch eine weitere Aufnahme ohne Blitz.
Für den Vergleich von zwei Aufnahmen ist es in einer weiteren Ausgestaltung wichtig, geeignete Voraussetzungen zu schaffen. Es kann notwendig sein, dass die Aufnahmen zueinander in der Empfindlichkeit angepasst werden müssen. Wenn bspw. eine geblitzte Aufnahme mit einer ungeblitzten verglichen wird, dann darf die Blitzaufnahme nicht wegen der aufgehellten Merkmale im Vordergrund automatisch unempfindlicher werden. Es ist vorteilhaft als Referenz für die Empfindlichkeit einen Bereich zu wählen, der vom Blitz praktisch nicht beeinflusst ist, z. B. der entfernte Hintergrund. Dort wirkt sich in beiden Aufnahmen praktisch nur das natürliche Licht oder Tageslicht aus. Jetzt lässt sich die Differenz von beiden Aufnahmen so bilden, dass in der Differenz der Hintergrund kein Signal zeigt. Die Aufnahme im Vordergrund zeigt dann den Einfluss des Blitzes. Bei Vergleich von zwei Aufnahmen mit Blitz kann ebenfalls der Hintergrund als Referenzwert genutzt werden oder Orte, an denen der Einfluss des Blitzes in beiden Aufnahmen gleich ist.
Alle anderen Flächen, die dann insbesondere durch den Blitz unterschiedlich aufgehellt worden sind, können voneinander abgezogen werden. Somit heben sich durch unterschiedliche Licht- und Schatteneffekte mit dem Blitz die Merkmale deutlich hervor.
Statt des weit entfernten Hintergrundes kann es sich auch anbieten, eine näher gelegene Fläche mit bekanntem Remissionsgrad zu verwenden. Geeignet sind Referenzflächen, die nicht für die Merkmalsfindung verwertet werden. Eine solche Fläche kann benutzt werden, um insbesondere für Aufnahmen mit Blitz die gewünschte Empfindlichkeit zu wählen. Bspw. ist es vorteilhaft, zur Erfassung von Merkmalen, z. B. Objekten, auf einer Ebene, z. B. einer Fahrbahn, die Blitzaufnahme im Vergleich zur nichtgeblitzten Aufnahme so in der Empfindlichkeit zu regeln, dass der zu untersuchende Bereich auf der Fahrbahn in beiden Aufnahmen gleich hell ist. Merkmale, insbesondere Objekte, die dann durch den Blitz besonders beleuchtet werden, heben sich dann besser von dem Hintergrund ab. Insbesondere Schatten werden sich dann in den Aufnahmen deutlicher abheben. Diese Regelung bietet sich auch an, wenn man zwei Blitzaufnahmen miteinander vergleicht.
Die zusätzliche Kontrastbildung durch den Blitz bietet sich in einer weiteren Ausgestaltung grundsätzlich für die Erkennung von Situationsänderungen an. Wenn bspw. Kamera und Blitzgerät in bekannter Weise angeordnet sind und eine bekannte Ebene überwachen und von der Ebene eine Aufnahme mit Blitz erstellt wird, dann wird, je nach Anordnung des Blitzgerätes, ein Merkmal, je nach Position, ggf. auch einen Schatten erzeugen und dadurch oder auch durch die Aufhellung des Merkmals erkannt. Die Anordnung kann dabei stationär sein und die Ebene vor einer Maschine überwachen oder sich auch auf dem Fahrzeug befinden und die Ebene vor dem fahrenden Fahrzeug kontrollieren. Dies kann zum sog. Tracken, also zum Verfolgen, und ggf. auch zur Zielabschätzung genutzt werden. Eine Wiederholung bzw. Fortsetzung der Aufnahmen und Vergleiche erhöht die Zuverlässigkeit und/oder Genauigkeit der Erfassung.
Die Anwesenheit von Merkmalen, z. B. Objekten, in der Nähe einer Maschine oder eines Fahrzeugs, lässt sich vorteilhaft nach Anspruch 25 dadurch feststellen, dass mind. eine Kamera mehr oder weniger senkrecht auf eine Ebene ausgerichtet ist und diese Ebene, z. B. die Fahrbahn oder den Fußboden, betrachtet. Durch mind. zwei Aufnahmen, wovon mind. eine Aufnahme mit Blitz erfolgt, lässt sich dieses Merkmal gut in seiner Position bzw. in den Koordinaten bestimmen.
Dies gilt insbesondere dann, wenn das Merkmal relativ groß ist und nahe an die Kamera bzw. an das Blitzgerät herankommt und dadurch stärker aufgehellt wird als die Ebene. Vorteilhafterweise lässt sich von erhabenen Merkmalen, z. B. Objekten, die Position bestimmen, wenn der Blitz die Szene eher von der Seite bestrahlt. Dann bildet das Objekt oder auch eine stehende Person einen Schatten auf dieser Ebene. Ein Schatten oder mehrere Schatten können durch verschiedene Blitzlichter in mehreren Aufnahmen gebildet werden. Aber auch die Differenz mit einer nicht-geblitzten Aufnahme lässt die Position des Merkmals deutlich werden. Die Erfassung von Merkmalen funktioniert natürlich auch dann, wenn die Ebene nicht horizontal, sondern senkrecht oder beliebig geneigt ist. Vorteilhaft ist es, wenn die Kamera mehr oder weniger rechtwinklig oder senkrecht über der Ebene steht.
An sich wird das Verfahren durch Fremdblitzer gestört. Abhilfe ergibt sich in einer weiteren Ausgestaltung dadurch, dass in irgendeiner Weise, z. B. gesteuert über eine Zentrale oder durch Synchronisation auf dem Fremdblitzer die eigenen Aufnahmen getriggert werden. Möglicherweise handelt es sich bei dem Fremdblitzer um eine ähnliche Einrichtung, sodass sich eine Abstimmung anbietet.
Auch Blitzgeräte haben häufig keine ausreichend gleichmäßige Verteilung ihrer Lichtenergie. Häufig ist das Licht am Rand des Betrachtungsfeldes schwächer als im Zentrum. Durch eine Kalibrierung und entsprechende Berücksichtigung in der Auswertung werden in einer weiteren Ausgestaltung ausreichende Korrekturen erreicht.
Wenn sich ein Fahrzeug mit Blitzgerät und Kamera auf ein stehendes Merkmal, z. B. auf ein Objekt auf der Fahrbahn zubewegt, kann mit zwei Aufnahmen nacheinander, bei denen das Blitzgerät einmal weiter entfernt vom Objekt und einmal näher am Objekt ist, die Entfernung zum Objekt berechnet werden. Man muss allerdings auch die Distanz zwischen den beiden Blitzgerätpositionen kennen.
Wenn nach Anspruch 28 das Objekt jedoch nicht steht, sondern sich mit eigener Geschwindigkeit auf das Fahrzeug zubewegt, nimmt die Helligkeit stärker zu als bei einem stehenden Fahrzeug. In der Auswertung wird das Objekt näher berechnet, als es tatsächlich ist. Die schnellere Helligkeitszunahme kann somit vorteilhaft für die sicherere Auslegung in der Hinderniserkennung verwendet werden.
Umgekehrt verhält es sich, wenn sich das Objekt mit der gleichen Geschwindigkeit wie das Fahrzeug bewegt, sodass quasi das Fahrzeug mit konstantem Abstand dem Objekt folgt. Dann ergibt der Vergleich von mehreren Aufnahmen, dass sich die Helligkeit des Objektes nicht ändert. Das Objekt ist demnach scheinbar unendlich weit entfernt und somit ist auch keine Kollision zu erwarten. Die Anwendung trifft auch zu, wenn es sich statt Objekt um ein anderes Merkmal handelt und wenn sich das Merkmal statt auf ein Fahrzeug auf eine stationäre Anordnung aus Kamera und Blitzgerät zubewegt.
In einer weiteren Ausgestaltung kann seine wahre Entfernung aus der Helligkeitsänderung durch das Blitzlicht bestimmt werden, wenn die Geschwindigkeit des obigen Merkmals bekannt ist. Wenn dagegen die Entfernung des Merkmals bekannt ist, kann die Geschwindigkeit des Merkmals aus der Helligkeitsveränderung bestimmt werden. Wenn die Größe des Merkmals bekannt ist, können Geschwindigkeit, Entfernung und sogar aus der Bewegungshistorie die Ausrichtung oder Bewegungsbahn, z. B. eines Fahrzeugs bestimmt werden.
Optische Systeme haben in der Regel Probleme mit Niederschlägen wie Regen und Schnee, insbesondere dann, wenn Kamera und Blitzlicht nahe beieinander sind. Schneeflocken und Regentropfen im kurzen Abstand vor der Kamera bzw. dem Blitzgerät strahlen ungewöhnlich stark auf und machen die Aufnahme ggf. unbrauchbar. Für Anwendungen im Außenbereich ist es daher nach Anspruch 30 von Vorteil, wenn Kamera und Blitzgerät ausreichend weit voneinander entfernt werden.
Wenn Kamera und Blitzgerät schräg auf eine glänzende oder spiegelnde Ebene gerichtet sind, wird das Blitzlicht überwiegend so reflektiert, dass es nicht von der Kamera aufgenommen wird.
Der glänzende Bereich wird dann mehr oder weniger als schwarzes Loch wahrgenommen. In einer weiteren Ausgestaltung hilft es, dass das Umfeld, soweit es überwiegend matt ist, das Blitzlicht teilweise so reflektiert, dass es von der Kamera erkannt wird und somit wird indirekt auch glänzende oder spiegelnde Ebene erkannt. Auf diese Weise kann der Auswerter das „schwarze Loch” erkennen und bei Anwendung an einem Fahrzeug bspw. die Geschwindigkeit reduzieren oder das Fahrzeug ganz stoppen lassen. Der Glanz auf der Fahrbahn kann bspw. durch Feuchtigkeit, Wasser, Eis oder Öl verursacht sein. Auch glänzende Objekte, insbesondere spiegelnde Objekte, sind für optische Systeme teilweise problematisch. Wenn die Reflexion des Blitzlichtes nicht direkt in die Kamera fällt, wird es in der Regel eher nutzlos oder störend in den Raum reflektiert. Vorteilhaft ist aber die Nutzung des Blitzes, insbesondere in diesem Fall in der Anwendung mit der Stereotechnik. Es können immerhin noch die Kontraste gegenüber der matten Umgebung erkannt werden und für die Entfernungsbestimmung zu dem Objekt genutzt werden.
Wenn eine spiegelnde oder glänzende Oberfläche angeblitzt wird, wird dies häufig in der Aufnahme als besonders heller, aber kleiner Bereich oder auch Blitzfleck aufgenommen. Der Rest der Oberfläche, z. B. eines Merkmals, profitiert nicht davon. Ggf. bleibt das Merkmal unerkannt oder kann nicht richtig in der Entfernung bestimmt werden. Abhilfe schafft das Anblitzen aus verschiedenen Richtungen und/oder die Verwendung von mehreren beabstandeten Kameras nach Anspruch 32. Jeder Blitz erzeugt in jeder Aufnahme einen hellen Bereich, einen Blitzfleck. Im idealen Fall können z. B. 5 Blitzgeräte und 5 Kameras mit 25 hellen Blitzflecken das Merkmal, z. B. auf einer planen Oberfläche, kennzeichnen.
Wenn die Positionen der Blitzgeräte und Kameras zueinander bekannt sind, lässt sich aus dem Abstand der Blitzflächen zueinander, auch die Entfernung zum Merkmal berechnen. Dazu muss aber auch die Krümmung der Oberfläche bekannt sein.
Die Bekleidung von Personen ist glücklicherweise selten glänzend. Fahrzeuge, Maschinen, Verkleidungen von Immobilien und dergl. haben jedoch häufig eine glänzende oder spiegelnde Lackoberfläche. Derartige Merkmale werden umso besser wahrgenommen, wenn sie aus möglichst vielen und möglichst unterschiedlichen Richtungen angeblitzt und aufgenommen werden. Aus dem Durchmesser und der Helligkeit des Blitzflecken kann man nicht nur auf den Glanz bzw. die Spiegelqualität der Oberfläche, sondern auch auf die Entfernung schließen, wenn die Eigenschaften des Blitzgerätes und die Einstellung der Kamera bekannt sind.
Die Energie des Blitzlichtes muss in einer weiteren Ausgestaltung nicht unnütz vergeudet werden. Insbesondere nachts ist das störende Fremdlicht schwächer, sodass ggf. mit weniger Blitzlichtenergie gearbeitet werden kann. Dies gilt insbesondere dann, wenn mit sichtbarem Licht gearbeitet wird und sich Personen in der Umgebung durch das Blitzlicht gestört fühlen.
In der Regel ergeben sich im direkten Sonnenlicht genügend Kontraste, sodass man bspw. mit der Stereokamera auch Merkmale in ihrer Entfernung bestimmen kann. Interessant ist die Anwendung des Blitzes bei Sonnenlicht, insbesondere um Merkmale im Gegenlicht oder allgemein den Schatten bei Sonnenlicht aufzuhellen. Dadurch lässt sich in der Differenzbildung zwischen der Aufnahme mit Blitz und der Aufnahme ohne Blitz der Schatten besser darstellen.
Es kann evtl. notwendig sein, die Blitzleistung bei Sonnenlicht über das sonst ausreichende Maß zu erhöhen, um auch im Sonnenlicht die Blitzwirkung darzustellen und so Merkmale besser zu erkennen.
Damit nicht einzelne, fehlerhafte Pixelwerte eine Fehlbewertung auslösen ist es nach Anspruch 34 vorteilhaft, die Differenzbildung auch mit den Nachbarpixeln abzustimmen. Dadurch wird ein gewisses Rauschen herausgefiltert. Des weiteren ist es von Vorteil für die Merkmale eine Mindestgröße bzw. Mindestanzahl an benachbarten Pixeln vorauszusetzen. Insbesondere bei sehr unruhigen Oberflächen mit vielen kleinen harten Kontrasten (Pfeffer und Salz), ist eine Bildauswertung sehr schwierig. Es ist dann von Vorteil in entsprechenden Bereichen über eine größere Zahl benachbarter Pixel einen Durchschnittswert für die Helligkeit zu bilden. Der Vergleich von Aufnahmen wird dadurch wesentlich erleichtert, dass dann diese Bereiche einen Mittelwert haben.
Die Pixel können in den Aufnahmen und/oder nach dem Vergleich der Aufnahmen gefiltert werden. Ein zu starker Ausgleich oder eine zu starke Glättung (Filterung) mit den Nachbarpixeln führt allerdings evtl. zu einem Kontrastverlust. Somit wird es dann schwieriger, Kanten- oder Merkmalsgrenze genau in ihrer Lage zu erkennen. Dieser Kontrastverlust führt im allgemeinen, aber insbesondere für die Stereokamera, zu einer ungenaueren Entfernungsbestimmung. Da ist es in einer weiteren Ausgestaltung von Vorteil, den Ausgleich der Pixel, also die Filterung der Helligkeitswerte, bevorzugt nur quer zum Kontrastgefälle oder mit anderen Worten parallel an den Kontrastlinien oder -kanten vorzunehmen. In Richtung Kontrastgefälle erfolgt dann keine Glättung der Pixelwerte. Somit wird der Kontrast deutlich dargestellt.
Es können in einer weiteren Ausgestaltung Schwellwerte oder Schaltpegel für das Differenzbild definiert werden, damit eine Aktivität, z. B. eine Gefahrenmeldung, ausgelöst werden kann, wenn Merkmale diese Werte oder Pegel erreichen.
Nicht alle Bereiche in der beobachteten Umgebung bzw. der Aufnahme müssen interessant sein. Uninteressante Bereiche in den Aufnahmen können in einer weiteren Ausgestaltung von der Differenzbildung und/oder ausgeschlossen werden. Auch diese Maßnahme vereinfacht die Auswertung.
Die Erfindung bietet in einer weiteren Ausgestaltung einen besonderen Vorteil in der Kombination von unterschiedlichen Erfassungen der Umgebung. Somit ergibt sich auch die gegenseitige Überprüfung der Ergebnisse. Diese Überprüfbarkeit ist insbesondere für sicherheitsrelevante Anwendungen von Vorteil. So bieten sich u. a. zur Kombination an:

– Die zusätzliche Kontrastbildung durch einen oder mehrere Blitze. Durch die Abbildung von Schatten bspw. auf einer bekannten Ebene lässt sich mit der Auswertung auf die Entfernung zu schattenbildenden Merkmalen schließen.
– Durch den Blitz werden Kontraste gebildet, die für das Stereoverfahren zur Entfernungsbestimmung notwendig sind.
– Die Entfernungsbestimmung zu Merkmalen, dadurch dass einmal aus geringerer und einmal aus größerer Entfernung zu den Merkmalen geblitzt wird.
– Die Entfernungsabschätzung durch die Aufhellung auf Merkmalen durch den Blitz verwenden, wenn der Remissionsgrad bekannt ist.
– Entfernungsabschätzung, wenn zwei Aufnahmen mit zwei unterschiedlichen Kamerastandorten gemacht werden. Einmal ist die Kamera näher, einmal weiter entfernt zum Merkmal. Wenn die Kamera dichter dran ist, lässt sich über die vergrößerte Merkmalsdarstellung die Entfernung bestimmen. Die Distanz zwischen erstem und zweitem Kameraort muss bekannt sein.

Die Bewertungen können sich in Kombination zur Positionsbestimmung von Merkmalen, insbesondere von Objekten oder anderen Merkmalen auf einer bekannten Fahrbahn oder Ebene, gegenseitig unterstützen.
Vorteilhaft ist nach Anspruch 39 in einer weiteren Ausgestaltung die Verwendung des Blitzes zur Erkennung von retroreflektierenden Merkmalen. Wenn man zwei Aufnahmen erstellt, eine davon mit Blitz und eine ohne Blitz, ergibt sich in der Differenz sehr deutlich die retroreflektierende Oberfläche. Mit retroreflektierenden Oberflächen lassen sich somit besonders schutzwürdige Merkmale ausstatten, z. B. Objekte und/oder Personen.
Zur Vereinfachung der Merkmalserfassung bietet die Digitalisierung nach Anspruch 40 Vorteile. Im Extremfall kann für jedes Pixel eine „schwarz oder weiß” Entscheidung gewählt werden. Dann wird alles, was heller wird als ein bestimmter Grauwert (Schwellwert) als weiß, alles was dunkler ist, als schwarz erklärt. Aufnahmen bzw. Differenzbilder werden in der „1-Bit Auflösung” einfacher und kontraststärker. Die Auswertung kann mit anderen Schwellwerten wiederholt und erweitert werden, damit sich Merkmale besser bestimmen lassen. Statt einer Digitalisierung mit einer Stufe („1-Bit Helligkeitsauflösung”) sind u. U. feine Abstufungen besser. Dies gilt besonders, aber nicht nur, für die Stereotechnik.
Für die Stereotechnik ist es von großem Vorteil, wenn mit der Stereokamera eine Aufnahme (z. B. links und rechts) mit Blitz und eine weitere Aufnahme mit oder ohne Blitz erstellt wird. Wenn beide Aufnahmen, z. B. durch Differenzbildung verglichen werden, ergibt sich üblicherweise ein relativ komplexes Bild mit vielen Grauwerten. Durch die Schwarzweißdigitalisierung entsteht ein einfaches Bild aus „schwarzen” und „weißen” Flächen. Bei geschickter Wahl des Schwellwertes zwischen Weiß und Schwarz, werden die gesuchten Merkmale, z. B. Objekte oder deren Schatten, mit wenigen Schwarzweißübergängen dargestellt. Die Entfernungsbestimmung der Stereotechnik beschränkt sich dann auf die sehr viel geringere Zahl an Schwarzweißübergängen. Die Merkmale lassen sich nun viel schneller in der Entfernung bestimmen, als es bisher bei den vielen Grauwerten notwendig war.
Üblicherweise hat eine einzelne Kamera einen begrenzten Öffnungswinkel und kann nur einen Teil der Umgebung erfassen. In einer weiteren Ausgestaltung kann bspw. bei Verwendung eines sog. Fischauges, mehrerer Kameras oder schwenk- oder kippbarer Kameras, die Erfassung deutlich erweitert werden und evtl. die gesamte Umgebung in Bezug auf den Kamera- und/oder Blitzgerätstandort erfasst werden. Auch rotierende Zeilenkameras sind möglich. Insbesondere der Horizont ist zur Erkennung von Merkmalen, z. B. zur Navigation oder Hinderniserkennung, von Interesse. Dazu ist dann auch mind. ein Blitzgerät für diese Aufgabe entsprechend zu gestalten, sodass die gewünschten Bereiche angestrahlt werden. Diese Anordnung ist insbesondere mit künstlichen, auch retroreflektierenden Landmarken zur Navigation geeignet. Blitzgerät und Kamera müssen dann im senkrechten Öffnungswinkel (Höhe) nur so groß sein, dass sie die Landmarken noch erfassen. Idealerweise kann die horizontale Erfassung bis zu 360° betragen. Wenn Kamera und/oder Blitzgerät schwenkbar sind, kann man im Prinzip mit einer Einheit auskommen, während man bei dem Prinzip Fischauge oder bei Verwendung mehrerer Kameras ggf. den höheren Aufwand für Optik und Kameras hat. Die schwenkbare Lösung hat jedoch den Nachteil, dass ein geeigneter Antrieb und eine genaue Erfassung der Rotation zur Richtungsbestimmung notwendig sind.
Dass mit dem Blitzgerät nur ein Teil der Aufnahme beleuchtet wird, kann von Vorteil sein, wenn das Blitzlicht nur in bestimmten Bereichen nützlich ist und/oder in anderen Bereichen, z. B. für Personen oder Einrichtungen störend ist. Von Vorteil ist es nach Anspruch 42 auch, den Blitz deutlich zu begrenzen, sodass sich in der Umgebung eine Blitzkontur abbildet. Der Blitz kann z. B. mit einer speziellen Blende, u. a. Punkte, Linien oder Muster bilden. Wenn der Blitz z. B. einen horizontalen Streifen bildet und wenigstens eine Kamera dazu mit Abstand über oder unter dem Blitzgerät angeordnet und auf den Horizont ausgerichtet ist, wird der Streifen auf nahen Merkmalen in einer anderen Höhe auf der Aufnahme detektiert, als auf fernen Merkmalen. Somit lässt sich die Entfernung der Aufnahme bestimmen. Auch wenn das Blitzgerät mit der Streifenbildung mehr oder weniger nach oben oder unten ausgerichtet ist, lässt sich die Entfernung bestimmen.
Insbesondere bei vibrierenden, beweglichen oder mobilen Anwendungen, z. B. wenn die Kamera sich auf einem fahrenden Fahrzeug befindet, kann die Kamera zwischen den Aufnahmen ungünstige Bewegungen ausführen, sodass die Aufnahmen, insbesondere durch rotatorische Bewegungen, nicht exakt von der gleichen Pose ausgehen und somit nicht optimal miteinander vergleichbar sind. Durch Feststellung der rotatorischen und/oder translatorische Änderung der Kamerapose lässt sich in einer weiteren Ausgestaltung dieser Fehler für den Vergleich der Aufnahmen, z. B. in der Auswerteeinrichtung, berücksichtigen und korrigieren. Bei rein rotatorischen Bewegungen reicht evtl. ein Verschieben oder Drehen der zu vergleichenden Aufnahmen.
Wenn sich die Kamera von einer zur nächsten Aufnahme über eine größere Strecke bewegt, ist es ggf. vorteilhaft, die neue Perspektive durch entsprechende Entzerrung mind. einer Aufnahme zu berücksichtigen.
Es ist nach Anspruch 44 von Vorteil, Merkmale so zu gestalten bzw. zu nutzen, dass ihre Ausrichtung erkannt werden kann. Die Pose des Merkmals kann dann an sich schon einen Vorteil haben, z. B. beim Ausrichten oder Einrichten gegenüber dem Merkmal oder der Umgebung, aber auch zum Navigieren oder Bestimmen des Ortes bzw. der Pose von Kamera und/oder Blitzgerät. Merkmale, die eine Richtungserkennung zulassen, können u. a. sein: Fahrbahnmarkierungen, Leitplanken, z. T. auch Schilder, Wände und dergl. Besondere Merkmale, z. B. künstliche Landmarken, lassen ihre Ausrichtung gut erkennen insbesondere, wenn sie mit Retroreflektoren ausgestattet sind und sich so mit dem Blitzlicht besonders deutlich darstellen. Vorteilhaft ist im Gegensatz zur Detektion mit Laserscanner, dass im Vergleich von geblitzter und nicht geblitzter Aufnahme auch die Höhe des Merkmals erfasst und genutzt werden kann.
Besonders geeignet sind auch dreidimensionale Merkmale, die je nach Betrachtungsrichtung auch ihre Ausrichtung erkennen lassen. Prinzipiell kann die Pose von Kamera und/oder Blitzgerät schon an einem dieser Merkmale bestimmt werden. Genauer wird die Bestimmung allerdings, wenn mehrere bekannte Merkmale dieser Art genutzt werden.
Mit einer Kamera, die mehr oder weniger horizontal ausgerichtet ist, lässt sich in einer weiteren Ausgestaltung die Entfernung eines Merkmals bestimmen, wenn die Montage- oder Positionshöhe des Merkmals bekannt ist. Wichtig ist, dass das Merkmal z. B. auch eine natürliche oder künstliche Landmarke deutlich über oder unter der Betrachtungs- oder Bewegungsebene der Kamera liegt, sodass bei Annäherung das Merkmal mit einer deutlichen Winkeländerung zu dieser Ebene gesehen wird. Zwei Landmarken dieser Art sind bereits ausreichend zur Eigenpositionsbestimmung eines Fahrzeugs.
Ein drittes Merkmal und weitere Merkmale können ggf. eine Mehrdeutigkeit aufheben, die Messgenauigkeit verbessern und/oder den Aktionsbereich erweitern. Die Positionen der Landmarken müssen bekannt sein. Vorteilhaft ist es, wenn Kamera und Blitzgerät einzeln oder in einer Vielzahl den gesamten Horizont erfassen. Andernfalls, wenn Kamera und Blitzgerät auf einem Fahrzeug z. B. nur nach vorn oder nach vorn und hinten ausgerichtet sind, müssen ggf. mehr Landmarken verwendet werden oder die Strecke ist sehr begrenzt. Eine Sensorfusion mit Odometrie ist evtl. vorteilhaft oder notwendig.
Retroreflektoren können von Lampen oder anderen selbstleuchtenden Körpern in einer weiteren Ausgestaltung dadurch unterschieden werden, dass sie nur dann aufleuchten, wenn sie angeleuchtet werden. Bei einer vergleichbaren Aufnahme, jedoch ohne Blitz, leuchten hingegen nur die Lampen auf. Im Vergleich von Aufnahme mit Blitz und Aufnahme ohne Blitz wird z. B. in der Differenzbildung der Unterschied sehr schnell deutlich.
Ein Merkmal kann vorteilhafterweise nach Anspruch 47 auch dadurch festgestellt werden, dass überprüft wird, ob alle Bereiche oder sogar Pixel die erwartete Helligkeit aufweisen. Das gilt beim Suchen von Merkmalen, aber insbesondere auch zur Feststellung von Abweichungen bspw. zur Feststellung von Hindernissen. Auf einer grauen Fahrbahn wird man von den fahrbahnzugeordneten Pixeln in der Aufnahme nur die Information „Grau” erwarten. Wenn jedoch eine andere Helligkeit oder Farbe angezeigt wird, wird ggf. nach Überschreiten einer bestimmten Toleranz schließlich ein Merkmal erkannt.
Die Erwartung, dass dieser betroffene Pixelbereich tatsächlich grau ist, kann ggf. der Auswerteeinrichtung von außen vorgegeben werden, z. B. durch eine Anweisung, eine Eingabe oder durch eine Karte. Welche Helligkeit erwartet wird, kann aber auch erlernt sein, z. B. dadurch dass die betrachtete Fahrbahn bisher immer hellgrau gewesen ist und weiterhin auch nur hellgraue Töne erwartet werden. Bekannte Abweichungen, wie Flecken auf der Fahrbahn oder Übergänge auf andere Fahrbahnuntergründe (Asphalt/Beton) können dann ggf. nicht als Störung oder Hindernis erkannt sondern können u. U. sogar als Referenzen oder Wegmarken genutzt werden. Bei einer Lernfahrt oder sich wiederholenden Fahrten können die zu erwartenden Helligkeiten ortsabhängig abgespeichert werden. Somit ergeben sich zum einen Referenzen oder auch Landmarken, zum anderen können dann davon abweichende ortsabhängige Helligkeiten als Störungen gedeutet werden.
Helligkeitsänderungen in der Umgebung werden besonders deutlich durch die sich ändernde Sonneneinstrahlung im Tagesverlauf, z. T. auch durch die entsprechende Licht- und Schattenbildung oder auch durch künstliche Beleuchtung in der Umgebung. Bei entsprechender Intelligenz der Auswerteeinrichtung und/oder zugeführten Informationen oder Anweisungen an die Auswerteeinrichtung können die Helligkeitsänderungen ggf. in der Aufnahme berücksichtigt werden. Unter Einwirkung des Blitzes muss dann die Ebene in einer weiteren Ausgestaltung, je nach Betrachtungswinkel und Entfernung und Remission, die bestimmte erwartete Helligkeit wiedergeben. An einem anderen Ort kann dann ggf. eine andere Helligkeit der Fahrbahn erwartet werden. Ortsabhängig kann dann auch tagesabhängig bspw. noch das Sonnenlicht berücksichtigt werden. Die Auswerteeinrichtung kann dabei die Information über die Beleuchtungsverhältnisse über einen eigenen Sensor gewinnen, u. a. aber auch aus einer intelligenten Auswertung der Aufnahme. Bspw. kann die situationsabhängige Helligkeit auch an bekannten Merkmalen, z. B. bekannten Landmarken oder Referenzen bestimmt werden. Vorteilhaft ist, dass die Aufhellung der Merkmale durch das Blitzlicht unabhängig von der normalen Beleuchtung ist, z. B. durch Sonnenlicht oder durch die Raumbeleuchtung.
Es kann somit festgestellt werden, dass sich auf der Ebene keine Hindernisse befinden, wenn die Aufhellung durch den Blitz wie erwartet auftritt. Die Oberflächen müssen unter Berücksichtigung von Entfernung, Remissionsgrad und Betrachtungswinkel der Kamera sowie der Ausrichtung des Blitzgerätes in der Aufnahme so stark wie erwartet aufgehellt werden.
Diese vorteilhafte Erkennung von Hindernissen über der Fahrbahn gilt natürlich auch für andere Merkmale in der Umgebung.
Das Blitzgerät sollte nach Anspruch 49 so ausgerichtet und gestaltet sein, dass der Blitz im wesentlichen nur den interessanten Bereich aufhellt. Eine darüber hinaus gehende Aufhellung wäre ggf. eine unnötige Energieverschwendung oder könnte auch zu Störungen oder Blendungen anderer Teilnehmer führen. Nachteilig wirkt sich auch aus, dass das Blitzlicht unnötig in der Umgebung, z. B. an Decken und Wänden reflektiert wird und somit die Blitzwirkung in dem zu untersuchenden Bereich sogar stören kann, z. B. dadurch, dass die gewünschte Schattenwirkung nicht zu deutlich wird (Streulicht fällt in den Schattenbereich) oder dass die entfernungsabhängige Aufhellung der Merkmale nicht mehr wie vorgesehen eintritt.
Die Erkennung von Merkmalen wird schon durch die Differenzbildung von zwei Aufnahmen im Vergleich, also zwei geblitzten Aufnahmen oder einer geblitzten und einer nicht geblitzten Aufnahme möglich. Weitere Vorteile bietet die Feststellung der Merkmale mit einer Quotientenbildung Q nach Anspruch 50. Q = P_B/P_oB wobei

Q: anzeigt, um wieviel sich ein Bereich oder ein Pixel in der Aufnahme nur durch den Blitz gegenüber einer Aufnahme ohne Blitz erhellt hat,
P_B: die Aufhellung nur durch den Blitz gemessen an einem Pixel in der Aufnahme und
P_oB: die Helligkeit ohne Blitz gemessen an dem gleichen Pixel in der Aufnahme ist.

Mit Q ergibt sich ein Maß für die Entfernung zwischen Blitzgerät und Merkmal und zwar unabhängig von dem Remissionsgrad der Oberfläche des Merkmals.
Bei Halbierung des Abstandes zwischen Blitz und Merkmal nimmt P_B und somit Q um das Vierfache zu.
Auch eine Quotientenbildung Q_m = P_mB/P_oB wobei

Q_m: anzeigt, um wieviel sich ein Bereich oder ein Pixel in der Aufnahme durch Blitz und Grundbeleuchtung gegenüber einer Aufnahme ohne Blitz, also nur mit Grundbeleuchtung, erhellt hat und
P_mB: die Gesamthelligkeit aus Aufhellung durch Blitz und Grundbeleuchtung an dem Pixel in der Aufnahme ist

Vorteilhaft ist, dass Merkmale in verschiedenen Entfernungen nun durch die unterschiedlichen Quotienten leicht separiert werden können. Pixel, die den gleichen Quotientenwert haben, gehören dann ggf. zu den gleichen Merkmalen, z. B. einem Objekt, einem Hindernis oder einer Person. Pixel, die einen anderen Quotientenwert haben, gehören dann entsprechend zu einem anderen Merkmal oder auch zum entfernten Hintergrund.
Zu beachten ist, dass Merkmale, die nebeneinander stehen, sich nicht durch ihren Quotientenwert unterscheiden. Sie haben die gleiche Entfernung zum Blitzgerät und bilden somit eine gemeinsame Pixel- oder Punktwolke in der bildlichen Darstellung der Quotienten. Diese Merkmale können möglicherweise durch ihre Farbe oder Helligkeit unterschieden werden. In vielen Fällen ist es jedoch nur entscheidend, ob überhaupt ein Merkmal, z. B. ein Objekt oder ein Hindernis, in dem zu überwachenden Raum ist oder nicht.
Vorteilhaft ist in einer weiteren Ausgestaltung die Quotientenbildung zur Entfernungsbestimmung. Jeder Quotient steht für eine entsprechende Entfernung. Der Quotient ist abhängig von der Blitzintensität. Daher ist es vorteilhaft, die Blitzeigenschaften festzustellen und konstant zu halten. Blitzenergie, Remissionsgrad, Kameraempfindlichkeit und Kameradynamik begrenzen die Reichweite der Entfernungsbestimmung, insbesondere bei heller Grundbeleuchtung, z. B. durch Sonnenschein.
Wenn die Quotientenbildung mit weiteren Aufnahmen wiederholt wird und dabei die Entfernung zwischen Blitzgerät und Merkmal um ein bekanntes Maß geändert ist, ergibt sich ein anderer Quotient. Die Änderung dieses Quotienten muss mit der Entfernungsänderung übereinstimmen. Wenn sich Quotient oder Entfernung ändern, kann dies mit der Änderung der jeweils anderen Größe überprüft werden.
Aufnahmen lassen sich in einer weiteren Ausgestaltung dann gut miteinander vergleichen, wenn die Voraussetzungen für die Aufnahmen auch geeignet sind. Insbesondere, wenn Aufnahmen automatisch erstellt werden, ist es bei Beleuchtungen mit Blitzlicht üblich, dass sich aber gegenüber den nicht geblitzten Aufnahmen die Öffnungsdauer der Blende und/oder die Blendenöffnung verkleinern. Um die Wirkung des Blitzes festzustellen, ist es dann im Vergleich jedoch einfacher, wenn sich die Einstellung für die Belichtungszeit und die Blende nicht ändern. Der weit entfernte Hintergrund, der von dem Blitz praktisch nicht aufgehellt wird, bleibt in beiden Aufnahmen, geblitzt oder ungeblitzt, gleich, während der Vordergrund in der geblitzten Aufnahme dann deutlich heller wird. Wenn Blendenöffnung und/oder Öffnungsdauer bei zu vergleichenden Aufnahmen nicht gleich sind, kann mit dem Auswerter oder einem anderen Rechner ggf. mind. eine Aufnahme korrigiert werden, damit eine richtige Differenzbildung erfolgen kann.
Merkmale können am besten bestimmt werden, wenn sie harte Kontraste bilden. Daher ist es von Vorteil nach Anspruch 53, wenn in den Aufnahmen und/oder nach dem Vergleich der Aufnahmen bevorzugt harte Kontraste ausgewertet werden. Kontraste können absolute oder relative Helligkeitsänderungen zwischen benachbarten Pixeln sein.
Wenn zwei Aufnahmen miteinander verglichen werden, werden insbesondere kontraststarke Merkmale, z. B. an ihrem Rand gegenüber dem Hintergrund, ein deutliches Helligkeitsgefälle zeigen. Als Helligkeitsgefälle oder Kontrast kann der Helligkeitsunterschied zwischen benachbarten Pixeln genutzt werden. Wenn der Unterschied absolut und/oder relativ ein bestimmtes Maß überschreitet, liegt ein ausreichender Kontrast vor. Wenn die Suche nach Merkmalen sich in der Auswertung auf ausreichende Kontraste beschränkt, kann häufig der größte Teil der Aufnahme von der weiteren Auswertung ausgeschlossen werden. Dadurch wird die Auswertung deutlich einfacher.
Eine Vielzahl von benachbarten Pixelvergleichen kann eine Kontrastlinie, die quer zum Gefälle verläuft, darstellen. Diese Linie stellt häufig die Kante, Umrandung oder Grenze eines Merkmals dar.
Eine scharfe, kontraststarke Abbildung der Umgebung ist mit der üblichen Kameratechnik nicht im ganzen Bereich vom Vordergrund bis zum Horizont möglich. Diese Beschränkung kann jedoch in einer weiteren Ausgestaltung auch zum Vorteil genutzt werden, indem z. B. durch eine entsprechende Blendenwahl und die entsprechende Fokussierung nur der gewünschte Bereich scharf und kontrastreich abgebildet wird. So ist es bspw. zur Überwachung eines Gefahrenbereiches in der Regel nur notwendig die sehr nahen Merkmale, aber nicht den Hintergrund scharf abzubilden. Dies erleichtert ggf. auch die Auswertung bzw. den Vergleich von zwei Aufnahmen. Wenn bei einem uninteressanten Hintergrund ohnehin keine Kontraste vorhanden sind, werden die beiden zu vergleichenden Aufnahmen hier auch keine nennenswerten Unterschiede zeigen. Es werden nur die Kontraste in dem interessanten Bereich dargestellt, wodurch die Auswertung einfacher wird.
Eine bevorzugte Positionierung von Kamera und Blitzgerät liegt nach Anspruch 55 vor, wenn nahe Merkmale vor dem weit entfernten Hintergrund dargestellt werden können. Das Blitzgerät hellt dann im wesentlichen nur das Merkmal auf, während der Hintergrund unbeeinflusst bleibt. Eine solche Einstellung liegt vor, wenn z. B. zur Überwachung eines Raumes Kamera und Blitzgerät relativ nahe beieinander und auf den Horizont ausgerichtet sind. Kamera und Blitzgerät sind des weiteren z. B. nahe an der Fahrbahn, dem Fußboden oder dergl. positioniert, sodass sich z. B. ein großes Merkmal tatsächlich auch vor dem entfernten Hintergrund darstellen lässt und nicht vor einer anderen nahen Ebene. Der entfernte Horizont wird durch das Blitzgerät nicht oder nur unwesentlich beleuchtet und die Kamera ist ggf. auch auf den näheren, zu überwachenden Raum, im Vordergrund fokussiert. Der Aufnahmebereich kann jedenfalls auch in Höhe und Breite auf den interessanten Bereich begrenzt werden. Eine derartige Konstellation ist z. B. für die Erfassung oder Überwachung eines Raumes, z. B. über einem Fußboden, über einer Fahrbahn oder auch vor einer Wand oder die Überwachung eines Teiles des Raumes nützlich.
Für das Blitzgerät bieten sich inzwischen auch leistungsstarke LEDs an. Sie sind nicht nur stabil, langlebig und effizient, sondern sogar mit steilen Flanken schaltbar und können mit hohen Frequenzen, z. B. einigen MHz, moduliert werden. Sie werden daher auch für die sog. PMD-Technik (Photonic Mixed Devices) mit 1 Pixel oder auch als Pixel Array verwendet. Es ist daher nach Anspruch 56 von Vorteil, ein derartiges Blitzgerät zu modulieren und außer den Kameras für die bisherigen Aufnahmen zusätzlich geeignete Empfänger für die Phasenmessung zu verwenden. Schon mit nur einem derartigen Empfänger (z. B. PMD) kann dann die Entfernung, z. B. zur Fahrbahn vor einem Fahrzeug gemessen werden. Somit lässt sich, wenn die Höhe über der Fahrbahn bekannt ist, auch die Neigung zur Fahrbahn voraus oder zu einem Referenzmerkmal prüfen. Dies ist wiederum z. B. zur Verifizierung der mit den Kameras erstellten Aufnahmen nützlich.
Die Phasenmessung lässt evtl. zunächst Mehrdeutigkeiten in der Entfernungsbestimmung zu, aber in Verbindung mit der Auswertung der Kameraaufnahmen, werden die Mehrdeutigkeiten gelöst und die Entfernungsbestimmungen genauer.
Ohne Mehrdeutigkeiten kann die Entfernungsmessung auch mit der direkten Laufzeitmessung in einer weiteren Ausgestaltung erfolgen. Mit einem LED-Blitz und einzeln gerichteten Laufzeitempfängern sind Entfernungsmessungen zur Unterstützung und Verifizierung der Kameraaufnahmen möglich, auch wenn einzelne Messungen nicht besonders genau sind. Da aber mehrere 1.000 Messungen pro Sekunde durchgeführt werden können, ist über den Mittelwert von vielen Messungen schließlich doch eine hohe Genauigkeit erreichbar.
Wenn das LED-Blitzgerät sowieso für die normalen Kameraaufnahmen vorhanden ist, ist der Mehraufwand für ein einzelnes Modul oder ein Array von phasen- oder laufzeitmessenden Empfangsmodulen günstiger, als die Verwendung von zusätzlichen phasen- oder laufzeitmessenden Empfängern mit eigener Lichtquelle.
In einer weiteren Ausgestaltung wird ein entfernungsmessender Empfänger auf die interessanten Bereiche ausgerichtet. Damit kann auch mit einem 1-Pixel Empfänger nach und nach ein größerer Bereich ausgemessen werden. Somit wird die Merkmalserfassung mit den Kameras unterstützt. Die Nachführung kann zweckmäßigerweise z. B. mit Elektromotoren erfolgen.
Nach Anspruch 59 kann die Ebene, in der Merkmale in der Differenzbildung ausgelöscht werden, in ihrer Entfernung zu den Kameras variiert werden. Dadurch müssen nur noch die Merkmale, die in anderen Entfernungen vorhanden sind, weiter in der Auswertung bearbeitet werden. Dies kann dadurch geschehen, dass die optische Achse mind. einer Kamera derart verändert wird, dass sich die optischen Achsen der Kameras in einer näheren oder weiteren Entfernung treffen. Eine von mehreren Möglichkeiten ist die Verdrehung mind. einer Kamera. Es ist aber auch eine Veränderung in der Pixelauswertung möglich, sodass Pixel in der einen Aufnahme anderen Pixeln in der anderen Aufnahme zugeordnet werden.
Je nach Entfernung, in der die Auslöschung gewünscht ist (Auslöschungsebene), lässt sich in der Differenzbildung die eine Aufnahme gegen die andere Aufnahme verschieben. Bei großen Entfernungen ist die Verschiebung gering, bei geringen Entfernungen entsprechend stärker. Abgesehen davon, dass es bei komplizierten Aufnahmen auch zu Mehrdeutigkeiten in der Stereoauswertung kommen kann, ist es vorteilhaft, die Aufnahmen ggf. in Schritten mit zu- oder abnehmender Verschiebung zu vergleichen. Die Bildbereiche in den Aufnahmen, für die es in den „nicht interessanten” Entfernungen eine Auslöschung gibt, können nach und nach von der weiteren Bildauswertung ausgeschlossen werden. Umgekehrt gilt: In den Aufnahmebereichen, in denen es bei den „interessanten” Entfernungen bzw. Verschiebungen der Aufnahmen gegeneinander zur Subtraktion zu Auslöschungen kommt, liegen ggf. zu beachtende Merkmale vor.
Der Vorteil dieser Ausgestaltung liegt darin, dass ggf. situationsabhängig der interessante Betrachtungsbereich erweitert oder verkürzt werden kann. Bspw. in der Überwachung des Raumes vor einem Fahrzeug kann dieser Raum, je nach Fahrgeschwindigkeit, länger oder kürzer werden. Bei hoher Fahrgeschwindigkeit wird man einen tiefen Raum erfassen müssen. Bei geringer Fahrgeschwindigkeit ist nicht nur der weite, sondern auch der mittlere Bereich uninteressant zur Abschätzung der Gefahrensituation. Dann kann die Auslöschungsebene auf den mittleren Bereiche gelegt werden. Nur der nahe Bereich wird dann beobachtet und ausgewertet.
Damit die Auslöschungen nicht nur in einer mehr oder weniger flachen Ebene stattfinden, sondern die Auslöschung über einen größeren Bereich, also quasi über einen Auslöschungsraum stattfinden, können geringe Disparitäten vernachlässigt werden. Erst größere Disparitäten, die also zu Merkmalen gehören, die außerhalb dieses Raumes liegen, werden dann weiter behandelt. Umgekehrt ist es auch möglich mit der Auslöschungsebene bzw. dem Auslöschungsraum bevorzugt die Merkmale auszuwählen, die von weiterem Interesse sind.
Je nach Vorzeichen und Kontrastübergang (hell auf dunkel oder umgekehrt), kann in dem Differenzbild auch festgestellt werden, ob sich das zugehörige Merkmal vor oder hinter der Auslöschungsebene bzw. dem Auslöschungsraum befindet. Die Differenzbildung (Vergleich von zwei Aufnahmen durch Differenz, Differenzbild) zeigt die Vorteile auch in der Stereotechnik. Interessante Merkmale können mit geringem Aufwand, je nach Entfernung, fest- und dargestellt werden. Die Verwendung eines Blitzes hilft bei der Kontrastbildung bzw. schafft in vielen Fällen erst die notwendigen Kontraste.
Wenn zwei Aufnahmen hergestellt werden, davon eine ohne Blitz, damit man die Grundbeleuchtung bestimmen kann und eine mit Blitz, um ein nahes Merkmal besonders hervorzuheben oder auch die Entfernung zu bestimmen, dann lässt sich über die Quotientenbildung zwar die Entfernung unabhängig von dem Remissionsgrad auf dem Merkmal bestimmen, aber nicht unabhängig von der Grundbeleuchtung. Dies funktioniert nämlich nur, wenn die Beleuchtung sehr diffus ist und das Merkmal gleichmäßig beleuchtet wird. In der Praxis ist dies jedoch häufig nicht der Fall.
In einer weiteren Ausgestaltung ist es daher von Vorteil, dass eine weitere Aufnahme mit Blitzlicht erstellt wird. Es muss dabei jedoch das Blitzgerät eine andere Entfernung haben als in der ersten geblitzten Aufnahme. Es lässt sich somit von beiden Blitzaufnahmen die Grundbeleuchtung abziehen, sodass man von beiden geblitzten Aufnahmen nur noch die reine Blitzwirkung hat. Somit lässt sich dann über den Vergleich der unterschiedlichen Aufnahmen mit dem Blitzlicht und mit bekanntem Abstand zwischen dem ersten Blitzort und dem zweiten Blitzort auch der Abstand zum Merkmal bestimmen. Wenn bspw. eine Person im Tageslicht steht (Sonnenlicht), dann sind einige Teile der Person hell beleuchtet und andere stehen im Schatten. Mit einer nicht geblitzten Aufnahme kann also zunächst die Grundbeleuchtung auf der Person festgestellt werden. Mit einer Blitzaufnahme, zunächst mit unbekanntem Abstand, wird man dann die Aufhellung durch das Blitzlicht in verschiedenen Bereichen feststellen.
Wenn dann mit einer weiteren Blitzaufnahme, möglicherweise dadurch, dass man sich der Person nähert, eine Aufnahme aus reduzierter Entfernung macht, müssen im Blitzlicht alle Partien der Person deutlich heller erscheinen. Wenn sich die Entfernung halbiert hat, wird sich die Blitzlichthelligkeit auf die Person verdoppeln. Dieses Verfahren ist somit unabhängig von der Remission des Merkmals, aber auch unabhängig von der Grundbeleuchtung. Wenn man in diesem Beispiel zwei Blitzgeräte, die sonst gleiche Daten haben, auf einem Systemträger, z. B. auf einem Fahrzeug hat, können diese beiden Blitzgeräte auf dem Systemträger in einem bekannten Abstand hintereinander angeordnet sein oder aber das Fahrzeug bewegt sich über eine bekannte Wegstrecke in Richtung auf das Merkmal. Die Helligkeit nur durch das Blitzlicht nimmt ab mit dem Quadrat der Entfernung des Merkmals zum Blitzgerät, zumindest soweit es sich bei dem Blitzgerät um einen punktförmigen Strahler handelt. Bei nicht-punktförmigen Strahlern ist eine entsprechend andere Strahlcharakteristik zu berücksichtigen. Fehler können auch durch ungünstige Reflexionen des Blitzlichtes an anderen Oberflächen in der Umgebung entstehen.
Das Verfahren funktioniert auch mit glänzenden, spiegelnden oder auch retroreflektierenden Oberflächen. Durch die Annäherung an solche Oberflächen wird die Reflexion wie vorgesehen stärker.
Nach Anspruch 61 lässt sich auch eine bereits vorhandene Beleuchtung nutzen. Mit der Fahrzeugbeleuchtung, einem Arbeitsscheinwerfer oder einer allgemeinen Beleuchtung für einen Überwachungsraum kann quasi die Funktion des Blitzgerätes erfüllt werden. Mit der in der Regel dauerhaft eingeschalteten künstlichen Beleuchtung wird dann die Aufnahme erstellt, die bisher als Aufnahme mit Blitz bezeichnet wurde.
Um dann eine Aufnahme ohne Blitz zu erstellen, muss diese Beleuchtung kurzfristig abgeschaltet werden. Damit keine Beeinträchtigung für z. B. einen menschlichen Beobachter stattfindet, muss die Abschaltung ggf. sehr kurz sein, also nur wenige Millisekunden betragen. Prinzipiell sind z. B. Leuchtdioden für derartige kurze Schaltzeiten gut geeignet.
Der Vorteil der Erfindung zeigt sich gerade in den Unteransprüchen. Merkmale, die bisher nicht erkannt werden konnten, können schließlich durch den Blitz und Differenzbildung schließlich in einem harten Kontrast dargestellt werden. Die nahen Objekte werden besonders deutlich hervorgehoben. Dies hilft auch in der Auswertung mit der Stereotechnik. Die Auswertung wird insgesamt einfacher und zuverlässiger.
In einer weiteren Ausgestaltung wird die Breite der Disparität zur Entfernungsbestimmung genutzt. Bei einem Vergleich von zwei Aufnahmen mit dem Stereoverfahren erscheinen bei paralleler Ausrichtung der Kameras nahe Kontraste mit großer Disparität und entferntere Kontraste mit geringerer bzw. im Unendlichen ohne Disparität. Wenn die optischen Achsen der Kameras zueinander geneigt werden, kann die Auslöschungsebene vorgezogen werden. Dieses ist aber auch durch Verschiebung der Aufnahmen zueinander möglich. Dann kann im Prinzip die Disparität auch negative Werte annehmen. Trotzdem lässt sich aus der Breite der Disparität die Entfernung mehr oder weniger genau bestimmen. Diese Bestimmung kann über mehrere Zeilen oder Spalten erfolgen, sodass gute Mittelwerte gebildet werden.
Nach Anspruch 63 werden mehrere Aufnahmen von einem Merkmal erstellt. Dabei wird die Blitzposition jeweils geändert. Wenn bspw. die Kamera schräg von oben auf ein Merkmal ausgerichtet ist und das Merkmal in der einen Aufnahme direkt von oben und in der anderen Aufnahme frontal von vorn belichtet wird, so lässt sich die Aufhellung in der Differenz, ggf. auch mit Vergleich einer dritten Aufnahme gänzlich ohne Blitz nutzen, um die Frontseite bzw. die Oberseite des Merkmals besonders hervorzuheben. Je nach Intensität der Blitzlichtwahrnehmung auf dem Objekt, kann man feststellen, wie sehr diese Seite, Front oder Ebene des Merkmals zum jeweiligen Blitzgerät ausgerichtet ist. Bei dem Blitzlicht von oben werden die Ebenen, die überwiegend nach oben ausgerichtet sind, deutlich heller, ggf. auch der Boden auf dem das Merkmal steht, beim Blitzlicht von vorn werden die Flächen umso heller, je stärker die betreffende Ebene zum vorderen Blitzlicht ausgerichtet ist.
Ausführungsbeispiele sind in den nachfolgenden Zeichnungen dargestellt und werden im folgenden näher beschrieben.
Es zeigen:
1 Die Erfassung von Merkmalen in der Seitenansicht.
2 Die Erfassung von Merkmalen in der Seitenansicht mit schmalem Blitz.
3 Merkmale aus Sicht der Kamera.
4 Merkmale aus Sicht der Kamera mit schmalem Blitz.
5 Schattenerzeugung an Merkmal mit zwei Blitzgeräten.
6 Merkmalsdarstellung aus Sicht der Kamera.
7 Merkmalsdarstellung mit einer Kamera senkecht über einer Ebene durch Schattenbildung.
8 Merkmalsdarstellung mit einer Kamera senkrecht über einer Ebene durch unterschiedliche Aufhellung.
9 Künstliche Landmarke
10 Erkennung von Merkmalen in unterschiedlichen Entfernungen.
11 Filterung der Pixelwerte.
12 Erkennung eines Merkmals vor dem entfernten Hintergrund.
13 Weitere Erkennung eines Merkmals vor dem entfernten Hintergrund
14 Erkennung eines Merkmals mit der Stereotechnik
15 Erkennung eines Merkmals mit der Stereotechnik an einem Fahrzeug
16 Veränderung der Disparität und Fokussierung
17 Entfernungsbestimmung von Merkmalen bei ungünstiger Beleuchtung
18 Prinzip der Auslöschungsebene
Ein mögliches Ausführungsbeispiel der Erfindung zeigt 1 in der Seitenansicht. Ein Blitzgerät (1) bestrahlt die Szene vor der Kamera (2). Blitzgerät (1) und Kamera (2) sind über den Auswerter (3) miteinander verbunden. Auf der Ebene (4) sind zwei Merkmale (5.1, 5.2) zu sehen. Eine künstliche Landmarke (35), welche ein weiteres Merkmal ist, ist in einer bekannten Montagehöhe (36), z. B. an einer nicht dargestellten Wand, montiert. Die Szene wird durch einen Leuchtkörper (6), bei dem es sich um eine künstliche Beleuchtung oder auch die Sonne handeln kann, erhellt, sodass eine gewisse Grundhelligkeit in der Szene vorhanden ist. Blitzgerät (1), Kamera (2) und Auswerter (3) sind an einem Systemträger (7) befestigt. Der Systemträger (7) kann ein Fahrzeug, eine Maschine, eine Wand oder eine beliebige, auch tragbare Halterung sein. Der Auswerter (3) kann des weiteren auch abgesetzt sein. Der Blitz ist für die interessante Szene in dem Bereich definiert durch die Blitzuntergrenze (11.1) und die Blitzobergrenze (11.2). Die Kamera (2) ist ausgerichtet auf die Horizontebene der Kamera (12). Bei dieser Ausrichtung ist im unteren Sichtfeld der Kamera (2) unter einem bestimmten Winkel zur Horizontebene der Kamera (12) das erste Merkmal (5.1) in den oberen und unteren Merkmalsgrenzen festgestellt. Die Merkmale können mit einem Blitz vor dem entfernten Hintergrund aufgehellt werden. Im Vergleich zu einer Aufnahme ohne Blitz wird die Erhellung durch den Auswerter (3) festgestellt. Von allen Merkmalen (5.1, 5.2, 35) wird ihre Richtung in Bezug auf die Kamera (2) festgestellt. Da von der künstlichen Landmarke (35), die sich ggf. durch eine retroreflektierende Oberfläche besonders deutlich vor dem Hintergrund hervorhebt, sicherlich auch die Höhe (37) (Baugröße) und auch die Montagehöhe (36) bekannt ist, lässt sich mit beiden Werten, bzw. mit den zuzuordnenden Winkeln gegenüber der Horizontebene der Kamera (12) die Entfernung bis zur Kamera (2) berechnen. Dabei sei vorausgesetzt, dass auch die Höhe der Kamera (2) über der Ebene (4) bekannt ist. Somit ist also eine Entfernungsberechnung über die Montagehöhe (36), aber auch über die bekannte Höhe (37) der künstlichen Landmarke (35) selbst möglich.
Bei den Merkmalen (5.1, 5.2), die sich am Boden über der Ebene (4) befinden, kann es sich bspw. um Objekte, Hindernisse oder auch Personen handeln. Wenn man annimmt, dass sich die Merkmale (5.1, 5.2) auch durch Beleuchtung mit Leuchtkörper (6) nicht deutlich genug von der Ebene (4) oder dem Hintergrund ohne Blitzlicht abheben, dann werden sie aber mit Blitz deutlicher erhellt und zwar umso mehr, je dichter sie an das Blitzgerät (1) herankommen. Die Aufhellung auf dem ersten Merkmal (5.1) kann vervierfacht werden, wenn statt der Entfernung zum Blitzgerät (1) von zwei Metern eine Entfernung von einem Meter erreicht wird, z. B. dadurch, dass sich das Merkmal (5.1) um einen Meter annähert oder wenn es sich bei dem Systemträger (7) um ein Fahrzeug handelt und der gesamte Systemträger (7) um einen Meter dichter an das Merkmal (5.1) herankommt. Es ist aber auch möglich, dass ein zweites Blitzgerät (1) verwendet wird, das um einen Meter dichter an dem Merkmal (5.1) positioniert ist als das erste Blitzgerät (1). Jedenfalls wird bei Halbierung der Entfernung zwischen Blitzgerät (1) und Merkmal (5.1) für die Kamera (2) die Helligkeit auf dem Merkmal (5.1) durch die Blitzwirkung viermal so groß. Dabei ist allerdings die vorgegebene Helligkeit durch den Leuchtkörper (6) zu berücksichtigen, z. B. durch eine Aufnahme ohne Blitz.
Wenn das zweite Merkmal (5.2) den gleichen Remissionsgrad wie das erste Merkmal (5.1) hat, wird die Helligkeit auf dem zweiten Merkmal (5.2) wegen des doppelt so großen Abstandes zum Blitzgerät (1) nur ein Viertel so groß sein.
Es ist auch zu erkennen, dass die Beleuchtung der Ebene (4) vorteilhafterweise durch das Blitzgerät (1) relativ gering ist, wenn das Blitzgerät (1) möglichst weit unten am Systemträger (7), also relativ nahe über der Ebene (4) montiert wird. Dann fällt relativ wenig Licht vom Blitzgerät (1) auf die Ebene (4) vor dem ersten Merkmal (5.1), weil der Einstrahlwinkel sehr flach ist und somit nur wenig Licht in die Kamera (2) reflektiert wird. Am günstigsten ist es bei dem senkrechten Blitzeinfall (11.3). Hier gibt es die meiste Blitzenergie pro Fläche. Deswegen wird das Merkmal (5.1) mit Blitz sehr viel heller in der Kamera (2) gesehen, auch wenn es den gleichen Remissionsgrad, wie die Ebene (4) hat.
Zu erkennen ist auch, dass in der gezeigten Situation der Leuchtkörper (6) das erste Merkmal (5.1) von hinten bestrahlt, sodass sich vorne ein Schatten bildet. Es ist nun vorteilhaft mit dem Blitzgerät (1) diesen Schatten aufzuhellen, sodass in der Differenzbildung von zwei Aufnahmen mit und ohne Blitz gerade die Aufhellung durch den Auswerter (3) besonders deutlich detektiert wird. Dadurch hebt sich das erste Merkmal (5.1) besonders deutlich von der Umgebung ab.
In 2 ist eine ähnliche Anordnung zu sehen. Hier ist jedoch der Lichtaustritt am Blitzgerät (1) sehr viel schmaler und durch die Blitzuntergrenze (11.1) und die Blitzobergrenze (11.2) enger begrenzt. Zu erkennen ist, dass der bspw. horizontal verlaufende Lichtspalt auf die Merkmale (5.1, 5.2) trifft. Zu erkennen ist auch, dass aufgrund der doppelten Entfernung nur ein Viertel der Blitzenergie pro Fläche auf dem zweiten Merkmal (5.2) ankommt. Dieser Helligkeitsunterschied kann durch die Kamera festgestellt werden. Noch deutlicher für die Entfernungsbestimmung ist jedoch, dass der Blitzstreifen (5.1b) auf dem ersten Merkmal (5.1) aus Sicht der Kamera (2) unter den Lichtspaltgrenzen gesehen wird. Diese Lichtspaltgrenzen erscheinen in der Kamera (2), die auf die Horizontebene der Kamera (12) ausgerichtet ist, unter einem bestimmten Winkel bzw. auf bestimmten Zeilen der Kamera (2). Da angenommen werden kann, dass die Höhe der Kamera (2) über der Ebene (4) bekannt ist, ergibt sich – nach den Regeln der Geometrie – mit den Winkeln, die den Lichtspaltgrenzen zuzuordnen sind, die Entfernung zum Blitzstreifen (5.1b) auf dem Merkmal (5.1). Vorausgesetzt ist dabei, dass auch die Ausrichtung des Blitzgerätes (1) und die Höhe des Blitzgerätes (1) über der Ebene (4) bekannt ist. Es ist auch möglich, den Lichtdurchlass des Blitzgerätes (1) so zu ändern, dass nur eine markante Grenze des Blitzes auf die Merkmale bzw. auf die Umgebung fällt. Wenn der Übergang von dem Blitzbereich auf den Nicht-Blitzbereich sehr kontraststark ist, kann die Umgebung mit ihren Merkmalen bei bekannter Anordnung und Ausrichtung von Blitzgerät (1) und Kamera (2), auch in der Entfernung, bestimmt werden.
Des weiteren kann aber auch wieder bei großer Öffnung am Blitzgerät (1) die gesamte interessante Umgebung bzw. die interessante Szene insgesamt beleuchtet werden. Voraussetzung für die Entfernungsmessung ist, dass Blitzgerät (1) und Kamera (2) einen ausreichenden Abstand zueinander haben.
3.1 zeigt die Sicht aus einer Kamera (1) auf eine Ebene (4). Die Kamera (1) ist mehr oder weniger ausgerichtet auf den Horizont (15). Zu sehen sind die Hindernisse (5.1, 5.2, 5.4) in den Entfernungen 1m, 2m, bzw. 4m. Bei diffuser Beleuchtung und gleichem Remissionsgrad auf allen Oberflächen erscheint die Szene „grau in grau”. Hier hat die Helligkeit den relativen Wert „1” erhalten.
In 3.2 wurde die Szene mit einem hier nicht dargestellten Blitzgerät (2), das, wie in 1 zu sehen, nahe über der Ebene (4) montiert ist, relativ flach angestrahlt. In diesem Beispiel ergibt sich eine starke Aufhellung auf dem ersten Merkmal (5.1) in einem Meter Entfernung und eine entsprechend schwächere Aufhellung in vier Meter Entfernung. Die Blitzunterstützung hat in vier Meter Entfernung den gleichen Wert, wie die Grundhelligkeit, also „1 + 1 = 2”. Bei einem Meter Entfernung hat die Blitzwirkung jedoch schon den sechzehnfachen Wert, sodass sich eine Gesamthelligkeit von „1 + 16 = 17” ergibt. In diesem Beispiel wird vereinfacht angenommen, dass in gleicher Entfernung auf die benachbarte Ebene (4) nur ein Zehntel des Lichteinfalls festgestellt wird welches auf die senkrechte Oberfläche des ersten Merkmals (5.1) fällt.
3.3 zeigt schließlich die Differenz von beiden Aufnahmen (1–2), nämlich die „reine” Blitzwirkung. Zu erkennen ist auch, dass die Blitzwirkung, also die Aufhellung durch den Blitz, umgekehrt zur Entfernung von 4m auf 2m bis 1m im Verhältnis im Quadrat von 1 auf 4 bis auf den Wert 16 zunimmt. Wenn man den Quotienten Q, also die Aufhellung nur durch den Blitz bezogen auf die Helligkeit durch die natürliche Beleuchtung bildet, dann ist der Quotient unabhängig vom Remissionsgrad der Oberfläche.
In diesem Fall ändert sich nichts, da die Grundhelligkeit mit 1 angenommen wurde. Wenn man nun zuvor die Entfernung nach Q-Werten kalibriert hat, also weiß, bei welchem Q-Wert welche Entfernung vorliegt, kann man direkt die Entfernung der Merkmale (5) bestimmen. Ggf. bietet sich auch an, eines der Merkmale (5.1, 5.3, 5.4) als Referenz zu benutzen, wenn die Entfernung dazu bekannt ist. Dann können aus dieser Referenz die anderen Merkmalsentfernungen abgeleitet werden.
Dass sich die Merkmale (5.1, 5.2, 5.4) gut von der Ebene (4) absetzen, wird insbesondere im Nahbereich deutlich.
3.4 zeigt speziell an dem ersten Merkmal (5.1.), dass der Kontrast zur benachbarten Ebene (4) durch die Anwendung mit dem Blitz und die spätere Differenzbildung besonders deutlich geworden ist. Es ist dabei zu berücksichtigen, dass das Blitzlicht im Nahbereich der Ebene (4) eine höhere Wirkung hat als im entfernteren Bereich auf der Ebene (4). Die Blitzeinwirkung schwank auf der Ebene (4) in diesem Bereich zwischen „1,6 bis 0,1”. Somit wird auch der Kontrast gegenüber dem ersten Merkmal (5.1), das an der gesamten Oberfläche den Helligkeitswert „16” hat, deutlich. An der Unterkante (25) des ersten Merkmals (5.1) ist zwar der Kontrast schon geringer, aber immer noch sehr viel besser, als bei den weiter entfernten Merkmalen (5.2 und 5.4). Die Merkmale lassen sich deutlich herausstellen, wenn in der Auswertung mit dem Auswerter (3) die Helligkeitswerte an einer Schwelle geprüft werden und nur noch schwarz oder weiße Aussagen zugelassen werden. Wenn bspw. der Schwellwert in 3.3 auf „10” gelegt wird, wird nur noch das erste Merkmal (5.1) dargestellt. Der Rest ist schwarz. Wird die Schwelle irgendwo zwischen „2” bis „4” festgelegt, würde auch noch das zweite Merkmal (5.2) hell erscheinen. Die Entfernung der Merkmale in Bezug auf die Kamera (2) bzw. den Blitz (1) kann man so in vielfältiger Weise feststellen:

– Durch Aufhellung der Merkmale.
– Durch ihre Abbildungshöhe, wenn die Höhe der Merkmale bekannt ist.
– Durch den Winkel bzw. die Zeile in der Kamera, auf der sich die Unterkante (25) des Merkmals auf der Ebene (4) darstellt.

Die Darstellung der Unterkante (25) ist hilfreich und liefert gute Werte, wenn die Ausrichtung und Höhe der Kamera (2) gegenüber der Ebene (4) bekannt ist.
Dass in der vorgesehen Anordnung mit einer Kamera bspw. in etwa einem Meter Höhe die Merkmale (5.1, 5.2 und 5.4) nicht so gut von der Ebene (4) getrennt werden können, wenn das Blitzgerät (1) ebenfalls etwa in der gleichen Höhe ist und nicht nahe an der Ebene (4), zeigt 3.5. Das Blitzgerät (1) hat in 3.5 zwar die Merkmale ebenso aufgehellt wie in 3.1. Allerdings wurde die Ebene (4) gerade im nahen Bereich ebenso aufgehellt wie das erste Merkmal (5.1). Tatsächlich verläuft die Aufhellung in Ebene (4) im Fernbereich schwächer als hier dargestellt.
3.6 zeigt dann die Helligkeitswerte, die an den rechten und linken Kanten der Merkmale (5.1, 5.2 und 5.4) in den angegebenen Höhen zu erwarten sind. Es fällt somit auf, dass sich die Unterkante (25) nicht mehr optisch durch den Kontrast von der Ebene (4) abhebt. Eine Entfernungsbestimmung zu den Merkmalen ist jedoch weiterhin durch Verwendung einer Stereokamera oder durch Annäherung oder Entfernung des ersten oder eines vergleichbaren, zweiten Blitzgerätes (1) möglich.
4.1 zeigt als Ausgangslage für die weiteren Betrachtungen zunächst eine Szene, die ohne Blitzlicht aufgenommen wurde. Die Merkmale (5.1, 5.2 und 5.4) stehen auf der Ebene (4), z. B. auf einer Fahrbahn.
In 4.2 wurde die Szene geblitzt. Dabei wurde in einer Anordnung nach 2 für das Blitzgerät (1) nur ein sehr schmaler, horizontaler Lichtspalt geöffnet. Das Ergebnis stellt sich aus Sicht der Kamera (2) auf den Merkmalen (5.1, 5.2 und 5.4) in unterschiedlicher Weise dar. Aus Sicht der Kamera (2) zeigt der Blitz Wirkung in Form von Blitzstreifen (5.1b, 5.2b, 5.4b). Obwohl die Streifen in der Entfernung absolut immer größer werden, erscheinen sie doch aus Sicht der Kamera (2) gleich groß, aber unterschiedlich stark in der Helligkeit bei gleichem Remissionsgrad. Durch die Strichdichte ist dargestellt, dass die Helligkeit des ersten Blitzstreifens (5.1b) 16x so hoch ist wie bei dem letzten Blitzstreifen (5.4b). In der Differenz zwischen der geblitzten Aufnahme und der nicht geblitzten Aufnahme werden schließlich nur die Blitzstreifen (5.1b, 5.2b, 5.4b) sichtbar. Der Rest hat sich durch die Differenzbildung aufgehoben. Die Auswertung bzw. die Aufnahme an sich ist durch die Grenze der Aufnahme (30) gekennzeichnet. Dem zuzuordnen sind auf der Sensorebene entsprechende Pixel, die in horizontalen Zeilen und senkrecht verlaufenden Spalten angeordnet sind. Da die Kamera (2) gegenüber der Ebene (4) eine bekannte Ausrichtung und Höhe hat und in diesem Beispiel auch die Ausrichtung und Höhe des Blitzgerätes (2) gegenüber der Ebene (4) bekannt ist, ergibt sich nun, dass die Blitzstreifen (5.1b, 5.2b, 5.4b) bzw. deren Ober- oder Unterkanten, entsprechenden Zeilen, z. B. den oberen und unteren Bildzeilen (17.1 und 17.2) auf der Sensorebene zuordnen sind. Somit lässt sich die Entfernung des ersten Blitzstreifens (5.1b) bzw. des dazugehörigen ersten Merkmals (5.1) berechnen. Auch hier wird deutlich, dass die Auswertung durch die Verwendung von zwei Aufnahmen, einmal mit, einmal ohne Blitz, sehr einfach wird. Die Merkmale können deutlich in ihrer Entfernung bestimmt werden. Im Prinzip ist es ausreichend, wenn nur eine Kante des Blitzstreifens (5.1b) genutzt wird. Wenn man die obere Kante wie dargestellt nutzen würde, könnte ggf. der Blitz nach unten hin breiter werden und evtl. die Ebene (4) beleuchten. Man könnte aber auch ebenso gut die Unterkante der Blitzstreifen auf den Merkmalen verwenden. Dann würde möglicherweise der Blitz nach oben hin sehr viel höher werden und ggf. auch die Merkmale (5.1, 5.2, 5.4) in ihrer gesamten Höhe beleuchten.
5.1 und 5.2 zeigen eine ähnliche Szene wie zuvor. Das Merkmal (5) befindet sich in diesem Fall jedoch mittig auf der Ebene (4), z. B. einer Fahrbahn. In 5.1 wird die Szene von rechts mit einem Blitz bestrahlt, sodass sich in der ersten Aufnahme ein entsprechender linker Schatten (9.1) des Merkmals (5) bildet.
In 5.2 wird sodann für die nächste Aufnahme die Szene von rechts geblitzt, sodass sich ein rechter Schatten (9.2) bildet.
5.3 zeigt das Ergebnis der Differenzbildung von der ersten Aufnahme zur zweiten Aufnahme. Im Differenzbild werden nur noch der linke (9.1) und der rechte (9.2) Schatten dargestellt. Dies kann mit Vorzeichen- oder ohne Vorzeichenberücksichtigung geschehen. Der Rest ist neutral und erscheint durch die Differenzbildung nicht. Durch die bekannte Anordnung und Ausrichtung der Blitzgeräte (1) und der Kamera (2) gegenüber der Ebene (4) lässt sich somit auch schließlich die Entfernung zum Merkmal (5), z. B. einem Hindernis auf der Ebene (4), finden. An der bekannten Grenze der Aufnahme (30) sind über Bildzeile (17.3) und die Bildspalten (18.1, 18.2) die Entfernung und Position bzw. daraus auch die Breite des Merkmals bestimmbar.
Ein Merkmal (5), in diesem Fall eine Person, ist in 6.1 aus Sicht einer nicht dargestellten Kamera (2) auf einer Ebene (4), z. B. auf einem Fahrweg vordem Horizont (15), zu sehen. Die Kamera (2) ist auf den Horizont (15) ausgerichtet. So einfach, wie hier dargestellt, ist es in der Praxis jedoch nicht. Diffuse, kontrastarme Oberflächen und Übergänge machen es schwierig, die interessanten Merkmale in der Umgebung zu finden.
Eine Abhilfe schafft die Anwendung des Blitzes, wie mit 6.2 und nachfolgend verdeutlicht wird. Das Blitzgerät (1) befindet sich etwa auf der gleichen Höhe wie die Kamera (2) und ist ebenso auf die gleiche Szene ausgerichtet. Durch das Blitzlicht wird insbesondere der Nahbereich aufgehellt. Das gilt für das Merkmal (5), aber auch für den Vorderbereich der Ebene (4). Mit zunehmender Entfernung von dem Blitzgerät (1), aber auch quer dazu, nimmt die Helligkeit ab, was durch die Helligkeitsgrenzlinien (19.1, 19.2, 19.3) mit abnehmender Helligkeit dargestellt ist.
Die durch das Blitzgerät (1) aufgehellten Flächen sind der Intensität entsprechend in diesem Beispiel mehr oder weniger stark schraffiert dargestellt.
Störend ist in dieser Ausrichtung des Blitzgerätes (1) jedoch, dass nicht nur das Merkmal (5), sondern auch die Ebene (4) teilweise gleich stark aufgehellt werden, sodass sie in der Auswertung durch den Auswerter (3) nicht direkt voneinander getrennt werden können. Dies gilt insbesondere dann, wenn Merkmal (5) und Ebene (4) einen ähnlichen Remissionsgrad haben.
6.3 zeigt einen Schritt zur Problembeseitigung. Die Wirkung des Blitzes wird durch eine exemplarische Musterbelichtung der Ebene (4) festgestellt und gespeichert. Angedeutet ist die größere Aufhellung im vorderen Bereich der Ebene (4) und die nachlassende Aufhellung mit der Entfernung durch die Helligkeitsgrenzlinien (19.1, 19.2, 19.3) bzw. die dazugehörigen Flächen, die mit nachlassender Helligkeit eine geringere Schraffierung zeigen. Wenn sich der Bodenbelag oder die Oberfläche des Bodenbelages der Ebene (4) örtlich ändert, kann es erforderlich sein mehrere oder eine Vielzahl dieser ortscharakteristischen Aufhellungen abzuspeichern, um eine Referenz für die spätere, aktuelle Situation zu bekommen.
6.4 zeigt nun das Ergebnis aus der beispielhaften Aufnahme mit einem Merkmal (5) nach 6.2, unter Berücksichtigung der exemplarischen Aufhellung an diesem Ort, wie in 6.3 dargestellt. Beide Aufnahmen sind nun voneinander abgezogen worden. Deutlich zu sehen ist auf der Ebene (4) allerdings nun nur der obere Teil des Merkmals (5), der jetzt relativ einfach mit einer Stereokamera oder durch eine zweite Blitzaufnahme aus geänderter Blitzdistanz in der Entfernung bestimmt werden kann. Nach unten hin, zur Ebene (4), wird das Merkmal (5) immer undeutlicher im Kontrast gegenüber dem Hintergrund.
Hier zeigt sich, dass es ggf. vorteilhafter wäre ein oder besser zwei Blitzgeräte (1) von rechts und/oder links auf die Szene fallen zu lassen, sodass sich dann, wie in 5.1 bis 5.3 dargestellt, Schatten bilden, die dann wiederum durch einen Vergleich von zwei Aufnahmen, bspw. mit einem rechten und einem linken Blitz, voneinander abgezogen werden können. Dann würden sich neben dem Merkmal (5) auch die linken und rechten Schatten (9.1, 9.2) des Merkmals (5) darstellen und könnten als Hinweis auf die Position des Merkmals (5) verwendet werden. Eine weitere Möglichkeit ist auch, ein Blitzgerät (1) möglichst tief und nahe über der Ebene (4) anzubringen und auf den Horizont (15) auszurichten, sodass dann die Aufhellung durch das Blitzgerät (1) auf die Ebene (4) vernachlässigbar ist, dafür aber das Merkmal (5) wie bisher aufgehellt wird und sich somit deutlicher über der Ebene (4) abhebt.
Eine andere Möglichkeit zur Detektion von Merkmalen (5) auf einer Ebene (4) lässt sich nach 7.1 dadurch feststellen, dass eine Kamera (2) mehr oder weniger direkt auf die Ebene (4), also mehr oder weniger lotrecht, dazu ausgerichtet wird. Zu sehen ist, dass sich auf der Ebene (4) noch eine Fahrbahnmarkierung (14) befindet. Das Merkmal (5) ist erhaben gegenüber der Ebene (4), hat also eine gewisse Höhe, während die Fahrbahnmarkierung (14) flach ist und keine Ausrichtung in dieser dritten Dimension hat. Dunkle Stellen sind durch die Schraffur gekennzeichnet. Bei Belichtung durch einen Blitz (1) von rechts unten entsteht ein linker Schatten (9.1).
Wenn nach 7.2 ein Blitzgerät (1) die Szene von unten links beleuchtet, entsteht hinter dem Merkmal ein rechter Schatten (9.2.).
7.3 zeigt das Ergebnis der Differenz von beiden Aufnahme aus 7.1 und 7.2. Zu sehen sind die Oberflächen, die in beiden Aufnahmen unterschiedlich sind, also der linke und rechte Schatten (9.1, 9.2). Die Anwendung ist bspw. interessant, um erhabene, also ggf. störende Merkmale (5), bspw. Personen auf einer Fahrbahn, zu detektieren. Die nichtstörenden, flachen Fahrbahnmarkierungen (14) und andere wahrnehmbare Kontraste, die flach sind, werden keine Schatten werfen können und werden somit nicht als Hindernisse erkannt.
Zu beachten ist allerdings, dass durch die veränderte Position des Blitzgerätes (1) (einmal links und einmal rechts) auch die Ebene (4) vor dem Blitzgerät (1) jeweils mal mehr oder weniger von links oder rechts aufgehellt wird. Dies könnte in der Auswertung von zwei zu vergleichenden Aufnahmen störend werden. Daher empfiehlt es sich, ähnlich wie in 6.3, die durch das Blitzgerät (1) verursachte typische Aufhellung der Ebene (4) zu berücksichtigen und ggf. herauszurechnen.
Eine ähnliche Ausrichtung wie zuvor zeigt die 8.1. Außer dem erhabenen Merkmal (5) ist noch eine flache Scheibe (16) dargestellt. Zunächst wird angenommen, dass die Scheibe (16), die Ebene (4) und das Merkmal (5), die gleiche Remission haben und diffus beleuchtet werden. Somit haben alle in einer Aufnahme ohne Blitzgerät (1) die gleiche Helligkeit. Wenn dann mit einem Blitz gearbeitet wird und hierbei die Ebene (4) mehr oder weniger zentral lotrecht beleuchtet wird, können sich die Ebene (4) und die Scheibe (16) in diesem Beispiel in dem Blitz mit der gleichen zusätzlichen Helligkeit zeigen. Die Werte lauten dann also „1 + 1”. Das Merkmal (5) dagegen wird, wenn es aufgrund seiner Größe nur die halbe Entfernung zu dem Blitzgerät (1) hat, um das Vierfache aufgehellt. Die Gesamthelligkeit ist dann also „1 + 4 = 5”.
8.2 zeigt dann die Differenz aus der Aufnahme ohne Blitz und der Aufnahme mit Blitz, also die Blitzwirkung. Es zeigt sich deutlich, dass das Merkmal (5) von der Ebene (4) abgehoben abgehoben ist, obwohl es die gleiche Remission hat. Die Scheibe (16) hingegen lässt sich hiermit von der Ebene (4) nicht trennen. Sie ist im Falle einer Fahrbahn möglicherweise auch nicht störend.
Das Beispiel zuvor zeigt wie man erhabene Merkmale (5) von der Ebene (4) trennen kann, obwohl beide die gleiche Remission haben. Anders sieht es jedoch aus, wenn die Remission unterschiedlich ist. Dann wird die reine Differenzbildung von zwei Aufnahmen nicht unbedingt zum Ziel führen.
In 8.3 ist deshalb im Beispiel gezeigt, wie sich Merkmal (5) und Scheibe (16) ohne Blitz vor der vierfach helleren Ebene (4) darstellen. Auch hier kann man zunächst noch nicht erkennen, ob es sich bei Merkmal (5) oder Scheibe (16) um ein erhabenes Hindernis handelt.
8.4 zeigt dann eine Aufnahme mit Blitz. Merkmal (5) hat sich durch die geringere Entfernung zum Blitzgerät (1) mit dem Wert „4” auf den Wert „5” aufgehellt. Die Scheibe (16) hingegen, die die gleiche Entfernung hat, wie die Fahrbahn (4), konnte sich ebenso wie die Fahrbahn (4) nur in der Helligkeit verdoppeln. Dabei hat jedoch die Ebene (4) aufgrund ihrer vierfach höheren Remission eine absolut höhere Helligkeit erreicht.
8.5 zeigt dann die Werte durch die Aufhellung im Blitzlicht. Die beiden vorherigen Aufnahmen wurden dazu voneinander abgezogen. Zu sehen ist jedoch, dass jetzt Merkmal (5) ebenso hell erscheint wie die Ebene (4) und somit wieder nicht voneinander zu trennen wären.
8.6 zeigt dann die Lösung des Problems. In den entsprechenden Bereichen mit den entsprechenden Pixeln in den Aufnahmen wird durch Quotientenbildung Q die relative Aufhellung gebildet. Wenn man die Werte der Bereiche bzw. Pixel von 8.5, also der reinen Blitzwirkung, durch 8.3 teilt, erhält man für das Merkmal (5) eine deutlich relative Aufhellung im Vergleich zur geringen Aufhellung der Scheibe (16) und der Ebene (4). Interessant ist, dass die Scheibe (16) und die Ebene (4) den selben Quotienten zeigen und zwar unabhängig von ihrem Remissionsgrad. Zu erkennen ist auch der vergleichsweise vierfach höhere Quotient des Merkmals (5), welches nur die halbe Entfernung zum Blitzgerät (1) hat wie die Ebene (4).
Wenn die Höhe des Blitzgerätes (1) über der Ebene (4) bekannt ist, kann man somit durch die Quotientenbildung die Höhe von Merkmalen gegenüber der Ebene (4) berechnen.
9 zeigt ein anderes Merkmal. In diesem Fall handelt es sich um eine künstliche Landmarke (35), die zumindest an zwei sichtbaren Flächen, nämlich der Vorderfläche (38) und einer Seitenfläche (39) teilweise mit retroreflektierendem Material (40) ausgestattet ist. Die Flächen können unterschiedlich codiert sein, sodass man Vorderfläche (38) und Seitenfläche (39) unterscheiden kann. Es können aber auch weitere Codierungen zur Unterscheidung von mehreren künstlichen Landmarken (35) verwendet werden, sodass pro Seite nicht nur ein bis vier, sondern weit mehr Informationen aufgebracht werden können.
Die künstliche Landmarke (35) hat eine sichtbare Breite der Vorderansicht (27) und eine sichtbare Breite der Seitenansicht (28). Aus der Relation dieser beiden Breiten kann abgeschätzt werden, welche Richtung die Kamera (2) in Bezug auf die künstliche Landmarke (35) hat. Dabei wäre es von Vorteil, wenn die künstliche Landmarke (35) nicht zu schmal ist.
Da ist es schon besser, wenn die künstliche Landmarke (35) in einer ausreichenden Höhe (37) bzw. in einer ausreichenden und deutlichen Ausdehnung auf der Aufnahme, von der hier nur die Aufnahmengrenzen (30) dargestellt sind, erscheint. Wenn die künstliche Landmarke (35) groß genug ist, kann der Abstand zwischen Kamera (2) und künstlicher Landmarke (35) durch die Ausdehnung auf der Aufnahme bestimmt werden. Dabei wird angenommen, dass die Höhe (37) bekannt ist, weil es sich z. B. um eine künstliche Landmarke (35) handelt. Grundsätzlich können in ähnlicher Weise natürliche Landmarken benutzt werden, abgesehen davon, dass sie in der Regel nicht codiert sind.
Zur Entfernungsbestimmung kann aber auch die Darstellung der Ober- bzw. Unterkante der künstlichen Landmarke (35) in den Bildzeilen (17.4 bzw. 17.3) genutzt werden. Nach den Gesetzen der Trigonometrie lässt sich bei bekannter, z. B. hier horizontaler Ausrichtung der Kamera (2) der Abstand der künstlichen Landmarke (35) berechnen. Umso höher die künstliche Landmarke (35) in der Aufnahme über der Horizontebene der Kamera (12) bzw. der entsprechenden Bildzeile (17.5) erscheint, umso geringer ist die Entfernung zur künstlichen Landmarke (35).
In diesem Beispiel ist die künstliche Landmarke (35) oberhalb der Horizontebene der Kamera (12) montiert. Es funktioniert auch entsprechend, wenn die Marke unterhalb der Horizontebene der Kamera (12) ist.
10 zeigt die Wirkung der Verringerung des Abstands der Kamera (2) über einem Merkmal (5) in der Ebene (4) vor dem Horizont (15). Das Merkmal (5) ist in einer Entfernung von 1m, 2m und 3m als Merkmal (5.1, 5.2 und 5.3) dargestellt. Wenn die Ausdehnung des Merkmals (5) in Höhe und/oder Breite bekannt ist, kann hiernach leicht die Entfernung zum Merkmal (5) bestimmt werden. Nützlich ist aber auch, dass die Wirkung eines Blitzlichtes in 1m Entfernung etwa neunmal so hoch ist wie in 3m Entfernung. Verdeutlicht wird auch die Entfernungsbestimmung bei Annäherung. Als Ausgangsbasis für das Merkmal (5) gilt zunächst die mittlere Position bei 2m. Wenn sich nun der nicht dargestellte Systemträger (7) mit Blitzgerät (1) und Kamera (2) um einen Meter an das Merkmal (5) annähert oder sich andersrum das Merkmal (5) an den Systemträger (7) annähert, erscheint das Merkmal (5) in 1m Entfernung in Höhe und Breite doppelt so groß und in der Blitzwirkung vierfach aufgehellt. Um die richtige Helligkeit zu bestimmen, ist es wichtig, dass auch mit einer Aufnahme ohne Blitz verglichen wird.
Unabhängig von dem Remissionsgrad auf dem Merkmal (5) wird sich die Blitzwirkung bei 1m vierfach so hoch darstellen, wir in 2m Entfernung. Der Quotient der Blitzwirkung ist also bei halber Entfernung „4” (Blitzwirkung 1m/Blitzwirkung 2m). Anders verhält es sich, wenn sich die Entfernung zum Merkmal (5) vergrößert, sodass das Merkmal (5) in 3m verkleinert erscheint und auch die Helligkeit entsprechend nachgelassen hat.
Interessant ist auch, wenn sich der Systemträger (7) auf einem nicht dargestellten Fahrzeug befindet und dieses Fahrzeug einem anderen Fahrzeug mit gleicher Geschwindigkeit folgt. Wenn man dieses andere Fahrzeug ebenfalls wie bisher als Merkmal (5) annimmt, wird man feststellen, dass sich dieses zweite Fahrzeug auch mit der zweiten Aufnahme mit Blitz mit gleicher Helligkeit darstellt.
Somit wird sich dann im Vergleich von zwei Aufnahmen, die nacheinander an verschiedenen Orten mit Blitz gemacht werden und voneinander abgezogen werden, kein Unterschied in der Helligkeit ergeben. Es sieht so aus, als ob das zweite Fahrzeug auf der Fahrbahn nicht existieren würde. In der Tat stellt dieses zweite Fahrzeug für das nachfolgende Fahrzeug kein Hindernis dar. Die Situation ist ungefährlich. Umgekehrt verhält es sich, wenn sich das zweite Fahrzeug dem ersten Fahrzeug nähert. Dann wird es bei der zweiten Aufnahme sehr viel heller erscheinen. Diese zusätzliche Aufhellung durch die Annäherung des zweiten Fahrzeugs mit eigener Geschwindigkeit lässt das zweite Fahrzeug näher erscheinen, als es tatsächlich ist. Hier wirkt sich die Dynamik der Aufhellung vom ersten zum zweiten Blitz günstig aus, weil tatsächlich ein sich näherndes Fahrzeug eine höhere Gefahr darstellt, als ein stehendes Fahrzeug, nicht nur wegen der zusätzlichen Energie, sondern weil die Kollision auch früher passieren kann.
11.1 stellt symbolisch die Pixelwerte (22), die man in einer Aufnahme den zugehörigen Pixeln in den Bildzeilen (17) und den Bildspalten (18.1, 18.2) zuordnen kann, dar. Zu sehen ist rechts unten eine dunkle Oberfläche mit niedrigen Pixelwerten (22) neben einer hellen Oberfläche (links oben) mit hohen Pixelwerten (22). Leider führen Störungen verschiedener Art dazu, dass nicht jedes Pixel in der Kamera (2) wie gewünscht belichtet wird, sondern dass Pixelwerte (22) rauschen, also messtechnisch bedingt schwanken, obwohl die Vorlage für die Aufnahme eine sauber getrennte Oberfläche hatte. Wenn man dann zwei Aufnahmen miteinander vergleicht, können sich Störungen ergeben, die zu falschen Ergebnissen führen.
Vorteilhaft ist es daher, dass man einen gewissen Ausgleich oder einen Mittelwert für benachbarte Pixel schafft. Dies kann mit jeder Aufnahme oder auch nach dem Vergleich von zwei Aufnahmen geschehen. Dabei kann es von großem Vorteil sein, die Pixelwerte (22) spalten- oder zeilenweise oder auch in beiden Richtungen in kleineren oder größeren Gruppen miteinander auszugleichen, also zu filtern.
11.2 zeigt dann eine spaltenweise Filterung. Die rechte Bildspalte (18.1) zeigt die Oberfläche mit dunklen Werten und die linke Bildspalte (18.2) zeigt die hellere Oberfläche. Zu sehen ist auch, dass es sich in Ergänzung mit weiteren Spalten um zwei unterschiedlich helle Flächen handeln muss. Deutlich ist auch der Kontrast zwischen den beiden Flächen zu erahnen.
11.3 zeigt die Vorlage für die Aufnahme. Zu sehen ist ein dunkles Merkmal (5) mit einem Ausschnitt der Bildspalten (18.1, 18.2). Wenn das Merkmal (5) etwas gedreht wäre, würden sich die Bildspalten (18.1, 18,2) in ihrem Verlauf von dem einen in den anderen Zustand, also von Hell auf Dunkel bzw. umgekehrt, ändern.
12 zeigt schließlich eine vorteilhafte Position und Ausrichtung von Blitzgerät (1) und Kamera (2). Zu sehen ist in den Grenzen der Aufnahme (30) ein Merkmal (5), in diesem Fall eine Person, auf einer Ebene (4). Kamera (2) und Blitzgerät (1) sind relativ nahe über der Ebene (4) an einem Systemträger (7) montiert und derart horizontal ausgerichtet, dass der Horizont (15) scheinbar mit der unteren Grenze der Aufnahme (30) abschließt bzw. der darunter liegenden Bereich bis zur Ebene (4) nicht weiter betrachtet oder ausgewertet werden muss.
Mit dieser Anordnung lassen sich dann bspw. Hindernisse über einer Fahrbahn oder in einem Gefahrenbereich relativ elegant und deutlich erkennen. Auch hier werden wieder Aufnahmen mit Blitz und ohne Blitz vorteilhaft genutzt.
Die Kamera (2) ist auf den interessanten Nahbereich fokussiert, d. h. der Hintergrund wird nur undeutlich oder gar nicht wahrgenommen. Somit können sich im Hintergrund auch keine Kontraste bilden. Wenn die Auswertung nur ausreichend starke Kontraste für die Konturerkennung der Merkmale akzeptieren muss, muss sie sich nicht mit dem verschwommenen, uninteressanten Hintergrund oder anderen Nebensächlichkeiten befassen.
Zwei Aufnahmen im Vergleich mit und ohne Blitz stellen dann jedoch das Merkmal (5), also hier die Person im Gefahrenbereich, sehr deutlich dar. Der Blitz schafft eine entsprechende Aufhellung, mit der bei Oberflächen mit bekanntem Remissionsgrad die Entfernung direkt festgestellt werden kann. Des weiteren kann auch durch zwei Blitzgeräte, die hintereinander angeordnet sind, durch die unterschiedliche Aufhellung auf dem Merkmal (5), die Entfernung bestimmt werden oder es kann hier sehr gut eine Stereokamera zum Einsatz kommen. Wenn eine erste Aufnahme ohne Blitz noch keine Kontraste liefert und auch die nächste Aufnahme mit Blitz nur zum Teil geeignete Kontraste liefert, wird doch der Vergleich bzw. die Differenz oder Quotientenbildung von Aufnahmen ohne Blitz und mit Blitz das Merkmal (5) klarer in seiner Position darstellen. Der Auswerter (3) hat es dann leicht, auch die Entfernung zu bestimmen.
13.1 stellt eine ähnliche Szene dar, wie zuvor 12. Zu sehen ist ein Merkmal (5), in diesem Fall eine Person vor einem undeutlichen Hintergrund. Der Hintergrund ist im unteren Bereich relativ dunkel und im oberen Bereich relativ hell. Dazu verteilt sich der Remissionsgrad auf dem Merkmal (5) ebenfalls in ungünstiger Weise. Auch hier ist der untere Bereich heller als der obere Bereich. Bei der normalen Grundbeleuchtung, z. B. bei Tageslicht oder bei Kunstlicht, ist das Merkmal (5) also nicht von dem Hintergrund zu trennen. Die dunkleren Bereiche sind mit dem Helligkeitswert „1” und die helleren Bereich mit dem Helligkeitswert „2” gekennzeichnet.
13.2 zeigt die Änderung durch das Blitzlicht. Der Hintergrund bleibt gleich hell, beim Merkmal (5) verdoppelt sich jedoch die Helligkeit entsprechend der Entfernung und dem Remissionsgrad. Auch jetzt wäre das Merkmal (5) noch nicht deutlich von dem Hintergrund zu trennen.
In 13.3 ist die Differenz von beiden Aufnahmen dargestellt, also die reine Blitzwirkung. Das Merkmal (5) hebt sich deutlich vor dem Hintergrund ab. Eine Entfernungsbestimmung mit der Stereotechnik ist bereits möglich und durch die Differenzbildung wesentlich vereinfacht worden, da man sich jetzt direkt auf die Merkmalskonturen konzentrieren kann.
13.4 zeigt nun den weiteren Vorteil der Quotientenbildung Q. Wenn Q die Aufhellung durch die Blitzwirkung geteilt durch die Grundhelligkeit ist, stellt sich nun Q als entfernungsabhängiger Wert dar. Zu sehen ist, dass das Merkmal (5) sowohl im oberen als auch im unteren Bereich, also trotz unterschiedlicher Remissionsgrade, den gleichen Wert „Q = 1” hat. Die Quotientenbildung funktioniert auch ohne Stereotechnik, kann aber durch die Stereotechnik vorteilhaft ergänzt werden.
14 zeigt die Kontrolle einer Ebene (4) durch die Erstellung von zwei Aufnahmen und deren Vergleich, wobei für die Aufnahmen verschiedene Kamerapositionen verwendet werden. Zu sehen ist eine Kamera (2), in diesem Fall eine Stereokamera, die mind. eine erste Kamera (2.1) und eine zweite Kamera (2.2) hat, die nebeneinander angeordnet sind. Des weiteren ist ein Blitzgerät (1) zu erkennen, mit dem potentielle Merkmale (5) über der Ebene (4) detektiert werden können. Dies kann zum einen durch eine zusätzliche Aufhellung geschehen oder auch durch eine Schattenbildung, die von der ersten Kamera (2.1) und von der zweiten Kamera (2.2) unterschiedlich wahrgenommen wird. Vorteilhaft ist, dass zum Vergleich der Aufnahmen von verschiedenen Positionen zunächst die Positionseinflüsse korrigiert werden. Die einzelnen Kontraste (10.3, 10.4) auf der Ebene (4) können in den Aufnahmen den entsprechenden Pixeln zugeordnet werden. Ein Grund für die notwendige Entzerrung liegt in unterschiedlichen Kamerapositionen. Bei den Kontrasten kann es sich um irgendwie optisch erkennbare Merkmale handeln, die idealerweise auf der Ebene (4) liegen. Üblicherweise werden die Kontraste (10.3, 10.4) auf der Ebene (4) durch die Entzerrung nach der Differenzbildung nicht mehr festgestellt, weil sie sich gegenseitig in den Aufnahmen auslöschen.
Anders verhält es sich jedoch, wenn ein erhabener Kontrast (10.1) oder auch ein erhabenes Merkmal (5) über der Ebene (4) festgestellt wird. Zu sehen ist, dass man mit der ersten Kamera (2.1) den erhabenen Kontrast (10.1) an der ersten scheinbaren Kontrastposition (10.11) vermutet.
Im Vergleich der Aufnahmen wird man jedoch mit der Aufnahme der zweiten Kamera (2.2) sehen, dass die Differenz an dieser Stelle nicht Null ist. Den erhabenen Kontrast (10.1) vermutet man mit der zweiten Kamera (2.2) an der zweiten scheinbaren Kontrastposition (10.21). Die korrekte Position ergibt sich mit der Auswertung. Aus der Abweichung (Disparität) kann die Höhe des erhabenen Kontrastes (10.1) berechnet werden. Aus dem Abstand der Kameras zueinander (Basis), der Entfernung zur Ebene (4) und dem Abstand zwischen den beiden scheinbaren Kontrastpositionen (10.11, 10.21) ergibt sich die Höhe des erhabenen Kontrastes (10.1) über der Ebene (4).
Zu sehen ist auch, dass das Blitzgerät (1) rechts neben dem Merkmal (5) einen Schatten (9) auf die Ebene (4) wirft. Dieser Schatten (9) stellt sich jedoch nur in der Aufnahme der zweiten Kamera (2.2), aber nicht in der Aufnahme der ersten Kamera (2.1) dar. Mit dem Blitzgerät (1) ist also nicht nur eine unterschiedliche, relative Aufhellung der Merkmale in geringerer Entfernung gegenüber der darunter liegenden Ebene (4) möglich, sondern auch eine Schattenbildung, die ebenfalls zur Erkennung der erhabenen Merkmale, führt und eine Entfernungsbestimmung mit der Stereokamera ermöglicht. Der notwendige Kontrast bildet sich zwischen der aufgehellten Oberfläche des Merkmals (5) und dem Schatten (9). Auch durch die Breite des Schattens (9) kann eine Abschätzung oder Berechnung der Entfernung zwischen Blitzgerät (1) und Merkmal (5) erfolgen.
Im Schatten liegt auch ein teilweise abgedeckter Kontrast (10.3). Dieser Kontrast ist nur von der zweiten Kamera (2.2) sichtbar und bietet sich somit in der Feststellung des erhabenen Merkmals (5) an.
Es ist möglich, dass das Merkmal (5), Teil der Ebene (4) bzw. einer bekannten Szene, die kontrolliert werden soll, ist. Die Oberfläche dieser Szene wird als Referenzeinstellung für die Aufnahmenentzerrung verwendet. Änderungen von Merkmalen oder durch Merkmale offenbaren sich jetzt zuverlässig und unkompliziert mit der Differenzbildung mit den nächsten Aufnahmen. Der Blitz hilft somit in allen Anwendungen, in denen Merkmale, die von der Referenzszene bzw. der Referenzumgebung abweichen, festgestellt und ggf. in ihrer Pose bestimmt werden sollen.
Problematisch ist für die Stereotechnik die Erkennung von Merkmalen, die die gleiche Helligkeit oder bei Anwendung von Farbkameras auch die gleiche Farbe wie die Umgebung haben. Sie bilden also zunächst keinen verwertbaren Kontrast. Hier zeigt sich, dass die Anwendung eines Blitzes mehrere Vorteile bietet.
Bei der Referenzbildung können die Bereiche, die nicht in Übereinstimmung bzw. oder zur Auslöschung gebracht werden können, z. B. die Seiten eines Objektes, die nur von einer Seite gesehen werden oder auch Schatten und dergl. für die weitere Betrachtung ggf. ausgeschlossen werden.
15 zeigt Vorteile mit der Stereotechnik. Zu sehen ist ein Systemträger (7), z. B. ein Fahrzeug, mit einer Stereokamera (2) und einem Auswerter (3) sowie einem Blitzgerät (1). Die Ebene (4) ist nicht völlig plan, sondern teilweise geneigt und durch einen Bordstein (24) hat sie auch einen Knick bzw. verschiedene Höhen. Die Ebene (4) besteht z. B. aus einer Fahrbahn und einem Fußweg. Im Hintergrund ist eine senkrechte Ebene, in diesem Fall eine Wand (13) zu erkennen. Es sind zwei Merkmale (5) dargestellt, nämlich ein vorderes Merkmal (5.5), z. B. ein Hindernis und ein hinteres Merkmal (5.6), z. B. eine Person, die jedoch aufgrund der größeren Entfernung keine Kollisionsgefahr darstellt.
Des weiteren ist ein entfernungsmessender Empfänger (26) zu sehen, der schräg nach vorn auf die Ebene (4) ausgerichtet ist. Hiermit kann die Neigung der Ebene (4) bestimmt werden. Der entfernungsmessende Empfänger (26) kann die Modulation oder Impulse des Blitzgerätes (1) nutzen. Möglicherweise ist der entfernungsmessende Empfänger (26) auch in der Lage seine Ausrichtung so zu ändern, dass er einzeln ausgewählte Ausrichtung annehmen kann oder eine Linie oder sogar, je nach Bedarf, einen ganzen Bereich abscannen kann.
Mit der vorteilhaften Ausführung der Stereotechnik, die eine Stereokamera mit einer rechten und linken Kamera benutzt, lassen sich nun eine rechte und linke Aufnahme erstellen und derart bearbeiten, dass bei einer Differenzbildung beider Aufnahmen die Merkmale, die in der senkrechten virtuellen Auslöschungsebene (21) liegen, ausgelöscht werden.
Dazu können, je nach gewünschter Entfernung zur virtuellen Auslöschungsebene (21), die aufgenommenen Pixel mind. der linken oder rechten Kamera quer verschoben werden. Ähnliches kann man auch erreichen, wenn man die optischen Achsen der linken oder rechten Kamera so zueinander verschiebt, dass sie sich in der virtuellen Auslöschungsebene (21) treffen.
Es ist nun vorteilhaft, dass sich Merkmale, die sich in oder nahe der Auslöschungsebene (21) befinden, im Vergleich bzw. der Differenz von Aufnahmen der linken und rechten Kamera vollständig oder fast vollständig auflösen. Dagegen wird ein vorderes Merkmal (5.5) mit sehr starker Disparität in kürzerer Entfernung deutlich dargestellt. Hinter der virtuellen Auslöschungsebene (21) nimmt mit entsprechendem Abstand jedoch die Disparität wieder zu. Auch Merkmale an der Wand (13) können dann ggf. wieder erkannt werden. Durch Verschieben der optischen Achsen der Kameras oder durch Verschieben der Aufnahmen von linker und rechter Kamera für das Differenzbild kann die Auslöschungsebene (21) verschoben werden.
Es ist nun aber zusätzlich möglich, die Kameras derart zu fokussieren, dass sie nur einen beschränkten Bereich vor der Auslöschungsebene (21) scharf, also auch mit starkem Kontrastgefälle, abbilden. Die weiter entfernten Merkmale werden dann nur noch verschwommen wahrgenommen. Dies ist von großem Vorteil, wenn sich die Auswertung nur auf ausreichend scharf dargestellte Merkmale konzentriert. Dadurch fallen viele unwichtige Details heraus. Die Erkennung der wirklichen Merkmale im Vordergrund wird dann einfacher und schneller.
Verständlich ist nun auch der Bedarf die Entfernung zur Auslöschungsebene (21) anzupassen. Die Entfernung zur virtuellen Auslöschungsebene (21) sollte möglichst kurz sein, damit viele unwichtige Merkmale ausgeschlossen werden. Sie sollte aber auch lang genug sein, damit wichtige Merkmale im Gefahrenbereich rechtzeitig erkannt werden und der notwendige Anhalteweg ausreicht.
16.1 bis 16.4 zeigen die Vorteile der Verschiebung der Auslöschungsebene (21) mit mind. zwei Kameras. Um die Stereotechnik richtig auszunutzen, muss man eigentlich drei Kameras verwenden. Nachfolgend wird das Prinzip an einem Beispiel, jedoch nur mit zwei Kameras, die nebeneinander stehen und mehr oder weniger parallel ausgerichtet sind, gezeigt. Es werden dabei Kontraste verwendet, wie sie in 3 und 4 mit den Merkmalen (5.1, 5.2, 5.4) beim Übergang von diesen Merkmalen auf den Hintergrund entstehen können.
In 16.1a sind jeweils die Pixelpegel in einem Ausschnitt von je einer Zeile einer linken und einer rechten Kamera zu sehen (Zeile linke Kamera (42), Zeile rechte Kamera (41)). Beide Kameras sind parallel auf den Horizont ausgerichtet. Dargestellt ist der Übergang eines Kontrastes von links hell (mehrere Pixel mit vollem Wert) nach rechts dunkel (mehrere Pixel ohne Signal). Da beide Kameras parallel ausgerichtet sind, zeigt die linke Kamera den Kontrast an einem anderen Ort in der Aufnahme als die rechte Kamera. Der Abstand zwischen beiden Kontrastabbildungen wird als Disparität (32) bezeichnet.
In 16.1b ist dargestellt, wie sich die Differenzbildung zwischen zwei Aufnahmen auswirkt. Wenn die rechte Zeile von dem linken abgezogen wird, entsteht im Disparitätsbereich ein negatives Signal.
In 16.1 sind die Übergänge in den Kameras bzw. die Differenzbildung in 1m Entfernung gezeigt. 16.2, 16.3 und 16.4 zeigen den gleichen Kontrast mit gleicher Kameraanordnung in den Entfernungen 2m, 4m und unendlich. Da bei größeren Entfernungen die Winkel, unter denen der Kontrast zur optischen Achse erscheint, immer kleiner werden, kann man bei unendlicher Entfernung mit der Stereokamera keine Entfernung mehr bestimmen. Die Disparität (32) ist hier Null. Die Disparität (32) für 2m Entfernung ist nur halb so groß, wie bei 1m Entfernung, aber schon doppelt so groß, wie bei 4m Entfernung. Mit der Breite der Disparität lässt sich die Entfernung zum Merkmal mehr oder weniger genau bestimmen.
Nun kann bei der Stereoauswertung eine Verschiebung der Aufnahmen zueinander genutzt werden, um einen uninteressanten Bereich, z. B. die entfernten Merkmale, auszublenden, sodass sich dann die Auswertung nur mit den interessanten Merkmalen im vorderen Bereich befassen muss. Diese Anwendung ist häufig bei der Hinderniserkennung von Bedeutung.
Zusätzlich kann man dann noch die Fokussierung der Kameras auf den Vordergrund richten, sodass der Hintergrund ohnehin diffus wird und sich somit keine störenden Kontraste für die entfernten Merkmale bilden. In 16.1c d bis 16.4c d ist die horizontale pixelweise Verschiebung von zwei Aufnahmen zueinander gezeigt. Diese Maßnahme kann auch dadurch erreicht werden, dass die optischen Achsen zueinander geschwenkt werden, sodass sie sich in diesem Beispiel in 4m Entfernung treffen. Die Auslöschungsebene (21) wurde somit in 4m Entfernung realisiert. Hier zeigt die Differenz kein Signal, d. h. das Merkmal ist quasi verschwunden. Zu beachten ist, dass in 16.4c und d die Merkmale quasi eine negative Disparität haben. Die Seiten wurden jetzt vertauscht, d. h. die Differenz zeigt ein positives Signal. In 16.1e und f bis 16.4e und f ist dann der Vorteil der Fokussierung auf den 1m-Bereich dargestellt. In 16.1e und f werden die Kontraste noch deutlich abgebildet, die Flanken sind sehr steil. Das gleiche Merkmal in 2m Entfernung wird in 16.2e und f gezeigt. Die Flanken sind schon flacher. Der Übergang wird in diesem Fall über mehrere Pixel verteilt. In 4m Entfernung ist in 16.3e zwar deutlicher zu erkennen, dass die Flanken noch flacher werden. Da hier die Disparität (32) ohnehin Null ist, wirkt sich Fokussierung für diese Enfernung nicht aus. In 16.4e ist die deutliche Abflachung des Übergangs zu sehen. In der Praxis kann die Abflachung noch flacher sein. Das Ergebnis zeigt 16.4f. Das Differenzsignal hat eine sehr geringe Amplitude. Wenn man Differenzsignale mit so kleiner Amplitude vernachlässigt, bleiben nur noch die harten Kontraste mit hoher Amplitude der Merkmale im Vordergrund bestehen.
Das Verfahren setzt voraus, dass sich im Vordergrund starke Kontraste bilden. Wenn die Szene ohne Blitz überwiegend grau in grau ist, zeigt sich somit der Vorteil der Aufhellung durch Blitz. Die Konturen der Merkmale bilden dann einen Kontrast zum Hintergrund.
17.1 zeigt den Vorteil, Merkmale aus verschiedenen Distanzen zu blitzen. Grundsätzlich ist durch eine Aufnahme ohne Blitz und eine Aufnahme mit Blitz die Entfernungsbestimmung unabhängig vom Remissionsgrad des Merkmals möglich. Das stimmt jedoch nur, wenn die Beleuchtung des Merkmals gleichmäßig ist.
Zu sehen ist in dem oberen Teil der Darstellung zunächst die harte Beleuchtung durch einen Leuchtkörper (6), z. B. Sonne oder die Deckenbeleuchtung auf ein Merkmal (5), in diesem Fall einen liegenden Zylinder. Dieser Zylinder wird von der Seite von einer Kamera (2) aufgenommen. Die Sicht der Kamera (2) ist auf der rechten Seite zu sehen. Der untere Teil liegt im Schatten (Wert „0”), nach oben hin nimmt die Helligkeit bis zum Wert „4” zu. Die darunter liegenden Darstellung zeigt nun die Beleuchtung mit einem Blitzgerät (1). Bei einer Quotientenbildung Q (Blitzwirkung durch Wirkung der Grundhelligkeit) käme man dann zu einem unbefriedigendem Ergebnis. Im oberen Bereich wäre Blitzwirkung = „4”/Grundhelligkeit „4” der Quotient Q = „1”. Im mittleren Teil wäre allerdings „4”/„1” = „4”. Somit ist zu erkennen, dass dieses Vorgehen nicht weiterhilft, weil das Tageslicht nicht überall gleichmäßig verteilt ist. Erst wenn z. B. aus der halben Distanz eine weitere Aufnahme erstellt wird und die Helligkeit gemessen wird, wird man feststellen, dass sich das Objekt im reinen Blitzlicht viermal so hell darstellt mit dem Helligkeitswert „16”. Wenn die Blitzlichtorte bzw. die Distanz zwischen den Blitzgeräten bekannt ist, z. B. 2m, kann man feststellen, dass das Merkmal dann zum nahen Blitzlichtort ebenfalls 2m entfernt war. Die Aufhellung nimmt ab mit dem Quadrat der Entfernung.
In 17.2 ist im oberen Teil dargestellt, wie die harte Beleuchtung durch den Leuchtkörper (6) von einem glänzenden Merkmal (5) reflektiert wird. Die Kamera (2) betrachtet auch hier das Merkmal (5) (einen zylindrischen Körper) von der Seite. Auch wenn noch etwas Streulicht im Raum ist, kann man noch erkennen, dass nur ein schmaler Streifen auf dem zylindrischen Körper mit großer Helligkeit „8” aufleuchtet. Die anderen Bereiche sind deutlich dunkler. Wenn die Oberfläche spiegelnd wäre, wäre der schmale Streifen noch schmaler und noch heller. Bei einer retroreflektierenden Oberfläche würde man in diese Position kein Licht, oder je nach Streulicht, fast kein Licht empfangen.
Im unteren Teil der 17.2 ist die Beleuchtung mit einem Blitzgerät (1) dargestellt. Auch hier zeigen sich in der linken Spalte die Werte aus einer entfernten Position. Die Werte schwanken zwischen „0” bis „8”. Bei Halbierung der Entfernung zwischen Blitzgerät und Merkmal vervierfachen sich diese Werte. Somit lässt sich zeigen, dass auch bei glänzenden, spiegelnden oder retroreflektierenden Oberflächen durch drei Aufnahmen eine Entfernungsbestimmung möglich ist. Bei vernachlässigbarer Grundhelligkeit reichen im Prinzip auch zwei Aufnahmen mit Blitz.
Mit den 17.1 und 17.2 lässt sich erklären, wie durch unterschiedliche Blitzgerätepositionen die Ausrichtung und Oberfläche des Merkmals (5) festgestellt werden kann. In der Annahme, dass es sich bei dem Leuchtkörper (6) auch um ein Blitzgerät (1) handelt, kann man mit Blitz von oben die Oberseite des Merkmals (5) gegen dessen Unterseite absetzen. Deutlicher wird es, wenn ein weiteres Blitzgerät von unten, nahe der Fahrbahn, für eine weitere Aufnahme positioniert wird oder dass die Kamera (2) eine höhere Position erhält, sodass sie von schräg oben auf das Merkmal (5) schaut. Dann wird sich durch den Helligkeitsverlauf von der ersten und der zweiten Aufnahme, evtl. in Differenz mit einem Bild ohne Blitz, das Merkmal auch als Zylinderkörper darstellen. Bei einem kugelförmigen Merkmal oder auch bei einer Person, wäre ggf. eine Aufnahme mit einem Blitz von rechts und von links vorteilhaft, sodass sich die Seiten hervorheben.
Durch diese Maßnahme kann man nicht nur direkt durch die Aufhellung des Blitzes die Entfernung bestimmen, ggf. unterstützt durch die Stereotechnik, sondern auch die Ausrichtung und Profilierung der Oberfläche eines Merkmals. Relativ einfach ist die Bestimmung der Ausrichtung von einfachen, geometrisch beschreibbaren Körpern. Aber auch komplexe Oberflächen lassen sich bestimmen. Auch die Ausrichtung von spiegelnden Oberflächen lässt sich somit z. T. bestimmen, da man die Position des Blitzgerätes (1) in Bezug auf die Kamera (2) kennt.
In 18.2 bis 18.3 ist eine Ebene (4), in diesem Beispiel eine Fahrbahn, dargestellt. Diese Ebene (4) hat eine bekannte Position zu einer Kamera (2). Auf dieser Ebene befindet sich im oberen Teil eine Fahrbahnmarkierung (14), darunter ein erstes erhabenes Merkmal (5.7) und darunter ein zweites erhabenes Merkmal (5.8). Bei den erhabenen Merkmalen handelt es sich z. B. um dreidimensionale Körper, bei denen die Deckflächen eine gewisse Höhe über der Ebene haben. Die Deckflächen und die Fahrbahnmarkierung (14) sind schraffiert dargestellt. Bei der Kamera (2) handelt es sich um eine Stereokamera, die aus einer linken und einer rechten Kamera besteht. Das Aufnahmeergebnis der rechten Kamera ist in 18.1 dargestellt, das Ergebnis der linken Kamera ist in 18.2 dargestellt. In 18.1 sind die rechten Seiten (33.2) der erhabenen Merkmale (5.7, 5.8) zu sehen. Die Differenz der beiden Aufnahmen zeigt nun 18.3. Die linke und die rechte Kamera sind so zueinander geneigt, dass die Auslöschungsebene (21) mit der Ebene (4) identisch ist. Alternativ können auch die Pixelaufnahmen so zueinander quer verschoben werden, dass die Auslöschung in der Ebene (4) stattfindet. Somit ist dann die Fahrbahnmarkierung (14) nicht mehr zu sehen. Für das erste erhabene Merkmal (5.7) kommt es jedoch nicht zur völligen Auslöschung. Die rechte und linke Kante des ersten erhabenen Merkmals (5.7) werden je nach Höhe der Deckfläche mit entsprechender Breite bzw. Disparität (32) dargestellt.
Anders verhält es sich bei dem ebenso hohen zweiten erhabenen Merkmal (5.8). Wenn dieses Merkmal bekannt ist und auch in seiner Position erwartet wird, z. B. ein Poller oder ein Bordstein, oder in einem anderen Beispiel bei einer stationären Überwachung ein Maschinenteil, kann dieses Merkmal eine andere Auslöschungsebene (21) erhalten, nämlich seine Deckfläche. Dann werden in diesem betroffenen Bereich die Pixel der linken oder rechten oder beider Kameraaufnahmen quer zueinander verschoben, sodass sie eine ähnliche Zuordnung haben, wie die Fahrbahnmarkierung (14). Somit verschwindet dann auch das zweite erhabene Merkmal (5.8) in dem Differenzbild.
An diesem Beispiel ist gezeigt, dass in einem zu überwachenden Bereich mehrere Auslöschungsebenen realisiert werden können. Die Auslöschungsebenen können dabei auch noch geneigt oder gewölbt sein, ja sogar beliebige Gestaltungen haben.

Claims

Verfahren zur Erfassung von Merkmalen in der Umgebung, bestehend mind. aus einer Kamera und Auswerteeinrichtung dadurch gekennzeichnet, – dass mind. zwei Aufnahmen im wesentlichen mit der gleichen Ausrichtung gemacht werden, wobei mind. zwei unterschiedliche Kamerastandorte und/oder unterschiedliche Beleuchtungen für die Aufnahmen genutzt werden und – dass durch den Vergleich von mind. zwei Aufnahmen die Position der Merkmale ermittelt wird
Verfahren nach Anspruch 1, dadurch gekennzeichnet, – dass mind. zwei Aufnahmen von mind. zwei Kamerapositionen aus von einer Szene gemacht werden – dass für einen Vergleich der Aufnahmen eine Entzerrung mind. einer Aufnahme derart vorgenommen wird, dass bei Differenzbildung von Aufnahmen eine Auslöschung in einer gewünschten Entfernung stattfindet und dass Merkmale, die eine andere Entfernung zu den Kamerapositionen haben durch Nichtauslöschung erkannt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche dadurch gekennzeichnet, – dass mind. eine Aufnahme mit Blitz gemacht wird und – dass der Vergleich mit einer anderen Aufnahme mit oder ohne Blitz durchgeführt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mind. zwei Aufnahmen mit Blitz erstellt werden, – dass durch die unterschiedliche Aufhellung in mind. zwei Aufnahmen, bei denen der Blitz in unterschiedlichen Entfernungen zum Merkmal ausgelöst wird, die Entfernung des Merkmals zum Blitzgerät und/oder zur Kamera ermittelt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass durch die durch den Blitz verursachte Schattenbildung von Merkmalen über einer Ebene die Position der Merkmale erkannt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass durch die durch den Blitz verursachte Aufhellung von Merkmalen über einer bekannten Ebene die Position der Merkmale erkannt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass durch mind. eine Aufnahme mit Blitz sich Merkmale deutlicher von der Umgebung abheben.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mind. eine Stereokamera verwendet wird, – dass mind. ein Blitz zur Kontrastbildung genutzt wird und – dass die Kontrastbildung für die Stereoaufnahme zur Entfernungsermittlung genutzt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass für die Hervorhebung der Merkmale mehrere Aufnahmen mit mind. einer Stereokamera nacheinander gemacht werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mehrere Aufnahmen mit Blitzlicht von mind. einer Kamera gemacht werden und – dass dabei der Abstand der Kamera zu den Merkmalen um ein bekanntes Maß verändert ist.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mit schmalbandigem Blitzlicht gearbeitet wird
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mit Infrarotlicht und/oder ultraviolettem Licht geblitzt wird
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mit Filter vor mind. einer Kamera gearbeitet wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass durch die Wirkung des Blitzlichtes die Entfernung zu Merkmalen bestimmt wird, wenn deren Remissionsgrad bekannt ist.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass zusätzlich Laser, Ultraschall und/oder Radar zur weiteren Merkmalserfassung genutzt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Größe eines Merkmals zur Bestimmung seiner Entfernung genutzt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass bekannte Merkmale für die Funktionsprüfung genutzt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass bekannte Merkmale zur Navigation genutzt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Retroreflektoren als Referenzen genutzt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Retroreflektoren von Spiegeln unterschieden werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mind. eine Kamera so getriggert ist, dass sie Unterbrechungen und Lichtphasen des Fremdlichtes ausnutzt.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Erfassung von Merkmalen fortgesetzt wird, um den Aussagewert zu erhöhen.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass für den Vergleich von Aufnahmen mind. eine Aufnahme in der Helligkeit angepasst wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass im Vergleich von Aufnahmen Änderungen in der Umgebung erkannt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Kamera überwiegend senkrecht über einer Ebene angebracht ist und erhabene Merkmale über der Ebene erfasst werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Kamera und Blitzgerät so getriggert werden, dass sie nicht von Fremdblitzern gestört werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Fehler in der Blitzlichtverteilung korrigiert werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass sich annähernde Merkmale näher ermittelt werden und sich entfernende Merkmale ferner ermittelt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Geschwindigkeit und/oder Entfernung von sich ändernden oder entfernenden Merkmalen berechnet werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Kamera und Blitzgerät ausreichend weit voneinander entfernt werden, um Störungen durch Partikel zu verringern.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass glänzende oder spiegelnde Merkmale durch die mattere Umgebung bestimmt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass glänzende oder spiegelnde Merkmale durch eine Vielzahl von Aufnahmen mit Blitzgeräten und/oder Kameras an verschiedenen Positionen bestimmt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Energie des Blitzlichtes an die Funktionsnotwendigkeit angepasst wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Pixel in den Aufnahmen und/oder nach dem Vergleich der Aufnahmen mit Nachbarpixeln bewertet und/oder gefiltert werden.
Verfahren nach Anspruch 31a, dadurch gekennzeichnet, – dass die Pixelfilterung quer zum Kontrastgefälle vorgenommen wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass bei ausreichender Differenz Ausgangssignale gebildet werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass nicht alle Bereiche für den Vergleich von Aufnahmen genutzt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Vorteile der Erfindung in Kombination genutzt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Retroreflektoren auf Merkmalen für Schutzmaßnahmen genutzt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Aufnahmen oder Vergleiche von Aufnahmen digitalisiert werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass ein größerer Bereich oder auch der gesamte Horizont oder auch die gesamte Umgebung erfasst wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mit dem Blitz deutliche Konturen auf den Oberflächen gebildet werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass störende Bewegungen von mind. einer Kamera ausgeglichen werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Merkmale mit Richtungserkennung verwendet werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass über die bekannte Positionshöhe von Merkmalen deren Entfernung bestimmt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass durch einen Vergleich von Aufnahmen mit und ohne Blitz Retroreflektoren von Leuchten unterschieden werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die erwartete Helligkeit mit der Helligkeit in der aktuellen Aufnahme verglichen wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die erwartete Aufhellung durch den Blitz mit der tatsächlichen Aufhellung durch den Blitz in der aktuellen Aufnahme verglichen wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass der Blitz im wesentlichen nur auf den zu untersuchenden Bereich gerichtet ist.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Merkmale durch Quotientenbildung beim Vergleich von Aufnahmen erkannt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Entfernung zum Merkmal durch Quotientenbildung ermittelt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass zu vergleichende Aufnahmen mit vergleichbaren Kameraeinstellungen erstellt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass nur ausreichende Kontraste ausgewertet werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Kamera nur auf den interessanten Bereich fokussiert ist.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass Kamera und Blitzgerät so ausgerichtet sind, dass sie nahe Merkmale vor einem entfernten Hintergrund erfassen können.
Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mit moduliertem Licht geblitzt wird und mit phasenmessenden Empfängern die Entfernung zu Merkmalen ermittelt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Laufzeit von Blitzimpulsen und Reflexionen mit laufzeitmessenden Empfängern die Entfernung zu Merkmalen ermittelt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass phasen- oder laufzeitmessende Empfänger zur Entfernungsmessung nachgeführt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Auslöschungsebene in ihrer Entfernung verändert wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mind. zwei Aufnahmen mit Blitz und eine Aufnahme ohne Blitz erstellt werden.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass eine überwiegend lang eingeschaltete Beleuchtung durch kurze Unterbrechungen für Aufnahmen ohne Licht genutzt wird
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass die Breite der Disparität zur Entfernungsbestimmung genutzt wird.
Verfahren nach mind. einem der vorgenannten Ansprüche, dadurch gekennzeichnet, – dass mind. zwei Aufnahmen mit Blitz erstellt werden, – dass durch die unterschiedliche Aufhellung in mind. zwei Aufnahmen, bei denen der Blitz aus unterschiedlichen Richtungen zum Merkmal ausgelöst wird, die Ausrichtung der Oberfläche des Merkmals ermittelt wird.