DE102019009080A1

DE102019009080A1 - Einrichten von Sensororten in kamerabasierten Sensoren

Info

Publication number: DE102019009080A1
Application number: DE102019009080.2A
Authority: DE
Inventors: Alfred Brühn
Original assignee: Sciknowtec GmbH
Current assignee: Sciknowtec GmbH
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2021-07-01

Abstract

Ein Kamerasensor ist in einem sehr weiten Sinn eine generelle Erfassungsvorrichtung für ganz allgemeine sensorische Aufgaben. Reale oder abstrakte Szenarien, also die Bildwerte aller Pixel eines Bildes, die Bildwerte der Pixel entlang einer Kurve im Bild (z.B. die Werte auf einer Zeile oder Spalte), aber auch die Bildwerte einzelner Pixel eines am Monitor sichtbaren Bildes, können in einer variablen Umgebung sensorisch relevante Details erfassen und darstellen.Allerdings ist die Auswahl geeigneter Pixel in einem Bild für eine automatisierte Entnahme und Verarbeitung i.a. eine schwierige Aufgabe. Eingabe- und Definitionsverfahren für eine Entnahme sensorisch geeigneter Werte aus einem Bilddatenstrom stellen daher bisher hohe Anforderungen an die Technik; eine Bildinterpretation erfordert komplexe Algorithmen.Indem aber nach einer geometrischen Ausrichtung einer Kamera bzw. eines kamerabasierten Sensors in einem Bild der räumlichen Umgebung einfach nur die gewünschten Sensororte während einer Einrichtungsphase eingezeichnet werden, kann die Einrichtung einer Kamera bzw. eines kamerabasierten Sensors sehr einfach ausgeführt werden.Indem nur noch Bilddatenwerte von den so festgelegten Bildkoordinaten übertragen werden, können auf sehr einfache Weise kamerabasierte Sensoren mit einem Kamerachip, auch im öffentlichen Umfeld bzw. Raum datenschutzrechtlich unbedenklich eingesetzt werden.

Description

Die Erfindung betrifft ein Verfahren zum Einrichten von Sensororten (Sensorpositionen) bei einer Nutzung von Kameras oder kamerabasierten Sensoren für eine unspezifische Erfassung von zeitlichen Vorgängen in einer räumlich definierten Umgebung, wobei zur Einrichtung der Sensororte die dazu genutzten Bilder reale Szenarien, aber auch z.B. virtuelle Realitäten oder Simulationen oder Kombinationen/Überlagerungen von realen, virtuellen oder simulierten Umgebungen darstellen können. Die Nutzung einer bildlichen Darstellung der jeweiligen räumlichen Umgebung ist für die Einrichtung nicht essentiell notwendig aber hilfreich.
Definitionen
Eine „Kamera“ dient i.a. der Aufnahme einer 2-dimensionalen Abbildung (Projektion) einer realen Situation (Szene) aus der 3-dimensionalen, realen Welt, in einer jeweiligen Sicht- oder Blickrichtung. Als Ergebnis der Aufnahme einer Kamera werden Bilder oder Filme (Videos) bereitgestellt, die auf Grund einer genügend hohen räumlichen und zeitlichen Auflösung ein Erkennen aller relevanten Details erlauben. Obwohl hier im Wesentlichen „kamerabasierte Sensoren“ im Focus des Interessens stehen, sollen auch Kameras mit Auflösungen, die das Wiedererkennen eines Menschen erlauben bzw. dessen Gesicht genau darstellen können, ausdrücklich einbezogen werden, ebenso wie die Aufnahmen mit Kameras unter Nutzung geeigneter Optiken (alle Formen von Objektiven, Lupen, Mikroskope, Teleskope, auch bildverzerrende Optiken, usw.).
„Sicht- oder Blickrichtung“ können übereinstimmen; während aber der Blick eines Menschen und damit die „Blickrichtung“ stets auf das Zentrum seiner Aufmerksamkeit mit einem eng fokuszierten Punkt, zentralen Bereich gerichtet ist (die noch wahrnehmbaren Randzonen des Blickfeldes liegen rechts und links in etwa gleich weit von diesem zentralen Punkt entfernt) ist mit „Sichtrichtung“ eher die Sichtlinie, also die geometrische Ausrichtung einer Kamera oder eines kamerabasierten Sensors gemeint. Der zu überwachende räumliche Bereich liegt im Sichtfeld.
Zu der im Bezug/Betreff verwendeten Umschreibung von „[...] zeitlichen Vorgängen [...] in räumlich definierten Umgebungen“, ist für das Folgende definierend hervorzuheben, dass damit der räumlich definierte Bereich bezüglich einer, z.B. ein Monitorbild erzeugenden Einheit (Kamera, virtueller (generierter) Anteil einer Simulation, ...) in „Blick- oder Sichtrichtung“ gemeint ist. „Blickrichtung“ ist hier die notwendig anzunehmende Blickrichtung des Beobachters, der das Bild (z.B. am Monitor) betrachtet; „notwendig anzunehmen“ ist die Blickrichtung, die der Beobachter notwendigerweise haben müsste, um genau das Bild zu sehen. Die Richtung der „Blick-Richtung“ wird also u.U. nicht vom Beobachter (z.B. von dessen Kopfhaltung), sondern z.B. von der anzunehmenden Ausrichtung der Kamera oder des kamerabasierten Sensor (Sichtrichtung) während der Bilderzeugung festgelegt. Objekte des Interesses werden i.a. zentral in Blickrichtung liegen, können aber bezüglich der Sichtrichtung (geometrische Ausrichtung der Kamera oder Sensors) auch am Rande liegen.
Im Allgemeinen spielt eine solche Feinunterscheidung keine große Rolle, kann aber doch Bedeutung erlangen, weil Anwendungen, die „fest installierte“ Kameras oder kamerabasierte Sensoren nutzen, unterschiedlichen Charakter haben können, wenn sich die Installation z.B. auf bewegte oder feststehende Objekte bezieht: Bei Applikationen (z.B. Türsteuerung) in fester Umgebung mit bzgl. dieser festen Umgebung fest angeordneter Kamera oder fest angeordneten kamerabasierten Sensoren werden Ziele einer Detektion (i.W. und i.a.) die im Sichtfeld (das in Sichtrichtung liegt) sich bewegende Objekte sein. Aber nicht alle sich bewegenden Objekte sind auch Ziel einer Detektion (ein z.B. sich im Sichtfeld bewegender Türflügel ist evtl. uninteressant).
Bei einer Applikation mit einem an einem Fahrzeugs angeordneten kamerabasierten Sensor oder Kamera (z.B. einem KFZ oder Transportfahrzeug in einem Großlager oder einem beweglichen Labor-Roboter, ... ) können alle sich im Sichtfeld in Sichtrichtung bewegenden Objekte Ziele einer Detektion sein, aber auch unbewegliche Objekte in der Umgebung oder z.B. Bodenmarkierungen.
Unter einem „kamerabasierten Sensor“ soll im Folgenden ein Sensor verstanden werden, dessen sensitives Element, z.B. ein Kamerachip, für die Erfassung eines Bildes zwar geeignet ist und die Erfassung der räumlichen Umgebung bzw. eines Szenariums ermöglicht, dessen Einsatz aber nicht die Ausgabe eines solchen Bildes oder eines Videos zum Ziel hat, evtl. nicht einmal ein Bild bereitstellt. Sofern Bilder überhaupt entstehen und zur Verfügung gestellt werden, sollen Details in diesen Bildern, bei kamerabasierten Sensoren unumgehbar soweit unkenntlich sein, dass kamerabasierte Sensoren mit einem Kamerachip, auch in einem öffentlichen Umfeld bzw. Raum - datenschutzrechtlich unbedenklich eingesetzt werden können.
Als Eigenschaften eines „kamerabasierten Sensors“ können (als Abgrenzung zur „Kamera“) vorab definierend gelistet werden:

- Kamerabasierte Sensoren nutzen - wie jede Kamera auch - geeignete Kamerachips, also pixelorientierte große Arrays mit einzelnen, aber i.a. sehr vielen, i.a. (aber nicht nur) optisch arbeitenden Sensoren.
- Kamerabasierte Sensoren stellen nach außen hin nur Bildsignale von während einer Einrichtung definierten Sensorpositionen bzw. Sensororten zur Verfügung, nicht jedoch für eine Erkennung ausreichend aufgelöste Bilder.
- Die räumliche Zuordnung von Objekten oder Vorgängen kann bzgl. der räumlichen Zuordnung anhand von Bilddaten eines Bildes erfolgen; bezüglich der Möglichkeiten einer räumlichen Zuordnung von Objekten oder Vorgängen und der diese abbildenden Sensorpixel sind kamerabasierte Sensoren daher mit Kameras vergleichbar.
- Die Nutzung eines kamerabasierten Sensors ist (im Gegensatz zu einer Kamera) auch in einer öffentlich zugänglichen Umgebung möglich, weil keine für eine Erkennung ausreichend hoch aufgelöste Bilder entstehen bzw. bereitgestellt werden.

Das grundsätzliche Konzept eines solchen kamerabasierten Sensors und des zugehörigen Verfahrens, das auch in einer für Videoüberwachung sonst nicht zulässigen Umgebung eingesetzt werden kann, ist in der DE 102017003313 beschrieben. Dort werden Einrichtungs-, Kontroll- und Normalbetriebs-Phasen unterschieden. In einer Einrichtungsphase können Punkte, Geraden, Kurven und Bereiche in einem Hintergrundbild definiert werden, die als „Sensororte“ im Betrieb genutzt werden können. Wie eine solche Einrichtung technisch durchgeführt werden kann und mit welchen Mitteln das im Detail erfolgt, wird vorausgesetzt, aber in dieser DE102017003313 nicht näher offenbart. Wesentlich bei dem Verfahren der DE102017003313 ist eine Schnittstelle mit einer geringen Datenübertragungsrate, durch die garantiert wird, dass mit einem kamerabasierten Sensor keine Kamera im eigentlichen Sinne vorliegt. Das ist so, weil Bilder und Videos, die zur Erkennung von Menschen geeignet sein könnten, nicht zur Verfügung stehen.
Das kann auch hier eine Rolle spielen und kann genutzt werden, ist aber keine essentielle Anforderung für die benötigten Eingaben bzw. für das hier beschriebene erfindungsgemäße Verfahren zum Einrichten von Sensororten in einem Bildrahmen. Das erfindungsgemäße Eingabeverfahren kann also für alle kamerabasierten Erfassungssysteme und Sensoren gleichermaßen genutzt und eingesetzt werden.
„Unspezifisch“ heißt, dass nur bildaufnehmende und/oder -verarbeitende Methoden eingesetzt werden, wodurch die Bindung an eine spezifische physikalische Größe nicht erforderlich ist. Dies ist auch in dem Sinne zu verstehen, dass beliebige, von tatsächlichen physikalischen Parametern unabhängige Vorgänge sensorisch erfasst werden können. „Unspezifisch“ heißt in diesem Zusammenhang, dass die Erfassung eines Körpers oder eines Objektes (im Folgenden nur „Objekt“), z.B. eine sich mit der Zeit ändernde Form oder sich verändernde Formumgebung (im Folgenden: „Vorgang“), wie das Eindringen eines Objekts (auch „hineinwachsen“) in einen räumlich definierten oder vorgegebenen Bereich oder in eine räumlich definierte Umgebung (im Folgenden: „Raum“ oder „Umgebung“) möglich ist, ohne sich auf einen spezifischen physikalischen Parameter zu beziehen. Die Erfassung selbst erfolgt also unabhängig von den Eigenschaften der Umgebung (z.B. von Temperatur, Luft- oder Wasser-druck, kann räumlich klein (z.B. mikroskopisch klein) oder groß (z.B. astronomisch groß) sein, usw.). Die Erfassung erfolgt unabhängig von den Eigenschaften der Objekte im Raum (klein oder groß, schwer oder leicht, leitend oder nichtleitend, Material, usw.) und/oder von der Herkunft sowohl der jeweiligen Umgebung als auch der jeweiligen Objekte (real, real mit Verfremdung, virtuell, usw.).
In diesem Sinne sind „Verfahren für eine unspezifische Erfassung“ unspezifisch, wenn z.B. Objekte oder Vorgänge in der jeweils gegebenen Umgebung vom Menschen mit seinem optischen Sinn und seiner Fähigkeit zur Interpretation des von ihm gesehenen Szenariums erfasst werden kann (sichtbar sind) und dieser Vorgang - einschließlich der Interpretation - technisch nachgebildet werden kann. Man kann den Menschen gewissermaßen als eine „Sensoreinheit für eine unspezifische Erfassung“ sehen; die technische Auslegung bzw. Nachbildung dieser Fähigkeit ist Ziel und Aufgabe.
Die Grenzen zwischen spezifisch und unspezifisch sind aber fließend: Ein Näherungssensor, z.B. für eine Türsteuerung, kann im Stand der Technik ein Sensor sein, der ein sich änderndes elektromagnetisches Feld erfasst oder die sich ändernden Eigenschaften eines Radar- oder Ultraschallsignals erkennt; also Änderungen einer spezifischen physikalischen Größe erfasst, die (hoffentlich nur) von z.B. einem Fußgänger verursacht werden. Dieser Sensor erfasst also nur Änderungen des jeweils spezifischen physikalischen Parameters; das Ereignis „Mensch betritt den Türzugangsbereich“ wird über diese Veränderungen des spezifischen physikalischen Parameter detektiert. Als Beispiele sind induktive oder kapazitive Sensoren oder Radar- oder US-Sensoren oder allgemeine Näherungssensoren anzuführen. Diese Näherungssensoren werden am Ort ihrer Anbringung eingesetzt, um an dieser Stelle eine Annährung von einem Objekt erfassen zu können.
Gute Ergebnisse können mit derart einfachen Sensoren i.a. dann erzielt werden, wenn eine gleichbleibende Umgebung vorliegt und das Eindringen eines ausreichend großen Objekts ausreichend schnell in den jeweils zu überwachenden räumlichen Bereich bzw. des Sensorbereichs erfolgt. Sensoren, die auf der Basis dieser Technologien arbeiten, können allerdings nur den jeweils spezifischen, oft gestörten Parameter nur am Ort der Anbringung und bezüglich der jeweiligen Umgebung immer nur punktuell erfassen, oft in einem Mittelwert nur grob zusammengefasst.
Bei einer solchen Näherungsdetektion könnte aber auch mittels Kamera nur ein Monitorbild des Eingangsbereichs bereitgestellt werden; ein Mensch oder eine Bildverarbeitung erkennt diese Annäherung - unspezifisch, weil unabhängig von einem spezifischen physikalischen Parameter - und kann reagieren.
Aber z.B. Infrarot-Sensoren (IR) sind auch auf einen spezifischen physikalischen Parameter (nämlich IR) reagierende Sensoren und wären somit den spezifischen Verfahren zuzuordnen, andererseits können derartige Sensoren Elemente von Thermokameras sein. Die mit einer Thermokamera gewonnenen Aufnahmen, bei denen die Bilderzeugung also auf dem spezifischen, physikalischen Wellenlängenparameter (IR) basiert, könnten aber den unspezifischen Verfahren auch zugeordnet werden.
Die Flexibilität, die ein menschlicher Beobachter (mit oder ohne dazwischen geschalteter Kamera) bzgl. räumlicher und zeitlicher Einordnung eines Vorgangs am sensorisch zu überwachenden Ort aufweist, ist mit solchen spezifischen Sensoren ganz offensichtlich nicht gegeben. Ein menschlicher Beobachter kann die Situation vor Ort auch erfassen (i.a. optisch und so i.a. auch besser), kann die Annäherung sogar insgesamt durch die Szenenbeurteilung (i.a. weitaus fehlerfreier) verifizieren und kann Schlussfolgerungen treffen.
Ohne dass ein menschlicher Beobachter am Ort der Messung anwesend ist, können Erfassung und Verifikationen einer Annäherung mittels einer Kamerabild-Übertragung vom Ort des einzuordnenden Geschehens an den Ort verlegt werden, an dem sich der Beobachter befindet, und ohne sich auf einen spezifischen physikalischen Parameter zu beziehen, kann er so -nur durch „sehen“ und interpretieren- eine Sensoraufgabe erfüllen; ein sehr wichtiger Vorteil beim Einsatz von Kameras.
Das Einsatzumfeld von Kameras und kamerabasierte Sensoren
Eine optische Erfassung mittels Videokamera ist i.a. einfach nachzuvollziehen, weil dabei der wichtigste Sinn des Menschen genutzt wird. Die gegebenen Möglichkeiten sind unmittelbar verständlich, wenn man sich zwischen dem menschlichen Beobachter mit seinem Sinn zur optischen Erfassung und Interpretation und einem zu beobachtenden Szenarium lediglich eine Kamera und einen Monitor geschaltet denkt. Es genügt darzustellen, dass das, was von einer Kamera aufgenommen und auf einem Monitor sichtbar ist, vom Mensch in einiger Entfernung genau so interpretiert werden kann, als wäre er an dem Ort, der auf dem Monitor abgebildeten Realität anwesend.
Diese Betrachtung kann erweitert werden und ist immer noch einfach nachzuvollziehen, wenn man sich vorstellt, dass nicht das Abbild einer echten Realität, sondern eine virtuelle Realität dem beobachtenden und interpretierenden Mensch angeboten wird (z.B. in einem Simulator); oder eine Kombination aus echter und virtueller Realität.
Ein Objekt, ein Parameter oder ein Vorgang kann in diesem Sinne generell dann detektiert und/oder interpretiert werden, wenn eine Eigenschaft des Objekts, Parameters oder Vorgangs die ist, „sichtbar zu sein“. Am Monitor nicht direkt sichtbare Eigenschaften, wie z.B. die Masse oder die Temperatur eines Objekts sind evtl. abzugrenzen (oder sind nur indirekt zu erfassen, was allerdings auch für einen Menschen vor Ort gilt). Eine „Realität“ des Bildes muss nicht vorausgesetzt werden: Wenn eine geeignete bildliche Darstellung gegeben ist (auch abstrakte bildliche Darstellungen ohne Kameraeinsatz oder virtuelle Realitäten), dann sind die Voraussetzungen einer „bildlichen Interpretation“ gegeben.
Darunter kann sogar eine einfache Temperaturmessung subsummiert werden, bei der lediglich eine Kamera auf ein entfernt liegendes Thermometer gerichtet wird, das Bild auf einen Monitor übertragen und dort abgelesen wird. Wenn ein Beobachter in der Lage ist, durch Interpretation eine benötigte Information nur aus der Betrachtung des Monitorbildes zu entnehmen, dann genügt es darzustellen, dass die dazu benötigten Bild-Elemente sicher auch von einem Algorithmus gleichermaßen interpretiert werden können.
Zumindest irgendwann einmal; heute muss man einer einen Algorithmus ausführenden technischen Einheit noch etwas helfen und ihr z.B. zeigen, wo diese Bildelemente im Bild liegen. Das erfolgt bei einer Kamera oder einem kamerabasierten Sensor in der Einrichtungsphase.
Ein Kamerasensor ist in diesem sehr weiten Sinn eine generelle Erfassungsvorrichtung für ganz allgemeine sensorische Aufgaben. Reale oder abstrakte Szenarien, also die Bildwerte aller Pixel eines Bildes in ihrer Gesamtheit, die Bildwerte der Pixel entlang einer Kurve im Bild (z.B. die Werte auf einer Zeile oder Spalte), aber auch die Bildwerte einzelner Pixel eines am Monitor sichtbaren Bildes, können in einer beliebig variablen Umgebung sensorisch relevante Details erfassen und darstellen.
Allerdings ist dabei der mit diesem Thema verbundene gesellschaftliche und/oder gesetzliche Rahmen zu beachten. Ein Einsatz von Kameras im öffentlichen Raum ist durch bestehende Datenschutzrichtlinien voller Probleme. Aus diesem Grund macht es Sinn, nicht eine Kamera, sondern einen kamerabasierten Sensor (in der oben definierten Bedeutung) für derart allgemeine sensorische Aufgaben heranzuziehen.
Wenn mit der jeweiligen Technik keine Kamera vorliegen soll, aber doch ein Kamerasensor (Kamerachip) genutzt wird, wird hier zur Abgrenzung der Begriff „kamerabasierten Sensor“ genutzt.
Dies sind also Eigenschaften für die allgemeinen, sehr weit reichenden Einsatzmöglichkeiten eines nicht auf einen spezifischen Parameter fixierten, kameraorientierten Sensors: Ohne auf einen spezifischen physikalischen Parameter Bezug nehmen zu müssen, können kameraorientierte Sensoren für eine allgemeine, unspezifische Erfassung von Objekten oder Vorgängen in frei definierbarer Umgebung (auch in einer für Videoüberwachung nicht zulässigen Umgebung) genutzt werden. Ein weiterer Vorzug ergibt sich, weil der Bezug zur Umgebung selbst sehr frei gestaltet werden kann:

Oftmals liegt nämlich eine nicht vorhersehbare, zudem oft recht komplexe Umgebung in einem Überwachungsbereich vor, die/der zudem von Fall zu Fall variiert. Das Eindringen von unterschiedlich gestalteten Objekten, die von unterschiedlicher Größe sind oder anders variabel gestaltet sein können, ergibt bei Sensoren, die nur einen spezifischen physikalischen Parameter erfassen, oft Signalvariabilitäten, die nicht sicher von Störungen unterschieden werden können.

Oftmals ist zudem nicht nur die allgemeine Überwachung eines Raumbereichs gewünscht (also nicht nur „da ist etwas“), sondern die Erfassung eines Objektes mit bekannten Eigenschaften, z.B. bzgl. Form und/oder Bewegungszustand. Das kann z.B. die Anwesenheit oder Ankunft eines Fertigungsteils an einer definierten Position bei einer Fertigungsstrecke sein, das kann der Bewegungszustand des Objekts (Ankunft, Halt, Abfahrt) in der gegebenen Umgebung sein, das kann ein Fußgänger oder ein Hindernis vor dem Auto sein, das kann das Auto auf einem definierten Parkplatz sein, usw.
Ein Mensch kann derartige Aufgaben (Beobachtung einer Szene) meist von einer definierten Position aus besonders gut durchführen, die er zwecks besserer Übersichtlichkeit bevorzugt aufsuchen würde; andererseits wird er sich aus anderen Gründen, z.B. weil er auch andere Aufgaben zu erledigen hat, nicht ständig an dieser Position befinden wollen oder können. Auf dem an der (variablen) Position des Menschen dargestellten Monitorbild bzw. innerhalb des Monitorbildes kann der das Bild betrachtende Mensch aber immer noch alles das sehen, was er auch sehen würde, wenn er sich selbst an der Position der Kamera befinden würde. Er sieht das Eindringen oder Ankommen eines Objekts in den von der Kamera erfassten Bereich (z.B. durch ein Fenster) genau so, als wenn er sich selbst an der Kameraposition befinden würde. Eine Kamera, die einfach nur das Bild von der jeweils bevorzugten Position aus auf einen Monitorbildschirm überträgt und darstellt, kann in jedem Fall nützlich und sinnvoll sein.
Um die Fähigkeit des Menschen zur Wahrnehmung und Bewertung einer solchen Szene bzw. Szenendarstellung (direkt oder auf einem Monitor) technisch nachbilden zu können, verändert sich die Aufgabenstellung in Richtung einer Bildverarbeitung mit Szeneninterpretation. Dabei ist die Interpretation eines Bildes mit einer den menschlichen Fähigkeiten vergleichbaren Leistung insgesamt nur sehr schwer und (wenn überhaupt) mit hochkomplexen Algorithmen möglich.
Analysiert man die Aufgabenstellung genauer, dann sind im beschriebenen Rahmen sowohl reine Kamerasysteme als auch kamerabasierte Sensoren zur Ausarbeitung von Lösungen von Überwachungsaufgaben geeignet. Eine Unterscheidung ist und bleibt, dass in einer gegebenen Situation ein kamerabasierter Sensor immer, eine Kamera nur eingeschränkt (Datenschutz) eingesetzt werden kann, dass aber eine Kamera immer die größere funktionelle Variabilität bieten kann (auf den Stand der Technik gilt aber heute noch, sofern der Mensch für die Interpretation einbezogen werden kann).
Betriebsbedingungen von Kameras und kamerabasierte Sensoren
Im Wesentlichen besteht der Einsatz eines kamerabasierten Sensors aus einem speziellen Bildaufnahmeverfahren mit einem Kamerachip und einem speziellen Bildverarbeitungsverfahren.
Es wurde bereits ausgeführt, dass der Einsatz von Kameras im öffentlichen Raum nicht ohne Probleme ist. Die gesellschaftlichen und/oder gesetzlichen Rahmenbedingungen (nicht nur bestehende Datenschutzrichtlinien) sind zu beachten. Aus diesem Grund macht es Sinn, nicht eine Kamera, sondern lediglich einen kamerabasierten Sensor, der keine zur Überwachung erkennungsgeeigneten Bilder bereitstellt, für allgemeine sensorische Aufgaben heranzuziehen.
Bei erfindungsgemäßen Anwendungen wird zwischen Normalbetrieb, der Einrichtungsphase und einer Kontrollphase unterschieden:

Der Normalbetrieb und die Kontrollphase können weitgehend unabhängig von den variablen Einsatzbedingungen definiert werden.

Im Normalbetrieb werden vom installierten kamerabasierten Sensor (oder von der installierten Kamera) über eine Schnittstelle die jeweils für die vorgesehene Nutzung benötigten Bilddaten bereitgestellt, wobei nur die in der Einrichtungsphase als Sensororte definierten speziellen Punkte, Kurven und Gebiete berücksichtigt werden. Dieser Normalbetrieb kann mit, aber u.U. auch ohne eine Übertragung von Bildern stattfinden. Im Normalbetrieb werden nur Bilddaten von den Sensorpositionen bereitgestellt, die für die Nutzung vorgesehen sind und diese Sensorpositionen können weitgehend frei und variabel ausgewählt werden.
In der Kontrollphase erfolgt beides: sowohl Bilder als auch die sequenziellen Bilddatenwerte werden ausgegeben; bei einer Kamera können das allgemeine Bilder sein, bei einem kamerabasierten Sensor sind diese Bilder technisch nicht korrigierbar grob verpixelt. In dieser Kontrollphase werden vom installierten kamerabasierten Sensor (oder von der installierten Kamera) über eine Schnittstelle Bilder bereitgestellt, in denen die in der Einrichtungsphase als Sensororte definierten speziellen Punkte, Kurven und Gebiete in die Bilder eingeblendet (hell oder dunkel, farblich oder anders hervorgehoben), zugleich werden auch die für die Nutzung vorgesehenen (und evtl. schon aufbereiteten) Bilddaten des Normalbetrieb bereitgestellt. Die Kontrollphase ist nötig, um das vom installierten kamerabasierten Sensor (oder von der installierten Kamera) erfasste Geschehen mit den Bilddaten des Normalbetriebs (für den Menschen) in Beziehung setzen zu können.
In der Einrichtungsphase zeigt sich die große (mit einer vollständigen Kameradarstellung plus Mensch vergleichbaren) Variabilität bzgl. einer räumlichen Zuordnung des zu detektierenden Geschehens, zum anderen aber auch die leichte Handhabbarkeit. Wenn die Einrichtungsphase kompliziert und/oder langwierig ist, ist letztendlich auch der Einsatz eines kamerabasierten Sensors (oder einer Kamera) kompliziert und/oder langwierig. Der Einrichtungsaufwand (d.h. sowohl die mechanische Befestigung und Ausrichtung, als auch der Programmieraufwand) für eine Anwendung eines kamerabasierten Sensors (oder einer Kamera) bestimmt letztendlich die Einsatzfähigkeit und den Nutzen. Die Einrichtungsphase ist also eine wichtige Phase der jeweiligen Nutzung der Kamera oder eines kamerabasierten Sensors. Der Nutzen und die Eignung eines kamerabasierten Sensors wird i. W. durch die Eingabephase definiert.
Aufgabe
In diesem technischen Rahmen ist es die Aufgabe der Erfindung, ein einfach organisierbares, einfach organisiertes, schnell und intuitiv nutzbares Verfahren anzugeben, durch das Punkte, Kurven und Gebiete in einem Bild definiert und festgelegt werden können, durch die die Einrichtung bzw. die Auswahl von Sensororten eines (installierten) kamerabasierten Sensors oder einer installierten Kamera festgelegt werden, wobei anwendungsorientiert zueinander bewegliche Objekte und Räume ebenfalls zu berücksichtigen sind.
Diese Aufgabe wird mit den kennzeichnenden Details des Anspruchs 1 gelöst, insbesondere dadurch, dass in der Einrichtungsphase in einem von der Kamera bzw. kamerabasierten Sensor bereitgestellten Bild einfach nur die benötigten Sensororte eingezeichnet werden. Es werden in das Bild mit den Mitteln eines Graphikprogramms einfach nur Punkte, Kurven und Gebiete eingezeichnet, die als Sensororte zu behandeln sind. Durch diese Punkte, Kurven und Gebiete wird der technischen Einheit gezeigt, wo Sensor-Elemente (also Sensororte, d.h. welche Pixel) im Bild liegen, die in der jeweiligen Anwendung zu berücksichtigen sind.
Die Auswahl von Sensororten eines (installierten) kamerabasierten Sensors oder einer installierten Kamera wird im Detail dadurch erreicht,

- dass mittels eines Graphikprogramms eine Bildrahmenvorlage, d.h. ein Bild mit möglichst genau so vielen Pixeln in x- und y-Richtung, wie der eingesetzte Kamerachip in der Kamera oder im kamerabasierten Sensor aufweist, erzeugt wird. Die Bildrahmenvorlage kann das jeweilige räumliche Sichtfeld als Bild wiedergeben (also eine Aufnahme der Umgebung sein, so wie diese von der Kamera oder vom kamerabasierten Sensor „gesehen“ wird, oder eine Skizze dieser Umgebung oder auch ein verfremdetes Abbild der Umgebung, usw.), kann aber auch einfach nur ein leeres Bild in einem Bildrahmen sein, braucht evtl. nicht einmal wirklich vorliegen),
- von diesem Bild oder Bildrahmen werden zwei identische, gleichgroße 1:1-Kopien (Kopie 1 bzw. Bild 1 und Kopie 2 bzw. Bild 2) erstellt,
- von denen eine Kopie dem Nutzer (als Einrichter der Kamera bzw. des kamerabasierten Sensors) zur Bearbeitung angeboten wird (das kann auf einem Rechner oder gleichwertig auf einem Handheld oder Smartphone erfolgen),
- in dieses Bild werden vom Nutzer (d.h. von der die Kamera bzw. den Sensor einrichtenden Person) die gewünschten Sensororte einfach nur eingezeichnet (schwarz oder weiß, farbig, kontrastverändernd, usw.). Dafür können Standardelemente eines Graphikprogramms, z.B. unter Maussteuerung oder durch Touch-eingaben, oder unter Zuhilfenahme von elementaren Eingabemitteln beliebig genutzt werden. Koordinaten von Punkten, Linien oder Bereichen können aber auch über die Tastatur eingegeben und damit definiert werden, können als Standardelemente (z.B. Linien, Kurven, Bereiche oder andere Formen) in das Bild einkopiert werden, können mittels einer mathematisch definierten Formel oder anders festgelegt werden, usw.
- das kann an jeder beliebigen Arbeitsstation oder Arbeitsrechner, Laptop oder Smartphone mit den geeigneten graphischen Mitteln dieser Systeme ausgeführt werden. Die dafür auf dem System verwendeten Programme müssen nicht Teil der Kamera oder des kamerabasierten Sensors sein, sondern können externe Hilfsmittel, können aber auch Teil eines Produkt-Gesamtpakets sein (Firmware, FPGA, usw.).

Mit der derart einfachen graphischen Festlegung durch den Einrichter der Kamera bzw. des kamerabasierten Sensors in einem Bild liegen die Sensororte in diesem Bild bzw. im Bildrahmen bereits fest. Mit der Speicherung des bearbeiteten Bildes kann der weitere Vorgang dann vollautomatisch durchgeführt und abgeschlossen werden:

- Nach Abschluss der Eingabe wird zunächst ein Differenzbild aus dem unveränderten Original-Bild (z.B. Kopie 1) und der bearbeiteten Version (z.B. Kopie 2) gebildet, wodurch alle Bildteile, die nicht vom Nutzer gezeichnet, verändert oder übermalt worden sind (also gleich geblieben sind) im Differenzbild zu Null werden.
- Alle Bildstellen in diesem Differenzbild mit Bildwerten ungleich 0 können dadurch als vom Nutzer definierte Sensororte erkannt werden. Diese Stellen können durch einen Maskenwert (z.B. FFh als Bit-Maske) ersetzt werden. (Das ergibt ein „modifiziertes Differenzbild“ in dem nur Stellen markiert sind, die vom Nutzer bearbeitet wurden).
- das modifizierte Differenzbild kann als Maske verwendet werden, mit der nur an den zuvor vom Nutzer definierten Sensororten Bildelemente aus einem jeden Bild herausgeschnitten werden können.
- Aus den Elementen der Differenzbildes oder des modifizierten Differenzbildes können mittels Software Informationskonzentrate (z.B. Umrandungen, Vektoren, usw.) berechnet werden.
- Aus z.B. Eingabereihenfolgen können Start und Endpunkte festgelegt werden, was bei der Ausgabe von Bilddaten berücksichtigt werden kann.
- usw.

Die notwendigen Berechnungen können an jeder Stelle des Signal-Bilddaten-Laufwegs (vom Kamerachip bis zum z.B. Smartphone) anhand eines Differenzbildes aus Kopie 1 (Original) und Kopie 2 (bearbeitete Version), können also sowohl im Smartphone, als auch in der Kamera oder dem kamerabasierten Sensor ausgeführt werden. Das Ergebnis der berechneten Daten muss (anwendungsorientiert) geeignet weitergereicht werden.
Bevorzugt sind die folgende Daten an den kamerabasierten Sensor (oder an die installierte Kamera) zu übertragen:

- entweder wird das Differenzbild oder das modifizierte Differenzbild zur Nutzung als Maske übertragen, und/oder
- die Koordinaten der gewünschten Sensororte werden übertragen und/oder
- aus den so vorgegeben, gewünschten Sensororten werden abgeleitete Werte und/oder Parameter gebildet und übertragen.
- Start und Endpunkte für die Übertragung von Bild daten im Normalbetrieb.

Mit den so ermittelten und an den installierten kamerabasierten Sensor (oder an die installierte Kamera) übergebenen Daten können aus jedem vom installierten kamerabasierten Sensor oder der installierten Kamera erfassten Bild die Bilddaten an den Sensororten unmittelbar aus dem Bild ausgeblendet werden.
Modifikationen ergeben sich dadurch, dass und wie das für eine Einrichtung des Sensors vom kamerabasierten Sensor oder von der Kamera an den Nutzer übertragene Bild bereitgestellt wird, wie die Kommunikationsschnittstelle ausgestaltet ist, welche Übertragungsformen und Protokolle genutzt werden, wie die Kommunikationsschnittstelle und die Einrichtungsphase zu aktivieren ist, welche graphischen Mittel und Programme dem Nutzer für die Eingabe der Sensororte zur Verfügung stehen, usw.
Die Erfindung soll anhand der bis detaillierter dargestellt werden:

zeigt dazu eine Übersicht zur Darstellung der Verfahrensschritte für das Einrichten von kamerabasierten Sensoren oder Kameras.
zeigt Beispiele für das Festlegen von Sensororten.
stellt Modifikationsmöglichkeiten von Eingaben zur Definition von Sensororten dar.
stellt eine Grenzlinieneinrichtung am Beispiel einer Kollisionsvermeidungsstrategie für autonom fahrende Fahrzeuge mittels kamerabasierter Sensoren (oder mittels Kamera) dar.
stellt das Einrichtung einer Türsteuerung mittels kamerabasierter Sensoren (oder mittels Kamera) dar.
stellt das Einrichten von kamerabasierten Sensoren (oder Kameras) in komplexeren Szenarien als ein weiteres Anwendungsbeispiel dar.

stellt eine Übersicht zur Darstellung der Verfahrensschritte dar: In der oberen Hälfte sind die Schritte für die Vorgabe eines für die Einrichtung geeigneten Bildes (10) an einen Einrichter bzw. Nutzer (9) dargestellt, in der unteren Hälfte die Schritte der Berechnung und Rückgabe von Angaben zu den Sensororten und die Nutzung dieser Angaben (soweit gleiches dargestellt ist, werden die Bezeichner gleich bzw. mehrfach genutzt). Da hier primär nur die Beschreibung der Einrichtung erfolgen soll, ist im Wesentlichen nur der Weg von der Szene (1) bis zum Nutzer, und die Gewinnung der benötigten Informationen daraus dargestellt:

Eine Szene bzw. Umgebung (1) wird optisch (2) mit dem Kamerachip (3) einer Kamera oder eines kamerabasierten Sensors erfasst. Die optische Abbildung (2) der Szene (1) auf den Kamerasensor (3) kann direkt, mit einer linear oder mit einer nichtlinear abbildenden Optik (z.B. die 180°-Abbildung einer Fischaugenoptik) durchgeführt werden. Oft noch in der Kamera bzw. im kamerabasierten Sensor (mit Kamerachip (2) und Aufbereitungseinheit (5)), wird aus den Rohbilddaten (4) ein für die technische Weiterverarbeitung geeignet normiertes Bildformat (z.B. ein BMP-Format) erzeugt, das an andere Rechner (7) und Stationen (10) (11) weitergereicht und dort weiterverarbeitet werden kann.

Die Eigenschaften der Bild-Datenübertragung (6) von der Kamera bzw. des kamerabasierten Sensors ((3) (4) (5)) bestimmt u.a. auch die Eigenschaften der übertragenen Bilder. Auf dem Stand der Technik sind Einschränkungen bei der Übertragung (6) von Bildern einer Kamera nicht zwangsläufig gegeben. Hier wird angenommen, dass kamerabasierte Sensoren ((3) (4) (5)) nur eine langsame Bitdatenrate (technisch nicht umgehbar) zulassen bzw. benötigen. Die Übertragung (6) auch nur eines einzelnen Bildes an einen Arbeitsrechner (7) kann dadurch etwas längere Zeit, z.B. 1 Minute, dauern. Wenn weitere Bildübertragungen (8) von diesem Bild (7) auf dem Arbeitsrechner, z.B. auf ein Smartphone (10) des Nutzers (9) vorgesehen werden, kann das aber unabhängig von den Übertragungseigenschaften (6) kamerabasierter Sensoren oder Kameras ((3) (4) (5)) mit uneingeschränkter Geschwindigkeit erfolgen.
Das, was von der realen Szene (1) mittels der Optik (2) auf den Kamerasensor (3) abgebildet wird, ist das, was die Kamera bzw. der kamerabasierte Sensor ((3) (4) (5)) und weiter auch der Nutzer (9) als Bild (10) sieht. Die von den einzelnen Sensoren (einzelne Pixel) des Kamerachips (3) erfassten Bildwerte können (als einzelne Werte) bestimmten (sehr) kleinen Raumbereichen der Realität zugeordnet werden (im Sinne einer Projektion). Der Ort eines jeden Sensorpunkts bezogen auf die x-,y-Lage im Array des Kamerachips entspricht im Bild der Projektion von einem räumlich definierten Ortsbereich aus der Realität (1). Der (sehr enge) Ortsbereich aus der Realität (1), der dem einzelnen Pixel zugeordnet ist, ist für den das Bild beobachtenden Menschen aus dem Bild heraus unschwer sofort zugänglich und das ohne den einzelnen Punkt wirklich isoliert betrachten zu müssen: Er sieht zwar einfach nur einen Weg, eine Bank, einen Eingang, ein KFZ oder eine auf den Boden gezeichnete Grenzlinie usw., davon aber ist unzweifelhaft der einzelne Sensorpunkt ein Teil von dem, was er sieht.
Wenn der Mensch in einem für ihn dargestellten Bild (10) sodann einen Ort, z.B. eine Stelle auf einem Weg z.B. durch einen Strich (15) markiert, dann kann aus der Markierung (15) im Bild (10) auch auf die Lage der von der Markierung gekennzeichneten Sensororte im Array des Kamerachips (3) geschlossen werden.
In dem Bild, das die Kamera ((3) (4) (5)) direkt (6) oder indirekt (8) über einen Rechner (7) auf einem Bildschirm (10) dem Nutzer (9) bereitstellt, hat z.B. der Nutzer eine Markierung (15) eingezeichnet. Ein zweites unverändertes Bild (11) wurde als Kopie (11) erzeugt (16) und/oder nur gespeichert. Mit dem Einzeichnen der Markierung (z.B. einer Linie (15)) in das Bild (10) ist der gesamte Einrichtungsvorgang erfindungsgemäß bereits abgeschlossen.
Die Einrichtungsarbeit des Nutzers (9) besteht also nur aus der Betrachtung des Bildes (10), einer Entscheidung, wo die Sensororte liegen sollen, und dem einfachen Einzeichnen dieser Sensororte in das Bild (10) (durch die Markierung (15), z.B. eine Linie). Alles andere läuft automatisch ab:

Im Rechner mit dem vom kamerabasierten Sensor ((3) (4) (5)) übernommenen Bild (7) oder noch auf dem Smartphone (oder Tablet, Laptop,...) wird aus dem vom Nutzer (9) veränderten Bild (10) und dem unveränderten Bild (11) ein Differenzbild (12) berechnet (17). Alle Bildanteile, die nicht vom Nutzer (9) verändert worden sind, sind im Differenzbild (12) Null. Dies Differenzbild (12) kann (so wie es ist) an die Kamera (5) zurückgereicht werden (14); alternativ können die vom Nutzer definierten Bildpositionen (mit Bildwerten ≠ 0) durch einen Bit-Maskenwert (z.B. FF) ersetzt und diese an die Kamera (5) zurückgereicht werden (14) werden. Dieses modifizierte Differenzbild kann z.B. in der Aufbereitung (5) als Maske verwendet werden, durch die (z.B. durch eine AND-Verknüpfung) aus jeden Bild nur an den vom Nutzer (9) markierten Sensororten (15) Bildelemente übernommen werden, während alle anderen Bildpunktwerte Null sind.

Die notwendigen Berechnungen können an jeder Stelle des Signal-Bilddaten-Laufwegs (vom Kamerachip (3) bis zum z.B. Smartphone (10) anhand einer derartigen Differenzbildung aus einer Kopie 1 (Original) und der Kopie 2 (bearbeitete Version) ausgeführt werden. Das Ergebnis der so berechneten Daten muss (anwendungsorientiert) an die Stelle der Bild-Masken-Verknüpfung weitergereicht werden. Die Aufgabe einer Differenzbildung kann auch der Hardware auf dem Kamerachip (3) oder der Aufbereitung (5) direkt zugeordnet werden.
Dafür können z.B. die an die Kamera bzw. den Sensor zurückgereichten Daten (14) genutzt werden; das Differenzbild (12) oder das modifizierte Differenzbild kann als Maske genutzt werden; evtl. zuvor berechnete Koordinaten oder Parameter (z.B. Kurvenparameter) der so ermittelten Sensororte und/oder abgeleitete Werte und/oder Parameter können dazu genutzt werden. Abgeleitete Parameter können z.B. Kreisscheibenparameter oder Flächenparameter, Aufgabencodierungen, Befehlscodes (z.B. um bestimmte Zustände wie Einrichtungsmodus, Kontrollmodus oder Betriebsmodus aufzurufen), o.ä. sein.
Mit den so ermittelten und an den installierten kamerabasierten Sensor (oder an die installierte Kamera) übergebenen Daten können aus jedem vom installierten kamerabasierten Sensor oder der installierten Kamera erfassten Bild Bilddaten unmittelbar an den Sensororten aus dem Bild ausgeblendet werden. Werden im eigentlichen Betrieb nur noch die, z.B. aus dem Bild ausgeschnittenen Daten übertragen (6), dann liegt nur noch ein geringer Datenumfang vor, in dem sich aber das Geschehen der Szene an exakt den vom Nutzer (9) durch die gezeichnete Markierung (15) definierten Sensorpositionen und Orten widerspiegelt (und nur an diesen).
Es werden also erfindungsgemäß für die Einstellung in einem vom installierten, geometrisch ausgerichteten kamerabasierten Sensor bzw. von der geometrisch ausgerichteten Kamera bereitgestellten Bild mit den Mitteln eines Graphik- oder Mal-Programms einfach nur Punkte, Kurven und Gebiete eingezeichnet, die dann als Sensororte erkannt, zugeordnet und behandelt werden.
Durch die vom Nutzer bzw. Einrichter in einen Bildrahmen oder Bild eingezeichneten Punkte, Kurven und Gebiete wird der technischen Einheit gezeigt, wo Sensor- Elemente (Sensororte) im Bild liegen, die in der jeweiligen Anwendung zu berücksichtigen sind (unabhängig davon, ob die weitere Verarbeitung durch einen Menschen oder durch einen Algorithmus erfolgt). Ein echtes Bild muss dazu nicht immer wirklich vorliegen; wenn (z.B. an einem Fahrzeug in Fahrrichtung) ein definierter Kantenverlauf vorliegt, kann eine solche Sensorortslinie evtl. auch mathematisch bestimmt und sogar adaptiv (z.B. geschwindigkeitsabhängig) angepasst werden.
Anhand eines bereitgestellten Bildrahmens oder Bildes kann das der Nutzer (unter Kontrolle und Nutzung seines optischen Sinns) sehr präzise erledigen. Er sieht ja genau, welche Stelle im Bild, gleichwertig welche Stelle der Szene er markiert und obwohl ein kamerabasierter Sensor anschließend evtl. gar keine (Gesamt-)Bilder mehr erzeugt, werden genau diese und nur diese zuvor markierten Stellen vom Kamerachip für die Auswertung bereitgestellt.
Die Eingabe von in das Bild einzuzeichnenden Bild- und Graphikelementen kann mit den elementaren Mitteln von graphischen Programmen, kann aber auch durch andere Mittel erfolgen. Diese Mittel können kombiniert und erweitert werden, betreffen aber i.W. außerhalb der Erfindung liegende, mehr oder weniger komfortabel ausgestaltete Mittel und Verfahren der bestehenden Rechnersysteme.
Mehrfach-Definitionen von Sensororten (z.B. 2 oder 3 im Bild eingezeichnete Linien), die einzeln oder in Kombination für definierte Anwendungen eingesetzt werden können, sind möglich. Dabei ist als Besonderheit (Spezialfall) zu sehen, dass u.U. gar kein wirkliches Bild, sondern nur ein Bildrahmen, eine Skizze oder eine abstrakte Darstellung oder sogar nur virtuelle Prozessschritte dafür nötig ist.
Der in (im Bild unten noch einmal) dargestellte Verlauf der Signalweiterleitung, ausgehend von einer Realität (1) über einen kamerabasierten Sensor ((2) (3) (4)) direkt oder indirekt (6) (8) weitervermittelt zu einer Auswertungseinheit (13), die nur die vom kamerabasierten Sensor kommenden Signale nutzt, wird im Normalbetrieb durchlaufen. Der Umfang der mittels z.B. der Maskendaten (14) aus dem Array des Kamerachips (3) ausgeblendeten Daten (i.a. keine Bilder) ist gering und kann auch über eine sehr langsame Schnittstelle (6) übertragen werden.
Mit diesen definierten Verfahrensschritten können die oben schon genannten Eigenschaften eines „kamerabasierten Sensors“ nunmehr vervollständigt werden:

- Kamerabasierte Sensoren nutzen - wie jede Kamera auch - geeignete Kamerachips, also pixelorientierte große Arrays mit einzelnen, aber i.a. sehr vielen, i.a. (aber nicht nur) optisch arbeitenden Sensoren.
- Kamerabasierte Sensoren stellen nach außen hin nur Bildsignale von während einer Einrichtung definierten Sensorpositionen bzw. Sensororten zur Verfügung, nicht jedoch für eine Erkennung ausreichend aufgelöste Bilder.
- Die räumliche Zuordnung von Objekten oder Vorgängen kann bzgl. der räumlichen Zuordnung anhand von Bilddaten eines Bildes erfolgen; bezüglich der Möglichkeiten einer räumlichen Zuordnung von Objekten oder Vorgängen und der diese abbildenden Sensorpixel sind kamerabasierte Sensoren daher mit Kameras vergleichbar.
- Die Nutzung eines kamerabasierten Sensors ist (im Gegensatz zu einer Kamera) auch in einer öffentlich zugänglichen Umgebung möglich, weil keine für eine Erkennung ausreichend hoch aufgelöste Bilder entstehen bzw. bereitgestellt werden.
- Es sind nur sehr einfache und geringe Installations- und Einrichtungs-Arbeiten für die räumliche Zuordnung von Objekten oder Vorgängen für den Sensor nötig.
- Der Aufwand für die Bereitstellung und Übertragung von Daten ist klein, i.a. sehr viel kleiner, als für die Übertragung von Bilddaten sonst notwendig wäre.

zeigt beispielhaft mögliche Definitionen von Sensororten (mit einem Bild oder ohne dass dazu wirklich ein Bild von der Kamera oder dem kamerabasierten Sensor vorliegen muss): Vom Aufbau eines vorgegebenen Kamerachips abgeleitet, werden die Länge (20) (21) und Breite (22) (23) (Höhe) der Bildrahmen definiert. Ist das Bild eines kamerabasierten Sensors bekannt oder kennt man eindeutig festliegende Grenzpositionen (24) (25), dann benötigt man evtl. kein Bild für die Definition von Sensororten. Mittels definierter, evtl. zeitlich variierender Parameter kann zu den Grenzpunkten (24) (25) eine Kurve (26), evtl. sogar adaptiv berechnet werden. Mit einer so definierten Kurve (26) (29) kann auch die Breite der Kurve, evtl. definiert durch zusätzlich berechnete oder vorab definierte Grenzlinien (27) (28) oder Parameter.
Wird z.B. das in zuvor definierte Differenzbild (12) durch eine so berechnete Sensor-Ortsdefinition (gemäß oder ) ersetzt, dann kann der übrige, in dargestellte Bildverwertungsprozess unverändert erhalten bleiben. Dazu können die, jetzt lediglich durch Berechnung gewonnenen Markierungen wieder (z.B. durch FF) ersetzt werden, und (wie zuvor in (12)) eine Bildmaske ausbilden.
stellt Modifikationsmöglichkeiten zur Eingabe von Sensororten zusammen: Geraden oder einfache Kurven (40) können mit den Tools von Graphikprogrammen oder durch Berechnung oder mit Bildelementen und mit verschiedenen Parametern erstellt werden. Randzonen zu einer einfachen Kurve (44) können mit Graphikprogrammen oder aus Bildelementen oder durch Definition der Breite der Kurve (44) erstellt werden. Auf einer so definierten Kurve können senkrechte Abschnitte (41) (42) an definierten Positionen auf der Kurve oder in gleicher Weise zugeordnete breite Zonen (45) (46) (z.B. von definierter Länge) definiert werden. Zonenbreiten können gleichermaßen der Kurve (43) und/oder den senkrechten Abschnitten zugewiesen werden. Auf einer so definierten Kurve können Punkt- oder kreisförmige Zonen an definierten Positionen (47) (48) (49) auf der Kurve definiert werden.
zeigt als Beispiel einer Anwendung des erfindungsgemäßen Verfahrens Kollisionsvermeidungsstrategien für autonom fahrende Fahrzeuge mittels kamerabasierter Sensoren. Kameras wurden (evtl. als Reaktion darauf, dass die Fahrzeuge auch einen öffentlich zugänglichen Bereich durchfahren müssen) ausgeschlossen.
Zwei bewegliche Objekte (Fahrzeuge) mit den (Bug-=Begrenzungslinien (61) (65) tragen beide je einen in die jeweilige Fahrrichtung ausgerichteten kamerabasierten Sensor (60) (66) und fahren in z.B. aufeinander zu. Die mit den kamerabasierten Sensoren (60) (66) erfassten Sichtfelder sind durch Grenzbereichsangaben (67) (68) bzw. durch den jeweiligen Winkelbereich (70) angegeben. Die kamerabasierten Sensoren (60) (66) sind schräg nach unten in Richtung Boden in die jeweilige Fahrtrichtung ausgerichtet.
Jeder der beiden kamerabasierte Sensoren (60) (66) sieht also die vordere Frontlinie „seines“ Fahrzeugs in Fahrtrichtung. Die notwendige Einrichtung ist bei beiden Sensoren (60) (66) gleich: In einem vom geometrisch nach vom ausgerichteten, installierten kamerabasierten Sensor (60) (66) jeweils bereitgestellten Bild werden vom Einrichter (Nutzer) einfach nur Sensorort-Linien vor der vorderen sichtbaren Randlinie (61) (65) des Fahrzeugs eingezeichnet (62) (64).
Die vom jeweiligen kamerabasierten Sensor (60) (66) nach außen übertragenen Bilddaten von dieser Sensorort-Linie sind aufgrund einer gleichmäßigen Bodenfarbe i.W. alle gleich. Ein Oszillogramm dieser Daten (praktisch der Funktionsverlauf der Bilddatenwerte auf der zuvor eingerichteten Sensorpositionslinie) zeigt bei beiden Fahrzeugen eine verrauschte, aber doch relativ gleichmäßige Linie. Durchdringt ein im Weg liegendes Objekt (63) eine der Sensorort-Linien (62) (64), dann entsteht im Oszillogramm ein vom Normalfall abweichendes Signal. Da dieses Signal nur auf jeweils einer Seite entsteht bzw. vorliegt, kann jedes Fahrzeug geeignet ausweichen.
Kurz vor einer Kollision der beiden Fahrzeuge, werden in beiden Oszillogrammen mittig liegende (z.B. von der verrauschten, relativ gleichmäßigen Oszilloskop-Linie abweichende), deutliche Signale zu sehen sein. Die Fahrzeuge müssen evtl. stoppen und/oder untereinander vereinbaren, wie sie geeignet ausweichen können.
Zuvor konnte (bei Tests) festgestellt werden, dass der Abstand der Sensorortslinie (62) (64) von der jeweiligen Fahrzeugkante (61) (62) manchmal (bremswegabhängig) zu klein sein kann. Eine Neueinrichtung der Sensoren durch weiter von den Fahrzeugkanten (61) (65) entfernt liegende Sensorortslinien (62) (64) waren schnell ausgeführt; das verlangsamte aber den Ablauf durch (lediglich artifiziell bedingte) häufigere Zusammenstöße. Nachdem die Sensorortskurven (62) (64) parametrisiert und geschwindigkeitsabhängig variieren, ist ein Optimum erreicht.
Dadurch, dass die vom installierten kamerabasierten Sensor bereitgestellten Bilder auf der Einrichtungsseite nicht nur einem Rechner mit einem entsprechenden Graphikprogramm übergeben werden, sondern auch (vermittelt oder nur weitergeleitet) auf einem Smartphone dargestellt werden können, kann die Einrichtungsphase besonders bequem, einfach und intuitiv und auch von außerhalb der fahrenden Fahrzeuge durchgeführt werden.
zeigt als weiteres Beispiel einer Einrichtung die Anwendung bei einer Türsteuerung mittels kamerabasierter Sensoren (oder mittels Kamera) und stellt dazu das Szenarium dar: Ein Supermarktzentrum (83) mit einem rund vorgewölbten Vorbau (86). Der Eingangsbereich des Supermarkts mit einer (runden) Eingangstür, die zwei sich zur Seite bewegenden Türflügel (84) (85) aufweist, wird im Wesentlichen durch einen von z.B. einem Parkplatz kommenden Zugang von Personen erreicht. Die eingefassten Ränder (87) (88) des Weges sind in einem Bild gut zu sehen. In einem größeren Fenster (81) ist des öfteren ein Aufzug zu sehen.
Zwei installierte kamerabasierte Sensoren sind von außen auf den Eingangsbereich des Supermarkts ausgerichtet. Auf Grund unterschiedlicher Technik, Optik und Installation erfassen die beiden Sensoren unterschiedliche Bildausschnitte (80) (90).
Für eine Einrichtung wird ein vom jeweiligen Sensor gesehenes Bild bereitgestellt und an den Einrichter, z.B. an dessen Smartphone-App übertragen. Auf dem Monitor oder Bildschirm des Smartphons sieht der Einrichter z.B. den Ausschnitt (90) des Eingangsbereichs, dessen (runde) Eingangstür mit den Türflügeln (84) (85) sich automatisch öffnen soll, wenn ein Mensch sich dieser Tür nähert; hier liegt ein öffentlich zugänglicher Bereich vor, eine Kamera einzusetzen, ist hier nicht opportun; es wird ein kamerabasierter Sensor eingesetzt. Mit einem Stift oder dem Fingernagel zieht der Nutzer (Einrichter) auf der Touch-Oberfläche in diesem Bild nahe der zu sehenden unteren Türkante (86) eine die Rundung der Türlinie verfolgende Linie (93), schließt danach das Bild und sendet damit das Bild (automatisiert) zurück. Damit ist die Einrichtung bereits abgeschlossen. Im vom Sensor übertragenen Oszillogramm ist ein stabiler Linienzug zu sehen, solange sich kein Besucher nähert.
Die Einrichtung des zweiten Sensors mit dem Bildausschnitt (80) zur Überwachung des Containers (82) erfolgt auf gleiche Weise. Die dort eingezeichnete Sensor-Ortslinie (92) berücksichtig, dass ein sich öffnender Türflügel (85) nicht vom Sensor mit erfasst wird.
Noch in der Smartphone-App oder in einem beliebigen Rechner, alternativ auch erst nach der Übertragung des geänderten Bildes an den Sensor erfolgt die oben beschriebene Berechnung von Masken oder Koordinaten. Der Sensor kann daraufhin in den normalen Betriebsmodus gehen (Normalbetrieb) und unter Nutzung dieser Maske oder der Koordinaten kontinuierlich nur die Bilddaten von den zuvor vom Nutzer in der Einrichtung definierten Sensororten nach außen bereitstellen.
Die Auswertung von im Normalbetrieb vom Sensor kommenden Daten kann und wird natürlich auch applikationsbedingt unterschiedlich sein.
Wichtig sind die Eingabemöglichkeiten, die dem Nutzer zur Verfügung gestellt werden müssen. Wie man am letzten Beispiel sehen kann, ist eine einfache Toucheingabe (mit Fingerspitze oder Stift) für die Eingabe von Punkten oder Linien oftmals nötig und sinnvoll; eine solche Eingabeform ist also vorzusehen. Da eine solche, freihändig gezeichnete Linie evtl. etwas krakelig ausfallen kann, sind geeignete Hilfstools z.B. zum Glätten oder verschieben des Kurvenverlauf recht nützlich. Typische graphische Zeichenprogramme bieten i.a. solche Tools standardmäßig an, meist schon mit Auswahlmöglichkeiten auch zum Zeichnen von Linien (Polygone, Polynome, Punkte, Bereiche mit Bereichsrändern und senkrecht stehenden Linien, usw.).
In diesem Beispiel des Supermarkts der gleitet der linke Türflügel (85) bei jeder Öffnung der Tür in den Bildbereich (80) des zweiten Sensors hinein, würde also u.U. jedes Mal einen Fehl-Folgealarm auslösen. Dadurch dass die Sensorortslinie geeignet gelegt werden kann (und evtl. schnell umgerüstet werden kann) stellt eine solche Situation i.a. kein Problem dar.
Wenn Mehrfachdefinitionen von so bei der Einrichtung vorzugebenden Sensorortsangaben zugelassen werden (wenn also zwei getrennt liegenden Sensorortslinien in nur ein einziges Bild eingezeichnet werden können), dann ist es möglich, nur eine einzelne Kamera bzw. einen einzigen kamerabasierten Sensor einzusetzen. Dazu müsste lediglich der Bildausschnitt (90) geometrisch etwas nach links ausgerichtet zu werden, so dass beide Sensorortslinien (92) (93) im Bildausschnitt zu liegen kommen. Eine Mehrfach-Sensorlagendefinition erweitert die Einsatzmöglichkeiten der Erfindung.
stellt in einer komplexeren Szene ein weiteres Anwendungsbeispiel, das sich z.B. auf einer Fertigungs-Straße abspielen kann: Es werden jetzt nicht nur eine, sondern mehrfach kamerabasierte Sensoren (oder Kameras) eingesetzt (108) (111) (102) (103). Das Geschehen in einem Fertigungsbereich wird in von oben aus der Vogelperspektive , z.B. von einer weiteren Kamera (nicht dargestellt) betrachtet.
Aus dieser Sicht von oben sieht ein an fester Position oberhalb der Szene installierter kamerabasierter Sensor (oder die installierte Kamera) jeweils das sich am Boden abspielende Geschehen (nicht dargestellt). Dieser erste installierte kamerabasierte Sensor muss nach der Installation eingerichtet werden; die daraufhin vom Sensor kommenden Signale müssen ausgewertet werden. Die einzurichtende Sensorortskurve kann z.B. mit der Trennlinie (112) übereinstimmen; jeder Durchgang durch diese Linie kann daraufhin detektiert werden.
Hier soll im oberen Bereich (110) (der Zeichnungseben) ein durch eine Grenze (112) von einem Außenbereich (100) abgetrennter, zu sichernder Bereich zu sehen sein. Diese Grenze (112) ist evtl. nur fiktiv (d.h. die Grenze (112) ist nicht durch z.B. einen Zaun abgetrennt und gesichert), sondern vielleicht nur durch eine Bodenmarkierung gekennzeichnet. Der zu sichernde Bereich (110) kann z.B. Bewegungsbereich eines dort agierenden Roboters sein.
Im Außenraum (100) (hier in der unteren Zeichnungsebene) bewegen sich (evtl. autonome) Zulieferfahrzeuge (104) und Menschen (115); im Außenraum (100) kann es vorkommen, dass Gegenstände (106) abgelegt worden sind und/oder herumliegen; der Boden selbst ist glatt (ein für die Zulieferfahrzeuge geeigneter Untergrund) und ist i.a. einfarbig.
Auf dem Zulieferfahrzeug (104) kann an einer oberen Stelle ein in Fahrtrichtung nach unten gerichteter (zweiter) kamerabasierter Sensor ebenfalls fest am Fahrzeug installiert sein. Eine Kamera kommt hier nicht Frage, weil während der Fahrt des Fahrzeugs auch öffentliche Bereiche im Erfassungsbereich der Kamera liegen können. In diesem Fall ist also der Sensor zwar auch fest installiert, dies gilt aber nur bezüglich des auch fahrenden Fahrzeugs (104). Dieser zweite kamerabasierte Sensor (103) erfasst jeweils das sich bezüglich der Fahrzeugposition vor dem Fahrzeug in Bodenrichtung abspielende Geschehen.
Dieser zweite, fest am Fahrzeug installierte kamerabasierte Sensor (103) muss, nach der Installation am Fahrzeug, ebenfalls eingerichtet werden; die vom Sensor kommenden Signale müssen daraufhin ausgewertet werden. Das Einrichten besteht nur aus der Eingabe der Linie (105), die adaptiv angepasst werden kann.
Auf dem Zulieferfahrzeug (104) kann an einer oberen Stelle auch ein seitlich, evtl. nach unten ausgerichteter (weiterer oder alternativer) kamerabasierter Sensor (117) (oder seitlich von vorn nach hinten ausgerichteter oder von hinten nach vorn, usw.) fest am Fahrzeug installiert sein. Eine Kamera kommt wieder nicht Frage. In diesem Fall ist also wieder Sensor zwar auch fest installiert, dies gilt aber wieder nur bezüglich des auch fahrenden Fahrzeugs (104). Dieser weitere kamerabasierte Sensor (117) erfasst mit der z.B. eingerichteten Sensorortsline (118) das sich seitlich vom Fahrzeug abspielende Geschehen. Dieser zweite, fest am Fahrzeug installierte kamerabasierte Sensor (117) wird nach der Installation am Fahrzeug eingerichtet. Die vom Sensor kommenden Signale müssen ausgewertet werden. Das Einrichten besteht nur aus der Eingabe der Linie (118) im vom Sensor (117) bereitgestellten Bild. Auf diese Weise könnte z.B. der gefürchtete seitlich liegende tote Winkel beim LKW entschärft werden.
In Zeiten, in denen die Fertigungsstrecke eingerichtet wird, werden zusätzliche Grenzbereiche definiert: Zum einen wird Material über einen für Fahrzeuge freigegebenen, von Menschen zu meidenden Weg antransportiert, zum anderen werden Menschen im abzusichernden Bereich für die dort anfallenden Arbeiten benötigt. Dafür ist eine eigens dafür eingerichtete Schleuse (114) vorgesehen.
Es werden zwei zusätzliche kamerabasierte Sensoren installiert: der eine kamerabasierte Sensor (111) dient der Überwachung des in den zu sichernden Bereich einfahrenden Fahrzeugbetriebs, der weitere (108) kamerabasierte Sensor für eine Sicherung der in den zu sichernden Bereich eindringenden Mitarbeiter.
Diese weiteren kamerabasierten Sensoren müssen nach ihrer Installation ebenfalls eingerichtet werden; die daraufhin vom Sensor kommenden Signale müssen ausgewertet werden.
Die Einrichtung des Sensors (103) auf dem Fahrzeug (104) erfordert den Eintrag einer Sensorortslinie (105), so wie das zur schon beschrieben wurde; diese Linie ist bezüglich der vorderen Kante des Fahrzeugs definiert und bewegt sich mit dem Fahrzeug (104) mit. Die Reaktion eines Fahrzeugs (104) auf ein im Weg liegendes Hindernis (106) wurde zur schon beschrieben. Das Fahrzeug (104) kann lokal entscheiden, wie seine Reaktion auf ein seine Sensorortslinie durchdringendes Objekt ist.
Die Einrichtung des fest installierten Sensors (111) erfordert den Eintrag einer Sensorortslinie (109), die in Sichtrichtung des Sensors (111) hinter der Grenzmarkierung (112) liegt. Mit diesem Sensor (111) können Objekte, die die Sensorortslinie (109) durchdringen, erkannt werden.
Wenn das Fahrzeug (104) mit seiner Sensorortslinie (105) die Grenzlinie (112) überschreitet, erkennt das Fahrzeug das und stoppt; wenn die Fahrzeugfrontlinie (104) die Sensorlinie (109) erreicht, erkennt der Sensor (111) das und fordert das Fahrzeug zur Kommunikation auf. Die Lage der Sensorortslinien (105) (109) sind dem Kommunikationsprotokoll angepasst geeignet einzurichten, damit das Fahrzeug nicht schon lange zuvor gestoppt hat, wenn der Sensor (111) noch keine Wahrnehmung hat. Hierzu sind geeignete Kommunikationsprotokolle vorzusehen, was aber die Anwendung des kamerabasierten Sensors nicht einschränkt.
Die Einrichtung des Sensors (108) ist nur kurzfristig von einem Mitarbeiter (115) geplant worden. Dazu wurde der Sensor (108) eingerichtet: In das von einer Schnittstelle des Sensors (108) über einen Knoten (101) übernommene, auf einem externen Überwachungsrechner geöffnete Bild wird z.B. mit dem Tool „Linien“ oder „Bögen“ (eine andere Standardsoftware kann das evtl. anders bezeichnen) eine glatte Linie in das Bild eingetragen. Mit den Tools „Stift“ oder „Pinsel“ können derartige Kurven auch freihändig eingezeichnet werden (113), z.B. weil eine Smartphon-Eingabe das evtl. nicht erlaubt. Daher sind u.U. weitere Tools nützlich, die den Kurvenverlauf anpassen, glätten oder verlagern können.
Solche Linien und Kurven können natürlich auch durch die explizite Angabe von Parametern definiert werden. Die Eingabe von Parametern zur Beschreibung von Punkten, Linien und Bereichen über eine Tastatur sollte also in jedem Fall vorgesehen sein. Da Tastatureingaben einen ASCII-Code generieren, kann dieser unmittelbar auch im Eingabegerät verarbeitet werden, oder an jeder beliebigen Stelle, auch in dem installierten kamerabasierten Sensor (oder die installierte Kamera) oder kann an eine mit dem Sensor verbundene Rechnereinheit (Mikroprozessor oder Kleincomputer) gesendet und dort vor Ort verarbeitet werden.
Die Einstellung der Linien auf dem Monitor und die Wiedergabe zur weiteren Verarbeitung kann also allgemein und leicht ausführbar angeben werden. Dies definiert Sensororte, von denen im Bildbereich des installierten kamerabasierten Sensors (oder der installierten Kamera) die Bildwerte als Messwerte ausgegeben werden.
Wesentlich für das Verfahren ist, dass der für die Einrichtung einer Kamera oder eines kamerabasierten Sensors benötigte Arbeitsaufwand extrem klein ist. Gerade die Anwendung von nicht-abbildenden, aber doch kamerabasierten Sensoren erlaubt eine fast beliebige Ausweitung von Anwendungen auf der Basis von Kamerachips.
Als Folge der Überlegung, dass Pixel als Punktsensoren aufgefasst werden können, ergibt sich u.a. auch, dass für etlichen Anwendungen mit kamerabasierten Sensoren keine sonderlich hohen Anforderungen an die Auflösung der Kamerachips zu stellen sind: Die Auflösung heutiger Kamerachips ist so hoch, dass die zu einem evtl. fehlerhaften Pixel benachbart liegenden Pixel im gegebenen Kontext oft nur eine Redundanz darstellen. Es ist nicht einmal unbedingt notwendig, dass alle Pixel arbeiten (Nutzung von evtl. wegen einzelner Pixelfehler sonst ausgesonderter Kamerachips); Bilder mit Fehlern durch ausgefallene Pixel stören zwar u.U. das Bildqualitätsempfinden des Menschen, das wird aber irrelevant, wenn Bilder ohnehin nur eingeschränkte Bedeutung haben oder gar nicht genutzt werden.
Die Anforderungen an eine Optik (2) sind ebenfalls relativ gering: Der auf den sensitiven Bereich des Kamerachips (3) als Bild abgebildete Sensor-Einzugsbereich (1) muss nicht proportionsgetreu abgebildet werden. Der sensorisch zu erfassende Bereich sollte zwar nachvollziehbar und i.W. vollständig auf den Kamerachip abgebildet sein; das kann aber großzügig gehandhabt werden; die große Ausrichtung reicht dafür im Allgemeinen. Für eine Einzelbereichs-Pixelbewertung oder für Bereichszusammenfassungen können die sich ergebenden Bilder zudem verzerrt, von entfernt oder schräg liegenden, das Geschehen aber überschauenden Positionen aus aufgenommen sein.
Ein Kamerachip als Sensor ist daher in einem sehr weiten Sinn für sehr viele und sehr allgemeine sensorische Aufgaben eine generelle Erfassungsvorrichtung.
Die beschriebenen Beispiele schränken die Anwendbarkeit von kamerabasierte Sensoren nicht darauf ein. Sehr viele mögliche Anwendung können gesehen werden und können unter dem Thema Kamera oder kamerabasierte Sensoren weitreichende Einsatzmöglichkeiten bieten.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017003313 [0009]

Claims

Eingabe- und Definitionsverfahren während einer Einrichtungsphase nach einer geometrischen Ausrichtung der Sichtrichtung einer Kamera und/oder eines kamerabasierten Sensors zur Erfassung von Objekten oder Vorgängen in der räumlichen Umgebung in Sichtrichtung der Kamera und/oder des kamerabasierten Sensors, wobei Kamera und/oder kamerabasierte Sensoren einen Kamerachip als Basis-Sensor mit einer Vielzahl von Pixeln aufweisen, dadurch gekennzeichnet, dass das Einrichten durch einfaches Einzeichnen der gewünschten Sensororte (92) (93) in ein von der Kamera und/oder von dem kamerabasierten Sensor bereitgestellten Bild (80) (90) erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus der Gesamtmenge der Vielzahl von Pixeln des Basis-Sensors während der Einrichtung eine Teilmenge an Pixeln herausgegriffen wird, wobei die Teilmenge durch die in einem Bild oder Bildrahmen eingezeichneten oder übermalten Stellen bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Sensororte aus einem Differenzbild (12) ermittelt werden, das aus dem von der Kamera oder dem kamerabasierten Sensor bereitgestellten, unveränderten Bild (11) und dem Bild (10), in dem der Nutzer die von Ihm gewünschten Sensororte einfach nur eingezeichnet hat, berechnet wird.
Verfahren nach mindestens einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass Mehrfachdefinitionen von Punkten, Linien und Bereichen in einem Bild möglich sind, wobei jedem zusammenhängenden Sensorortsgebiet ein eigener Ausgabespeicher für eine Ausgabe zugewiesen wird.
Verfahren nach mindestens einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass im normalen Sensorbetrieb nur die Bilddatenwerte für eine weitere Verarbeitung bereitgestellt werden, die von den in der Einrichtungsphase definierten Sensororten stammen
Verfahren nach mindestens einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Ausgabe von Bildwerten von den in der Einrichtungsphase eingezeichneten Punkte, Linien und Bereiche für eine Funktionsdarstellung im Sinne einer Oszilloskop-Funktionen bereitgestellt werden.
Verfahren nach mindestens einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Einrichtung von Sensororten in einem Bild durch freihändige Zeichnungen auf einem Touchbildschirm oder mittels eines Graphikprogramms oder durch mathematisch berechnete Graphikelemente möglich ist.
Verfahren nach mindestens einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Kamera oder der kamerabasierte Sensor (60) (66) bzw. (103) (117) auf einem Fahrzeug mechanisch montiert wird und eine bezüglich des Randes (61) (65) bzw. (104) eingerichtete Sensorortslinie (62) (64) bzw. (105) (118) eingerichtet wird.
Verfahren nach mindestens einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass mit den im Betrieb von Kameras oder kamerabasierten Sensoren für die weitere Verarbeitung bereitgestellten Bilddatenwerten zur Kollisionsvermeidung der Seitenbereich von LKWs (118) oder der Arbeitsbereich von Robotern (110) überwacht wird
Videokamera nach mindestens einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass in einer Kontrollphase sowohl die bildliche Darstellung der Umgebung auf einem Monitorbild mit den in der Einrichtungsphase definierten jetzt hervorgehobenen Punkten, Linien und Bereichen erfolgt, zugleich die über den definierten Sensororten liegenden bzw. ermittelten Pixelwerte, die im Normalbetrieb als Oszillogramm-Funktionen ausgegeben werden.