DE102023000716A1 - Device and method for the optical detection of emergency vehicles - Google Patents
Device and method for the optical detection of emergency vehicles Download PDFInfo
- Publication number
- DE102023000716A1 DE102023000716A1 DE102023000716.1A DE102023000716A DE102023000716A1 DE 102023000716 A1 DE102023000716 A1 DE 102023000716A1 DE 102023000716 A DE102023000716 A DE 102023000716A DE 102023000716 A1 DE102023000716 A1 DE 102023000716A1
- Authority
- DE
- Germany
- Prior art keywords
- individual sensor
- light
- sensor elements
- sensor arrangement
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 230000003287 optical effect Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 239000003086 colorant Substances 0.000 claims abstract description 13
- 206010034960 Photophobia Diseases 0.000 claims abstract description 7
- 208000013469 light sensitivity Diseases 0.000 claims abstract description 7
- 230000003595 spectral effect Effects 0.000 claims abstract description 7
- 230000004069 differentiation Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 229910052724 xenon Inorganic materials 0.000 description 3
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Die Erfindung betrifft eine Vorrichtung (1) zur optischen Erfassung von Einsatzfahrzeugen anhand von mittels einer Sensoranordnung (2) erfassten Sonderlichtzeichen. Erfindungsgemäß umfasst die Sensoranordnung (2) mehrere Sensoreinzelelemente (3.1 bis 3.n), welche als Array angeordnet sind. Mehrere der Sensoreinzelelemente (3.1 bis 3.n) sind zu zumindest einer logischen Einheit zusammengefasst und innerhalb der logischen Einheit zusammengefasste Sensoreinzelelemente (3.1 bis 3.n) weisen eine unterschiedliche spektrale Lichtempfindlichkeit auf. Alternativ oder zusätzlich umfasst die Sensoranordnung (2) zumindest einen Farbfilter (4) zur Unterscheidung von Farben von auf die Sensoreinzelelemente (3.1 bis 3.n) treffendem Licht (L). Weiterhin umfasst die Sensoranordnung (2) eine Auswerteeinheit (5), welche eine kontinuierliche Signalauswertung des auf die Sensoranordnung (2) treffenden Lichts (L) für jedes Sensoreinzelelement (3.1 bis 3.n) in Abhängigkeit von der Zeit, der jeweiligen Farbe und einer räumlichen Verteilung durchführt.Die Erfindung betrifft weiterhin ein Verfahren zur optischen Erfassung von Einsatzfahrzeugen anhand von mittels einer Sensoranordnung (2) erfassten Sonderlichtzeichen.The invention relates to a device (1) for the optical detection of emergency vehicles based on special light signals detected by a sensor arrangement (2). According to the invention, the sensor arrangement (2) comprises several individual sensor elements (3.1 to 3.n), which are arranged as an array. Several of the individual sensor elements (3.1 to 3.n) are combined to form at least one logical unit and individual sensor elements (3.1 to 3.n) combined within the logical unit have a different spectral light sensitivity. Alternatively or additionally, the sensor arrangement (2) comprises at least one color filter (4) for distinguishing colors of light (L) striking the individual sensor elements (3.1 to 3.n). Furthermore, the sensor arrangement (2) comprises an evaluation unit (5), which continuously evaluates the signal of the light (L) striking the sensor arrangement (2) for each individual sensor element (3.1 to 3.n) depending on the time, the respective color and a spatial distribution.The invention further relates to a method for the optical detection of emergency vehicles based on special light signals detected by a sensor arrangement (2).
Description
Die Erfindung betrifft eine Vorrichtung zur optischen Erfassung von Einsatzfahrzeugen gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a device for optical detection of emergency vehicles according to the preamble of claim 1.
Die Erfindung betrifft weiterhin ein Verfahren zur optischen Erfassung von Einsatzfahrzeugen gemäß dem Oberbegriff des Anspruchs 4.The invention further relates to a method for the optical detection of emergency vehicles according to the preamble of claim 4.
Für automatisiert, insbesondere hochautomatisiert oder autonom betriebene Fahrzeuge, und zum Betrieb von Fahrerassistenzsystemen ist es wichtig, in einer Fahrzeugumgebung befindliche Einsatzfahrzeuge zu erfassen. Dies erfolgt durch eine akustische Erfassung eines Einsatztonsignals und alternativ oder zusätzlich mittels Kamerasysteme zur optischen Erkennung von Sonderlichtsignalen. Somit kann bei Erkennen eines Einsatzfahrzeugs beispielsweise eine automatisierte Fahraufgabe durch Übergabe an einen Fahrer des Fahrzeugs beendet werden oder in einer komplexen Situation situationsgerecht eine Rettungsgasse gebildet werden.For automated, especially highly automated or autonomously operated vehicles, and for the operation of driver assistance systems, it is important to detect emergency vehicles located in a vehicle environment. This is done by acoustically detecting an operational sound signal and alternatively or additionally using camera systems for the optical detection of special light signals. This means that when an emergency vehicle is detected, for example, an automated driving task can be ended by handing it over to a driver of the vehicle or, in a complex situation, an emergency exit can be formed according to the situation.
Bei einem Kamerasystem wird jedes Pixel mit einer Bildwiederholrate einer jeweiligen Kamera zyklisch ausgelesen. Eine Anpassung einer Sensorempfindlichkeit an eine Szenenhelligkeit erfolgt, indem jedes Pixel der Kamera abhängig von der Helligkeit der Szene nur während eines gewissen Anteils einer Periodendauer der Bildwiederholrate tatsächlich aktiv ist.In a camera system, each pixel is read out cyclically with a frame rate of a respective camera. A sensor sensitivity is adapted to a scene brightness in that each pixel of the camera is actually active only during a certain portion of a period of the image repetition rate, depending on the brightness of the scene.
Aus der
Der Erfindung liegt die Aufgabe zu Grunde, eine neuartige Vorrichtung und ein neuartiges Verfahren zur optischen Erfassung von Einsatzfahrzeugen anzugeben.The invention is based on the object of specifying a novel device and a novel method for the optical detection of emergency vehicles.
Die Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung, welche die im Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren, welches die im Anspruch 6 angegebenen Merkmale aufweist.The object is achieved according to the invention by a device which has the features specified in claim 1, and by a method which has the features specified in claim 6.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the subclaims.
Die Vorrichtung zur optischen Erfassung von Einsatzfahrzeugen anhand von mittels einer Sensoranordnung erfassten Sonderlichtzeichen zeichnet sich erfindungsgemäß dadurch aus, dass die Sensoranordnung mehrere Sensoreinzelelemente umfasst, welche als Array angeordnet sind. Mehrere der Sensoreinzelelemente zu zumindest einer logischen Einheit zusammengefasst und innerhalb der logischen Einheit zusammengefasste Sensoreinzelelemente weisen eine unterschiedliche spektrale Lichtempfindlichkeit auf. Alternativ oder zusätzlich zu der Zusammenfassung der Sensoreinzelelemente zu der logischen Einheit umfasst die Sensoranordnung zumindest einen Farbfilter zur Unterscheidung von Farben von auf die Sensoreinzelelemente treffendem Licht. Weiterhin umfasst die Sensoranordnung eine Auswerteeinheit, welche eine kontinuierliche Signalauswertung des auf die Sensoranordnung treffenden Lichts für jedes Sensoreinzelelement in Abhängigkeit von der Zeit, der jeweiligen Farbe und einer räumlichen Verteilung durchführt.The device for the optical detection of emergency vehicles based on special light signals detected by means of a sensor arrangement is characterized according to the invention in that the sensor arrangement comprises a plurality of individual sensor elements, which are arranged as an array. Several of the individual sensor elements combined to form at least one logical unit and individual sensor elements combined within the logical unit have different spectral light sensitivity. Alternatively or in addition to combining the individual sensor elements into the logical unit, the sensor arrangement comprises at least one color filter for distinguishing colors of light striking the individual sensor elements. Furthermore, the sensor arrangement comprises an evaluation unit which carries out a continuous signal evaluation of the light hitting the sensor arrangement for each individual sensor element depending on the time, the respective color and a spatial distribution.
In dem Verfahren zur optischen Erfassung von Einsatzfahrzeugen anhand von mittels einer Sensoranordnung erfassten Sonderlichtzeichen wird erfindungsgemäß mittels mehrerer als Array angeordneter Sensoreinzelelemente der Sensoranordnung auf diese treffendes Licht erfasst. Dabei sind mehrere der Sensoreinzelelemente zu zumindest einer logischen Einheit zusammengefasst und innerhalb der logischen Einheit zusammengefasste Sensoreinzelelemente weisen eine unterschiedliche spektrale Lichtempfindlichkeit auf, wobei durch Kombination der Sensoreinzelelemente Farben von auf die Sensoreinzelelemente treffendem Licht unterschieden werden. Alternativ oder zusätzlich werden mittels zumindest eines Farbfilters Farben von auf die Sensoreinzelelemente treffendem Licht unterschieden. Weiterhin wird eine kontinuierliche Signalauswertung des auf die Sensoranordnung treffenden Lichts für jedes Sensoreinzelelement in Abhängigkeit von der Zeit, der jeweiligen Farbe und einer räumlichen Verteilung durchgeführt.In the method for the optical detection of emergency vehicles based on special light signals detected by means of a sensor arrangement, according to the invention, light striking them is detected by means of several individual sensor elements of the sensor arrangement arranged as an array. In this case, several of the individual sensor elements are combined to form at least one logical unit and individual sensor elements combined within the logical unit have different spectral light sensitivity, with colors of light striking the individual sensor elements being distinguished by combining the individual sensor elements. Alternatively or additionally, colors of light striking the individual sensor elements are distinguished by means of at least one color filter. Furthermore, a continuous signal evaluation of the light hitting the sensor arrangement is carried out for each individual sensor element depending on the time, the respective color and a spatial distribution.
Die vorliegende Vorrichtung und das vorliegende Verfahren ermöglichen insbesondere gegenüber Kamerasystemen eine Erfassung von Blitzlichtsignalen, welche durch Blitzgeräte, beispielsweise Xenon-Blitzgeräte, erzeugt werden. Xenon-Blitzgeräte weisen eine Leuchtdauer im Bereich von einigen Mikrosekunden bis zu ca. einer Millisekunde auf. Ob ein entsprechendes Pixel einer Kamera während eines aktiven Zeitraums der Xenon-Blitzgeräte tatsächlich aktiv ist, ist nicht sichergestellt. Bei einem inaktivem Pixel wird das Blitzlicht von der Kamera nicht wahrgenommen. Die Vorrichtung und das Verfahren ermöglichen aufgrund der kontinuierlichen Signalauswertung empfangenen Lichts mit einer hinreichenden zeitlichen Frequenzbandbreite, dass auch sehr kurze Leuchtzeiten von Blitzlampen zuverlässig erfasst werden können. Daraus resultiert eine besonders zuverlässige Erkennung von Einsatzfahrzeugen. Hieraus folgt wiederum eine verbesserte Situationserkennung und verbesserte Systemantwort im Fahrzeug, beispielsweise zur Übergabe einer Fahraufgabe von einer automatisierten Fahrfunktion an einen Fahrer zur Sicherstellung einer situationsgerechten Fahrt des Fahrzeugs, beispielsweise einer Bildung einer Rettungsgasse. Somit können automatisierte Fahrfunktion besonders sicher ausgelegt werden und eine besonders sichere Umsetzung regulatorischer Anforderungen an das automatisierte Fahren ist möglich.The present device and the present method enable, in particular compared to camera systems, the detection of flash signals which are generated by flash devices, for example xenon flash devices. Xenon flash units have a burn time in the range of a few microseconds to approximately one millisecond. It is not certain whether a corresponding pixel of a camera is actually active during an active period of the xenon flash units. If the pixel is inactive, the flash light is not perceived by the camera. The device and the ver Due to the continuous signal evaluation of received light with a sufficient temporal frequency bandwidth, even very short lighting times of flash lamps can be reliably recorded. This results in particularly reliable detection of emergency vehicles. This in turn results in improved situation recognition and improved system response in the vehicle, for example to hand over a driving task from an automated driving function to a driver to ensure that the vehicle travels in accordance with the situation, for example the formation of an emergency exit. This means that automated driving functions can be designed to be particularly safe and a particularly safe implementation of regulatory requirements for automated driving is possible.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Exemplary embodiments of the invention are explained in more detail below with reference to a drawing.
Dabei zeigt:
-
1 schematisch eine Seitenansicht einer Vorrichtung zur optischen Erfassung von Einsatzfahrzeugen.
-
1 schematically a side view of a device for the optical detection of emergency vehicles.
In der einzigen
Die Vorrichtung 1 umfasst eine Sensoranordnung 2 mit mehreren Sensoreinzelelementen 3.1 bis 3.n, zumindest einen Farbfilter 4 zur Unterscheidung von Farben von auf die Sensoreinzelelemente 3.1 bis 3.n treffendem Licht L umfasst und eine Auswerteeinheit 5, welche eine kontinuierliche Signalauswertung des auf die Sensoranordnung 2 treffenden Lichts L für jedes Sensoreinzelelement 3.1 bis 3.n in Abhängigkeit von der Zeit, der jeweiligen Farbe und einer räumlichen Verteilung durchführt.The device 1 comprises a
Mittels der Sensoranordnung 2 ist es möglich, für jedes Pixel der Bilderfassung, das heißt für jedes Sensoreinzelelement 3.1 bis 3.n, eine kontinuierliche Auswertung des Lichts L mit einer hinreichenden zeitlichen Frequenzbandbreite durchzuführen, so dass auch sehr kurze Leuchtzeiten von Blitzlampen zuverlässig erfasst werden können.By means of the
Die Sensoreinzelelemente 3.1 bis 3.n umfassen dabei einen lichtempfindlichen Sensor mit hinreichender optischer Dynamik zur Erfassung von Hell-Dunkelszenen und mit hinreichender Lichtfarbempfindlichkeit entsprechend verwendeter Farben von Blitzlichtern zur Erzeugung von Sonderlichtzeichen und einem sich daraus ergebenden Lichtspektrum. Das Lichtspektrum umfasst dabei beispielsweise rotes, blaues, oranges und gegebenenfalls je nach tatsächlichem Spektrum auch mit UV-Licht-Anteilen der Blitzlampen. Weiterhin zeichnet sich der lichtempfindliche Sensor durch eine hinreichende Bandbreite im Zeitbereich aus, um auch kurze Lichtblitze im Zeitbereich ab etwa einer Mikrosekunde zuverlässig erfassen zu können. Ein solcher lichtempfindlicher Sensor ist beispielsweise eine Fotodiode.The individual sensor elements 3.1 to 3.n include a light-sensitive sensor with sufficient optical dynamics to detect light-dark scenes and with sufficient light color sensitivity to the corresponding colors of flash lights used to generate special light signals and a resulting light spectrum. The light spectrum includes, for example, red, blue, orange and, depending on the actual spectrum, possibly also UV light components from the flash lamps. Furthermore, the light-sensitive sensor is characterized by a sufficient bandwidth in the time range in order to be able to reliably detect even short flashes of light in the time range of around one microsecond. Such a light-sensitive sensor is, for example, a photodiode.
Die Sensoreinzelelemente 3.1 bis 3.n sind dabei in einem Array, das heißt in mehreren Zeilen und mehreren Spalten angeordnet, um eine räumliche Differenzierung zu erreichen. Dabei kann gegenüber einem CCD-Sensor eine Pixelanzahl reduziert werden. Dadurch ergibt sich ein verringerter Aufwand. Jedoch sinkt mit sich verringernder Pixelanzahl auch ein Signal-Rausch-Abstand eines mittels des jeweiligen Sensoreinzelelements 3.1 bis 3.n erfassten Lichtsignals. Dies resultiert aus einem größeren Raumwinkel, weshalb mehr Licht neben der Blitzlampe erfasst wird, so dass der relative Anteil des Blitzlichts am Gesamtlicht des Pixels sinkt. Somit wird je nach Anwendungsvoraussetzungen ein Kompromiss zwischen geringem Aufwand und hohem Signal-Rausch-Abstand gewählt.The individual sensor elements 3.1 to 3.n are arranged in an array, that is, in several rows and several columns, in order to achieve spatial differentiation. Compared to a CCD sensor, the number of pixels can be reduced. This results in reduced effort. However, as the number of pixels decreases, a signal-to-noise ratio of a light signal detected by means of the respective individual sensor element 3.1 to 3.n also decreases. This results from a larger solid angle, which is why more light is captured next to the flash lamp, so that the relative proportion of the flash light to the total light of the pixel decreases. Depending on the application requirements, a compromise is chosen between low effort and a high signal-to-noise ratio.
Ein erfasstes Bild wird mittels einer Optik, beispielsweise eines Objektivs, auf das Array der Sensoreinzelelemente 3.1 bis 3.n projiziert. Dabei kann die Optik integraler Bestandteil des jeweiligen Sensoreinzelelements 3.1 bis 3.n oder durch eine separate Baugruppe gebildet sein.A captured image is projected onto the array of individual sensor elements 3.1 to 3.n using optics, for example a lens. The optics can be an integral part of the respective individual sensor element 3.1 to 3.n or can be formed by a separate assembly.
Aufgrund der Anordnung der Sensoreinzelelemente 3.1 bis 3.n in dem Array kann eine farbliche Differenzierung erreicht werden. Beispielsweise ist eine Farbunterscheidbarkeit bereits auf einer optischen Seite des jeweiligen Sensoreinzelelements 3.1 bis 3.n mittels Farbfilter 4 möglich. Die Farbfilter 4 sind hierbei insbesondere selektiv für zu erwartende Lichtsignale in den Farben orange, blau und rot ausgebildet, so dass die Sensoreinzelelemente 3.1 bis 3.n die direkt ein farbabhängiges Nutzsignal zur Verfügung stellen können. Auch kann mittels solcher Farbfilter 4 eine Erhöhung des Signal-Rausch-Abstands bereits auf der optischen Seite des jeweiligen Sensoreinzelelements 3.1 bis 3.n erzielt werden. Auch hierbei sind die Farbfilter 4 insbesondere selektiv für zu erwartende Lichtsignale in den Farben orange, blau und rot ausgebildet, so dass die Sensoreinzelelemente 3.1 bis 3.n die direkt ein farbabhängiges Nutzsignal zur Verfügung stellen können. Ferner kann eine universelle Farberkennung, beispielsweise im RGB-Farbraum, mit vor den Sensoreinzelelementen 3.1 bis 3.n befindlichen Farbfiltern 4, beispielsweise einem so genannten Bayer-Array, durchgeführt werden.Due to the arrangement of the individual sensor elements 3.1 to 3.n in the array, color differentiation can be achieved. For example, color differentiation is already possible on an optical side of the respective individual sensor element 3.1 to 3.n using color filters 4. The color filters 4 are in particular designed to be selective for expected light signals in the colors orange, blue and red, so that the individual sensor elements 3.1 to 3.n can directly provide a color-dependent useful signal. Using such color filters 4, an increase in the signal-to-noise ratio can also be achieved on the optical side of the respective individual sensor element 3.1 to 3.n. Here too, the color filters 4 are designed to be particularly selective for expected light signals in the colors orange, blue and red, so that the individual sensor elements 3.1 to 3.n can directly provide a color-dependent useful signal. Furthermore, universal color recognition, for example in the RGB color space, can be carried out with color filters 4, for example a so-called Bayer array, located in front of the individual sensor elements 3.1 to 3.n.
Somit ist es möglich, mittels des Arrays von Sensoreinzelelementen 3.1 bis 3.n sowohl eine räumliche als auch eine farbliche Differenzierbarkeit zu kombinieren.It is therefore possible to use the array of individual sensor elements 3.1 to 3.n to create both one to combine spatial and color differentiation.
In einer möglichen Ausgestaltung weist der Farbfilter (4) mehrere Filterelemente auf, wobei ein einzelnes Filterelement genau einem Sensoreinzelelement 3.1 bis 3.n zugeordnet ist, das heißt insbesondere auf eine Größe des jeweiligen Sensoreinzelelements 3.1 bis 3.n reduziert ist, und/oder ein einzelnes Filterelement mehreren der Sensoreinzelelemente 3.1 bis 3.n zugeordnet ist. Die Filterelemente weisen dabei insbesondere unterschiedliche Filtereigenschaften auf.In a possible embodiment, the color filter (4) has a plurality of filter elements, with a single filter element being assigned to exactly one individual sensor element 3.1 to 3.n, that is to say in particular reduced to a size of the respective individual sensor element 3.1 to 3.n, and/or a individual filter element is assigned to several of the individual sensor elements 3.1 to 3.n. The filter elements in particular have different filter properties.
In einer möglichen Ausgestaltung sind alternativ oder zusätzlich zu der Verwendung von Farbfiltern 4 mehrere der Sensoreinzelelemente 3.1 bis 3.n zu zumindest einer logischen Einheit zusammengefasst. Innerhalb der logischen Einheit zusammengefasste Sensoreinzelelemente 3.1 bis 3.n weisen dabei eine unterschiedliche spektrale Lichtempfindlichkeit auf, so dass durch Kombination der Sensoreinzelelemente 3.1 bis 3.n Farben von auf die Sensoreinzelelemente 3.1 bis 3.n treffendem Licht (L) unterschieden werden können. Die unterschiedliche spektrale Lichtempfindlichkeit kann beispielsweise mittels unterschiedlicher Sensormaterialien, Halbleiterdotierungen, Beschichtungen, durch Farbfilter 4 etc. erzielt werden.In one possible embodiment, as an alternative or in addition to the use of color filters 4, several of the individual sensor elements 3.1 to 3.n are combined to form at least one logical unit. Individual sensor elements 3.1 to 3.n combined within the logical unit have a different spectral light sensitivity, so that by combining the individual sensor elements 3.1 to 3.n, colors of light (L) striking the individual sensor elements 3.1 to 3.n can be distinguished. The different spectral light sensitivity can be achieved, for example, by means of different sensor materials, semiconductor doping, coatings, color filters 4, etc.
Ein vom Lichteinfall und gegebenenfalls einer Lichtfarbe abhängiges elektrisches Signal jedes Sensoreinzelelements 3.1 bis 3.n, beispielsweise bei einem Fotodiodenarray ein elektrischer Strom in Sperrrichtung, wird mittels der Auswerteinheit 5 kontinuierlich lückenlos erfasst und digitalisiert. Dabei wird eine Sample-Rate gemäß dem so genannten Shannon-Theorem in einer möglichen Ausgestaltung mindestens doppelt so groß wie eine kürzeste zu erwartende Blitzdauer der Blitzlampe gewählt.An electrical signal from each individual sensor element 3.1 to 3.n, which depends on the incidence of light and possibly a light color, for example an electrical current in the reverse direction in a photodiode array, is continuously and seamlessly recorded and digitized by the evaluation unit 5. In one possible embodiment, a sample rate according to the so-called Shannon theorem is selected to be at least twice as large as the shortest expected flash duration of the flash lamp.
Eine Signalauswertung des Lichteinfalls jedes Pixels, das heißt jedes Sensoreinzelelements 3.1 bis 3.n, wird in Abhängigkeit der Zeit, der Lichtfarbe und einer räumlichen Verteilung mittels Filterung und Analyse und eines Vergleichs mit vordefinierten Lichtsignalmustern von Einsatzfahrzeugen im Zeit- und Farbraum und im Raum durchgeführt. Die Signalauswertung ermöglicht dabei eine optische Erkennung von Einsatzfahrzeugen anhand der Sonderlichtsignale. Auch kann bei einem räumlich differenzierbaren Sensorsignal eine Erkennung einer Richtung, aus welcher das Sonderlichtsignal ausgestrahlt wird, durchgeführt werden. Bei einem räumlich differenzierbaren Sensorsignal kann weiterhin eine Erkennung durchgeführt werden, ob das Sonderlichtsignal des Einsatzfahrzeugs direkt wahrgenommen wird, insbesondere bei Erfassung starker, räumlich sehr fokussierter Peaks durch direkt sichtbare Blitzlampen, oder nur indirekt wahrgenommen wird, insbesondere bei Erfassung großflächiger Blitzlichter ohne stark fokussierte Peaks. Ferner kann bei räumlich differenzierbarem Sensorsignal eine Abschätzung eines Abstands des Einsatzfahrzeugs durch Ermittlung eines Raumwinkels einer äußersten direkt sichtbaren Blitzlampe durchgeführt werden. Ein Abstand zwischen den äußersten Blitzlampen beträgt beispielsweise ca. 2 m. Je näher das Einsatzfahrzeug ist, desto größer wird ein Raumwinkel zwischen den äußersten Blitzlampen.A signal evaluation of the light incidence of each pixel, that is, each individual sensor element 3.1 to 3.n, is carried out depending on the time, the light color and a spatial distribution by means of filtering and analysis and a comparison with predefined light signal patterns from emergency vehicles in time and color space and in space . The signal evaluation enables emergency vehicles to be optically recognized based on the special light signals. With a spatially differentiable sensor signal, a detection of a direction from which the special light signal is emitted can also be carried out. With a spatially differentiable sensor signal, a detection can also be carried out as to whether the special light signal from the emergency vehicle is perceived directly, in particular when strong, spatially very focused peaks are detected by directly visible flash lamps, or is only perceived indirectly, in particular when large-area flash lights without strongly focused peaks are detected . Furthermore, with a spatially differentiable sensor signal, an estimate of a distance to the emergency vehicle can be carried out by determining a solid angle of an outermost, directly visible flash lamp. A distance between the outermost flash lamps is, for example, approximately 2 m. The closer the emergency vehicle is, the larger the solid angle between the outermost flash lamps becomes.
Die Auswerteeinheit 5 ist im dargestellten Ausführung in die Sensoranordnung 2 integriert. Dabei kann die Auswerteeinheit 5 eine Signalauswertung vollständig durchführen oder durch ein hochfrequentes Abtasten aller Sensoreinzelelemente 3.1 bis 3.n anfallende große Datenmengen im Rahmen einer Vorverarbeitung reduzieren, so dass verbleibende Daten von einer nicht näher dargestellten nachfolgenden Auswerteeinheit bewertet werden können.The evaluation unit 5 is integrated into the
Die Auswerteinheit 5 umfasst zur Auswertung beispielsweise einen digitalen Signalprozessor und ist in einer Central Processing Unit (CPU), in einem Mikrocontroller, in einer Grafikrecheneinheit, einer Global Processing Unit (GPU), in einer programmierbaren Hardwarerecheneinheit (beispielsweise einem Field Programmable Gate Array, kurz FPGA) und/oder einem Quantenrechner ausgebildet. Die Auswertung kann dabei mittels eines Machine-Learning-Verfahrens zur Mustererkennung, auf einer dedizierten Hardware-Recheneinheit für Machine-Learning-Verfahren, auf einer Grafikrecheneinheit und/oder einer GPU ausgeführt werden.The evaluation unit 5 comprises, for example, a digital signal processor for evaluation and is in a central processing unit (CPU), in a microcontroller, in a graphics computing unit, a global processing unit (GPU), in a programmable hardware computing unit (for example a field programmable gate array, for short FPGA) and/or a quantum computer. The evaluation can be carried out using a machine learning method for pattern recognition, on a dedicated hardware computing unit for machine learning methods, on a graphics computing unit and/or a GPU.
Weiterhin kann zur Erkennung von Einsatzfahrzeugen eine Parametrisierung einer Einsatzfahrzeugerkennung in Abhängigkeit einer aktuellen globalen Position des Fahrzeugs entsprechend landestypisch zu erwartender Signale in Farben und farbabhängigen Lichtblitzfrequenzen erfolgen.Furthermore, in order to recognize emergency vehicles, an emergency vehicle detection can be parameterized depending on a current global position of the vehicle in accordance with signals in colors and color-dependent light flash frequencies that are typically expected in the country.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102019004709 A1 [0005]DE 102019004709 A1 [0005]
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023000716.1A DE102023000716A1 (en) | 2023-02-28 | 2023-02-28 | Device and method for the optical detection of emergency vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023000716.1A DE102023000716A1 (en) | 2023-02-28 | 2023-02-28 | Device and method for the optical detection of emergency vehicles |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102023000716A1 true DE102023000716A1 (en) | 2024-03-28 |
Family
ID=90140409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102023000716.1A Pending DE102023000716A1 (en) | 2023-02-28 | 2023-02-28 | Device and method for the optical detection of emergency vehicles |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102023000716A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014225803A1 (en) | 2014-12-15 | 2016-06-16 | Bayerische Motoren Werke Aktiengesellschaft | Recognition of a used emergency vehicle in traffic |
| DE102019004709A1 (en) | 2019-07-04 | 2020-01-23 | Daimler Ag | Optical detection device and method |
| EP3633541A1 (en) | 2018-10-05 | 2020-04-08 | Continental Automotive GmbH | Emergency vehicle detection |
| US20220247907A1 (en) | 2019-12-26 | 2022-08-04 | Waymo Llc | Microlensing for Real-Time Sensing of Stray Light |
-
2023
- 2023-02-28 DE DE102023000716.1A patent/DE102023000716A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014225803A1 (en) | 2014-12-15 | 2016-06-16 | Bayerische Motoren Werke Aktiengesellschaft | Recognition of a used emergency vehicle in traffic |
| EP3633541A1 (en) | 2018-10-05 | 2020-04-08 | Continental Automotive GmbH | Emergency vehicle detection |
| DE102019004709A1 (en) | 2019-07-04 | 2020-01-23 | Daimler Ag | Optical detection device and method |
| US20220247907A1 (en) | 2019-12-26 | 2022-08-04 | Waymo Llc | Microlensing for Real-Time Sensing of Stray Light |
Non-Patent Citations (3)
| Title |
|---|
| GRIEGER, C.: Farberkennung mit dem TCS230/TCS3200-Sensor, mit Zeitnachweis vom 03.08.2021 (https://web.archive.org/web/20210803105342/https://elektro.turanis.de/html/prj029/index.html). URL: https://elektro.turanis.de/html/prj029/index.html [recherchiert und abgerufen am 12.10.2023] |
| Online-Enzyklopädie "Wikipedia", Artikel zum Begriff „Active Pixel Sensor" vom 07.10.2022, URL: https://de.wikipedia.org/w/index.php?title=Active_Pixel_Sensor&oldid=226844805, [recherchiert am 12.10.2023] |
| Online-Enzyklopädie "Wikipedia", Artikel zum Begriff „Bayer-Sensor" vom 16.02.2023, URL: https://de.wikipedia.org/w/index.php?title=Bayer-Sensor&oldid=230949353, [recherchiert am 12.10.2023] |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE60204567T2 (en) | OVERLAPPING MOSAIC IMAGINATING RAIN SENSOR | |
| DE102006044786A1 (en) | Camera system, method for operating a camera system and sensor device of a camera system | |
| DE102011017699A1 (en) | Vehicle camera device for detecting a tail light of a vehicle ahead | |
| EP2646802A1 (en) | Detection of raindrops on a pane by means of a camera and lighting | |
| WO2014023307A1 (en) | Detection of rain drops on a plate by means of a camera and illumination | |
| WO2014040848A1 (en) | Method and device for recognising at least one pulsed light source for a vehicle | |
| EP2013642A1 (en) | Device and method for recording distance images | |
| WO2015165448A1 (en) | Device for detecting precipitation for a motor vehicle | |
| DE102023000716A1 (en) | Device and method for the optical detection of emergency vehicles | |
| DE102015218500A1 (en) | Illumination and camera-based detection of raindrops on a pane | |
| DE10248416B4 (en) | Device and method for determining a relative movement of a vehicle | |
| DE102015217265A1 (en) | Stereo camera device for detecting the environment of a motor vehicle, motor vehicle with such a stereo camera device and a method for detecting raindrops or deposits | |
| DE102012111199A1 (en) | Optical device for camera of vehicle for detecting images of two different distance ranges, has two image acquisition elements that are arranged in different image planes of imaging system | |
| DE102017217486A1 (en) | A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system | |
| DE102016105579A1 (en) | Optical filter for a camera of a motor vehicle, camera for a driver assistance system, driver assistance system and motor vehicle train with a driver assistant system | |
| DE102012110094A1 (en) | Image capturing sensor arrangement of image sensor for camera mounted on vehicle, has first type sensing elements which are designed with infrared band elimination filter for electromagnetic radiation in non-visible spectral region | |
| DE102012106030A1 (en) | Camera system for detecting the condition of a vehicle window | |
| DE102019113647A1 (en) | Camera system for capturing objects and / or object properties | |
| EP3147689B1 (en) | Method for detecting an object | |
| WO2018072985A1 (en) | Method and device for detecting a direct light reflection beam from an object onto a light sensor | |
| DE102016123258B4 (en) | Luminescence detector arrangement, fluorescence microscope and method for detecting a luminescence signal | |
| EP2195610B1 (en) | Method and device for detecting a surface or a surface section of a body | |
| DE102021004516B3 (en) | Method for operating a gated camera, control device for carrying out such a method, gated camera with such a control device and motor vehicle with such a gated camera | |
| DE102008003791B4 (en) | Method for processing and evaluating a color image and associated driver assistance system | |
| DE102012108316A1 (en) | Rain recognizing device for use in vehicle, has camera including image sensor, and camera and illumination source formed and arranged in such manner that camera detects signal of monochrome light, with which disk illuminates source |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R230 | Request for early publication | ||
| R016 | Response to examination communication | ||
| R002 | Refusal decision in examination/registration proceedings |