BE1025547B1

BE1025547B1 - Systeem voor het karakteriseren van de omgeving van een voertuig

Info

Publication number: BE1025547B1
Application number: BE2018/4999A
Authority: BE
Inventors: Filip Geuens
Original assignee: Xenomatix Nv
Priority date: 2016-12-30
Filing date: 2018-01-02
Publication date: 2019-04-09
Also published as: WO2018122415A1; US20190310376A1; JP2023026503A; IL266025B; EP3343246A1; JP2020515811A; BE1025547A1; US11874374B2; CN110121659A; JP7201592B2; EP3796046A1; EP3563177A1; KR20190098242A; EP3563177B1; IL266025A; KR102559910B1; CN110121659B

Abstract

De uitvinding heeft betrekking op een sustemen voor het karakteriseren van een omgeving van een voertuig, waarbij het systeem het volgende omvat: een projectiemiddel (210) dat ingericht is voor het projecteren van een patroon van laserlicht in een reeks pulsen in richting van de omgeving; een detector (220) die een veelheid pixels omvat, waarbij de detector (220) geconfigureerd is voor het detecteren van licht dat het patroon van laserlicht voorstelt zoals dat gereflecteerd wordt door de omgeving in sunchronisatie met de reeks pulsen; en een verwerkingsmiddel (240) dat geconfigureerd is om afstanden tot objecten (99) in de omgeving te berekenen als een fuctie van belichtingswaardes die gegenereerd zijn door de pixels als reactie op het fedetecteerde licht; waarbij de detector (220) verder geconfigureerd is voor het detecteren van licht dat een tweedimensionale afbeelding van de omgeving vormt op tijdstippen die niet samenvallen met de reeks pulsen of op pixels die het licht dat het patroon van laserlicht voorstelt zoals dat gereflecteerd wordt door de omgeving, niet ontvangen.

Description

BE2018/4999 Systeem voor het karakteriseren van de omgeving van een voertuig

Gebied van de uitvinding

De onderhavige uitvinding heeft betrekking op het gebied van systemen voor het bepalen van een afstand tot een object, in het bijzonder op waamemingssysternen die gebruikt dienen te worden voor de karakterisering van een gebied of een deel daarvan, zoals die gebruikt kunnen worden om obstakels in de nabijheid van een voertuig te detecteren.

Achtergrond

Op het gebied van afstandswaamemingstechnologie, in het bijzonder met betrekking tot het genereren van hogeresolutiekaarten van een omgeving die gebruikt kan worden in besturings- en navigatietoepassingen met inbegrip van automobiel- en industrietoepassingen, speltoepassingen, en karteringstoepassingen, is het bekend om triangulatiegebaseerde en vluchttijdgebaseerde waarneming te gebruiken om de afstand van objecten vanaf een sensor te bepalen.

Een hoognauwkeurig middenbereikomgevingswaamemingssysteem voor voertuigen dat gebruikmaakt van triangulatie, is bekend van de internationale octrooiaanvraagpublicatie WO 2015/004213 Al op naam van de onderhavige aanvrager. In die octrooiaanvraag, wordt de lokalisatie van objecten gebaseerd op de projectie van gepulseerde stralingsvlekken en de analyse van de verplaatsing van gedetecteerde vlekken met betrekking tot de vooraf bepaalde referentievlekposities. Meer in het bijzonder, gebruikt het systeem van de geciteerde octrooiaanvraag triangulatie. Echter, de nauwkeurigheid die bereikt kan worden correleert met de triangulatiebasis, die de miniaturisering die bereikt kan worden beperkt.

Vluchttijdgebaseerde technieken omvatten het gebruik van RF-gemoduleerde bronnen, bereikafgesloten beeldvormers (“range gated imagers”), en

2018/4999

-2BE2018/4999 directevluchttijd- (“direct time-of-flight”, DToF-) beeldvormers. Voor het gebruik van RF-gemoduleerde bronnen en bereikafgesloten beeldvormers, is het noodzakelijk om het hele gebied van interesse te verlichten met een gemoduleerde of gepulseerde bron. Directevluchttijdsysternen, zoals de meeste LIDAR’s, scannen het gebied van interesse mechanisch, met een gepulseerde straal, waarvan de reflectie waargenomen wordt met een pulsdetector. De optische kracht die uitgezonden wordt door onderhavige halfgeleiderlasers kan niet voldoen aan de krachtbehoeften die noodzakelijk zijn voor werking in de bekende LIDARsystemen om van praktisch nut te zijn in automobieltoepassingen (bijv, voor bereiken tot en met 250 m). De niet-gepubliceerde Europese octrooiaanvraag nr. EP 15 191 288.8, op naam van de onderhavige aanvrager, beschrijft een systeem voor het bepalen van een afstand tot een object die zulke beperkingen ondervangt. Het omvat het volgende: een vastestoflichtbron die ingericht is voor het projecteren van een patroon van afzonderlijke vlekken van laserlicht in richting van het object in een reeks pulsen; een detector die een veelheid pixels omvat, waarbij de detector geconfigureerd is voor het detecteren van licht dat het patroon van afzonderlijke vlekken voorstelt zoals dat gereflecteerd wordt door het object in synchronisatie met de reeks pulsen; en een verwerkingsmiddel dat geconfigureerd is om de afstand tot het object te berekenen als een functie van belichtingswaardes die gegenereerd zijn door de pixels als reactie op het gedetecteerde licht. De pixels zijn geconfigureerd om de belichtingswaardes te genereren middels het, voor elke puls van de reeks, accumuleren van een eerste hoeveelheid elektrische lading die representatief is voor een eerste hoeveelheid licht die tijdens een eerste vooraf bepaald tijdsvenster gereflecteerd wordt door het object en een tweede elektrische lading die representatief is voor een tweede hoeveelheid licht die tijdens een tweede vooraf bepaald tijdsvenster gereflecteerd wordt door het object, waarbij het tweede vooraf bepaalde tijdsvenster optreedt na het eerste vooraf bepaalde tijdsvenster.

Aangezien in toenemende mate op afstandswaamemingstechnologie vertrouwd wordt om voertuigveiligheidsaspecten, geavanceerde bestuurdersassistentiesystemen (“advanced driver assistance systems” ADAS), en zelf autonome (of “zelfrijdende”) auto’s te verschaffen, is er een behoefte aan een

2018/4999

-3BE2018/4999 systeem dat de omgeving van het voertuig waarin het systeem bevestigd is accurater karakteriseert.

Samenvatting van de uitvinding

Volgens een aspect van de onderhavige uitvinding, wordt er een systeem verschaft voor het karakteriseren van de omgeving van een voertuig, waarbij het systeem het volgende omvat:

- een projectiemiddel dat ingericht is voor het projecteren van een patroon van laserlicht in een reeks pulsen in richting van de omgeving;

- een detector die een veelheid pixels omvat, waarbij de detector geconfigureerd is voor het detecteren van licht dat het patroon van laserlicht voorstelt zoals dat gereflecteerd wordt door de omgeving in synchronisatie met de reeks pulsen; en

- een verwerkingsmiddel dat geconfigureerd is om afstanden tot objecten in de omgeving te berekenen als een functie van belichtingswaardes die gegenereerd zijn door de pixels als reactie op het gedetecteerde licht;

waarbij de detector verder geconfigureerd is voor het detecteren van licht dat een tweedimensionale afbeelding van de omgeving vormt op tijdstippen die niet samenvallen met de reeks pulsen of op pixels die het licht dat het patroon van laserlicht voorstelt zoals dat gereflecteerd wordt door de omgeving, niet ontvangen.

Het is een voordeel van de uitvinding dat de karakterisering van de omgeving verbeterd kan worden door het combineren van 2D-informatie en 3D-informatie die verkregen is van dezelfde sensor op doorgeschoten tijdstippen. De 3Dinformatie wordt verkregen van het systeem wanneer het gebruikt wordt als een bereiksensor, middels het opnemen van de gereflecteerde lichtpatronen in synchronisatie met hun projectie; en de 2D-informatie wordt verkregen van het systeem wanneer het gebruikt wordt als een digitale camera tussen de bereikwaamemingspulsen.

Het projectiemiddel omvat bij voorkeur in vastestoflaser; het kan in het bijzonder een VCSEL-array of een vastestoflaser die verschaft is met een adequaat raster,

2018/4999

-4BE2018/4999 zijn. Het patroon van laserlicht is bij voorkeur een patroon van vlekken, bij voorkeur afzonderlijke vlekken. De reeks pulsen kan periodiek herhaald worden, om het continu bijwerken van de karakterisering van de omgeving mogelijk te maken.

In een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding, zijn de pixels geconfigureerd om de belichtingswaardes te genereren middels het, voor alle pulsen van de reeks, accumuleren van een eerste hoeveelheid elektrische lading die representatief is voor een eerste hoeveelheid licht die tijdens een eerste vooraf bepaald tijdsvenster gereflecteerd wordt door de objecten en een tweede elektrische lading die representatief is voor een tweede hoeveelheid licht die tijdens een tweede vooraf bepaald tijdsvenster gereflecteerd wordt door de objecten, waarbij het tweede vooraf bepaalde tijdsvenster optreedt na het eerste vooraf bepaalde tijdsvenster.

Het is een voordeel van deze uitvoeringsvorm dat het afstandsbeperkte LIDARtechnieken gebruikt om accurate afstandsinformatie te verkrijgen in een kleine vormfactor.

In een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding, is het verwerkingsmiddel aangepast om de afstanden te bepalen middels het bepalen van een verplaatsing van kenmerken van het gedetecteerde licht dat het patroon van laserlicht voorstelt zoals dat met betrekking tot vooraf bepaalde kenmerkposities gereflecteerd wordt door de omgeving.

In deze uitvoeringsvorm, worden de respectieve belichtingswaardes van de verschillende pixels van de detector geanalyseerd om te bepalen in welke pixels reflecties van het geprojecteerde patroon (bijv, vlekken) detecteerbaar zijn, en in welke ze dat niet zijn. Op deze wijze, kan de verplaatsing van delen van het gereflecteerde patroon ten opzichte van de vooraf bepaalde posities (bijv, vlekposities) bepaald worden, wat informatie oplevert over de afstand van de objecten die de respectieve delen van het geprojecteerde patroon gereflecteerd hebben. Het is een voordeel van deze uitvoeringsvorm dat het bekende

2018/4999

-5BE2018/4999 triangulatiegebaseerde technieken gebruikt om accurate afstandsinformatie te verkrijgen.

In een uitvoeringsvorm, omvat het systeem volgens de onderhavige uitvinding een verlichtingsmiddel dat geconfigureerd is om een lichtbundel te projecteren op de omgeving op de tijdstippen die niet samenvallen met de reeks pulsen.

De lichtbundel is bestemd voor een homogene verlichting van het relevante deel van de omgeving, dat bij voorkeur samenvalt met het gezichtsveld van de detector, dus, in tegenstelling tot het geprojecteerde patroon dat gebruikt wordt voor het afstandsbepalen, moet het substantieel homogeen zijn. Het is een voordeel van deze uitvoeringsvorm, dat de omgeving die opgenomen dient te worden in de 2Dafbeelding adequaat verlicht kan worden, zelfs wanneer de omgevingslichttoestand ongunstig is (bijv, ’s nachts).

In een bijzondere uitvoeringsvorm, delen het projectiemiddel en het verlichtingsmiddel een gemeenschappelijke lichtbron.

Het is een voordeel van deze bijzondere uitvoeringsvorm, dat het systeem compact gehouden kan worden middels het vermijden van de noodzaak voor meerdere lichtbronnen.

In een meer bijzondere uitvoeringsvorm, omvat de gemeenschappelijke lichtbron een VCSEL-array, en omvat het verlichtingsmiddel verder een actief bestuurde verspreider, die geconfigureerd is om geactiveerd te worden op de tijdstippen die niet samenvallen met de reeks pulsen, om zo licht te verspreiden dat afkomstig is uit de VCSEL-array om de bundel te vormen.

Het is een voordeel van deze meer bijzondere uitvoeringsvorm, dat een VCSELarray, dat zeer geschikt is voor projectie van gestructureerd licht, ook gebruikt kan worden om de verlichting te verschaffen die benodigd is voor 2Dafbeeldingsopname.

2018/4999

- 6 BE2018/4999

In een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding, zijn de veelheid pixels van de detector voorzien van een tijdsafhankelijke filter die het mogelijk maakt dat licht in verschillende golflengtebanden de veelheid pixels op verschillende tijdstippen bereikt.

Het is een voordeel van deze uitvoeringsvorm dat een RGB-afbeelding geproduceerd kan worden middels het combineren van drie verschillende 2Dbelichtingen die licht verschoven zijn in de tijd. Een RGB-afbeelding levert accuratere geautomatiseerde kenmerkherkenning op en is over het algemeen geschikter voor visuele reproductie voor een menselijke gebruiker dan een monochrome afbeelding.

In een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding, zijn de verschillende pixels van de veelheid pixels van de detector voorzien van verschillende filters die het mogelijk maken dat licht in verschillende golflengtebanden de verschillende pixels op de tijdstippen bereikt.

Het is een voordeel van deze uitvoeringsvorm dat een RGB-afbeelding geproduceerd kan worden middels het combineren van belichtingswaardes die verkregen zijn op pixels die licht verschoven zijn in de ruimte. Een RGBafbeelding levert accuratere geautomatiseerde kenmerkherkenning op en is over het algemeen geschikter voor visuele reproductie voor een menselijke gebruiker dan een monochrome afbeelding.

Volgens een aspect van de onderhavige uitvinding, is er een voertuig verschaft dat het systeem volgens één van de voorgaande conclusies omvat dat ingericht is om zo een gebied dat het voertuig omgeeft, te karakteriseren.

De onderhavige uitvinding is zeer geschikt voor het gebruik in voertuigen, in het bijzonder wegvoertuigen zoals automobielen. Het systeem kan daarom in het voordeel bijdragen aan voertuigveiligheidsaspecten, geavanceerde bestuurdersassistentiesystemen (“advanced driver assistance systems” ADAS), en zelfs autonome (of “zelfrijdende”) auto’s. Aangezien sensoren in

2018/4999

-Ί ΒΕ2018/4999 automobieltoepassingen concurreren voor ruimte, is het een aanvullend voordeel van de onderhavige uitvinding dat het een veelheid functies combineert in dezelfde sensor, en daarbij 2D- en 3D-sensorfusie verschaft zonder een aanvullende externe 2D-Sensor nodig te hebben.

Korte omschrijving van de figuren

Deze en andere aspecten en voordelen van de onderhavige uitvinding zullen nu in meer detail beschreven worden met verwijzing naar de begeleidende tekeningen, waarin:

Figuur 1 schematisch een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding illustreert;

Figuren 2 - 4 de werkingsprincipes van een LIDAR-gebaseerde uitvoeringsvorm van het systeem volgens de onderhavige uitvinding illustreren;

Figuur 5 verscheidene tijdsdiagrammen presenteert die gebruikt kunnen worden in uitvoeringsvormen van de onderhavige uitvinding;

Figuur 6 schematisch een pixelinrichting illustreert voor het gebruik in een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding; en

Figuur 7 schematisch tijdsdiagrammen illustreert die gebruikt kunnen worden in uitvoeringsvormen van de onderhavige uitvinding.

Gedetailleerde omschrijving van de uitvoeringsvormen

Figuur 1 illustreert schematisch een uitvoeringsvorm van het systeem volgens de onderhavige uitvinding.

Het systeem is bedoeld en aangepast voor het karakteriseren van de omgeving van een voertuig. De omgeving kan het gebied vóór het voertuig omvatten, met

2018/4999

-8BE2018/4999 inbegrip van het wegoppervlak voor het voertuig; evenzo, kan die het gebied achter het voertuig omvatten (in het bijzonder, wanneer het voertuig achteruitgaat); het kan enige ruimte in de nabijheid van het voertuig omvatten waar obstakels of andere weggebruikers aanwezig kunnen zijn. De omgeving van het voertuig kan zicht uitstrekken tot een afstand van meters, tientallen meters, of zelf honderden meters. De karakterisering wordt uitgevoerd middels het bepalen van afstanden tot objecten in de omgeving. Hoewel afstand een fundamentele meetparameter is, kunnen schattingen van afgeleide variabelen zoals snelheid (met inbegrip van de richting van beweging) en versnelling van de gedetecteerde objecten bepaald worden op basis van meerdere afstandsmetingen op verschillende tijdstippen. Voor complexe objecten, die herkend kunnen worden middels het combineren van informatie van meerdere ruimtelijk diverse meetpunten, kunnen aanvullende parameters zoals oriëntatie en rotatie ook afgeleid worden. Aangezien alle metingen relatief zijn aan de sensor, kunnen metingen van “vaste” objecten ook informatie verschaffen over de snelheid, versnelling, oriëntatie, (helling, verdraaiing, kanteling), en rotatie van de sensor, en daarbij dus van het voertuig waarop het bevestigd is.

Het systeem omvat een projectiemiddel 210 dat ingericht is voor het projecteren van een patroon van laserlicht in richting van de omgeving in een reeks pulsen; een detector 220 die een veelheid pixels omvat, waarbij de detector 220 geconfigureerd is voor het detecteren van licht dat het patroon van laserlicht voorstelt zoals dat in synchronisatie met de reeks pulsen gereflecteerd wordt door de omgeving; en een verwerkingsmiddel 240 dat geconfigureerd is om afstanden tot objecten 99 in de omgeving te berekenen als een functie van belichtingswaardes die gegenereerd zijn door de pixels als reactie op het gedetecteerde licht.

Als het systeem werkt volgens het vluchttijd- (LIDAR-) principe, kunnen de pixels 220 geconfigureerd zijn om de belichtingswaardes te genereren middels het, voor alle pulsen van de reeks, accumuleren van een eerste hoeveelheid elektrische lading die representatief is voor een eerste hoeveelheid licht die tijdens een eerste vooraf bepaald tijdsvenster 10 gereflecteerd wordt door de objecten 99 en een

2018/4999

-9BE2018/4999 tweede elektrische lading die representatief is voor een tweede hoeveelheid licht die tijdens een tweede vooraf bepaald tijdsvenster 20 gereflecteerd wordt door de objecten, waarbij het tweede vooraf bepaalde tijdsvenster 20 optreedt na het eerste vooraf bepaalde tijdsvenster 10.

Het werkingsprincipe van een dergelijk LIDAR-gebaseerd systeem wordt geïllustreerd door de tijdsdiagrammen in Figuren 2-4. Voor de duidelijkheid, is slechts een enkele puls van de pulsreeks die periodiek herhaald wordt geïllustreerd, die bestaat uit een eerste tijdsvenster 10 en een tweede tijdsvenster 20. Het principe wordt beschreven, bij wijze van voorbeeld, met verwijzing naar een projectiemiddel dat een vastestoflichtbron omvat.

Zoals gezien kan worden in Figuur 2, is de vastestoflichtbron 210, tijdens het eerste tijdsvenster 10, in haar “AAN”-toestand, het patroon van lichtvlekken uitstraalt naar de omgeving. Tijdens het tweede tijdsvenster 20, is de vastestoflichtbron 210 in haar “UIT”-toestand.

De aankomst van het gereflecteerde licht op de detector 220 is vertraagd ten opzichte van het begin van de projectie met een tijdshoeveelheid die proportioneel is aan de afstand die afgelegd is (bij benadering 3,3 ns/m in vrije ruimte). Vanwege deze vertraging, zal enkel een deel van het gereflecteerde licht gedetecteerd worden bij de eerste koker 221 van de detector 220, die enkel geactiveerd wordt tijdens het eerste tijdsvenster 10. Aldus, bestaat de lading die geaccumuleerd wordt in de eerste koker tijdens haar periode van activatie (het eerste tijdsvenster 10) uit een deel dat enkel de ruis en het omgevingslicht voorstelt dat de pixel treft voorafgaand aan de aankomst van de gereflecteerde puls, en uit een deel dat de ruis, het omgevingslicht, en de voorrand van de gereflecteerde puls voorstelt.

Het laatste deel van de gereflecteerde puls zal gedetecteerd worden bij de tweede koker 222 van de detector 220, die enkel geactiveerd is tijdens het tweede tijdsvenster 20, dat bij voorkeur onmiddellijk volgt op het eerste tijdsvenster 10. Aldus, bestaat de lading die geaccumuleerd wordt in de tweede koker tijdens haar

2018/4999

-10BE2018/4999 periode van activatie (het tweede tijdsvenster 20) uit een deel dat de ruis, het omgevingslicht, en de achterrand van de gereflecteerde puls voorstelt en uit een deel dat enkel de ruis en het omgevingslicht voorstelt dat de pixel treft voorafgaand aan de aankomst van de gereflecteerde puls.

Hoe groter de afstand tussen het reflecterende object 99 en het systeem 200, hoe kleiner het deel van de puls dat gedetecteerd zal worden in de eerste koker 221 en hoe groter het deel van de puls dat gedetecteerd zal worden in de tweede koker 222.

Als de voorrand van de gereflecteerde puls aankomt na het sluiten van de eerste koker 221 (d.w.z. na het eind van het eerste tijdsvenster 10), zal het deel van de gereflecteerde puls die gedetecteerd kan worden in de tweede koker 222 opnieuw kleiner worden met vergrootte vluchttijdvertraging.

De resulterende hoeveelheden van lading A, B in elk van de respectieve kokers 221, 222 voor variërende afstanden van het object 99 worden weergegeven in Figuur 3b. Om de voorstelling te versimpelen, is er in het diagram geen rekening gehouden volgens de omgekeerde kwadratenwet, met het effect van de vermindering van licht met afstand. Het is duidelijk dat voor de vluchttijdvertragingen tot en met de gecombineerde duur van het eerste tijdsvenster 10 en het tweede tijdsvenster 20, de vluchttijdvertraging in principe ondubbelzinnig afgeleid kan worden uit de waardes van A en B:

- Voor vluchttijdvertragingen tot en met de duur van het eerste tijdsvenster

10, is B proportioneel aan de afstand van het object 99. Om gemakkelijk een bepaling van de absolute afstand te bereiken, kan de genormaliseerde waarde B/(B+A) gebruikt worden, waarbij enig effect van niet-perfecte reflectiviteit van het gedetecteerde object en van de omgekeerde kwadratenwet verwijderd wordt.

- Voor vluchttijdvertragingen die de duur van het eerste tijdsvenster 10 overschrijden, bestaat A enkel uit daglicht- en ruisbijdragen (niet geïllustreerd), en is C-B substantieel proportioneel (na correctie voor de omgekeerde kwadratenwet) aan de afstand van het object 99, waarbij C een

2018/4999

- 11 BE2018/4999 verschuivingswaarde is.

Hoewel Figuren 2 en 3 het principe illustreren van de uitvinding met betrekking tot een enkele puls die in het tijdsvenster 10 uitgestraald wordt, zal het begrepen moeten worden dat de geïllustreerde puls een deel is van een reeks pulsen zoals hierboven gedefinieerd is. Figuur 4 illustreert schematisch voorbeeldige tijdskenmerken van een dergelijke reeks. Zoals geïllustreerd wordt, bestaat het verlichtingsschema 40 uit een herhaalde uitzending van een reeks 30 van individuele pulsen 10. De breedte van de individuele pulsen 10 wordt bepaald door het maximale werkingsbereik. De volledige reeks kan herhaald worden bij een frequentie van, bijvoorbeeld, 60 Hz.

Verscheidene optionele kenmerken van een vluchttijdgebaseerd waarnemingssysteem zijn beschreven in de niet-gepubliceerde Europese octrooiaanvraag nr. EP 15 191 288.8, op naam van de onderhavige aanvrager, waarvan de inhoud opgenomen is door deze referentie met het doel om het voor de deskundige mogelijk te maken om deze kenmerken op te nemen in uitvoeringsvormen van de onderhavige uitvinding.

Als het systeem volgens het triangulatieprincipe werkt, kan het verwerkingsmiddel 240 aangepast zijn om de afstanden te bepalen middels het bepalen van een verplaatsing van kenmerken van het gedetecteerde licht dat het patroon van laserlicht voorstelt zoals dat met betrekking tot voorafbepaalde kenmerkposities gereflecteerd wordt door de omgeving. Bij voorkeur is het geprojecteerde patroon een patroon van vlekken van laserlicht, en worden de afstanden bepaald middels het bepalen van een van een verplaatsing van gedetecteerde vlekken die de geprojecteerde vlekken voorstellen zoals die gereflecteerd wordt door objecten in de omgeving, met betrekking tot vooraf bepaalde vlekposities.

Verscheidene optionele kenmerken van een triangulatiegebaseerd waarnemingssysteem zijn beschreven in de internationale octrooiaanvraagpublicatie WO 2015/004213 Al op naam van de onderhavige aanvrager, waarvan de inhoud opgenomen is door deze referentie met het doel om

2018/4999

-12BE2018/4999 het voor de deskundige persoon mogelijk te maken om deze kenmerken op te nemen in uitvoeringsvormen van de onderhavige uitvinding.

Volgens de uitvinding, is de detector 220 verder geconfigureerd voor het detecteren van licht dat een tweedimensionale afbeelding van de omgeving vormt op tijdstippen die niet samenvallen met de reeks pulsen of op pixels die niet het licht ontvangen dat het patroon van laserlicht voorstelt zoals dat gereflecteerd wordt door de omgeving.

Gezien de nauwkeurigheidsbehoeften van voertuigafstandsbepalingssystemen, worden typisch CMOS-sensorarrays geselecteerd die een totale arraygrootte hebben in de orde van 1 megapixel. De uitvinders hebben gevonden dat ondanks dat een relatief grove grootte van de pixels gebruikt wordt in dusdanige sensoren, in de orde van 10 μm, de gecombineerde sensor in staat is om een verrassend acceptabele 2D-afbeeldingskwaliteit voort te brengen wanneer die gebruikt wordt in combinatie met adequate optiek om een rudimentaire digitale camera te vormen.

De uitvinding, en in het bijzonder het concept van het detecteren van licht dat een tweedimensionale afbeelding van de omgeving vormt op tijdstippen die niet samenvallen met de reeks pulsen, is onder andere gebaseerd op het inzicht van de uitvinders dat in de tijdintervallen tussen de afstandsbepalingspulsen, of tussen reeksen van afstandsbepalingspulsen, de pixelarray gebruikt kan worden om digitale 2D-afbeeldingen van de omgeving op te nemen. Op deze manier, kunnen twee verschillende functies, die aanvullende informatie verschaffen, gecombineerd worden in een enkele sensor.

De uitvinding, en in het bijzonder het concept van het detecteren van licht dat een tweedimensionale afbeelding van de omgeving vormt op pixels die het licht dat het patroon van laserlicht voorstelt zoals dat gereflecteerd wordt door de omgeving, niet ontvangen, is verder gebaseerd op het inzicht van de uitvinders dat aangezien afstandsbepalingssystemen steunen op de detectie van reflecties van specifieke lichtpatronen, zoals lijnpatronen of vlekpatronen, enkel een kleine subset van het totaal aantal pixels daadwerkelijk gebruikt wordt op enige gegeven tijd. Dit

2018/4999

-13BE2018/4999 specifieke concept kan gebruikt worden wanneer voldoende omgevingslicht de detector bereikt wanneer de afstandsbepalingsfunctie (projectie en detectie van een lichtpatroon) werkzaam is, zodat de pixels die een deel van het geprojecteerde patroon niet ontvangen een afbeelding kunnen vormen van het ontvangen licht.

Hoewel de patroonreflectiegebasseerde afstandswaameming een dieptekaart verschaft die enkel bij de punten die belicht zijn door het geprojecteerde patroon van laser licht 3-dimensionale informatie bevat, verschaffen de 2D-afbeeldingen die tussendoor opgenomen worden een visuele momentopname van de volledige omgeving. De dieptekaart kan geregistered worden in de 2D-afbeeldingen, en diepte-informatie kan verkregen worden voor elke pixel in de 2D afbeeldingen middels het interpoleren van de dieptekaartwaardes. Aangezien de 2Dafbeeldingen en de 3D-informatie verkregen worden van dezelfde sensor, is er geen parallax tussen de verschillende afbeeldingen, dat de registeratie faciliteert.

Bij voorkeur, wordt de interpolatie van de dieptekaartwaardes geassisteerd door de pixelwaardes in de 2D-afbeeldingen. Aldus, bijvoorbeeld, een gebied tussen verschillende dieptekaartwaardes die overeenkomen met een regulier verlichtingsof kleurgradiënt in de 2D afbeelding, geïnterpoleerd kan worden in de dieptedimensie middels lineaire interpolatie. Een gebied tussen verschillende dieptekaartwaardes dat een abrupte stap in de verlichtings- of kleurwaarde omvat, kan geïnterpoleerd worden door een stapsgewijze constante dieptewaarde, waarbij de stap in de dieptewaarde gemaakt wordt om samen te vallen met de stap in de verlichtings- of kleurwaarde.

De gecombineerde 2D/3D-afbeelding combineert meer informatie over de omgeving dat elk van de bronnen apart genomen doet. Een machinegezichtsveldsysteem kan verschaft worden met de gecombineerde 2D/3Dafbeelding om relevante kenmerken in de omgeving te detecteren, zoals voetgangers, voertuigen, vaste objecten, puin, enige ongelijkheid in het wegoppervlak, en dergelijke.

De 2D-afbeeldingen worden bij voorkeur opgenomen in tijdsvakken die optreden

2018/4999

- 14BE2018/4999 tussen frames, bijv, tussen reeksen pulsen. Voorbeeldige tijdsdiagrammen worden weergegeven in Figuur 5. In diagram a (niet volgens de uitvinding), worden 5 opeenvolgende frames (waarbij elk een reeks pulsen, bij voorbeeld een reeks 30 van Figuur 2, voorstelt) gebruikt voor 3D-afstandswaarneming. In diagram d is één frame van de eerste vier frames vervangen door een 2Dafbeeldingsopnametijdsvak, van exact dezelfde duur als de overige frames', daardoor, blijf de totale cadans van de frames het zelfde, maar wordt slechts 75% van de /nzme-tijdsvakken gebruikt voor afstandswaameming (de deskundige zal beseffen dat dit patroon gevarieerd kan worden volgens de vereisten van de toepassing; de relatieve tijd die gereserveerd is voor afstandswaameming kan bijvoorbeeld 10%, 20%, 25%, 33%, 40%, 50%, 60%, 67%, 75%, 80%, etc. zijn). In diagrammen b en c, is de tijd die gebruikt wordt voor 2D-afbeeldingsopname respectievelijk langer en korter gemaakt dan de afstandswaarnemings-/rames'.

Over het algemeen, kan de tijd die gebruikt wordt voor 2D-afbeeldingsopname geselecteerd worden in functie van de gewenste belichtingstijd, die voldoende lang moet zijn om een voldoende hoeveelheid licht te accumuleren in de pixels en voldoende kort moet zijn om bewegingsvervaging (wanneer de sensor en/of objecten in de omgeving in beweging zijn) te voorkomen. De tijdsvakken die gebruikt worden voor 2D-afbeeldingsopname kunnen ook verlengd worden om opeenvolgende opname van licht in verschillende golflengtebanden mogelijk (bijv., rood, groen, en blauw licht, om een RGB-afbeelding te genereren) te maken, zoals hieronder uitgelegd wordt met verwijzing naar Figuur 7, diagram b.

Zoals met veel detail uitgelegd is in de bovengenoemde octrooiaanvragen WO 2015/004213 Al en EP 15 191 288.8, moeten verschillende maatregels genomen worden om omgevingslicht (in het bijzonder zonlicht) te filteren uit het signaal dat de sensor bereikt, zodat het licht dat de sensor bereikt in wezen beperkt is tot de gewenste reflectie van het geprojecteerde lichtpatroon, teneinde nauwkeurige en langeafstands afstandswaameming te verzekeren. Deze maatregels omvatten het gebruik van een smalbanddoorlaatfilter, en optieken die het inkomende gereflecteerde licht op een pad geleiden dat in wezen loodrecht staat op de smalbanddoorlaatfilter.

2018/4999

-15BE2018/4999

De metingen die benodigd zijn om het afstandswaamemingsvermogen te optimaliseren limiteren de bruikbaarheid van de pixelarray als een 2Dafbeeldingscamera. Aangezien de sensoren bevestigd zijn op een voertuig, dat, wanneer het in gebruik is, normaal beweegt, is enige verhoging van de belichtingstijd om de totale hoeveelheid van licht dat opgenomen wordt in een enkele belichting gelimiteerd door de acceptabele hoeveelheid van bewegingsvervaging - in de praktijk is dit een ernstige limitatie.

Gezien deze negatieve effecten, hebben de uitvinders gevonden dat de volgende optionele kenmerken leiden tot een betere prestatie in de 2D-afbeeldingsopname.

Een eerste oplossing bestaat uit het gebruik van een banddoorlaatfilter bij de sensorzijde die elektronisch of elektromechanisch bestuurd kan worden om actief te zijn in synchronisatie met de pulsreeks en inactief te zijn op de tijdstippen wanneer de 2D-afbeeldingen opgenomen worden

Een tweede oplossing bestaat uit het verschaffen van het systeem met een verlichtingsmiddel dat geconfigureerd is om een bundel van licht te verschaffen op de omgeving bij de punten in tijd die niet samenvallen met de reeks pulsen. Een dusdanig verlichtingsmiddel kan een flits van verlichting verschaffen, zoals vaak gedaan wordt bij conventionele fotografie in lichtarme omstandigheden. Het projectiemiddel 210 en het verlichtingsmiddel kunnen een gemeenschappelijke lichtbron delen, in het bijzonder een VCSEL-array. Dit verzekert dat een “flits” nu uitgezonden kan worden in dezelfde golflengteband waarvoor de smalbanddoorlaatfilter geoptimaliseerd is, waardoor de hoeveelheid licht die de pixelarray zal bereiken gemaximaliseerd wordt. Als de gemeenschappelijke lichtbron een VCSEL-array is, kan het verlichtingsmiddel verder een actief gestuurde verspreider omvatten, die geconfigureerd is om geactiveerd te worden op de tijdstippen waarbij de 2D-afbeeldingen genomen worden (die niet samenvallen met de reeks pulsen), om zo licht te verspreiden van de VCSEL-array om de gewenste bundel van licht (in plaats van een serie van vlekken) te vormen. Het verlichtingsmiddel kan ook geïntegreerd zijn met het koplampsamenstel,

2018/4999

-16BE2018/4999 waarbij de lichtbron zodanig gekozen moet zijn dat deze voldoende lichtkracht verschaft in het deel van het spectrum dat de smalbanddoorlaatfilter kan passeren bij de sensorzijde.

Gezien de bovenstaande overwegingen, werkt één bijzonder voordelige uitvoeringsvorm van het systeem volgens de onderhavige uitvinding volgens het vluchttijdgebaseerde principe dat hierboven beschreven is, waarbij een VCSELarray verschaft is om een gepulseerd patroon van afzonderlijke vlekken op de omgeving die gekarakteriseerd dient te worden te projecteren, waarbij de reflecties daarvan gedetecteerd worden door een CMOS-gebaseerde sensorarray die uitgerust is met een smalbanddoorlaatfilter die geconfigureerd is om in wezen enkel de golflengte die uitgezonden wordt door de VCSEL-array te laten passeren. Een afzonderlijk flitslicht dat een bundel van licht uitzendt van dezelfde golflengte (typisch in een nauw golflengtebereik rond 860 nm) is verschaft om de omgeving te verlichten op de momenten wanneer de 2D-afbeeldingen opgenomen dienen te worden - door het ontwerp, zal het licht dat uitgezonden wordt door het flitslicht ook in staat zijn om de smalbanddoorlaatfilter te passeren bij de detector. Bij voorkeur, worden vier uit vijf tijdsvakken gebruikt om afstandsbepalingsframes te projecteren/detecteren en wordt de overgebleven ene van elke vijf tijdsvakken gebruikt om 2D-afbeeldingen op te nemen.

In uitvoeringsvormen van de onderhavige uitvinding, zijn verschillende pixels van de veelheid pixels van de detector 220 voorzien van verschillende filters die licht in verschillende golflengtebanden toestaat om de verschillende pixels te bereiken op de tijdstippen. Dit wordt schematisch geïllustreerd in Figuur 6, waar een pixelarray weergegeven wordt met verschillende pixels (of verschillende kokers van een pixel), die voorzien zijn van respectieve filters voor nabij-infrarood (“near infrared”, NIR) licht, rood licht, groen licht, en blauw licht.

In andere uitvoeringsvormen van de onderhavige uitvinding, zijn de veelheid pixels van de detector 220 voorzien van een tijdsafhankelijke filter die licht in verschillende golflengtebanden toestaat om de veelheid pixels te bereiken op verschillende tijdstippen. Dit wordt schematisch weergegeven in Figuur 7, diagram

2018/4999

-17BE2018/4999 a, waar afzonderlijke tijdsvakken verschaft zijn om rood, groen en blauw licht op te nemen; en in Figuur 7, diagram b, waar het tijdsvak verlengd is om de opeenvolgende opname van rood, groen, en blauw licht mogelijk te maken in opeenvolgende delen van hetzelfde tijdsvak.

Deze sets van uitvoeringsvormen maken het mogelijk om een RGB 2D-afbeelding op te nemen, die geschikt is voor weergave op een kleurenbeeldscherm.

De onderhavige uitvinding heeft ook betrekking op een voertuig (in het bijzonder een wegvoertuig of een spoorvoertuig) dat het systeem volgens één van de voorgaande conclusies omvat dat ingericht is om zo een gebied dat het voertuig omgeeft te karakteriseren.

Hoewel de uitvinding hierboven beschreven is met verwijzing naar afzonderlijke systeem- en werkwijze-uitvoeringsvormen, was dit enkel gedaan voor duidelijkheidsredenen. De deskundige zal begrijpen dat kenmerken die beschreven zijn in verbinding met alleen het systeem of de werkwijze, ook toegepast kunnen worden op respectievelijk de werkwijze of het systeem, met dezelfde technische effecten en voordelen. Verder, is het bereik van de uitvinding niet beperkt tot deze uitvoeringsvormen, maar wordt het gedefinieerd door de bij gevoegde conclusies.

Claims

BE2018/4999 Conclusies

1. Systeem voor het karakteriseren van een omgeving van een voertuig, waarbij het systeem het volgende omvat:

- een projectiemiddel (210) dat ingericht is voor het projecteren van een patroon van laserlicht in een reeks pulsen in richting van de omgeving;

- een detector (220) die een veelheid pixels omvat, waarbij de detector (220) geconfigureerd is voor het detecteren van licht dat het patroon van laserlicht voorstelt zoals dat gereflecteerd wordt door de omgeving in synchronisatie met de reeks pulsen; en

- een verwerkingsmiddel (240) dat geconfigureerd is om afstanden tot objecten (99) in de omgeving te berekenen als een functie van belichtingswaardes die gegenereerd zijn door de pixels als reactie op het gedetecteerde licht;

waarbij de detector (220) verder geconfigureerd is voor het detecteren van licht dat een tweedimensionale afbeelding van de omgeving vormt op tijdstippen die niet samenvallen met de reeks pulsen of op pixels die het licht dat het patroon van laserlicht voorstelt zoals dat gereflecteerd wordt door de omgeving, niet ontvangen.
2. Systeem volgens conclusie 1, waarbij de pixels (220) geconfigureerd zijn om de belichtingswaardes te genereren middels het, voor alle pulsen van de reeks, accumuleren van een eerste hoeveelheid elektrische lading die representatief is voor een eerste hoeveelheid licht dat tijdens een eerste vooraf bepaald tijdsvenster (10) gereflecteerd wordt door de objecten (99), en een tweede elektrische lading die representatief is voor een tweede hoeveelheid licht die tijdens een tweede vooraf bepaald tijdsvenster (20) gereflecteerd wordt door de objecten, waarbij het tweede vooraf bepaalde tijdsvenster (20) optreedt na het eerste vooraf bepaalde tijdsvenster (10).
3. Systeem volgens conclusie 1, waarbij het verwerkingsmiddel (240) aangepast is om de afstanden te bepalen middels het bepalen van een verplaatsing van kenmerken van het gedetecteerde licht dat het patroon van laserlicht representeert zoals dat gereflecteerd wordt door de omgeving met betrekking tot

2018/4999

-19BE2018/4999 vooraf bepaalde kenmerkposities.
4. Systeem volgens één van de voorgaande conclusies, dat een verlichtingsmiddel omvat dat geconfigureerd is om een lichtbundel te projecteren op de omgeving op de tijdstippen die niet samenvallen met de reeks pulsen.
5. Systeem volgens conclusie 4, waarbij het projectiemiddel (210) en het verlichtingsmiddel een gemeenschappelijke lichtbron delen.
6. Systeem volgens conclusie 5, waarbij de gemeenschappelijke lichtbron een VCSEL-array omvat, en waarbij het verlichtingsmiddel verder een actief bestuurde verspreider omvat, die geconfigureerd is om geactiveerd te worden op de tijdstippen die niet samenvallen met de reeks pulsen, om zo licht te verspreiden dat afkomstig is uit de VCSEL-array om de bundel te vormen.
7. Systeem volgens één van de voorgaande conclusies, waarbij de veelheid pixels van de detector (220) voorzien zijn van een tijdsafhankelijke filter die het mogelijk maakt dat licht in verschillende golflengtebanden de veelheid pixels op verschillende tijdstippen bereikt.
8. Systeem volgens één van de voorgaande conclusies, waarbij verschillende pixels van de veelheid pixels van de detector (220) voorzien zijn van verschillende filters die het mogelijk maken dat licht in verschillende golflengtebanden de verschillende pixels op de tijdstippen bereikt.
9. Voertuig dat het systeem volgens één van de voorgaande conclusies omvat, dat ingericht is om zo een gebied dat het voertuig omgeeft, te karakteriseren.